В этой части мы создаем базовый корпус текстов для дистилляции представлений учителя. За основу общей скмантики возьмем дамп Википедии и добавим к нему доменные тексты (психология, психиатрия, психотерапия). Парсим тексты и формируем корпус, немного приводим текст в порядок (устраняем самые явные проблемы).

Просмотр слоев моделей, первые "пристрелочные" тесты для определения общего направления работы и выбор базовой модели для дистилляции. Эта часть довольно простая и короткая, но содержит некоторые важные наблюдения.

Ставим задачу: компактная русскоязычная модель эмбеддингов для CPU, способная решать семантический поиск, дедубликацию и кластеризацию. Учитель — 180-миллионный DeepPavlov, студент — 29-миллионный turbo с доработанной головой. Четыре цели: разобраться, что даёт attention pooling, дистиллировать семантику учителя, победить анизотропию и слепоту к отрицаниям, получить рабочий инструмент. В этой части — постановка целей, метрики успеха и план серии.