От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 2/10

В этой части мы создаем базовый корпус текстов для дистилляции представлений учителя. За основу общей скмантики возьмем дамп Википедии и добавим к нему доменные тексты (психология, психиатрия, психотерапия). Парсим тексты и формируем корпус, немного приводим текст в порядок (устраняем самые явные проблемы).