Исследование позволило дообучить модель до механизма анализа, способного определять, были ли данные сгенерированы одной и той же языковой моделью или написан ли текст одним и тем же человеком.
Исследовательская неопределённость: гипотезы проверялись итеративно без гарантии результата. Ограниченный бюджет вычислительных ресурсов для дообучения.
Было проведено прикладное исследование multilingual-e5-base — мы изучили чувствительность языковой модели к стилям речи и предложили метод fine-tuning для снижения ошибок в cross-lingual задачах. Результатом исследования стал Gabriel Graph, который показывает, какие авторы писали похожие друг на друга тексты. Если модель считала тексты «взаимно чувствительными», между авторами появлялась связь. Исследование было внедрено в несколько языковых моделей клиента и используется как показатель «температуры» взаимосвязанности данных.
- 0101
Исследование задачи
Анализ существующих подходов к извлечению стилистики текста и metric-learning архитектур.
- 0202
Подготовка датасета
Формирование выборки текстов и разметка авторских и стилистических признаков.
- 0303
Разработка нейросетевой архитектуры
Создание моделей с использованием ArcFace, SphereFace и CosFace loss-функций.
- 0404
Contrastive learning
Обучение системы выделению стилистических особенностей текста через contrastive-подходы.
- 0505
Оценка качества
Проверка точности идентификации авторов по коротким текстовым фрагментам.
- 0606
Подготовка исследований
Формирование результатов и развитие направления обнаружения AI-сгенерированных текстов.
- 01PyTorch
- 02HuggingFace
- 03multilingual-e5-base
- 04Python
- 05Streamlit
- 06CUDA
- 07TensorBoard
- 08LangChain
Похожая задача?
Обсудим и оценим за 5 рабочих дней.