Федеративное обучение
Исследование методов распределённого обучения ML-моделей
Исследование было подготовлено в рамках идеи распределения вычислительных ресурсов заказчика с одного крупного сервера на несколько небольших. Таким образом, бизнес получил ответ на вопрос, какая архитектура ИИ-модели лучше подходит для проекта — централизованная или распределённая. Результаты применены для задач обучения без централизованного хранения данных.
Смещение градиентов при неравномерном распределении данных между клиентами (non-IID), нестабильность сходимости при отключении узлов.
Была рассмотрена возможность использования методов федеративного обучения и улучшения алгоритмов агрегации градиентов при различном батчировании данных. Результаты были провалидированы сотрудниками лаборатории математических методов оптимизации Московского физико-технического института.
- 0101
Исследование архитектур
Анализ существующих методов федеративного обучения и распределённого ML.
- 0202
Проектирование алгоритмов
Разработка схем агрегации градиентов и обновления метаданных.
- 0303
Реализация UGA/FedMeta
Интеграция методов несмещённой агрегации и meta-learning подходов.
- 0404
Распределённое обучение
Настройка взаимодействия между узлами и локальными моделями.
- 0505
Оценка качества моделей
Тестирование устойчивости и точности распределённого обучения.
- 0606
Подготовка результатов
Анализ производительности и оформление исследовательских выводов.
- 01Python
- 02PyTorch
- 03Flower
- 04NumPy
- 05Machine Learning
- 06Decentralized Systems
- 07Docker
- 08gRPC
Похожая задача?
Обсудим и оценим за 5 рабочих дней.