Разработали систему управления устройствами через eye-tracking. Модель обучалась на синтетических данных из VR-среды, что позволило в разы сократить стоимость разметки.
Перенос модели, обученной на VR-данных, на реальные устройства без деградации точности (domain adaptation).
Разработка решения была разделена на два последовательных этапа. На первом этапе требовалось провести мини-исследование существующих HCI (Human-Computer Interaction) техник, позволяющих в реальном времени отслеживать движения зрачка человеческого глаза, классифицируя смещения от центра. Таким образом, за основу была взята модель imitation learning, когда данные берутся из другой модальности путём их генерации. Вторым этапом являлась генерация данных в VR-симуляторе для обучения и валидации модели. Здесь была проведена работа со специализированным оборудованием и загрузка решения в edge-устройства клиента.
- 0101
Исследование взаимодействия
Анализ сценариев управления устройствами с помощью движения зрачка глаза.
- 0202
VR-симуляция
Создание виртуальной среды для генерации обучающих сценариев и данных.
- 0303
Сбор eye-tracking данных
Подготовка датасета движений взгляда и поведения пользователя.
- 0404
Разработка AI-модели
Обучение imitation learning модели на синтетических данных.
- 0505
Интеграция с устройствами
Подключение системы управления к интерфейсам и embedded-оборудованию.
- 0606
Тестирование сценариев
Проверка устойчивости и точности работы системы в реальном времени.
- 01Python
- 02PyTorch
- 03OpenCV
- 04MediaPipe
- 05AR Haptics
- 06VR SDK
- 07Imitation Learning
- 08React
Похожая задача?
Обсудим и оценим за 5 рабочих дней.