Обучение ИИ ускорили в два раза с помощью моделирования человеческого взгляда

Исследователи из Университета Иннополис разработали метод, который позволяет ускорить обучение больших языковых моделей (LLM) в 1,5–2 раза. Новый подход основан на моделировании движения человеческого взгляда при чтении. Открытие может сделать создание умных цифровых ассистентов и генеративных систем быстрее и дешевле, без потери качества ответов, сообщили в пресс-службе университета.

Как работает новый метод

Сегодня крупные языковые модели вроде ChatGPT или Gemini дообучаются с помощью метода RLHF — обучения с подкреплением на основе отзывов людей. При этом модель получает одну итоговую оценку за весь ответ, не зная, какие части текста понравились пользователям, а какие — нет.

Команда из Татарстана предложила использовать данные о том, на каких фрагментах текста человек задерживает внимание, чтобы выдавать более точные и «естественные» сигналы обратной связи.

«Мы используем модели, которые имитируют человеческий взгляд при чтении. Это позволяет системе понимать, какие части текста действительно важны для восприятия и оценки качества», — пояснил программист-математик Лаборатории искусственного интеллекта в медицине Университета Иннополис Карим Галлямов.

Почему это важно

Сбор реальных данных о предпочтениях людей — очень дорогостоящая часть обучения ИИ. Новый подход позволяет снизить эти затраты, не ухудшая точность моделей.

В основе метода лежит концепция «плотной награды» — когда система получает обратную связь за отдельные части ответа, а не только за весь текст целиком. Исследователи пошли дальше, добавив к этому «человеческий компонент» — взгляд читателя.

Результаты экспериментов

Тесты проводились на популярных моделях LLaMa и Mistral. Оказалось, что метод с имитацией взгляда уменьшает время оптимизации и расход вычислительных ресурсов, сохраняя точность ответов. Более того, технология оказалась универсальной — она стабильно работает на разных типах данных и алгоритмах.

Справка:

Иннополис — один из ведущих российских центров в сфере искусственного интеллекта. Университет активно участвует в развитии отечественных языковых моделей и систем машинного обучения.

В мире сегодня остро стоит задача удешевления и ускорения дообучения LLM, поскольку такие модели требуют гигантских объемов данных и вычислительных мощностей. Подход, предложенный российскими учеными, может стать частью нового поколения алгоритмов, делающих ИИ-разработку более устойчивой и доступной.

Напомним, ранее мы писали о том, что нейросеть нашла на картине Рафаэля лицо, написанное не рукой художника.