Южный федеральный университет России предложил нестандартный способ тестирования искусственного интеллекта — интеллектуальными играми вроде "Что? Где? Когда?" и "Своя игра". Идею комментируют исследователи и опытные игроки.

Инициативу продвигает Богдан Проценко, ответственный исполнитель проекта "Фронтирная лаборатория рентгеноспектральной нанометрологии" ЮФУ. Вместе с коллегами он делает ставку на компактные ИИ, например — LLaMa 3 от Meta.

Ученые протестировали LLaMa-3 на архивных вопросах "Что? Где? Когда?". Даже эта модель с хорошей русской языковой базой ошибалась в вопросах о Владимире Шаинском, Царь-пушке или Олимпиаде-80. Причина — культурная специфичность, недоступная многим LLM, предобученным преимущественно на английских источниках.

Научный журналист и участник "Своей игры" Алексей Паевский видит важную разницу между двумя викторинами: "Вопросы "Своей игры" проще, они на эрудицию. А в "ЧГК" нужно мыслить, догадываться. Если ИИ научится уверенно отвечать, авторы только усложнят игру — а знатоки справятся".

Чемпион мира по "ЧГК" Михаил Левандовский отмечает, что игра постоянно меняется: "Сейчас в моде языковые игры, каламбуры, сложные смысловые конструкции. Здесь ИИ пока с переменным успехом". По его мнению, для ИИ самые трудные вопросы — те, что требуют абстрактного мышления и социального контекста.

ЮФУ также протестировал методы генерации ответов: от классических цепочек рассуждений до формата с "внутренним критиком". Модель должна критиковать собственные гипотезы и выбирать наименее уязвимую. Такой подход приближает логику работы ИИ к командной дискуссии в "ЧГК".

Паевский поясняет: "В "Что? Где? Когда?" есть понятие "щелчок" — ответ, идеально совпадающий с вопросом. Настроить ИИ по аналогии — значит усилить его способность к самопроверке. Но не стоит обманываться: ИИ не мыслит, он лишь подбирает похожее решение".

По мнению участников, ИИ еще далек от полноценного соперничества с знатоками. Главное, чего не хватает — способности к творчеству, интуиции и озарению.

smartpress.by