После недавнего обновления языковая модель GPT-4 в некоторых случаях почти никогда не даёт правильный ответ.
Решение математической задачи верно лишь в 2,4% случаев против 97,6% ещё в марте.
Похоже, страх того, что ChatGPT «захватит мир и лишит всех людей работы», можно как минимум временно считать неактуальным. Свежее исследование показало, что на июнь 2023 года языковая модель GPT-4, лежащая в основе чат-бота, стала намного «глупее», чем та же модель, но на март 2023 года. При этом языковая модель GPT-3.5, напротив, в большинстве задач стала лучше, хотя и у неё есть проблемы.
Исследователи Стэнфордского университета задавали чат-боту различные вопросы и оценивали правильность ответов. Причём речь шла не о каких-то абстрактных вещах, а о вполне конкретных. К примеру, ИИ должен был ответить, является ли число 17 077 простым. Дабы лучше понять процесс «размышления» ИИ, а заодно улучшить результат, чат-бота попросили расписывать свои вычисления шаг за шагом. Обычно в таком режиме ИИ чаще отвечает правильно.
Однако это не помогло. Если ещё в марте модель GPT-4 давала правильный ответ в 97,6% случаев, то в июне показатель упал... до 2,4%! То есть почти никогда чат-бот не мог правильно ответить на вопрос. В случае GPT-3.5 показатель, напротив, вырос с 7,4% до 86,8%.
Ухудшилась и генерация кода. Учёные создали набор данных с 50 простыми задачами из LeetCode и измерили, сколько ответов GPT-4 выполнялись без каких-либо изменений. Мартовская версия успешно справилась с 52% проблем, но при использовании июньской модели этот показатель упал до 10%.
К слову, на снижение «умственных способностей» ChatGPT в последние недели жалуются и пользователи.
При этом пока неясно, почему так произошло и предпримет ли что-то компания OpenAI.
