Ученые обнаружили странный и не очень приятный недостаток чат-бота ChatGPT. Об этом пишет Lifehacker.
Согласно источнику, в Стэнфордском университете провели эксперимент с чат-ботами разных поколений — бесплатным ChatGPT 3.5 и платным ChatGPT 4. Второй оказался существенно глупее первого, хотя всё должно было быть наоборот.
В ходе теста ученые задавали чат-ботам, выпущенным в январе и марте, различные вопросы и сравнивали точность, скорость ответов, а также их поведение. Обнаружилось, что самый свежий ChatGPT Plus на базе GPT-4 справлялся хуже своего бесплатного и менее продвинутого собрата по всем параметрам.
Вывод неутешителен: точность языковой модели GPT-4 со временем падает, а у GPT-3,5 наоборот вырастает.
За пять дней до описанного эксперимента вице-президент OpenAI решил прокомментировать обвинения в адрес чат-ботов:
«Нет, мы не сделали GPT-4 тупее. Всё с точностью до наоборот: мы делаем каждую новую версию умнее предыдущей. Сейчас у нас такая гипотеза: когда вы используете что-то более активно, вы начинаете замечать проблемы, которых не видели ранее.»
Тогда же он попросил предоставить доказательства «тупости» ChatGPT Plus, но после появления результатов тестов OpenAI больше не заходила в чат. Пока что ситуация выглядит крайне пикантно: пользователи, заплатившие за подписку ChatGPT Plus, получают более глупого чат-бота, чем «бесплатники».