Создатели ChatGPT признали новую версию менее эффективной

Компания OpenAI допустила, что производительность GPT-4 при выполнении некоторых задач могла стать хуже по сравнению с предыдущими версиями. При этом, согласно новым исследованиям, точность ответов у бесплатного GPT-3.5 возросла

Американская компания OpenAI признала, что обновленный чат-бот GPT-4 хуже справляется с некоторыми задачами, чем предыдущие версии. Заявление последовало после многочисленных жалоб со стороны пользователей, которые отмечали, что модель стала «ленивее» и «глупее».

Многие были недовольны более низкой производительностью GPT-4, а также тем, что она стала давать больше ошибочных ответов и запоминать меньше информации. Некоторые из тех, кто протестировал обновленную GPT-4 от OpenAI, назвали ее «разочарованием». Мнение о том, что модель стала «глупее», подтвердили и ученые из университетов Стэнфорда и Беркли.

Дело в том, что грамотного механизма тестирования технологий на уровень интеллекта разработчики еще не придумали, отмечает сооснователь «Битрикс24» Сергей Рыжиков:

Сергей Рыжиков сооснователь компании «Битрикс24» «Действительно, пользователи стали отмечать, что что-то не так выдает ChatGPT: где-то ответы ожидали лучше, раньше вроде лучше получалось. На сегодняшний момент ChatGPT делает людей лучшей версией их самих. Они его используют для того, чтобы самим стать ярче, лучше, чтобы проявить себя. И тут они начинают использовать ChatGPT, а он делает даже хуже, чем они сами могут, и это вызывает раздражение. Я думаю, что мы сейчас наблюдаем историю, когда разработчики, создав новый продукт, до сих пор еще не создали инструмента тестирования. Для обычных информационных систем, которые не языковым интерфейсом тестируются, раньше можно было создать некий тест, перед выпуском этого обновления для всех клиентов провести предварительное тестирование и сказать: «Мы сделали лучше». Здесь же, в случае с ChatGPT, мы имеем дело с информационной системой, где, по сути, только люди могут сказать, получилось лучше или нет. Нельзя написать айтишный компьютерный тест, который бы говорил: «А интеллект у вас получился лучше или нет?» По сути, мы все выступаем в роли тестировщиков обновлений искусственного интеллекта. Это приведет к определенной корректировке алгоритмов, которые выпускают ребята. Я думаю, что в ближайшее время — может быть, год — разработчики технологии придумают некий тест, по которому они смогут определять уровень интеллектуальности той версии обновления, которую они выпустили».

В области создания креативных текстов обновленная GPT-4 хуже работать не стала, указывает серийный предприниматель, эксперт в области интернет-маркетинга Вадим Козлов:

Вадим Козлов серийный предприниматель, эксперт в области интернет-маркетинга «Я использовал и GPT-2, и GPT-3, и GPT-4. Каких-то отличий в худшую сторону я не заметил, наоборот, увидел, что GPT-4 по сравнению с GPT-3 стал выдавать результат более быстро, который лучше закрывает мои потребности в работе. Возможно, в какой-то из областей он действительно стал хуже, но пока я на практике, хотя работаю с ним каждый день, этого не заметил. Мы занимаемся маркетингом, мы через него делаем рекламные креативы как минимум, а как максимум делаем промотекст, публикации. Также он очень помогает коллегам в SMM — раньше они все делали вручную, сейчас загоняется туда большой объем данных, после ответа немного фильтруют и уже отдают в продакшн, что позволяет экономить и время, и средства. В России популярность ChatGPT будет меньше, в том числе потому, что выходит Yandex GPT, есть еще множество разных помощников. В зарубежных источниках я видел информацию, что ChatGPT в каких-то местах стал хуже, но это вызывает больше бурных обсуждений, нежели активных действий по уходу в другое место. Вообще, ChatGPT никогда не славился хорошим написанием кода: та информация для разработчиков, которую он выдает, — простая, сырая, требует больше обработки, нежели маркетинговые вещи. То, что он выдает, — это некое гугление, которое обернуто в красивую оболочку. Использовать это как «копировать — вставить» и думать, что все заработает, — так не бывает».

OpenAI выпускает языковые модели класса GPT с 2018 года. Однако GPT-4, вышедшая в марте этого года, стала настоящим прорывом компании. В отличие от предыдущей модели GPT-3.5, она может работать как с текстовой, так и с графической информацией. То есть модель стала мультимодальной.

Одной из наиболее интересных функций GPT-4 стало написание вполне приличных текстов на основе заданных параметров. То есть фактически она упрощает работу журналистам, копирайтерам и прочим специалистам, работающим с текстами. Программистам же GPT-4 облегчает жизнь тем, что позволяет быстро решать рутинные задачи.