Популярный ИИ-сервис ChatGPT дает 52% неправильных ответов на вопросы, которые касаются программирования.

Об этом говорится в исследовании Университета Пердью, которое недавно презентовали на конференции Computer-Human Interaction.

Для исследования просмотрели более 517 вопросов в Stack Overflow.

«Мы обнаружили, что 52% ответов ChatGPT содержат дезинформацию, 77% ответов более многословны, чем ответы людей, а 78% ответов имеют разную степень несоответствия», — написали они.

Особенно беспокоит то, что достаточно много программистов используют для консультаций именно ChatGPT. Исследователи обнаружили, что 35% предпочитают ChatGPT и не замечают ошибок 39%.

«Дальнейшие полуструктурированные интервью показали, что вежливая речь, сформулированные ответы в стиле учебника и исчерпываемость являются одними из основных причин, которые сделали ответы ChatGPT более убедительными, поэтому участники склонны ему доверять», — пишут исследователи.

Отметим, что за полтора года трафик Stack Overflow упал примерно на 35%. И заметное падение началось после релиза ИИ-чатбота ChatGPT. В ответ на это Stack Overflow анонсировал OverflowAI — комплекс функций, которые работают на основе искусственного интеллекта.

Также Stack Overflow даже решил запретить использование ChatGPT на платформе, заявив, что сомневается в точности таких ответов.

Тем не менее, это не помогло и Stack Overflow уволил 28% персонала/