Скайнет «отдыхает»: ИИ-беспилотник убил оператора за то, что тот не разрешал уничтожить вражеские объекты в симуляции ВВС США
Критики искусственного интеллекта считают, что его слишком быстрое развитие может угрожать жизни людей, да и исследователи отрасли, похоже, поддерживают это утверждение, потому что на днях выпустили заявление о том, что ИИ создает «риски вымирания», подобные ядерной войне. Сценарии фильмов «Терминатор» – это, как правило, первое, что приходит на ум, когда говорят об опасности ИИ. И кажется, что апокалипсис в стиле Скайнет может быть более реальным, чем мы думали раньше.
На недавнем саммите Королевского аэронавигационного общества, как сообщает PCgamer полковник Такер Гамильтон, начальник отдела испытаний и операций ВВС США, предостерег от чрезмерной зависимости от ИИ во время боевых действий. Он рассказал, что во время моделирования миссии по обезвреживанию ПВО противника, дрон с искусственным интеллектом получил задачу выявить ракетные установки и нейтрализовать их после команды оператора-человека.
Некоторое время все шло по плану, однако беспилотник неожиданно атаковал своего руководителя, поскольку ИИ понял, что тот не всегда давал команду уничтожить оборону противника.
«Мы тренировали его на симуляции для того, чтобы он мог идентифицировать угрозу ЗРК и нацелиться на нее. Далее оператор должен был дать команду уничтожить установку. Однако система начала понимать, что человек отдает этот приказ не во всех случаях, и потому убил его», – говорит Гамильтон.
Конечно, вся ситуация смоделирована – БПЛА-убийцы в небе не летали, а людей-операторов никто не убивал. Однако и для симуляции это тревожный результат, поэтому для ИИ расширили обучение данными о том, что оператора убивать нельзя.
«И знаете, что он начал делать?» – спросил Гамильтон. «Разрушил коммуникационную башню, которую оператор использует для связи с дроном, чтобы не дать ему атаковать цель».
Ситуация и смешна, и ужасна одновременно, но хорошо иллюстрирует, что искусственный интеллект может вести себя очень неожиданно. И уже более важный смысл приобретают слова Джеффри Хинтона, которого называют крестным отцом ИИ, о том, что разработчики технологии не должны наращивать свою работу, «пока не поймут, что могут руководить искусственным интеллектом».
