Генерация текста — актуальная тема в машинном обучении, поскольку класс систем, известный как «большие языковые модели» (LLM), используется во многом: от улучшения поисковой системы Google до создания текстовых приключенческих игр. Но у LLM есть серьезные проблемы, включая сексистские и расистские высказывания, проблемы с логикой повествования. Поэтому исследовательская лаборатория искусственного интеллекта DeepMind компании Alphabet проверила, можно ли устранить эти недостатки, дав LLM больше данных и вычислительных мощностей.

Для этого DeepMind протестировала большие языковые системы на моделях разного размера, от 44 млн до 280 млрд параметров. Крупнейшая получила название Gopher. Она больше, чем GPT-3 OpenAI (175 миллиардов параметров), но не дотягивает до таких моделей, как Megatron от Microsoft и Nvidia (530 миллиардов параметров).

Выяснилось, что масштабирование LLM привело ко множеству улучшений, особенно в таких областях, как понимание прочитанного, проверка фактов и определение токсичного языка. Более крупные модели чаще показывали лучшие результаты, а сам Gopher предлагал более современные характеристики примерно в 81% тестов.

Компания также исследовала широкий спектр потенциальных опасностей, связанных с развертыванием LLM. К ним относятся использование системами ядовитой лексики, их способность распространять дезинформацию, потенциальное применение в злонамеренных целях, таких как спам или пропаганда. Исследователи считают, что эти проблемы станут более серьезными по мере того, как языковые модели ИИ начнут использоваться чаще, например, в виде чат-ботов.

Источник: DeepMind