Раздел Технологии выходит при поддержке

ИИ DeepSeek довольно быстро покорил мир мобильных устройств, а теперь расширяется на Windows — с полной поддержкой Microsoft, что удивительно. Гигант ПО добавил модель DeepSeek R1 в свою Azure AI Foundry, чтобы позволить разработчикам тестировать и создавать облачные приложения и сервисы с ее помощью. Теперь Microsoft объявила, что добавляет дистиллированные версии R1 на компьютеры Copilot+ PC.

Дистиллированная модель в ИИ — это упрощенная версия большей нейросети, которая частично сохраняет ее производительность, но работает быстрее и эффективнее. Процесс дистилляции позволяет передать знания от большой, мощной модели к меньшей. В этом случае полная DeepSeek R1 имеет 671 млрд параметров, а меньшие модели будут иметь от 1,5 млрд до 14 млрд параметров. Это не идеальный процесс, и дистиллированная модель менее мощная, чем полная версия, но ее меньший размер позволяет ей работать непосредственно на потребительском оборудовании (вместо специализированного оборудования для ИИ, которое стоит десятки тысяч долларов).

Дистиллированные модели DeepSeek R1 сначала будут доступны для устройств на базе чипов Snapdragon X и процессоров Intel Core Ultra 200V, а затем на ПК на базе AMD Ryzen AI 9.

Первой моделью будет DeepSeek-R1-Distill-Qwen-1.5B (то есть модель с 1,5 млрд параметров), а большие и мощные модели 7B и 14B появятся в ближайшее время. Они будут доступны для загрузки из Microsoft AI Toolkit.

Microsoft пришлось настроить эти модели, чтобы оптимизировать их для работы на устройствах с NPU. Операции, которые сильно зависят от доступа к памяти, выполняются на центральном процессоре, тогда как вычислительно-интенсивные операции, такие как блок трансформатора, выполняются на NPU. Благодаря оптимизации Microsoft удалось достичь быстрого времени до первого токена (130 мс) и пропускной способности 16 токенов в секунду для коротких подсказок (менее 64 токенов). Обратите внимание, что «токен» похож на гласную букву (важно, что один токен обычно имеет длину более одного символа).

Microsoft является сильным сторонником ИИ и инвестирует в OpenAI (создателя ChatGPT и GPT-4o), но, похоже, она склонна к диверсификации. Ее Azure Playground имеет модели GPT (OpenAI), Llama (Meta), Mistral (компания по искусственному интеллекту), а теперь и DeepSeek.

Источник: gsmarena

Раздел Технологии выходит при поддержке

Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков.