PrismML показала 1-битную ИИ-модель Bonsai для умных очков на Snapdragon
PrismML представила компактную версию языковой модели Bonsai для локальной работы на умных очках с чипами Qualcomm Snapdragon. Демонстрация прошла на мероприятии Snapdragon Summit.
- Модель Bonsai на 2 млрд параметров работает локально на очках с платформой Snapdragon AR1 Gen 1.
- Она использует 1-битную точность и потребляет вчетверо меньше памяти, чем 4-битные аналоги.
- Генерация токенов идёт более чем вдвое быстрее, а контекст данных остаётся на устройстве.
Лаборатория искусственного интеллекта PrismML разработала специальную версию своей компактной языковой модели для локальной работы на умных очках с чипами Qualcomm Snapdragon. Презентация прошла на мероприятии Snapdragon Summit, где Qualcomm показала 1-битную модель PrismML Bonsai на платформе Snapdragon AR1 Gen 1.
Версия для очков насчитывает 2 млрд параметров и оптимизирована для обработки текстовой и визуальной информации. Владельцы таких устройств смогут в реальном времени получать ответы на вопросы о том, что видят перед собой.
PrismML занимается сжатием крупных моделей с сохранением качества ответов — в этом случае сжатие составило четыре раза. Компания выпускает модели с открытыми весами, рассчитанные на работу прямо на устройствах. Стартап позиционирует решение как альтернативу зависимости от обещаний конфиденциальности со стороны разработчиков проприетарного ИИ.
Совместно с Qualcomm лаборатория оптимизировала веса и архитектуру модели под нейропроцессор Hexagon. По качеству работы Bonsai сопоставима с системами с 4-битной точностью, но потребляет вчетверо меньше памяти и генерирует токены более чем вдвое быстрее. Это делает взаимодействие с моделью более естественным, а контекст данных сохраняется на самом устройстве.
PrismML и Qualcomm Technologies намерены продолжать сотрудничество и оптимизировать новые версии Bonsai для платформ Snapdragon. Как отмечают в источнике, технологии ИИ внедряются в умные очки, носимые устройства и окружающую технику, поэтому очередной качественный скачок не получится обеспечить одним лишь наращиванием вычислительной мощности.
Для профиТехнические детали: архитектура, цифры, ссылки
Модель PrismML Bonsai для умных очков: 2 млрд параметров, 1-битная точность, сжатие в 4 раза относительно исходной версии. Оптимизирована под NPU Hexagon в платформе Snapdragon AR1 Gen 1. По заявлению разработчиков, качество сопоставимо с 4-битными моделями при вчетверо меньшем потреблении памяти и более чем двукратном ускорении генерации токенов. Веса открыты.
Вопросы и ответы
- Что такое PrismML Bonsai?
- Компактная языковая модель с открытыми весами от лаборатории PrismML, версия для умных очков имеет 2 млрд параметров и 1-битную точность.
- На каких устройствах работает модель?
- На умных очках с платформой Qualcomm Snapdragon AR1 Gen 1, оптимизация выполнена под нейропроцессор Hexagon.
- В чём преимущество 1-битной версии?
- Она потребляет вчетверо меньше памяти и генерирует токены более чем вдвое быстрее по сравнению с 4-битными системами при сопоставимом качестве.
