PrismML выпустила крошечную LLM для умных очков на чипах Qualcomm
AI-лаборатория PrismML создала версию своей крошечной языковой модели для умных очков на чипах Qualcomm Snapdragon. На саммите Snapdragon Summit чипмейкер показал 1-битную модель Bonsai, которая работает локально на очках с платформой AR1 Gen 1.
- PrismML представила 1-битную LLM Bonsai для умных очков на платформе Qualcomm Snapdragon AR1 Gen 1.
- Модель на 2 млрд параметров настроена на зрение и язык, сжата в 4 раза с сохранением почти всей производительности.
- Готовых умных очков с PrismML пока нет — анонсов не было.
AI-лаборатория PrismML, основанная исследователями из Caltech при участии Ion Stoica из UC Berkeley, создала версию своих крошечных языковых моделей для умных очков на чипах Qualcomm Snapdragon. Показ состоялся в среду на саммите Snapdragon Summit, где чипмейкер продемонстрировал 1-битную модель Bonsai, работающую локально на очках с платформой Snapdragon AR1 Gen 1.
Как ранее писал TechCrunch, главная особенность PrismML — сильное сжатие больших моделей (в этом случае в 4 раза) с сохранением почти всей производительности на стандартных бенчмарках. Версия для очков — это модель на 2 млрд параметров, настроенная на зрение и язык, чтобы владелец мог спросить, на что он смотрит, в реальном времени.
Глобальная цель PrismML — открытые по весам модели, которые работают на устройствах и лучше используют уже имеющиеся вычислительные ресурсы. Стартап предлагает это как альтернативу зависимости от обещаний приватности проприетарных AI-лабораторий и их ненасытной потребности в вычислениях.
Выпуск модели для чипа Qualcomm — шаг к этой цели. Однако умных очков с PrismML пока не анонсировано.
Для профиТехнические детали: архитектура, цифры, ссылки
Модель: 1-битная Bonsai LLM, 2 млрд параметров, настроена на зрение и язык. Сжатие в 4 раза относительно исходной модели с сохранением почти всей производительности на стандартных бенчмарках.
Платформа: Qualcomm Snapdragon AR1 Gen 1. Запуск локальный, без облака.
Статус: демонстрация на Snapdragon Summit. Умные очки с PrismML не анонсированы.
Вопросы и ответы
- Что такое Bonsai от PrismML?
- Это 1-битная языковая модель на 2 млрд параметров, настроенная на зрение и язык. Она сжата в 4 раза и работает локально на умных очках с чипом Qualcomm Snapdragon AR1 Gen 1.
- Когда появятся умные очки с PrismML?
- Пока неизвестно. На саммите Snapdragon Summit модель только продемонстрировали, анонса готовых очков не было.
