Cortiq Mobile запускает LLM на телефоне без интернета
Cortiq Mobile — открытое приложение для Android и iOS, запускающее модели формата CMF прямо на телефоне без интернета. Оно умеет вести чат по документам, переводить и принимать решения для программ.
- Cortiq Mobile работает офлайн: чат, перевод и принятие решений выполняются на устройстве без сети.
- Модель lfm2.5–230m-q4tp на iPhone 16 выдала 162,1 токена в секунду при генерации на CPU.
- Телефон может работать локальным AI-сервером для ноутбука через OpenAI-совместимый API.
Вышло открытое приложение Cortiq Mobile для Android и iOS, которое запускает языковые модели прямо на телефоне без подключения к интернету. Об этом сообщается в статье на Хабре. Приложение доступно в Google Play, версия для iOS проходит проверку в AppStore.
Cortiq Mobile работает с моделями в собственном формате CMF (Cortiq Model Format). В один файл упакованы веса, архитектура, токенизатор, описание задач и шаблон чата. Приложение ещё до загрузки знает, сколько у модели слоёв, какой контекст и сколько памяти ей нужно.
Что умеет приложение
Приложение решает три задачи, каждую проверили на реальных устройствах:
- Отвечает в чате и читает документы — офлайн.
- Переводит письма и сообщения — офлайн.
- Принимает решения для программ, возвращая готовый результат вместо текста.
Дома, в доверенной сети, телефон может стать локальным AI-сервером для ноутбука. Приложение отдаёт OpenAI-совместимый API: POST /v1/chat/completions, POST /v1/completions, GET /v1/models.
Замеры производительности
На iPhone 16 (чип A18) модель lfm2.5–230m-q4tp показала 162,1 токена в секунду в чате. Модель на 230 миллионов параметров, 14 слоёв, файл весит 126 MiB. Работает на CPU, пять потоков, GPU не понадобился.
Для перевода в каталоге есть специализированная модель Hy-MT2 на 1,8 миллиарда параметров. Она умеет только переводить. На iPhone выполнили семь заданий: русский на английский и обратно, немецкий, турецкий и китайский на русский, идиому и кусок JSON. Все семь переводов вернулись целиком, JSON пережил перевод без потерь.
Решения вместо текста
Модель решений не пишет текст, а возвращает структурированный ответ. Например, на запрос «Where is my card?» она отвечает: {«accepted»: true, «choice»: «card_arrival», «confidence»: 0.998}. Если модель не уверена, она возвращает accepted: false, choice: null.
Технически это модель формата CMF Decision с навыками — наборами меток, например банковские запросы (BANKING77), бытовые команды (CLINC150, MASSIVE). Для каждого навыка модель оценивает, какая метка лучше описывает текст.
Под нагрузкой на Xiaomi с Android 14 при 11 клиентах телефон выдал 13,6 успешных решений в секунду, при 4 клиентах — 27,4. При 16 клиентах телефон обработал 22 запроса, остальным сразу ответил 429 «подождите».
Для профиТехнические детали: архитектура, цифры, ссылки
Формат CMF (Cortiq Model Format) содержит веса, архитектуру, токенизатор, описание задач и шаблон чата в одном файле. Модели можно взять тремя способами: готовый .cmf из каталога, репозиторий с Hugging Face в safetensors с конвертацией на телефоне, или GGUF через утилиту cortiq import-gguf.
Параметры замеров lfm2.5–230m-q4tp на iPhone 16: CPU, пять потоков, temperature 0.10, top_p 0.95, max_tokens 128. Результат — 162,1 tok/s.
Модель перевода Hy-MT2 на 1,8 млрд параметров доступна в двух вариантах:
- hy-mt2–1.8b-q4tp.cmf — 950,5 MB, 4,17 бит на вес, перплексия 14,02.
- hy-mt2–1.8b-q1t.cmf — 694,9 MB, 2,25 бит на вес, перплексия 27,88.
Движок выдавал 14,4–21,8 tok/s, в среднем 17,75. API для решений: POST /v1/decide с полями skill, text, profile (balanced, quality-first, cost-saver). Список навыков — GET /v1/skills.
Исходный код версии 1.3.0: infosave2007/cmfmobile.
Что это значит для России
Приложение работает офлайн, поэтому его можно использовать в странах с ограничениями связи. Модели запускаются прямо на телефоне, без обращения к внешним серверам.
Вопросы и ответы
- Работает ли Cortiq Mobile без интернета?
- Да, приложение запускает модели прямо на телефоне, без обращения к сети.
- На каких устройствах доступно приложение?
- На Android (Google Play) и iOS (проходит проверку в AppStore).
- Можно ли использовать телефон как сервер для ноутбука?
- Да, приложение отдаёт OpenAI-совместимый API в доверенной сети.
