Сколько стоит запустить Yandex AliceAI-Foundation-80B-A3B-Base: опыт автора на Хабре
На Хабре вышла статья о том, сколько стоит инференс претрейна Yandex AliceAI-Foundation-80B-A3B-Base. Автор выяснил, что для запуска модели нужно 4 GPU A100, и рассказал о сложностях с арендой железа в облаке.
- Для инференса Yandex AliceAI-Foundation-80B-A3B-Base требуется 4 GPU A100, по данным автора статьи.
- Запуск на двух GPU возможен только с CPU-offload, но автор отказался от такого компромисса.
- Попытка использовать Datasphere на Jupiter Notebook обошлась автору в 6000 рублей и не увенчалась успехом.
На Хабре опубликована статья, посвящённая стоимости инференса претрейна Yandex AliceAI-Foundation-80B-A3B-Base. Поводом стало обсуждение релиза модели в одном из чатов: коллеги всю неделю обсуждали претрейн, и автор решил проверить, как она отвечает на основополагающий вопрос, а заодно выяснить, сколько стоит инференс подобной модели.
По его оценке, для работы требуется 4 GPU A100. Запуск на двух ускорителях вроде бы возможен, но это потребует CPU-offload. Автор отмечает, что не готов идти на такие компромиссы, как и на квантизации.
Попытки арендовать GPU
GPU автор собирался брать в аренду в облаке, название которого не раскрывает. Первый подход был к Datasphere на Jupiter Notebook, и он оказался провальным: на это ушло 6000 рублей. Детали автор не приводит.
Затем он попытался запросить VM с 4 A100 и поднял квоты через тикеты, но это не помогло. По его словам, теоретически поймать 4 A100 возможно, но ему это не удалось. Также упоминается некий Gen2, на который даже квоту не поднимают.
В итоге автор вернулся к Datasphere Jobs, потому что для Jupiter A100 выделяли. Схема работы описана в статье.
Что это значит для России
Модель Yandex AliceAI-Foundation-80B-A3B-Base доступна на Hugging Face. Для её инференса, по данным автора, нужны 4 GPU A100, что создаёт сложности с арендой в российских облаках. Автор столкнулся с проблемами при попытке получить VM с 4 A100 в Datasphere.
Вопросы и ответы
- Сколько GPU нужно для инференса Yandex AliceAI-Foundation-80B-A3B-Base?
- По данным автора статьи на Хабре, требуется 4 GPU A100.
- Можно ли запустить модель на двух GPU?
- Да, но потребуется CPU-offload, на что автор не готов идти.
- Где можно арендовать GPU для запуска модели?
- Автор пробовал Datasphere на Jupiter Notebook и Datasphere Jobs, но столкнулся с трудностями при получении 4 A100.
