Yandex Research предложила управлять поведением LLM через KV-кеш
Yandex Research исследует, как сделать LLM-агента интерактивным без переобучения модели — за счёт манипуляций с KV-кешем. Подход описан в работах Hogwild Inference и AsyncReasoning.
Тема
инференс
Все материалы по теме в хронологическом порядке.
Сегодня
Jon Peddie Research: конкурентов Nvidia на рынке ИИ-чипов ждёт массовый исход
Аналитики Jon Peddie Research изучили судьбу конкурентов Nvidia на рынке ИИ-чипов и пришли к выводу, что большинство из них не выживет. Причина — покупатели всё чаще выбирают совместимость с существующим ПО и инфраструктурой, а не производительность.
