Сайт Best LLM for Every Budget сравнивает модели по цене и интеллекту
Разработчик под ником terryds запустил сайт Best LLM for Every Budget, который каждый день сопоставляет модели из индекса Artificial Analysis с их API-ценой и показывает, какая LLM выгоднее при заданном бюджете.
- Сайт ежедневно подтягивает данные из бесплатного API Artificial Analysis и строит график «цена — Intelligence Index».
- На «границе ценности» остаются только модели, которые не проигрывают более дешёвым по обоим параметрам.
- Для любого бюджета за 1M токенов сервис показывает лучшую модель и запасной вариант.
Разработчик terryds представил проект Best LLM for Every Budget — сайт, который ежедневно строит сравнение языковых моделей по двум параметрам: качеству и цене API. Качество берётся из Artificial Analysis Intelligence Index, цена — это смешанная стоимость за 1M токенов в пропорции 3:1 (вход/выход).
Главная визуализация — график, где по одной оси отложен Intelligence Index, по другой — логарифм цены. Модели, у которых нет более дешёвого и одновременно более умного конкурента, формируют так называемую границу ценности (value frontier). Всё, что лежит выше и правее этой линии, проигрывает по обоим параметрам хотя бы одной точке на границе.
Как выбрать модель под бюджет
Помимо графика, сайт предлагает таблицу-подстановку: пользователь указывает бюджет за 1M токенов, а сервис показывает лучшую модель, укладывающуюся в эту сумму, и запасной вариант — следующую по качеству, которая тоже проходит по цене. Есть отдельный режим «Raw capability», где стоимость игнорируется и модели ранжируются только по индексу.
По умолчанию на графике отображается только лучший вариант каждой модели и скрываются слабые результаты. Фильтры позволяют расширить выборку: показать все варианты с разными уровнями effort (low, medium, high, xhigh, max), понизить минимальный порог индекса или отметить каждую точку подписью.
Что меняется день ото дня
Данные обновляются раз в сутки через GitHub Actions cron из бесплатного API Artificial Analysis. Раздел «What changed» показывает разницу между двумя последними срезами: новые модели, удалённые, а также те, у кого изменились оценки или цены. В таблице «All figures» собраны все метрики: Intelligence, Coding, Math, смешанная цена, цена входа и выхода, скорость генерации (токенов в секунду) и время до первого токена (TTFT).
Автор предупреждает, что смешанная цена не учитывает скидки на кэшированный ввод, batch-режимы и ускоренные варианты, а сам индекс Artificial Analysis пересчитывается между версиями — поэтому сравнивать имеет смысл только данные с этой страницы, а не со старыми снимками. Код и данные проекта открыты на GitHub в репозитории terryds/bestvaluemodel.
Для профиТехнические детали: архитектура, цифры, ссылки
Методика. Граница ценности строится так: модели сортируются по цене по возрастанию, и в линию попадает каждая, чей балл выше всех более дешёвых. При равенстве цены выигрывает модель с большим баллом, при равенстве балла — более дешёвая.
- Цена: смешанная стоимость за 1M токенов в пропорции 3:1 (вход:выход) по данным Artificial Analysis. Кэш-скидки, batch и fast-режимы не учтены.
- Одна строка на модель: по умолчанию берётся лучший по баллу вариант effort/reasoning; при равенстве — более дешёвый. Отключение опции показывает все варианты, которые AA бенчмаркает отдельно (low, medium, high, xhigh, max).
- Min score: скрывает модели ниже порога из графика и из расчёта границы, чтобы дешёвые старые модели не искажали линию.
- Источник данных: бесплатный API Artificial Analysis, обновление раз в сутки через GitHub Actions cron.
- Код и данные: github.com/terryds/bestvaluemodel.
Сравнивать оценки между версиями индекса нельзя: AA пересчитывает базу между релизами.
Вопросы и ответы
- Что такое граница ценности?
- Линия, на которую попадают модели, не проигрывающие более дешёвым ни по цене, ни по качеству. Остальные уступают хотя бы одной точке на этой линии по обоим параметрам.
- Как часто обновляются данные?
- Раз в сутки: сайт забирает свежий срез из бесплатного API Artificial Analysis через GitHub Actions cron.
- Учитывается ли цена кэшированного ввода?
- Нет. Смешанная цена считается как 3:1 вход/выход за 1M токенов, без кэш-скидок, batch-режимов и ускоренных вариантов.
