ElevenLabs выпустила модель речи Eleven v4 с задержкой 150 мс

ElevenLabs представила Eleven v4 — новую модель синтеза речи, которая точнее следует режиссёрским указаниям и сохраняет голос на протяжении длинных записей. Одновременно вышла версия Turbo для голосовых агентов, которая начинает говорить за 150 миллисекунд. Обе модели уже доступны в ElevenAgents, ElevenCreative и через API.

Что нового в v4

Модель генерирует смех, шёпот и звуки вроде хлопающей двери надёжнее, чем предыдущая версия. Теги в сценарии позволяют задавать эмоции, паузы и звуковые эффекты для каждой реплики, а фонетическое написание — управлять произношением имён и технических терминов. По словам компании, настройки произношения теперь работают стабильнее.

Eleven v4 обрабатывает до 10 000 символов за запрос — это примерно десять минут аудио. Длинные произведения вроде аудиокниг разбиваются на сегменты, но темп и подача должны оставаться ровными на переходах. В диалогах модель учитывает контекст всей сцены, а не произносит каждую реплику отдельно.

Поддержка языков выросла с примерно 70 у v3 до более чем 90. Клонированные голоса должны говорить на других языках с естественным акцентом и не возвращаться со временем к исходному. Профессиональные клоны голоса снова работают — в v3 они не поддерживались, а для мгновенного клонирования хватит десяти секунд аудио.

Turbo для голосовых агентов

Компания отмечает, что разработчикам голосовых агентов раньше приходилось выбирать между скоростью и выразительностью, а v4 Turbo должна дать и то и другое. В тестах ElevenLabs Turbo начинает воспроизводить речь за 150 мс, Cartesia Sonic 3.6 — за 262 мс, а OpenAI GPT-4o mini TTS — за 814 мс. Turbo оптимизировали вместе с платформой ElevenAgents.

В рейтинге Provider Voice Arena от Artificial Analysis Eleven v4 обошла Cartesia Sonic 3.6 и Google Gemini 3.8 Flash TTS. На бенчмарке произношения модель набрала 91,7% против 85,6% у v3. В слепых тестах ElevenLabs около трёх четвертей слушателей предпочли v4 моделям Cartesia, Inworld и Google, а более выразительной её назвали в 65–81% сравнений в зависимости от конкурента.

Цены и доступность

Стандартная цена API — $80 за миллион символов для v4 и $40 для Turbo. До 12 октября действуют скидки: $22 и $11 соответственно. Пользователи тарифа Creator за $22 в месяц и выше могут две недели пользоваться v4 в ElevenCreative без доплаты, но с ограничением в двойной объём месячных кредитов. Для сравнения: Artificial Analysis указывает Sonic 3.6 за $49 за миллион символов, а Gemini 3.8 Flash TTS — за $16,49.

По умолчанию ElevenLabs хранит данные клиентов в США. Корпоративные клиенты могут размещать их в изолированных средах в ЕС, Индии или Сингапуре, хотя часть обработки может идти за пределами выбранного региона. В ЕС можно оставить обработку API внутри региона, включив режим без сохранения данных.

Качество клонов делает v4 полезной для дубляжа: компания продвигает возможность использовать голос актёра на всех поддерживаемых языках. ElevenLabs лицензирует голоса у их владельцев. Актёры могут предложить обученный клон своего голоса в библиотеке ElevenLabs и зарабатывать, когда им пользуются платные подписчики. Ранее компания также открыла доступ к голосам знаменитостей, например Майкла Кейна, через отдельный маркетплейс.

В середине сентября ElevenLabs выпустила модель Music 2.5 для создания более плотных и естественно звучащих песен.