Разработчик рассказал, как Whisper врёт в проде и как это ловить

Разработчик сервиса дубляжа speeek опубликовал на Хабре первую из трёх статей о том, как нейросеть переводит видео. Он пишет код один с 2022 года, когда OpenAI выложил Whisper. За 2026 год через конвейер прошло 9 203 задачи, и он ломается в тех же местах, что и в первый месяц.

Статья посвящена входу конвейера: как звук превращается в текст с таймкодами и спикерами. Это не туториал по Whisper, а разбор того, что с моделью происходит в проде, когда пользователь грузит запись вебинара с телефона.

Пять этапов и сорок мелочей

На вход принимаются mp4, mov, mp3, wav или ссылка на YouTube. С YouTube видео качается через yt-dlp в 720p, звук вытаскивается ffmpeg в mp3, а из видео удаляются все аудиодорожки. Одна из неожиданных проблем: у части файлов аудиодорожка короче видео на полсекунды или секунду. Если это не поправить, укладка перевода в конце съедет. Решение — дописать тишину.

Перед распознаванием звук разделяется на вокал и всё остальное через Demucs. Whisper на чистом вокале ошибается меньше, чем на вокале с музыкой. Фон сохраняется, чтобы переведённая речь ложилась на оригинальную подложку с музыкой и шумом зала.

Каскад моделей вместо одной

Распознавание идёт на своей ноде с одной A4000, whisperX с large-v3-turbo, выравниванием по словам и диаризацией pyannote. Если нода занята или упала, задача уходит на две модели Replicate, затем на Gladia. Казахский сразу отправляется в Gladia, потому что whisperX с ним плох.

Отдельная проблема — хинди. Шаг выравнивания whisperX не может выровнять хинди-сегменты и молча их выбрасывает. Из транскрипции пропадали куски по 12–15 секунд речи, при этом в логах не было ни одной ошибки. Автор теперь считает слова на входе и выходе каждого шага.

Три способа, которыми врёт Whisper

В продакшене галлюцинации выглядят конкретно. Первая ловушка — слово-монстр: «Иииииииииииииииииииииииииии» или «pre,pre,pre,pre,pre,pre,pre» на длинных паузах, музыке и аплодисментах. Правило простое: слово длиннее 50 символов удаляется целиком.

Вторая — зацикленная фраза вроде «I love I love I love I love I love». Ловится так: берутся первые 10 символов окна и считается, сколько раз они встречаются в окне из 130 символов. Пять и больше — галлюцинация, текст уходит на чистку в LLM. Если LLM не смогла нормализовать, сегмент не озвучивается вообще и помечается в редакторе красным треугольником.

Третья, «половинчатая» ловушка — огрызки вроде «A.», «Э.», «Да.». Всё, что короче трёх символов, выкидывается, как и сегменты без спикера: диаризация не назначает спикера на [Music] и [Applause].

В последних 300 задачах en→ru флаг «галлюцинация, не озвучивать» не сработал ни разу. Автор объясняет это тем, что LLM чинит петли раньше, чем срабатывает ловушка.

Сегменты Whisper не годятся для перевода

Whisper отдаёт сегменты, которые не совпадают с границами мыслей: полтора предложения, абзац, два слова. Граница сегмента — это граница окна декодера. Переводить и озвучивать такое нельзя, потому что у фразы должны быть свои start и длительность для укладки в тайминг. Поэтому сегменты Whisper выбрасываются все.