Автоматическая расшифровка видео: как работает и где ошибается

Автоматическая расшифровка видео — это когда нейросеть слушает звуковую дорожку ролика и за минуты превращает речь в текст. Картинку она не смотрит: слайды, титры и жесты для неё не существуют. Поэтому качество текста зависит не от того, насколько красивое видео, а от того, насколько чисто в нём звучит голос.

Говорю как лицо заинтересованное: я Писец, и расшифровка — моя основная работа. Идеальной автоматической расшифровки не бывает ни у меня, ни у кого-то ещё. Бывает расшифровка, в которой ошибки лежат в предсказуемых местах, и вы знаете, куда смотреть.

Ниже разберу, как устроено распознавание речи и почему видео даётся ему тяжелее, чем запись на диктофон. Дальше — карта мест, где ИИ спотыкается: музыка, перебивания, акценты, фамилии, числа, тишина и толпа говорящих. Каждый пункт подкреплю исследованиями, а не ощущениями. В конце — как подготовить ролик к загрузке и как вычитать результат, не пересматривая всё видео заново.

Общие слабые места ИИ-транскрибации я уже описывал в статье про нейросеть для транскрибации. Здесь — только про видео и только с цифрами.

Как работает автоматическая расшифровка видео?

Сервис достаёт из видео звуковую дорожку, режет её на короткие отрезки и прогоняет через нейросеть, обученную на огромном архиве речи. Модель подбирает самые вероятные слова, а следующие шаги расставляют знаки препинания, привязывают фразы ко времени и отмечают, где сменился говорящий. На выходе — текст с таймкодами.

Масштаб обучения у современных моделей впечатляет. Whisper от OpenAI, например, обучали на 680 тысячах часов размеченной речи, и по точности и устойчивости он, по словам авторов, приближается к человеку. Но ключевое слово здесь — «вероятные». Модель не знает, что сказал спикер. Она выбирает слово, которое чаще всего звучит именно так. Отсюда растут почти все ошибки, о которых ниже.

Есть и шаг, о котором редко вспоминают, — обратная нормализация текста. Модель слышит «сто двадцать три», а в текст пишет «123». В документации NVIDIA это описано как отдельный этап постобработки после распознавания. Запомните его: к числам мы ещё вернёмся.

Из видео звук вытаскивать не нужно. Писец расшифровывает видео в текст из MP4, MKV, MOV, AVI, FLV и WMV напрямую, а ролик с YouTube, Яндекс Диска или Google Диска можно расшифровать по ссылке, без скачивания.

Почему ИИ ошибается в видео чаще, чем на диктофонной записи?

Потому что в видео звук обычно второстепенный. Камера или телефон стоят в паре метров от говорящего, под голос кладут музыку, а площадки и программы записи пережимают дорожку. Каждый из этих факторов сам по себе снижает точность распознавания, а в обычном ролике они ещё и складываются.

Расстояние до микрофона. Самый наглядный пример есть на русском языке. Сбер собрал датасет Golos и отдельно записал фразы на расстоянии 1, 3 и 5 метров от устройства. На близких записях модель ошибалась в 3,3 % слов, на далёких — в 11,5 %. Те же фразы, та же модель, а ошибок в три с лишним раза больше — только из-за расстояния.

Музыка и шум. Microsoft в документации к своему сервису распознавания прямо выделяет субтитры к видео в отдельный сценарий. Качество там «зависит от типа видео», а ошибка может доходить до 50 % слов. Главные причины, по данным Microsoft, — музыка, шумы и качество микрофона.

Сжатие. Тут новости скорее хорошие. В исследовании Google MP3 с битрейтом 64 кбит/с не ухудшил распознавание вовсе: 10,5 % ошибок, как и без сжатия. А вот на 23 кбит/с ошибок стало 13,6 %. Обычный битрейт видео не страшен. Но если запись пережимали несколько раз, прежде чем она попала к вам, лучше найти оригинал.

Карта ошибок: где спотыкается распознавание речи в видео

Ниже — семь мест, где автоматическая расшифровка видео ошибается чаще всего. У каждого свой характер ошибок, поэтому и проверять их нужно по-разному.

Музыка под голосом

Фоновая музыка — враг хуже ровного шума: она меняется, в ней есть ритм и иногда голос. В эксперименте Университета Шеффилда к чистой речи добавили инструментальную музыку, и доля ошибок выросла с 10,1 % до 26,4 %. Страдают заставки, влоги с подложкой и интервью на фоне кафе.

Перебивания и спор

Когда двое говорят одновременно, модель слышит кашу. Исследователи из SRI показали, что наложения речи часто встречаются и на встречах, и в телефонных разговорах. И именно в этих местах распознавание заметно проседает. Не случайно самый трудный научный тест для распознавания, CHiME-6, построен на живом разговоре за ужином, записанном издалека.

Акценты и непривычное произношение

Модель лучше понимает тех, чьей речи было больше в обучающих данных. Стэнфордское исследование пяти коммерческих систем распознавания показало среднюю ошибку 35 % у темнокожих американцев и 19 % у белых. Авторы связывают разрыв как раз с составом обучающих записей. В русских видео то же касается гостей с сильным акцентом и быстрой невнятной речи.

Фамилии, бренды и термины

Редкое слово проигрывает частому, похожему по звучанию. Google в документации прямо называет имена собственные и узкие термины словами, которые модель узнаёт хуже. Фамилия гостя подкаста, название вашего продукта, профессиональный жаргон — первые кандидаты на замену. Опасность в том, что подмена выглядит грамотно и глаз по ней не спотыкается.

Числа, даты и суммы

Помните обратную нормализацию? Ошибка может случиться и на ней. В отчётах Microsoft о точности ошибки нормализации считаются отдельной категорией, рядом с пунктуацией и регистром. На практике это «двадцать пять тысяч», записанное тремя разными способами в одном тексте, или год, слепленный с соседним числом.

Тишина и выдуманные фразы

Самый коварный тип ошибки — текст, которого в видео не было. Исследователи из Корнелла прогнали через Whisper больше 13 тысяч записей и обнаружили, что примерно в 1 % расшифровок появлялись целые выдуманные фразы. Чаще это случалось там, где в речи много долгих пауз. Исследование касается версии модели 2023 года, но вывод для видео полезный: длинная заставка или беззвучная демонстрация экрана — места, где стоит присмотреться к тексту.

Больше пяти говорящих

Писец подписывает до 5 спикеров, и разделение работает даже на бесплатном тарифе. Если в видео говорят шестеро и больше — круглый стол, панель на конференции, семейное застолье, — текст распознается, но подписи «кто что сказал» могут путаться. В таких записях проверяйте не слова, а смены говорящих.

Сколько ошибок в автоматической расшифровке — это нормально?

Точность распознавания считают по WER — доле слов, которые модель заменила, пропустила или добавила лишнего. Microsoft считает 5–10 % ошибок хорошим качеством, 20 % — приемлемым, а 30 % и больше — плохим. На чистом голосе у микрофона хорошие модели держатся ниже 5 %, на шумном видео уходят выше.

Чтобы почувствовать масштаб, вот пример. Если в ролике 1 000 слов, то 5 % ошибок — это 50 мест на правку, а 20 % — уже 200. Разница между «пробежать глазами» и «переписать половину».

Полезнее общей цифры то, какие именно ошибки преобладают. В документации Microsoft есть простая диагностика по типам ошибок:

• Много пропусков — слабый сигнал. Голос записан тихо или издалека, микрофон нужно ставить ближе.
• Много лишних слов — шум или чужая речь на фоне. Модель расшифровала то, что говорить не собирались.
• Много замен — узкая лексика. Модели не хватило знакомства с вашими терминами.

Посмотрите на свою расшифровку под этим углом, и станет понятно, что менять в следующей записи: место, микрофон или подготовку списка терминов.

Как подготовить видео к расшифровке, чтобы ошибок было меньше?

Главное делается ещё до записи: микрофон ближе к говорящему, без музыки под голосом, по одному человеку за раз. Перед загрузкой не прогоняйте звук через шумоподавление и не пережимайте файл — отдайте исходник. Длинную беззвучную заставку лучше обрезать, а список имён и терминов — составить заранее.

До записи. Google в рекомендациях к своему распознаванию речи советует ставить микрофон как можно ближе к говорящему, особенно если вокруг шумно, и избегать перегруза звука. Петличка или телефон рядом с человеком дадут больше, чем дорогая камера в углу комнаты. Попросите участников не говорить хором и представиться в начале — так потом проще сопоставить «Спикер 1» с живым человеком.

Перед загрузкой. Тут интуиция подводит. Хочется «почистить» звук, но Google в той же документации пишет, что шумоподавление и автоматическая регулировка громкости обычно снижают точность распознавания: модель обучена на шумной речи и лучше справляется с оригиналом. Не конвертируйте файл в лёгкий MP3 с низким битрейтом — помните про 23 кбит/с из исследования выше.

При загрузке. Отдавайте видео как есть: Писец принимает файлы до 6 часов и до 4 ГБ. Если ролик длиннее — разрежьте на части. Если он уже лежит на YouTube, проще вставить ссылку, чем скачивать файл; пошагово это разобрано в инструкции про видео с YouTube в текст.

Глоссарий. Выпишите на листок имена участников, названия продуктов и термины. Он понадобится при вычитке, и на его составление уйдёт пара минут.

Как вычитать автоматическую расшифровку видео по таймкодам?

Не читайте текст подряд. Сначала пройдитесь поиском по списку имён и терминов, потом отметьте места риска: числа, фразы после музыки и пауз, смены говорящих, оборванные реплики. Каждое такое место откройте в плеере по таймкоду и переслушайте несколько секунд. Остальной текст достаточно пробежать глазами.

Я делю вычитку на три прохода, и каждый ловит свой тип ошибок.

Проход 1. Поиск по глоссарию. Откройте расшифровку в Word и ищите каждое слово из списка через «Найти и заменить». Модель ошибается в одном слове одинаково по всему тексту. Нашли одно неверное написание фамилии — замените все разом.

Проход 2. Маркеры риска. Пробегите текст и отметьте:

• все числа, даты, суммы и проценты;
• первую минуту и места сразу после заставок и музыкальных вставок;
• короткие обрывки на стыке двух говорящих — признак перебивания;
• гладкие, но бессмысленные фразы — признак подмены редкого слова;
• текст в местах, где в видео была пауза или беззвучная демонстрация экрана.

Проход 3. Слушать по таймкоду. У каждой отмеченной фразы есть время. В VLC его можно ввести через «Воспроизведение → Перейти к определённому времени», на YouTube — перемотать ползунком. Слушайте пять-десять секунд вокруг метки, не больше. Если не разбираете слово и сами, честно пометьте его как неразборчивое, а не угадывайте вслед за нейросетью.

Когда слова выверены, переименуйте спикеров: замените «Спикер 1» на имя через ту же функцию поиска, проверив сначала пару первых смен. А если текст нужно ещё и причесать — убрать «ну», «как бы» и повторы, — это удобно делать нейросетью; готовые промпты для обработки расшифровки у меня уже собраны.

Когда автоматической расшифровки мало

Автоматика закрывает большинство задач: найти цитату, сделать статью из выступления, сохранить текст лекции. Но есть случаи, когда без внимательного человека не обойтись.

Первый — когда каждое слово имеет вес: запись для суда, показания, спорные договорённости. Здесь расшифровку нужно сверить с видео целиком, а не выборочно. Второй — видео, где говорят больше пяти человек и постоянно перебивают друг друга: текст будет, а подписи придётся расставлять руками. Третий — запись, где вы сами с трудом разбираете слова. Если человек не слышит фразу, нейросеть её тоже не услышит, а может и сочинить.

Лучшее лекарство от всех трёх случаев — хорошая запись. Если видео — это созвон, посмотрите, как записать встречу так, чтобы потом не пришлось её спасать.

Что в итоге

Автоматическая расшифровка видео сильна ровно настолько, насколько чист звук. Расстояние до микрофона, музыка под голосом и перебивания портят текст сильнее, чем любые настройки сервиса. Поэтому главное улучшение делается до записи, а не после.

Ошибки ИИ предсказуемы. Фамилии и термины, числа, места после пауз и заставок, смены говорящих — вот где они живут. Зная эту карту, вы вычитываете не весь текст, а пару десятков отмеченных мест.

И не помогайте модели лишний раз. Шумоподавление и сильное сжатие перед загрузкой скорее навредят: отдавайте исходник, а силы тратьте на глоссарий и проверку по таймкодам.

Часто задаваемые вопросы

Можно ли использовать автоматическую расшифровку видео без проверки?

Для поиска цитат и черновика статьи — да, мелкие ошибки там не критичны. Для текста, который пойдёт в публикацию, договор или суд, проверка нужна. Вычитывайте выборочно: имена, числа и места, где говорили одновременно.

Почему в расшифровке появилась фраза, которой не было в видео?

Это так называемые галлюцинации модели распознавания. Исследование Whisper показало, что они чаще возникают на длинных паузах и тишине. Переслушайте это место по таймкоду и удалите лишний текст; в следующий раз обрежьте долгие беззвучные куски перед загрузкой.

Стоит ли чистить звук от шума перед расшифровкой?

Обычно нет. Google в рекомендациях к распознаванию речи пишет, что шумоподавление и автоматическая регулировка громкости чаще снижают точность, чем повышают. Лучше загрузить оригинал, а шум побеждать на этапе записи — микрофоном ближе к говорящему.

Сколько говорящих Писец различает в одном видео?

До пяти спикеров, и разделение работает даже на бесплатном тарифе. Если в видео говорят шесть человек и больше, текст распознается, но подписи «кто что сказал» могут путаться. В таких записях проверяйте смены говорящих по таймкодам.

Распознаёт ли ИИ речь, если в видео играет музыка?

Распознаёт, но с ошибками. В одном из экспериментов фоновая музыка увеличила долю ошибок с 10 % до 26 %. Если вы автор ролика, загрузите версию без музыкальной подложки — разница будет заметна сразу.

Возьмите видео, которое давно ждёт расшифровки, и проверьте эту статью на практике. Загрузите его в Писец — первые 10 минут каждого файла бесплатно, — а потом пройдитесь по тексту тремя проходами по таймкодам. Так у вас будет текст, которому можно доверять, без пересмотра всего ролика.