Нейросеть для транскрибации аудио в текст: что умеет и где ошибается

Нейросеть для транскрибации берёт аудио или видео и за несколько минут отдаёт текст со знаками препинания, абзацами, таймкодами и подписанными спикерами. На чистой записи с внятной речью ошибок будет на уровне пары процентов, а вот термины, фамилии, перебивания и шум — её слабые места. Ниже разбираю, как распознавание речи устроено в общих чертах, где нейросеть ошибается, как проверять результат и что делать с текстом после расшифровки, чтобы он стал читаемым.

Привет, это Писец — транскрибатор, искусственный интеллект и ИТ-пушистик. Про нейросети рассказываю изнутри, потому что сам из них состою 🤖

Как нейросеть превращает аудио в текст

Без формул и названий моделей — по шагам, как это происходит у любого современного транскрибатора:

1. Звук режется на короткие кусочки и переводится в числовое описание: какие частоты звучат в каждый момент. Так из «волны» получается то, что нейросеть вообще способна читать.
2. Акустическая часть угадывает звуки речи. Для каждого кусочка модель прикидывает, на какой звук или слог это похоже. Здесь рождается большинство ошибок на шуме: если микрофон далеко, сети буквально нечего слушать.
3. Языковая часть собирает слова. Из цепочки звуков выбирается самая вероятная последовательность слов — нейросеть опирается на то, как обычно говорят люди. Поэтому редкое слово она охотно заменяет похожим частым: «протоны встречной почки» — реальный результат одного из сервисов в нашем тесте на видео про коллайдер.
4. Постобработка. Отдельные модели расставляют знаки препинания, режут текст на абзацы, определяют, где сменился говорящий, и привязывают реплики к таймкодам. Это та самая разница между «сплошняком» и расшифровкой, которую можно читать.

У меня этот конвейер даёт около 2% ошибок в словах, деление до пяти спикеров, таймкоды и знаки препинания; часовой файл на платном тарифе обрабатывается примерно за 5 минут. Как разные сервисы справляются с одним и тем же видео, мы подробно сравнили в обзоре сервисов транскрибации.

ИИ-транскрибация: где нейросеть ошибается

Ошибки у всех транскрибаторов одного и того же типа — просто у кого-то их 2 на сотню слов, а у кого-то 18. Вот на чём спотыкается любая нейросеть:

• Термины и жаргон. Чем реже слово встречается в обычной речи, тем выше шанс, что сеть заменит его на похожее по звучанию. Страдают медицина, юриспруденция, ИТ и внутренний сленг компании. «Ропы», «митапы» и «лпр» я выучил, но у каждой команды свои словечки.
• Имена и фамилии. В нашем тесте один сервис превратил собеседника в «официанта Андрюшку Аполлонова», другой писал фамилии со строчной буквы, как нарицательные. Нейросеть не знает ваших коллег.
• Перебивания и одновременная речь. Когда двое говорят разом, модель слышит кашу и либо теряет одну реплику, либо склеивает обе в бессмысленное предложение. На созвонах это самая частая причина «дыр» в тексте.
• Шум, эхо и далёкий микрофон. Запись с телефона на столе в переговорке, кафе на фоне, Zoom с плохим интернетом — всё это режет точность сильнее, чем любой акцент.
• Границы предложений. Устная речь не содержит точек. Нейросеть ставит их по интонации и паузам, и иногда промахивается: «…да, когда он 300. Раз меня все предупредили…» — смысл уехал.
• Числа, даты, аббревиатуры. «Двадцать пять тысяч» может стать «25 000», «25 тысяч» или «двадцать пять, тысяч» в разных местах одного текста.
• Смесь языков. Английские названия продуктов внутри русской речи часто записываются «как слышится».

Хорошая новость: все эти ошибки предсказуемы, а значит, их легко искать.

Автоматическая расшифровка или ручная: в чём разница

Нейросеть и человек-расшифровщик решают разные задачи, и выбирать между ними стоит по тому, что вам нужно на выходе.

На практике выигрывает гибрид: нейросеть делает черновик за минуты, человек тратит на вычитку в несколько раз меньше времени, чем на расшифровку с нуля. Сколько именно времени и денег уходит в каждом варианте, мы считали в статье «Сколько времени занимает транскрибация: автоматическая против ручной», а живого фрилансера с онлайн-транскрибатором сравнивали отдельно.

Как проверять результат нейросети

Вычитывать всю расшифровку подряд — долго и бесполезно: ошибки прячутся в предсказуемых местах. Проверяйте точечно:

1. Сначала помогите нейросети. Укажите правильное число спикеров перед загрузкой, а если запись ещё впереди — попросите участников говорить по очереди и ближе к микрофону. Это дешевле любой правки.
2. Соберите глоссарий. Выпишите имена участников, названия продуктов, термины и аббревиатуры — и пройдитесь по тексту поиском по похожим написаниям. Нейросеть ошибается в одном и том же слове одинаково, так что найдёте все вхождения за раз.
3. Проверьте числа и даты. Суммы, сроки, проценты — переслушайте каждое по таймкоду. Ошибка в цифре стоит дороже всех остальных.
4. Посмотрите на смены спикеров. Там, где реплика выглядит оборванной или нелогичной, скорее всего, два человека говорили одновременно. Таймкод рядом с репликой ведёт прямо к нужной секунде записи.
5. Прочитайте начало и конец. Там обычно шумно: все подключаются, прощаются, шуршат — и ошибок больше всего.
6. Странные предложения — слушать. Если фраза грамматически правильная, но бессмысленная, это почти наверняка подмена редкого слова частым. Не додумывайте — переслушайте.

Что делать с текстом после расшифровки: нейросеть как редактор

Бывает, что созвонов много, а расшифровка нужна быстро: копирайтер пишет статьи с экспертами или компания обновляет регламенты и базу знаний. Даже хороший транскрибатор делает небольшие ошибки — не разбирает отдельное слово или ставит не там запятую. Исправить их и улучшить синтаксис можно второй нейросетью — любым чатом с большой языковой моделью.

Для начала — черновик. Как пользоваться Писцом, пошагово:

1. Откройте pisec.app.
2. Загрузите аудио- или видеофайл — первые 10 минут каждого файла бесплатно, без карты и регистрации.
3. Укажите количество собеседников, до пяти человек.
4. Укажите почту, на которую придёт ссылка на результат. Файл Word будет ждать в личном кабинете.

Вот для примера кусок настоящей живой расшифровки копирайтерского созвона:

Абзацы и знаки препинания на месте, но текст не идеален. Покажу, как допилить его до блеска.

Промпт для исправления знаков препинания и опечаток

Задача — сохранить текст расшифровки без изменений, добавить недостающие знаки препинания и убрать грамматические ошибки. Копируйте:

Ты профессиональный расшифровщик. У тебя идеальная орфография и пунктуация. Ты знаешь, как правильно форматировать текст транскрибации. Я вставлю текст, чтобы ты мог его исправить. Ты добавишь соответствующие заглавные буквы, точки, запятые, апострофы, вопросительные и восклицательные знаки. Поставь где это нужно и другие знаки препинания. Ты не будешь вносить никаких других изменений в текст. Ты не будешь менять слова. Ты будешь продолжать вводить текст, пока не исправишь орфографические и пунктуационные ошибки во всём тексте. Вот текст: «…»

Откройте любой чат с нейросетью, вставьте промпт, вместо «…» в кавычках — ваш текст, забирайте результат. Мы обработали фрагмент созвона, вот что получилось:

Текст изменился не сильно — Писец и без нейросети неплохо справился с запятыми. Теперь нужно исправить синтаксис, чтобы привести разговорную речь в читаемый вид.

Промпт для редактуры разговорной речи

Ты профессиональный редактор. Исправь этот текст. Исключи причастные и деепричастные обороты. Исключи страдательный залог. Сделай примеры более подробными. Используй неформальный разговорный стиль.

Получилось вполне неплохо. А если нужно ещё качественнее — это уже не транскрибация, а рерайт или свободный пересказ. Такую работу лучше делать вручную. Больше готовых промптов под разные задачи — в подборке промптов для расшифровки.

Важно! Если текст большой, нейросеть может обработать часть и остановиться. Не пишите «продолжить» — бот уже не помнит задание. Вместо этого:

• скопируйте последнюю фразу, которую обработал чат;
• найдите её в тексте расшифровки через Ctrl+F;
• повторите промпт и вставьте в кавычки оставшуюся часть текста.

Повторять до полной готовности 👨‍🍳 В среднем на расшифровку и нейропричёсывание часового созвона уходит до 15 минут: Писец переводит аудио в текст, вторая нейросеть приводит его в читаемый вид. Дополнительно можно прогнать текст через сервисы проверки грамотности вроде text.ru или «Орфограммки».

И одно правило, которое спасает от позора: редактирующей нейросети нельзя доверять факты. Она с удовольствием «исправит» незнакомую фамилию на знакомую и округлит сумму. Поэтому сначала сверяйте имена и числа по таймкодам, и только потом отдавайте текст на причёсывание.

Коротко

• Нейросеть для транскрибации работает в четыре шага: звук → звуки речи → слова → постобработка со знаками препинания, абзацами, спикерами и таймкодами.
• Ошибается она предсказуемо: термины, имена, перебивания, шум, границы предложений и числа. Искать нужно именно там, а не читать всё подряд.
• Ручная расшифровка точнее на терминах, но в разы дольше и дороже. Рабочая схема — нейросеть делает черновик, человек проверяет глоссарий, числа и смены спикеров.
• После расшифровки вторая нейросеть исправит пунктуацию и причешет разговорную речь двумя промптами из этой статьи. Факты перед этим сверяйте сами.
• Первые 10 минут каждого файла у Писца бесплатны — удобно проверить, как нейросеть справляется именно с вашими записями.