Технические аспекты синтеза речи: от физики звука до нейросетей

Введение: что такое синтез речи и зачем он нужен

Синтез речи — это процесс искусственного воспроизведения человеческой речи с помощью компьютерных систем. В широком смысле под синтезом понимают восстановление речевого сигнала по его параметрам, а в узком — формирование звучащей речи по печатному тексту. Такие системы называют Text-to-Speech (TTS).

Синтез речи применяется повсеместно: в голосовых помощниках (Siri, Алиса, Google Assistant), навигаторах, аудиогидах, электронных книгах, в устройствах для людей с ограниченными возможностями (озвучивание экрана, помощь слепым и немым), в автоматических объявлениях на транспорте, в робототехнике и даже в игрушках. Качество синтеза оценивают по двум главным критериям: естественность (насколько голос похож на человеческий) и разборчивость (насколько легко понять произнесённое).

Современные технологии позволяют добиться практически неотличимого от реальной речи звучания, однако за этим стоит сложная комбинация акустики, лингвистики, цифровой обработки сигналов и машинного обучения.

Физико-акустические основы: модель источника и фильтра

В основе любого синтеза речи лежит физическая модель речеобразования. Человеческий голосовой тракт можно представить как систему «источник — фильтр». Источником служат голосовые связки (для звонких звуков) или турбулентный шум (для глухих). Голосовые связки создают периодический сигнал с частотой основного тона (F0), а шум — апериодический. Фильтром выступает вокальный тракт — полость рта, носа, глотки, форма которых меняется при артикуляции.

Фильтр моделируется набором резонаторов — формант. Каждая форманта — это полосовой фильтр с определённой центральной частотой и шириной полосы. Гласные звуки характеризуются двумя-тремя основными формантами, согласные — более сложным спектром. Изменяя параметры фильтра во времени, можно имитировать переходы между звуками — коартикуляцию.

Просодические характеристики (интонация, ударение, ритм) управляются динамикой F0, амплитуды и длительности. Именно просодия придаёт речи естественность и эмоциональную окраску.

Классификация методов синтеза речи

Все методы синтеза речи можно разделить на несколько крупных групп, каждая из которых имеет свои физические и алгоритмические особенности.

• Формантный синтез (синтез по правилам) — воспроизводит речь путём управления параметрами формант (частоты, амплитуды, полосы). Возбуждение задаётся либо периодическим сигналом, либо шумом. Метод компактен, но часто даёт «роботоподобное» звучание из-за упрощённой модели переходных процессов.
• Конкатенативный синтез — использует заранее записанные фрагменты реальной речи (дифоны, трифоны, слоги, слова). Фрагменты склеиваются (конкатенируются) в нужной последовательности. Преимущество — высокая естественность, недостаток — артефакты на стыках и зависимость от объёма базы.
• Параметрический синтез — строит статистическую модель речевых параметров (спектральная огибающая, F0, длительности) с помощью HMM, GMM или нейронных сетей. На этапе синтеза параметры генерируются моделью и подаются на вокодер. Метод гибок, позволяет менять голос и интонацию, но может уступать в натуральности.
• Нейросетевой синтез — прямое моделирование звуковой волны с помощью глубоких нейронных сетей (WaveNet, WaveGlow, HiFi-GAN). Обеспечивает наилучшее качество, но требует больших вычислительных ресурсов и данных.

Также выделяют предметно-ориентированный синтез — компиляцию из заранее записанных фраз для узкой области (например, объявления на вокзале). Он прост и дёшев, но не пригоден для произвольного текста.

Конкатенативный синтез: устройство, достоинства и недостатки

Конкатенативный синтез — один из самых распространённых методов, особенно в коммерческих продуктах. Он основан на склеивании (конкатенации) предварительно записанных фрагментов естественной речи. Размер фрагментов может варьироваться от микросегментов (длительностью в несколько миллисекунд) до целых фраз.

Наиболее популярный вариант — unit selection synthesis (синтез с выбором единиц). В базе данных хранятся тысячи записей одного диктора, разбитых на звуковые единицы: фоны, дифоны, полуфоны, слоги. При синтезе алгоритм выбирает наилучшую последовательность единиц, минимизируя искажения на стыках. Выбор осуществляется с помощью дерева решений или других методов оптимизации. Примеры: Siri (Apple), Алиса (Яндекс) — оба используют записанные голоса, хотя и с элементами глубокого обучения.

Дифонный синтез — частный случай, где единицей является дифон (переход от одного звука к другому). База данных небольшая (например, для немецкого — около 800 дифонов), но качество ниже из-за ограниченной вариативности.

Достоинства конкатенативного синтеза:

• Высокая естественность, особенно при unit selection.
• Относительно простая реализация.

Недостатки:

• Артефакты на стыках (щелчки, изменение тембра, фазовые рассогласования).
• Зависимость от объёма и качества базы данных.
• Сложность управления просодией (интонацией, темпом) — при изменении контекста естественность падает.

Параметрический синтез: статистические модели и вокодеры

Параметрический синтез не использует готовые фрагменты речи, а строит вероятностную модель акустических параметров. На этапе обучения из речевого сигнала с помощью вокодера извлекаются параметры: спектральная огибающая (часто в виде MFCC или LPC), частота основного тона (F0), амплитуда, длительности. Затем обучается генеративная модель — скрытая марковская цепь (HMM), гауссова смесь (GMM) или нейронная сеть (DNN, RNN).

На этапе синтеза модель по лингвистическим признакам текста генерирует наиболее вероятные параметры, которые затем преобразуются в звуковую волну вокодером. Вокодер — это алгоритм, восстанавливающий сигнал по параметрам. Классические вокодеры: LPC-вокодер, STRAIGHT, WORLD. Современные нейросетевые вокодеры (WaveNet, WaveGlow) позволяют получать очень высокое качество.

Достоинства параметрического синтеза:

• Гибкость: можно менять голос, темп, эмоциональную окраску, не перезаписывая базу.
• Малый размер модели (по сравнению с конкатенативными базами).
• Возможность синтеза произвольного текста.

Недостатки:

• Качество может уступать конкатенативному, особенно при недостатке данных.
• Сложность точного моделирования переходных процессов и коартикуляции.
• Зависимость от качества вокодера.

Современные коммерческие системы (Google Assistant, Amazon Alexa, Facebook Portal) используют параметрический синтез на основе глубокого обучения.

Нейросетевой синтез: Tacotron, WaveNet и другие архитектуры

Нейросетевой синтез — наиболее современное и качественное направление. Вместо ручного выделения параметров нейронные сети обучаются напрямую преобразовывать текст в звуковую волну (или в промежуточное представление, например спектрограмму).

Tacotron (Google) — энкодер-декодер архитектура с механизмом внимания, которая преобразует последовательность фонем в спектрограмму (мел-спектрограмму). Tacotron 2 дополнительно использует WaveNet для синтеза волны. Модель обучается на парах «текст — аудио» и способна воспроизводить интонацию, ритм и даже эмоции.

WaveNet (DeepMind) — авторегрессионная нейронная сеть, которая генерирует звуковую волну по семплам. Каждый новый семпл предсказывается на основе предыдущих. WaveNet даёт очень высокое качество, но работает медленно (требует последовательной генерации). Для ускорения были разработаны параллельные версии (WaveGlow, MelGAN, WaveGrad).

Достоинства нейросетевого синтеза:

• Исключительная естественность, близкая к человеческой речи.
• Способность обучаться на больших корпусах и воспроизводить индивидуальные голоса.
• Возможность контроля стиля, эмоций, темпа.

Недостатки:

• Высокие вычислительные затраты (особенно на этапе обучения).
• Необходимость больших объёмов размеченных данных.
• Сложность отладки и интерпретации.

Тем не менее, нейросетевой синтез активно вытесняет классические методы в коммерческих продуктах.

Этапы синтеза речи: от текста к звуковой волне

Работа TTS-системы делится на два основных этапа: обработка текста (front-end) и генерация звука (back-end).

Front-end (обработка текста):

1. Нормализация текста — расшифровка сокращений, чисел, аббревиатур, дат, специальных символов. Например, «123» → «сто двадцать три».
2. Разбиение на предложения и слова — токенизация.
3. Морфологический анализ — определение частей речи, падежей, чисел.
4. Преобразование графем в фонемы (G2P) — транскрипция. Для русского языка это особенно сложно из-за неоднозначности (например, «что» произносится как [што]).
5. Просодическое прогнозирование — определение ударений, интонационных контуров, длительностей, пауз.

Back-end (генерация звука):

• Полученная последовательность фонем с просодическими метками подаётся на синтезатор (конкатенативный, параметрический или нейросетевой).
• Синтезатор генерирует акустический сигнал — либо напрямую, либо через промежуточное представление (спектрограмму).
• Вокодер (если используется) преобразует параметры в звуковую волну.

Качество конечного результата сильно зависит от точности каждого этапа. Ошибки в G2P или просодии приводят к неестественному звучанию.

Проблемы и артефакты синтеза речи

Несмотря на прогресс, синтез речи сталкивается с рядом проблем, которые снижают естественность и разборчивость.

Артефакты конкатенативного синтеза:

• Щелчки и трески — возникают из-за фазовых рассогласований на стыках фрагментов.
• Металлический тембр — следствие недостаточного моделирования высокочастотных составляющих.
• «Роботоподобное» звучание — результат грубой дискретизации параметров.

Проблемы параметрического синтеза:

• Смазывание согласных — чрезмерная сглаженность спектра.
• Искажение интонации — некорректное моделирование F0.
• Потеря естественности при изменении голоса или стиля.

Общие проблемы:

• Коартикуляция — взаимодействие соседних звуков. В естественной речи артикуляция одного звука зависит от соседних. В синтезе это сложно смоделировать точно.
• Просодия — даже при правильном произнесении фонем, неверная интонация или ритм делают речь неестественной.
• Мультиязычный синтез — для каждого языка нужны свои правила G2P, просодии и базы данных.
• Выразительность — передача эмоций (радость, грусть, удивление) остаётся сложной задачей.

Для решения этих проблем применяют комбинированные подходы: нейросетевые модели, которые обучаются на больших корпусах с разметкой просодии, и улучшенные вокодеры.

Оценка качества синтезированной речи

Качество синтеза речи оценивают по двум основным критериям: естественность (naturalness) и разборчивость (intelligibility).

Субъективные методы:

• MOS (Mean Opinion Score) — слушатели оценивают качество по шкале от 1 до 5. Среднее значение — MOS. Современные нейросетевые системы достигают MOS 4.5 и выше, приближаясь к естественной речи.
• ABX-тесты — слушателям предлагают сравнить два образца и выбрать, какой более естественный.

Объективные методы:

• WER (Word Error Rate) — процент ошибок при распознавании синтезированной речи автоматическим распознавателем. Чем ниже WER, тем выше разборчивость.
• MCD (Mel-Cepstral Distortion) — метрика, сравнивающая спектральные характеристики синтезированной и естественной речи.
• F0 RMSE — среднеквадратичная ошибка частоты основного тона.

Для практических задач важно сочетание высокой естественности и разборчивости. Например, для голосового помощника разборчивость критична, а для аудиокниги — естественность.

Перспективы развития синтеза речи

Современные исследования направлены на решение оставшихся проблем и расширение возможностей TTS.

• Индивидуальные голоса — создание синтезаторов, способных воспроизводить голос конкретного человека по небольшому образцу (few-shot voice cloning).
• Эмоциональный синтез — точное управление эмоциональной окраской (радость, грусть, гнев) с помощью изменения спектральных и просодических параметров.
• Мультимодальный синтез — объединение речи с мимикой и жестами (для аватаров и роботов-гуманоидов).
• Физически обоснованное моделирование — создание анатомически точных моделей вокального тракта для ещё более реалистичного звучания.
• Эффективность — снижение вычислительных затрат для работы на мобильных устройствах и в реальном времени.
• Мультиязычность — разработка универсальных моделей, способных синтезировать речь на многих языках без раздельного обучения.

Синтез речи продолжает развиваться, стирая грань между искусственным и естественным голосом.

Вопросы и ответы