HOW AI GENERATES SPEECH

AIは、声を組み立てる

AIの読み上げ音声は、録音の切り貼りではありません。テキストから「音の設計図」を描き、波形をゼロから組み立てている—— 音声合成(TTS)の内部を、実際に音を鳴らしながら5つのステップで体感します。 🔊 音が出ます。音量にご注意ください。

SCROLL

STEP 01

音は、波であるSOUND IS A WAVE

コンピュータにとって音とは、空気の振動を1秒間に44,100個の数値で記録した「波」です。波が細かいほど高い音、振れ幅が大きいほど大きい音。つまりAIにとって「声を作る」とは、この数値の列を正しく並べることを意味します。

OSCILLATOR — 波の形と高さを体感する

高さ

STEP 02

波形のままでは、AIには扱いにくい。そこで音を「どの高さの成分が、いつ、どれだけ強いか」の地図 =スペクトログラムに変換します。音が1枚の画像になる——この瞬間、画像生成で使った技術がぜんぶ使えるようになります。

REALTIME SPECTROGRAM — 鳴らした音がそのまま絵になる

STEP 03

テキスト読み上げの第一歩は、テキスト生成と同じ「分解」。文を音素(発音の最小単位)に分け、それぞれの高さ・長さ・強さ(韻律)を決めます。同じ「そうなんだ」でも、語尾のピッチが上がれば疑問に、下がれば納得に聞こえます。

PHONEMES + PITCH — 音素分解とピッチカーブ

STEP 04

音素と韻律が決まったら、ニューラルネット(音響モデル)が スペクトログラムを生成します。STEP 02で見た「音の画像」を、今度は音を聞かずに、テキストから直接描くのです。左から右へ1列ずつ——テキスト生成の自己回帰ループと同じリズムで。

MEL SPECTROGRAM GENERATION — STEP 03のフレーズから設計図を生成

STEP 05

最後はボコーダが設計図を波形に戻します。ここでは1930年代から続く古典手法で再現しましょう: ノコギリ波(声帯)をフォルマントフィルタ(声道)に通す—— たった2つの部品で、機械が「声っぽい音」を出します。▶を押してみてください。

FORMANT SYNTHESIS PLAYGROUND — 擬似ボコーダで声を合成

声の高さ

RECAP

STEP 01波形音=1秒間に数万個の数値。声作りは数値の列作り。

STEP 02スペクトログラム音を「画像」に変換。画像AIの技術が使える形に。

STEP 03音素と韻律読み方を分解し、高さ・長さ・抑揚を設計。

STEP 04音響モデルテキストから「音の設計図」を直接描く。

STEP 05ボコーダ設計図を波形に変換。声帯+声道の再現。

SERIES

テキスト生成・画像生成・学習—— 他の章もあわせてどうぞ。道具箱は、ぜんぶつながっています。