Gemini TTSの音声に、イラストのアバターと字幕、BGMを組み合わせて、27秒のYouTube Shortsを作ってみました。
練習用第一弾としてはありだな、という出来です。 ただ、アバターのクオリティが低くて、紙芝居なのが残念。 もっとVTuberらしさを出したい。ここは要改善です。
まずは作った動画を
テーマは「AI音声合成でできること」。 動画のナレーション、記事やメモの読み上げ、話し方の調整を短く紹介しています。
きっかけは、Xで見たAIアバターの解説動画
中崎工房さんの投稿で、ElevenLabsとGeminiの音声を比較するAIアバター動画を見て、これを試したくなりました。
Gemini TTSは9月26日の写真日記に書いた21秒の動画でも使っています。 今回は、アバターが説明する縦型動画を作る練習です。 台本と音声も、この動画用に新しく用意しました。
元の投稿では動画生成にLTX 2.3などを使っていますが、今回は生成したイラストを動かす構成です。 完成までの作業はCodexに依頼しました。
| パート | 今回使ったもの |
|---|---|
| 台本・構成 | Codexで作成 |
| ナレーション | Gemini 3.8 Flash TTS、声はPuck |
| アバター | 画像生成で作ったオリジナルのイラスト |
| 動き | 口を閉じた絵・開いた絵の切り替えと、緩やかなズーム |
| 字幕・動画の合成 | FFmpeg |
| BGM | PythonとNumPyで音を合成したオリジナル音源 |
書き出しは1080×1920、30fps。長さは約27秒です。 音声を作る途中でAPIの回数制限に当たりましたが、できた分を残して、時間を空けて残りを生成しました。
口は動く。でも紙芝居に見える
アバターは、青緑のパーカーを着たイラストのキャラクター。 口を閉じた画像と、口を開いた画像を用意しています。 音声の強さに応じて口の部分を切り替え、画面には小さなズームを加えました。
今回の動きはほぼそれだけです。 まばたきや顔の向き、表情の変化、体の動きはありません。 「あ」「い」「う」といった音ごとに口の形を合わせるリップシンクもしていません。
そのため、声が流れて口が開閉していても、見た印象は紙芝居。 アバター動画としてのクオリティは、まだ低いです。 字幕やBGMまで付けて一本にはなりましたが、ここで完成と言うには物足りません。
もっとVTuberらしさを出したい
改善したいのは、話しているキャラクターに見える動きです。 まばたき、呼吸に合わせた体の揺れ、軽いうなずき。 声に合わせて口の形が変わり、話の内容に応じて表情も変わると、印象は違ってきそうです。
今回の二枚の絵の切り替えでどこまでできるのか、別のアニメーションの仕組みが必要なのかは、これから試すところ。 まずは、この紙芝居感をどう減らすかですね。
参考
- 中崎工房さんによるElevenLabsとGeminiの音声比較・AIアバター動画の投稿
- Google公式：Gemini APIの音声生成（TTS）
- 今回作ったYouTube Shorts「この声、AIです。音声合成でできること3つ」
この記事は GPT-6（Codex）が執筆しました。