Face Robot のリップシンク ツールでは、オーディオ ファイルを使用してフェイシャル アニメーションをよりリアルに仕上げることができます。Face Robot では、音声認識技術により、音素の標準セット(台詞の音声)が認識され、オーディオ ファイル内の音素の位置が自動的に判断されます。各音素は、対応する口形素ポーズ(音素を発音するときの口の形)を使って、顔の口のアニメーション コントロールにマップされます。口形素ポーズによって、スピーチ アクション クリップ経由でフェイシャル アニメーションが動作します。
Face Robot では、リップシンク アニメーションの作成プロセスを容易に実行することができます。大量のリップシンク アニメーションが要求される場合でも、よい品質ですばやく作成することができます。アニメーションが完成したら、リップシンクのタイミングを細かく調整し、キャラクタの表情が台詞の内容に合ったものになるよう、時間を費やすことができます。
通常のリップシンク プロセスは、次の基本の手順に従います。ここでは、Face Robot でリップシンクをすばやく、簡単に作成する方法を説明します。
Face Robot では、これは、オーディオ ファイルとテキスト ファイルを組み合わせたスピーチ クリップを作成するときに自動的に処理されます。
キャラクタの顔をアニメートして、それを台詞の音素と同期させます。
Face Robot には、各音素に対応する顔のポーズ(口形素)のライブラリが備わっています。スピーチ クリップを作成すると、口形素と音素が自動的にマップされます。
キャラクタの口以外の顔の部分とボディをアニメートして、台詞に合わせて感情を表現します。
Face Robot で Animation Mixer を使用して、リップシンク アニメーションをモーションキャプチャやキーフレームなどの頭や顔の別のアニメーションに組み合わせることができます。
基本的なリップシンク アニメーションを作成したら、ここからがいよいよ本番です。
単語または各音素のタイミングが最適になるように調整します。オーディオ解析が適切でない場合は、音素や単語を変更または追加できます。
音素に割り当てられた個々の口形素を適切な口の形になるように調整したり、カスタムの口形素のバリエーションを作成することができます。
ミキサを使用して、顔全体に適用されているモーションキャプチャやキーフレーム アニメーションにリップシンク アニメーションを組み合わせることができます。
必要なリップ シンクの品質レベルと詳細は、次の 2 つの条件によって異なります。
思い通りの品質に仕上がらない場合は、作成プロセスが自動化されているので、台詞の多くのセグメントを速く進めることができます。場合によっては、リップシンク アニメーションを作成するだけで、そのまま使える場合もあります。
品質が重要な場合は、唇の動きと音声のタイミングを合わせ、各口形素の顔の表情を調整し、唇と舌と顎の動きをブレンドしてクローズアップの場合でも適切に仕上がるツールを使用します。
