モーション キャプチャのプロセス

 
 
 

人の顔のキャプチャに便利なランドマークの数は限られています。ランドマークの間の部分は、複雑ではあっても、ランドマーク ポイントの動きに反応しているのみです。Face Robot が特にモーション キャプチャ アニメーションに便利なのは、必要な顔のキャプチャ マーカーの数が少ない(最大 32)にもかかわらず、ハイクオリティの結果が得られるためです。

モーション キャプチャ セッションを実行しているときに、アクターの顔の重要な部分にマーカーを配置するだけです。次に Face Robot で軟部組織を調整し、キャプチャした動きに反応して正確に顔が動くようにします。微妙な動きや説得力のあるアニメーションが実現し、キャプチャ セッション後にはすべてのファセットがコントロールできるようになります。

モーション キャプチャ ワークフローの概要

Face Robot でモーション キャプチャを操作する場合の、モーション キャプチャ データの取得から Face Robot の編集までの概要を示します。

  1. モーション キャプチャ マーカーをアクターの顔に配置します。

    Face Robot はアニメーション コントロール セットと呼ばれる 32 のコントロール ポイントによって操作されます。これらのコントロール ポイントは直接モーション キャプチャ データによって処理されるため、モーション キャプチャ マーカーの配置は、アニメーション コントロール セットの位置に密接に関連しています。

    次の図に従ってアクターの顔にマーカーを配置すると、キャプチャするモーション キャプチャ データが Face Robot で作成する頭のアニメーション コントロールと完全に一致します。

    Face Robot にマッピングするマーカーに適切な命名規則に従って名前を付けてください(「アニメーション コントロール セット」を参照)。

    注:額のマーカーはアクターが装着したリジッド ヘッド キャップに配置する必要があります。
  2. 必要なモーション キャプチャの表情を記録します。

    ベース、キー、極端な表情、動きの範囲、標準の表情、リップ シンクの口形素(ビジュアルな音素)といった、重要なポーズは必ず記録してください。

    キャプチャする必要のある表情は、そのプロジェクトで必要とされるパフォーマンスによって異なります。ただし、Face Robot で頭の調整を行うには、少なくとも次のものをキャプチャする必要があります。

    • ベースまたはゼロポーズ。3D スキャンのレスト ポーズに対応する顔の表情をキャプチャする必要があります。アクターの顔は目を開き、口を閉じて、無表情にする必要があります。これにより、再ターゲットが簡単になります。キャラクタ アニメーションで T ポーズを使用して既定の身体のポーズを設定するのと同じです。

    • 動作範囲。動作範囲は、笑顔から絶叫、しかめ面、冷笑まで、顔のデフォーメーションの最大範囲を動かす必要があります。

    • キー ポーズ。3D スキャンされた頭の場合は、キー ポーズもキャプチャしておくと便利です。そうすると、モーション キャプチャ データを顔のモデルに簡単に合わせることができます。これは動作範囲の一部としても、別個にでも実行できます。

  3. データをクリーン アップおよびフィルタリングして、C3D データとして保存します。このフォーマットは、顔のキャプチャで主に採用されている、標準的なオプティカル マーカーベースのファイル フォーマットです。

  4. モーション キャプチャ データはキャプチャ セッションごとに別のフォルダに整理します。

  5. Face Robot で、モーション キャプチャ セッションで取得した顔のモーション キャプチャ データを準備します。ゼロ(ベース)ポーズ C3D ファイルを Face Robot にロードし、名前と顔のマップファイルを作成します。詳細については、「リターゲット用のモーション キャプチャ データを準備する」を参照してください。

    終了したら、モーション キャプチャ データは Face Robot でいつでも、どのキャラクタにでも使用できます。

  6. スタティック ポーズを含む、モーション キャプチャ データを Face Robot で顔のアニメーション コントロールに適用します(「モーション キャプチャ データを適用する」を参照)。

  7. モーション キャプチャ データを調整およびキャリブレーションして、Face Robot で顔のアニメーション コントロールに再ターゲットします。モーション キャプチャ データの上のアニメーション コントロールにオフセットを設定し、結果をプロットされた F カーブに焼き付けます。

    モーション キャプチャ データのキャリブレーションを実行する」、「リターゲットされたモーションキャプチャ データの調整」、「モーションキャプチャ データにオフセットを追加する」、「モーション キャプチャ データおよびキーフレーム データをプロットする(焼き付ける)」を参照してください。

Face Robot のモーション キャプチャ実行に関するヒント

  • 固定マーカーの配置は重要です。鼻背マーカーは、鼻に「しわを寄せる」などの顔の表情に応じた動きが最小になるように配置する必要があります。同様に、左右の額のマーカーは眉の動きに応じた動きが最小になるように配置する必要があります。

  • 肩を動かさないようにします。アニメーション コントロールで首の腱を動かす 2 つのモーション キャプチャ マーカーは、アクターの腕が頭より高く上がったときなど、肩の動きにも影響を受けます。理想としては、アクターは身体が動かないような姿勢で椅子に座り、頭の動きや顔の表情で感情を表わすようにします。

  • 1 人のアクターに対して、1 つのマーカー セットを使用します。同じアクターおよびマーカーを使用した C3D ファイルは、すべて 1 つのセッションで保存します。そうすると、データを再ターゲットするときに、1 つの名前マップと 1 つの顔マップを作成するだけで、そのセッションで取得したすべての C3D ファイルに適用できます。

  • モーション キャプチャ マーカーを使用して顔をスキャンします。C3D ファイルを Face Robot にロードして名前マップを作成するときに、どのマーカーが何なのかをわかるようにするために、参照用のマーカーを使用してアクターをスキャンする必要があります。

  • 処理を高速化するためには、[F6]キーを押して、[顔のトグル](Toggle Face)を選択します。作業対象の参照ビデオのフレームにすばやくスクラブして、もう一度[顔のトグル](Toggle Face)をクリックします。

  • プレビューを表示するには、ビューポート上部のカメラ アイコンをクリックして[キャプチャ開始](Start Capture)を選択します。これにより、ビューポートに表示されているビュー モードが何であっても、フリップブック(プレイブラスト)が作成されます。

モーション キャプチャを調整する

  • [Act(アクト)]パネルの[ツール]タブから[調整](Adjust)を選択すると、各モーション キャプチャ マーカーから取得するモーションの量をコントロールできます。

  • 固定されたモーションで[頭のコントロール](Head Controls) [回転を有効化](Enable Rotation)オプションが選択されていないことを確認します。

詳細については、「リターゲットされたモーションキャプチャ データの調整」を参照してください。

頭が動かない場合

  • 頭が動くはずなのに動いていない場合は、[調整]プロパティ ページで頭の移動および回転が既定で無効になっていることが考えられます。これらをアクティブにして、移動のスケールを 1 に設定すると、頭が完全に動くようになります。詳細については、「リターゲットされたモーションキャプチャ データの調整」を参照してください。

  • それでも頭が動かない場合は、使用しているモーション キャプチャ データが固定されていて、頭の移動および回転がモーション キャプチャ クリップからフィルタリングされている可能性があります。頭を動かす場合は、固定されていないバージョンを使用してください。

  • 取得したモーション キャプチャで頭の動きがほとんどないという可能性もあります。オリジナルのモーション キャプチャ クリップを確認してください。

モーション キャプチャ データのカーブを作成する

  • モーション キャプチャには目に見えるキーや F カーブがありません。モーション キャプチャは、F カーブに焼き付ける(プロットする)まで、ライブ リターゲット モードになっているためです。そのため、仕上げを行う前に、まずモーションキャプチャ データを調整します。

  • モーション キャプチャ データをプロットすると、その F カーブに多くのキー(一般的には 1 フレームに 1 つのキー)が含まれている場合がよくあります。高密度 F カーブは、少数のキーを変更する場合でも、その他の多くのキーを調整してカーブの形状全体を保つ必要があるため、編集が困難です。

詳細については、「モーション キャプチャ データおよびキーフレーム データをプロットする(焼き付ける)」を参照してください。

顎の確認

スキンを周囲にスライディングさせ、マーカーに影響を与える顎の動きは、キャプチャするよい方法がありません。顎のコントロールを調整して、歯が衝突しないように補正する必要があります。これは顎のコントロールの移動にキーを設定することによって簡単に実行できます。いずれかの時点でキー設定をニュートラル ポーズに戻してください。ビデオを参照して、極端なポーズやその他の場所で、歯が衝突している可能性のある箇所を確認します。

口のシェイプの微調整

リップ シンクで最も重要な部分はキャプチャできないため、作業時間の大半がこれに対応することに費やされます。唇の内側のシェイプ、口角にできる脂肪のふくらみ、肌の張り付きなどによって、リップ シンクのリアリティが左右されます。最適な方法は、局所化したシェイプ アニメーションを使用して修正をモデル化することです。