AI Faceでモーションキャプチャを学ぼう

AI Faceでモーションキャプチャを学ぼう

はじめに、Air Faceというマーカーレスの顔のモーションキャプチャツールのチュートリアルへようこそ。このツールのシステム要件は、Windowsオペレーティングシステム、30fpsのビデオ録画サポートを備えたコンピュータに接続されたウェブカメラ、Blenderソフトウェア、3Dキャラクターです。このツールは2つのプログラムで構成されており、Air FaceソフトウェアとFace Blenderボタンがあります。Air Faceソフトウェアは顔のトラッキングとアニメーションデータの抽出を行い、アドオンファイルはこれらのアニメーションをキャラクターに適用します。キャラクターには必要な形状キーとボーンが必要ですが、必須ではありません。また、目はボーンでリグすることも、形状キーを使用することもできます。

Air Faceソフトウェアの使い方

まず、左下のコーナーから使用するカメラを選択します。システムが複数のカメラデバイスに接続されている場合は、選択する必要があります。ソフトウェアはあなたの頭部と目の動きを追跡し始めます。右上のコーナーにあるスムーズネススライダーを使用して、出力のノイズを減らし、デフォルトの回転値をシフトすることができます。次に、顔の表情を追跡するために、まずは顔のニュートラルな姿勢をキャプチャする必要があります。顔をニュートラルにし、頭をまっすぐに保ち、[ニュートラル]ボタンをクリックします。次の3秒間は同じポーズを保ちます（ウィンドウの上部にタイマーが表示されます）。ニュートラルボタンを再度使用してニュートラルポーズを更新することもできます。ニュートラルポーズがキャプチャされたら、各ニュートラルポーズをキャプチャする必要があります。表情を作り、[C]ボタンをクリックするだけです。各極端なポーズをリセットする場合は[R]ボタンを使用できますが、すべての極端なポーズをキャプチャする必要はありません。しかし、キャプチャする極端なポーズは、最終的な出力でのみ追跡されます。ノイズを減らすために、ここでもスムーズネススライダーを使用することができます。ステータスパネルには、出力の強度を調整するためのスライダーがあります。これらのスライダーは、最終的な出力に対してのみ乗算係数として機能します。以上で顔のキャリブレーションが完了しました。これらの設定を保存して将来に使用することもできます。プロファイルの名前を入力し、保存ボタンをクリックします。選択プロファイルのドロップダウンから保存したプロファイルを選択することができます。

これらの設定が完了したら、顔のアニメーションデータを記録するか選択できます。最終的なアニメーションに頭部と目のアニメーションのみを反映させたい場合は、顔のキャリブレーションは必要ありません。アニメーションを記録する方法は2つ用意されています。まずはソフトウェア自体でデータを記録し、それをBlenderにリターゲティングする方法です。2つ目の方法は、データを直接Blenderにストリーミングして記録する方法です。2つ目の方法は実験的であり、Blenderがクラッシュすることがあります。まずは、ソフトウェア自体でアニメーションの記録方法を理解しましょう。データファイルを保存する場所を指定し、与えられたボタンを使用してファイルエクスプローラーを開き、フォルダの場所をコピーして入力フィールドに貼り付けます。次に、データファイルの名前を入力し、レコードボタンを押してアニメーションの記録を開始します。記録が完了したら、同じボタンを使用して記録を停止します。次に、Blenderを開き、「AI Face」アドオンがインストールされていない場合は、[編集]メニューの[設定]を選択してからインストールします。以前のバージョンのAI Faceアドオンがインストールされている場合は、まずアンインストールしてください。次に、[アドオン]を有効にするために、[アドオン]の中から提供されるPythonファイルを選択し、それに対応するチェックボックスをオンにします。「AI Face」パネルが右のサイドバーに表示されます。そして、先ほど生成したデータファイルを選択し、もし形状キーをアニメートしないで頭部と目のみをアニメートする場合は、メッシュ名を選択せずにそのままにしておきます。そして、キャラクターのアーマチュアを選択します。また、目にボーンを使用する場合は、ボーンを眼球用として使用するために、右目ボーン名と左目ボーン名を入力します。それぞれのボーンの回転軸を適切に設定し、ネックが下を向く場合は「Down」を選択し、回転値がプラス15の場合は「Plus X」を選択します。他のボーンについても同様です。すべての軸が正しく設定されたら、アニメーションの割り当てボタンをクリックします。アニメーションが開始するタイムラインの位置をスライダーで調整することができます。

次に、アニメーションの記録の2番目の方法について説明します。再びAir Faceを開き、ストリームボタンをクリックします。ソフトウェアをフルスクリーンからウィンドウモードに変更するためにウィンドウボタンを使用し、フルスクリーンを切り替えるためにフルスクリーンボタンを使用します。Blenderを開き、データファイル以外のすべての入力フィールドを入力し、接続ボタンを押します。記録を開始するタイムライン上にカーソルを設定し、記録ボタンを押すと、アニメーションの記録が開始されます。同じボタンを使用して記録を停止します。このビデオは、GPUがない6th Genのi3ラップトップで録画されているため、ストリーミングオプションでロスが発生するかもしれませんが、高性能なシステムでは正常に動作します。また、スペックが低いマシンを使用している場合は、アニメーションを記録するには最初の方法を使用してください。以上です。