MagicAnimateHandson
データの準備
![image](https://private-user-images.githubusercontent.com/14243883/288242328-5f9a0f79-b79b-469c-a4e0-15cde70c1d40.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTEiLCJleHAiOjE3MDI3NTY5NjMsIm5iZiI6MTcwMjc1NjY2MywicGF0aCI6Ii8xNDI0Mzg4My8yODgyNDIzMjgtNWY5YTBmNzktYjc5Yi00NjljLWE0ZTAtMTVjZGU3MGMxZDQwLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFJV05KWUFYNENTVkVINTNBJTJGMjAyMzEyMTYlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjMxMjE2VDE5NTc0M1omWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTBjYWQyMjBlMWMzMjYyYjJiYjBmMWY3MWUxZmNmY2FkODViZTZiYjE5OGYxYmI3MmMxMzAzZWExNzkzNTFhNjkmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.mVfgN10ryJxDVTgCqL7fyFcm6DhC2T5PbPTCYvwA6Ro)
DensePoseで姿勢推定
01_pose_estimation_for_magic_animate.ipynbを上から順に実行する。ちなみに、DumpActionをimportするとavが足りないと言われる。インストールしてあるのに。怒られてから、もっかいpip installすると動くみたい。
![image](https://private-user-images.githubusercontent.com/14243883/288243003-98b55145-e499-4352-be8d-90a0bdfd5650.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTEiLCJleHAiOjE3MDI3NTY5NjMsIm5iZiI6MTcwMjc1NjY2MywicGF0aCI6Ii8xNDI0Mzg4My8yODgyNDMwMDMtOThiNTUxNDUtZTQ5OS00MzUyLWJlOGQtOTBhMGJkZmQ1NjUwLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFJV05KWUFYNENTVkVINTNBJTJGMjAyMzEyMTYlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjMxMjE2VDE5NTc0M1omWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPWNhOTUzYzY0ZWU2MDZhMDI0ZWI4MmQ0MGI5NWYzYjVmYjU1N2MxMzQ3MjRmMTEyNDRjNmYwY2E3ZmM0MGFmYzImWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.E4zdvrdP6XjKpLq2M5KZtNfk6nHdiQZGy4F5QEvdRn4)
MagicAnimateで動画の作成
02_magic_animate_generate.ipynbを使い、上で作成した動画と画像を使って、動画を作成してみよう。configs/prompts/animation.yamlに、入力データを指定するところがあるので、先程の動画のファイル名と好きなキャラの画像ファイル名を入れて実行する。samplesだったかどっかのディレクトリに出力される。
monalisa_PXL_20231205_122154801_mask4.mp4
OpenPoseで姿勢推定
03_openpose_for_magic_animate.ipynbを上から順に実行する。OpenPoseのモデルは指定したGoogle Driveからダウンロードしてくることにする。
![image](https://private-user-images.githubusercontent.com/14243883/288455123-018679f7-0119-49b1-9693-6d63d4e2aa77.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTEiLCJleHAiOjE3MDI3NTY5NjMsIm5iZiI6MTcwMjc1NjY2MywicGF0aCI6Ii8xNDI0Mzg4My8yODg0NTUxMjMtMDE4Njc5ZjctMDExOS00OWIxLTk2OTMtNmQ2M2Q0ZTJhYTc3LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFJV05KWUFYNENTVkVINTNBJTJGMjAyMzEyMTYlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjMxMjE2VDE5NTc0M1omWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTFlN2M1ZjIwNWZhNjA3OGE0N2MwZWY3MjBiZThhZWU2MWI5NjdiMWM3YmJiZGY1ZTg1ZjhmYTQ1MTZiNTcwOWQmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.qlaNv1dJJQQ66WKRB8lAg_q54Z8FxAp4PkD4pDsG-dU)
MagicAnimateで動画の作成
04を動かしてみる。02と同じように入力ファイル名を変える。