【FACE SWAP】 DEEPFACEにおけるプレトレーニングの活用法と応用法【DEEP FACE LAB】

DEEP FACE LABやFACESWAPを利用する際に色々大事なことはあるが

完成度を飛躍的に上げる・完成スピードを上げるのにプレトレーニングは必須だ

youtubeでdeep face lab のプレトレーニング実証動画が上がっているが、スクラッチ状態から(=0から)作り上げるのと比較し圧倒的に速度も完成度も高い

deep face labの場合標準でプレトレーニング用のデータ（＝様々な人種の顔の表情と角度)が揃っている

DFLを使用する場合はこれをするだけでよいが、一方で手軽にかなり完成度の高いのを作れるfaceswapプレトレーニング用のデータが用意されていない

DF256(=DFAKAERのoutput256設定)だけで手軽に完成度の高い物を簡単に作るにはこのプレトレーニングが実はすごく重要だ

DFLのように多種多様なデータを用意してやってもよいが

本当はもっと良い方法がある

それは自分が作りたい顔の人物のありとあらゆる顔を１０万枚ほどfaceswapに放り込むのだ

そして、プレトレーニングのデータどうしでtrainするだけでいい

そうすることで質の高いプレトレーニングになる

このプレトレーニングはDF256の設定だと大体数時間でで顔がしっかりしてくる

さらに12時間やると細かいところがはっきりしてきて再現力が上がってくる

完全に表現力をマスターするまでにどれだけかかるかわからないが暇なときはこうやってモデルの完成度を高めていく

30時間たった今もジョジョに完成度が上がりつつある（＝本データで作る際の精細度が高まりつつある）

ある程度プレトレーニングが終わったら本来作りたい顔のfacesetが入った1万枚程度の少数精鋭のSRCに指定しなおす←超大事

これをしないと自分が作りたい表情がなかなか作れない

最初から少数精鋭でやると細かい角度が再現しきれないが、一度プレトレーニングをしていると色々再現できつつ、この少数精鋭のfacesetの表情に近づいていくのだ

また本当にこの時のこの感じで再現したいときは500枚程度の目標の顔のfacesetを指定するとぐんぐんその顔になる

まとめ

作りたい人の顔データが10万枚ほど入ったデータどうしでpretrainしてモデルの完成度を上げる

その後1万枚程度の自分のつくりたい綺麗な顔が入ったfacesetをSRCに指定して実際に作り始める

暇なときはまた10万枚のフェイスセットが入ったpretrainデータ動詞でtrainingしておく

こうすることでありとあらゆる表情を作れてかつ自分の思った通りの顔でdeepfakeを作ることができる