Deepfakes (5) - 추출 얼굴 이미지로 합성, 제작된 이미지 영상 변환

트레이닝 화면

손실값

  그 전 게시물을 잘 따라하셨으면 위와 같은 트레이닝이 진행됐을 것입니다(참고로 트레이닝은 한번에 끝까지 안해도 됩니다. q를 눌러서 정상종료하면 저장되기 때문에 다음에 트레이닝 하면 이어서 진행됩니다.). 아래 cmd창에 보이는 loss값은 0.008~0.009로 많이 낮아진 것을 확인할 수 있습니다.

  하지만 아쉽게도 얼굴 데이터 자체가 충분하지 않아 트레이닝이 잘 이루어지지는 않았습니다. 트레이닝 화면을 통해 몇가지 문제점을 확인할 수 있습니다. 한쪽 영상은 옆면 얼굴을 가지고 있지만 반대쪽의 경우는 옆면 얼굴이 없다보니 굉장히 이상하게 이미지가 생성됐네요. 또 영상속에서 모자를 쓰고 있었기때문에 흰색 모자가 같이 잡힌것을 확인할 수 있습니다. 만약 모자쓴 얼굴을 영상에 붙여넣는다면 이목구비 경계에 흰색 모자가 나타나겠죠. 물론 반대로 모자를 쓰지 않은 얼굴을 쓴쪽에 붙여넣는다면 모자가 조금 짤리기는 하지만 좀 더 나을 겁니다.

  

Merge를 수행하는 Convert탭의 화면

  이제 합성을 진행하도록 하겠습니다. 현재 data_B에는 문자, data_A에는 빨간옷입니다. 문자하는 사람의 몸에 빨간옷 여자의 얼굴을 넣기 위해 위와 같이 설정했습니다.

• Model: model폴더 경로 그대로 두시면 됩니다.
• data: 몸이 되는 data의 폴더경로를 입력해주시면 됩니다.

• Seamless: 잘 모르겠습니다. 댓글로좀 알려주십쇼
• Blur Size: 합성하는 얼굴의 경계를 'x'픽셀만큼 흐리게 처리합니다.
• Kernel Size: 잘 모르겠습니다. 링크보시고 좀 알려주십쇼.
• Direction: 방향입니다. 저도 헷갈리는데요. 반대로 원하시면 AtoB, BtoA하시면 됩니다.

Merge 진행모습

  

   Start를 누르시면 처음에 얼굴 추출한것과 유사하게 진행됩니다. data_B폴더에 merged폴더가 생성되고 그 안에 합성된 이미지들이 나타납니다(즉 영상뿐 아니라 단일 그림도 합성가능하다는 것). 합성된 이미지의 이름은 원본 이미지와 같습니다.(ex b0001이면 똑같이 b0001) 이 때 사전에 junk data를 지운경우 몇몇 프레임이 빠진 분들이 계실겁니다. 그럴경우 원본 데이터를 옮겨놓은 상태에서 생성한 파일들을 붙여넣어 빠진 프레임들을 보충 해주시면 됩니다. 다시 간략하게 설명하면

1. data_B폴더에 source폴더 생성
2. data_B에 있는 원본 이미지 source폴더로 복사
3. merged폴더에 있는 이미지 data_B폴더 이미지로 복사하여 덮어쓰기
4. 이를 통해 중간에 빠진 프레임이 보충되어 얼굴은 원래 얼굴이지만 끊기지 않고 자연스럽게 영상이 이어지게 된다.

합성된 이미지 예시, 품질이 너무 안좋네요ㅜㅜ

  합성을 진행한 후 품질이 마음에 들지 않으면 다시 트레이닝을 이어서 진행한 후 하시면 되겠습니다.

  자 이제 Deepfakes의 역할은 모두 끝났습니다. Deepfakes를 통해 생성한 이미지를 이용하여 영상으로 제작하겠습니다. 이미지 생성은 원하시는 방법으로 하셔도 되고 이전에 다운받은 ffmpeg를 활용하셔도 됩니다.

  cmd를 실행하시 이미지가 저장된 곳으로 디렉토리를 옮깁니다. 

ex: cd c:/fakes/data_B/merged (소스파일과 합쳤으면 그냥 data_B까지 치면 됩니다.)

  영상을 생성하기 위한 명령어를 입력합니다.

양식: ffmpeg -f image2 -framerate [00] -i img%03d.png -vcodec libx264 -crf 24 -pix_fmt yuv420p [output].mp4

예시: ffmpeg -f image2 -framerate 29.7 -i b%04d.png -vcodec libx264 -crf 24 -pix_fmt yuv420p gmdori.mp4

이전에 ffmpeg를 활용해서 캡쳐하셨던것과 비슷합니다. ffmpeg는 여러모로 많이 쓰이고 있으므로 자세한 명령어는 검색을 통해 확인할 수 있습니다.

• framerate [00]: 00부분에 원래 영상의 fps를 입력해줍니다. ([]는 지워주세요)
• img%03d.png: 영상을 만들기위해 사용하는 이미지의 이름입니다. img는 이름 03은 3자리숫자
• [ouput].mp3: 만드는 영상의 이름입니다. output자리에 이름을 쓰시면 됩니다.

  다 완료하셨으면 cd로 이동한 경로에 영상이 생성되어 있습니다. 위와 같은 영상 예시를 확인할 수 있고 더 좋은 품질의 영상을 얻기 위해 다음과 같은 방법을 추천드립니다.

• 비슷한 환경의 얼굴 데이터를 최대한 많이 확보하여 모든 각도의 얼굴을 커버
• 피부색, 얼굴형이 비슷한 사람을 선택하여 최종 결과물 품질 향상
• 트레이닝에 충분한 시간 투자
• 화질제한내에서 좋은 품질의 이미지 확보
• 붙여넣는 얼굴의 경우 junk data(얼굴이 가려짐, 오류로 기울어진 이미지)등을 최대한 제거한다.

  딥페이크에 대해 궁금한 게 있으신가요? 공유할 정보(그래픽카드별 트레이닝 설정값, 오류대처, 업데이트 사항)가 있으신가요? 댓글로 많이 남겨주세요~