Deepfakes (4) - 얼굴 추출, 딥러닝

성적인 내용이 '본 글'혹은 '링크'를 통해 포함될 수 있음을 미리 알려드립니다.
이어지는 글입니다. 이전글부터 차근차근 따라해주세요.

  FakeApp 폴더내의 fakeapp.bat 파일을 실행시키면 위와 같은 실행 모습을 확인할 수 있습니다.

추출기능은 Extract 메뉴로 실행합니다.

• PathsData: 얼굴 추출을 하기위한 이미지가 들어있는 폴더의 경로입니다. 이번 경우에는 총 2번을 실행합니다. 각 실행에서 C:/fakes/data_A, C:/fakes/data_B를 입력합니다. 또한 폴더내에는 다른 파일이 있으면 안됩니다.
• File Type: 이미지파일의 확장자입니다. 이미지파일의 확장자는 jpg 혹은 png하나여야 합니다. 
• Mult Faces: 여러사람의 얼굴이 있는경우는 값을 true로 작성해주세요.
• First, LAst Frame: Auto로 두시면 됩니다.
• Model Processor: GPU로 하시면 됩니다. CPU는 시간이 매우 오래 걸리는 것으로 알고 있습니다.

실행하면 그림과 같은 진행사항을 볼 수 있습니다.

  실행을 누르면 일시적으로 컴퓨터가 매우 느려지고 진행이 되기 시작하면 렉이 풀립니다. 720p(1280x720)를 넘는 그림으로 실행하는 경우 error가 발생하며 실행이 완료된 cmd창은 종료하셔도 됩니다.
  주의사항: 얼굴 추출이 완료된 후에 이미지 위치가 저장되는 json파일이 생성됩니다. 게시글에 올린방법대로 비디오 파일을 캡쳐하여 이미지를 생성하는 경우 문제가 없지만, 따로저장한 이미지를 사용하시는 경우 grey 머시기 에러가 나타나서 중간에 멈출 수 있으며 이에따라 *.json 파일이 만들어지지 않아 처음부터 추출을 다시해야할 우려가 있습니다.
  따라서 많은 양의 이미지, 다른 방법으로 수집한 이미지 파일을 한번에 작업하신다면 다음 글을 참고하여 나누어서 작업하시는 요령이 필요하겠습니다.
 링크 -  기존 얼굴 추출 파일에 새로 추출한 얼굴 추가하기 aligned

얼굴 추출 예시1

얼굴 추출 예시2

  추출한 얼굴사진중 junk data들을 지워주셔야 합니다.

• 내가 원하지 않는 사람의 얼굴
• 댄서의 얼굴사진이 아닌 본인의 얼굴사진중 머리카락, 손, 마이크, 선글라스등으로 얼굴을 가린 사진
• 이상하게 회전되있는 사진

  러닝을 위해 Train 메뉴를 클릭해주세요

Paths에 해당하는 것들은 모두 직접 타이핑하여 재입력해주세요.

• Model: C:/fakes/model
• Data A: C:/fakes/data_A/aligned
• Data B: C:/fakes/data_B/aligned

Options값은 클수록 처리속도가 빨라지지만 실행자체가 되지않는 oom(out of memory) error의 원인이 될 수 있습니다. 다음은 gtx 1060 3gb를 기준으로 작성하였으며 실행이 되는 범위에서 크기를 조절하시면 됩니다.

(옵션값의 적절한 값을 찾으면 댓글로 안내해주세요.)

• Batch Size: 32 
• Save Period: 32

• Processor: GPU
• Layers: 4
• Nodes: 256 (이 항목또한 oom error의 원인이 될 수 있어 낮췄음)
• Mem Ratio: defalut
• GPU Growth: false

정상실행, 옵션값은 너무 크게넣었었음.

에러 발생, 뜬금없는 encoder.h5 확인할 수 있음.

  이제 Start를 누르면 cmd 창이 뜨면서 실행이 됩니다(원활한 실행 및 속도향상을 위해 가급적 다른 프로그램들은 종료해주세요). 이때 프로그램 자체의 버그로 새로 실행된 cmd창의 제목을 확인해주셔야 합니다(제목이 너무 길어 안보이면 아래 시작줄에 마우스를 올려 확인할 수 있음). 시간이 조금 지나면 그냥 cmd.exe로 이름이 변경되는 부분 유의해주세요.

  이름을 잘 보시면 이전에 입력한 정보들이 나열되있는 것을 확인할 수 있습니다. ex:  C:/fakes/model C:/fakes/data_A... 그런데 에러가 발생하는 경우 encoder.h5와 같은 다른 경로가 나타난것을 볼 수 있습니다. 이때는 cmd창을 종료하고 경로(Path)를 재입력한후 실행해 주세요. (실행시에 저장장치에 5gb이상의 충분한 여유공간이 필요합니다.)

  train을 실행한 경우 C:\Users\[사용자이름]\AppData\Temp 경로에 _MEI등으로 시작하는 찌거기 파일들이 남아있어 공간을 차지할 수 있으니 이미 끝난 작업, 중단된 작업에 해당하는 파일들을 삭제해주세요 중간에 별다른걸 안하셨으면 수정한 날짜를 보고 신중하게 삭제해주시면 됩니다.

train 실행모습

Cmd로 확인 Loss 값 확인

  정상적으로 진행이 되면 그림과 같이 학습창이 나타납니다. 왼쪽 절반은 A의 얼굴이 B로 변하고, 오른쪽 절반은 B의 얼굴이 A로 변하는 것을 확인할 수 있습니다. (진행이 거의 완료된 예시: https://i.imgur.com/hpyVyBS.png)

  cmd창에는 Loss: 0.0123211 0.0122512등의 숫자가 나타납니다. 시간이 지나감에 따라 숫자는 0에 가까워집니다. 작을수록 품질이 좋다고 볼 수 있으며 충분히 결과가 좋다고 판단되면 'q'를 눌러 작업을 종료하면 됩니다.(참고로 q는 이미지트레이닝창에서 해야함?, q로 저장되고 종료되는데에 시간이 꽤 오래걸림)

다음에는 작성한 파일을 바탕으로 최종 결과물을 생성해보겠습니다.

링크 - 추출 얼굴 이미지로 합성, 제작된 이미지 영상 변환