Abstract
Deepfake는 detection의 연구를 요구할뿐만아니라 generation methods의 영향도 요구합니다.
그러나 현재 deepfake methods는 worflow에서 모호함을 겪고 성능도 더 안좋습니다.
이러한 문제를 해결하기위해서 저자들은 저명한 deep-fake framework인 face-swapping을 제안합니다.
이 프레임워크는 필요한 도구를 제공해줄뿐만아니라 높은 퀄리티의 face-swapping을 해줍니다.
이프레임워크는 복잡은 boilerplate 코드를 작성하지 않고도 파이프라인을 다른 기느들로 강화해야하는 사람들은 위한 유연하고 느슨한 결합 구조를 제공합니다.
저자들의 원리들의 세부사항은 DeepFace Lab의 영향을 보여주고 그것의 pipeline을 소개하는거라고합니다.
이 pipeline은 유저들에의해서 그들 고객의 목적을 쉽게 성취하는것입니다.
Introduction
Face swapping은 소스 얼굴을 대상에 전송하면서 대상의 얼굴 움직임과 표정 변형을 유지함으로써 가짜 콘텐츠를 생성하는 데 있어 주목받는 작업입니다.
얼굴 제조 기술 이면에 주된 동기는 Generative Adversarial Netowrks (GANs), More and more faces synthesized by StyleGAN, StyleGAN2는 더 현실적으로 vision system에서 사람얼굴을 구별할 수 없었다고합니다.
Pipeline
DeepFaceLab에서 저자들은 추상적인 세개의 파이프라인을 구축할 수 있었습니다.
1. extraction- face detection, face alignment, face segmentation 과정을 순서대로 수행합니다.
2. training
정렬된 src와 정렬된 dst의 얼굴 표정이 엄격하게 일치할 필요가 없다는 점에서, DFL은 이 unpair한 문제를 해결하는 효율적인 알고리즘 패러다임을 제공하려고 합니다. 이는 생성된 얼굴의 고품질과 지각 품질을 유지하면서 이루어집니다. 이전의 방법에 동기를 얻어, 저자들은 이 문제를 해결하기 위해 DF 구조와 LIAE 구조 두 가지를 제안합니다.
DF구조는 Encoder와 Inter에 속해있고 src와 dst사이에 가중치를 공유하며 두개의 Decodere는 src와 dst가개별적으로 속해있습니다.
sr와 dst의 generlization는 공유된 Encoder와 Inter를 통해서 성취됩니다. 그리고 이것은 앞에서말한 unpair한 문제를 해결해줍니다.
DF구조는 face-swapping task를 완료할 수 있지만, 조명과 같은 dst로부터 충분한 정보를 상속받지 못합니다.
3. conversion
그림 4에서 보여지는 것처럼, 사용자들은 src의 얼굴을 dst로, 그 반대로도 dst의 얼굴을 src로 바꿀 수 있습니다.
src2dst의 경우, 제안된 face-swapping 방식의 변환 단계에서 첫 번째 단계는 생성된 얼굴과 그 마스크를 dst 디코더에서 src의 목표 이미지의 원래 위치로 변환하는 것입니다.
이과정이 blending과정이며 재정렬된 재연된 얼굴이 그 외곽선을 따라 목표 이미지와 이음새 없이 맞물리는 것을 목표로 합니다.
일관된 피부색을 유지하기 위해, DFL은 재연된 얼굴의 색상이 목표와 비슷하게 되도록 다섯 가지 추가적인 색상 전송 알고리즘을 제공합니다.
마지막으로 sharpening은 필수적입니다.
생성된 얼굴들이 부드럽게 처리된다고합니다.
댓글