논문29 DeepFaceLab: Integrated, flexible and extensible face-swapping framework_논문정리 Abstract Deepfake는 detection의 연구를 요구할뿐만아니라 generation methods의 영향도 요구합니다. 그러나 현재 deepfake methods는 worflow에서 모호함을 겪고 성능도 더 안좋습니다. 이러한 문제를 해결하기위해서 저자들은 저명한 deep-fake framework인 face-swapping을 제안합니다. 이 프레임워크는 필요한 도구를 제공해줄뿐만아니라 높은 퀄리티의 face-swapping을 해줍니다. 이프레임워크는 복잡은 boilerplate 코드를 작성하지 않고도 파이프라인을 다른 기느들로 강화해야하는 사람들은 위한 유연하고 느슨한 결합 구조를 제공합니다. 저자들의 원리들의 세부사항은 DeepFace Lab의 영향을 보여주고 그것의 pipeline을 소.. 2023. 12. 29. BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding_논문정리 Abstract BERT는 모든계층에서 왼쪽 오른쪽 context를 모두 고려한 unlabeled text로부터 깊은 양방향의 representation을 pretrain하기위해서 디자인 되었습니다. 결과적으로 pre-trained된 BERT모델은 추가적인 출력계층만으로 sota model이 되었습니다. 이는 질문응답과 언어추론같은 다양한 task에 특정작업에 대한 구조변경없이도 가능합니다. BERT 저자들은 Bert를 자세하게 소개합니다. 이 프레이뭐크에서는 pre-trainiing과 fine-tuning 두가지 step이 존재합니다. pre-training동안 모델은 다른 pre-training task에서 라벨되지않은 데이터로 학습됩니다. fine-tuning동안 BERT model은 pre-tra.. 2023. 11. 21. GPT1-Improving Language Understandingby Generative Pre-Training_논문정리 Abstract 자연어 이해는 텍스트 추론, 질문 응답, 의미 유사성 평가, 문서 분류 등 다양한 작업을 포함하고 있습니다. 라벨이 없는 대규모의 텍스트 코퍼스는 풍부하지만, 이러한 특정 작업 학습을 위한 라벨이 있는 데이터는 희소하며, 이로 인해 판별적으로 훈련된 모델이 적절하게 수행하는 것이 어렵습니다. 저자들은 라벨이 없는 다양한 텍스트 코퍼스에서 언어 모델의 생성적 사전 훈련을 통해 이러한 작업에 큰 향상을 이룰 수 있다는 것을 보여줍니다. 이는 각각의 특정 작업에 대해 판별적인 미세 조정을 통해 이루어집니다. 이전의 접근법과 달리, 저자들은 미세 조정 과정에서 작업을 인식하는 입력 변환을 사용하여 효과적인 전달을 달성하면서 모델 아키텍처에 최소한의 변경을 요구합니다. Task-specific i.. 2023. 11. 7. LLaMA: Open and Efficient Foundation Language Models_논문정리 Abstract 저자들은 LLaMA라는 7B ~ 65B 파라미타 범위의 기초언어모델들을 소개합니다. 저자들은 수조개의 token들로 모델을 훈련시켰으며 공개데이터셋만을 사용하여 sota모델을 학습시켰다는것을 보여주었습니다. LLaMA-13B는 GP3-175B보다 대부분의 benchmark에서 성능을 능가했으며 LLaMA-65B는 best모델인 Chinchilla-70B와 PaLM-540B만큼의 모델들과도 경쟁력있었습니다. Introduction 대량의 텍스트 코퍼스에서 학습된 대규모 언어 모델들(Large Languages Models, LLMs)은 텍스트 지시나 몇 가지 예시를 통해 새로운 작업을 수행하는 능력을 보여주었습니다. 이러한 소수의 사례들은 모델을 충분한 크기로 확장할 때 처음으로 나타났으며.. 2023. 11. 6. 이전 1 2 3 4 5 6 ··· 8 다음
