BERT1 BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding_논문정리 Abstract BERT는 모든계층에서 왼쪽 오른쪽 context를 모두 고려한 unlabeled text로부터 깊은 양방향의 representation을 pretrain하기위해서 디자인 되었습니다. 결과적으로 pre-trained된 BERT모델은 추가적인 출력계층만으로 sota model이 되었습니다. 이는 질문응답과 언어추론같은 다양한 task에 특정작업에 대한 구조변경없이도 가능합니다. BERT 저자들은 Bert를 자세하게 소개합니다. 이 프레이뭐크에서는 pre-trainiing과 fine-tuning 두가지 step이 존재합니다. pre-training동안 모델은 다른 pre-training task에서 라벨되지않은 데이터로 학습됩니다. fine-tuning동안 BERT model은 pre-tra.. 2023. 11. 21. 이전 1 다음