BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
앞서 Paper Review 했던 것들... (정리가 깔끔하진 않음) Abstract BERT는 라벨링되지 않는 텍스트 문서의 context를 파악하기 위해 bidirectional 한 모델이다. pre-trained BERT 모델은 output layer를 추가해 fine-tune하는 것만으로 광범위한 task에서 SOTA를 달성했다. 1. Introduction pre-training 언어모델은 많은 자연어 처리 task의 향상에 효과적이었다. down-stream task를 위해 pre-trained 언어 표현을 사용하는 방식은 두가지 전략이 있다: feature-based, fine-tuning 접근 방식 feature-based 접근 방식: ELMo fine-tuning 접근 방식: GPT pr..
DeepLearning/NLP
2022. 2. 8. 17:12