GPT-1 논문에 대한 리뷰를 진행해보려고 한다. 레이블링된 텍스트 데이터가 제한적인 상황에서 자연어 이해와 학습된 model이 task를 적절히 수행하는데 어려움이 있었는데, generative pre-traning과 fine-tuning을 통해 레이블되지 않은 corpus를 사용한 task에서 큰 성과를 얻었다고 한다.  본 논문은 Transformer, Attention 및 자연어 처리 부분에 대한 기초지식이 있다는 가정 하에 설명하도록 하겠다.  paper linkhttps://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf   1. Introductionraw text에서 효과적으로 학습하는..