1. 주요 쟁점 1 - 1. 환경 문제 최근, 딥러닝 연구가 과한 전기를 사용하고, 이것이 지구온난화를 악화시키고 있다는 연구들이 많이 나오고 있다. 이 논문은 그러한 사회 분위기를 이해하고 거대 모델을 학습시킴에 있어서 더 적은 계산량만으로 충분히 좋은 성능을 내게 만드는데 초점을 맞추었다 1 - 2. data의 중요도 이 논문은 Introduction에서 "거대 모델이라 할지라도 좋은 퀄리티의 자언어 이해 모델을 만들고자 한다면 좋지 않은 데이터를 추가해서라도 대량의 데이터를 모으기보다는 이에 타협하지 않고 양질의 데이터만을 학습에 사용하는데에 집중을 해야 한다" 고 밝혔다. GPT-3 등의 거대 모델들이 초대량의 언어 데이터셋으로 학습하는 과정에서 온라인 상의 다양한 데이터들을 스크랩해서 사용했고 ..
