LLM 연구의 주요 과제들

본 글은 https://huyenchip.com/2023/08/16/llm-research-open-challenges.html라는 포스트를 해석 및 요약한 글입니다.

환각(Hallucination) 감소 및 측정

- 회사에서 LLM을 채택하는데 가장 큰 장애물은 환각
- 환각을 완화하고 측정하기 위한 지표를 개발하는 것은 인기 있는 연구 주제로 많은 스타트업들이 집중하고 있음
- 환각을 줄이기 위한 임시 팁으로 프롬프트에 컨텍스트 추가하기, Chain-Of-Thought, Self-Consistency, 모델에게 간결한 답을 요청하기 등이 있음

 

컨텍스트 길이 및 컨텍스트 구성 최적화

- 대부분의 질문에는 컨텍스트가 필요함
- SituatedQA 논문에 의하면 정보 검색 질문의 상당부분이 컨텍스트에 따라 답변이 다름(NQ-Open 데이터셋의 16.5%가 해당)
- 회사의 사례에서는 훨씬 더 높을 것(고객 지원 챗봇이라면, 해당 고객의 기록이나 제품에 대한 정보가 컨텍스트)
- 컨텍스트 길이는 RAG(Retrieval Augmented Generation)에 특히 중요
- RAG는 2단계로 동작
    - 청킹(인덱싱) : LLM에서 사용할 모든 문서를 수집. 임베딩을 생성하고 임베딩을 LLM에넣기위해 청크로 분할하고, 임베딩을 벡터 DB에 저장
    - 쿼리: 사용자가 쿼리를 보내면 LLM이 쿼리를 임베딩으로 변환. 벡터 데이터베이스에서 임베딩과 가장 유사한 청크를 가져옴
- 컨텍스트 킬이가 길수록 더 청크를 많이 넣을수 있음. 모델이 억세스할수 있는 정보가 많아지면 응답이 더 좋아지겠죠?
- 항상 그런것음 아님. 모델이 사용하는 컨텍스트의 양과 해당 모델이 컨텍스트를 얼마나 효율적으로 사용하는가는 서로 다른 질문임
    - 프롬프트 엔지니어링 또는 프롬프트 컨스트럭션이라고 부름
    - 예를 들어 최근 논문은 모델이 컨텍스트의 중간보다 처음 이나 끝에서 정보를 더 잘 이해한다는 것

 

다른 데이터 양식들(Modalities) 통합

- Multimodiality 는 매우 강력하지만 아직 과소평과됨
- 의료,로봇공학,전자 상거래,소매,게임,엔터테인먼트등 다양한 데이터를 다루는 사례가 있음
    - 의학적 예측에는 텍스트(의사의 노트, 설문지) 와 이미지(CT, X-Ray, MRI)가 필요
    - 제품 메타데이터에는 이미지, 비디오, 설명 및 표 형식 데이터가 포함
- 멀티모달리티는 모델 성능의 큰 향상을 가져올 것
    - 텍스트만 이해하는 모델 보다 텍스트와 이미지를 이해할 수 있는 모델이 성능이 좋음
    - 텍스트 기반 모델에는 엄청난 텍스트 데이터가 필요하므로 곧 모델을 훈련하는데 필요한 인터넷 데이터가 고갈될 것이라는 우려도 있음
    - 텍스트가 부족해지면 다른 데이터 양식을 활용해야 함
- 특히 기대하고 있는 것 : 시각 장애가 있는 사람들이 멀티모달리티를 통해 인터넷을 검색하고 현실세계를 탐색할 수 있게 할 것

 

LLM을 더 빠르고 저렴하게 만들기

- GPT-3.5가 2022년 11월에 나왔을 때, 많은 사람들이 레이턴시 및 프로덕션에서의 사용 비용에 대해 우려했음
- 하지만 레이턴시/비용 분석은 그 이후로 많이 바뀌었음
- 반년도 안지나서, 커뮤니티는 GPT-3.5 메모리 공간의 2%만으로, 성능면에서 GPT-3.5에 매우 근접한 모델을 만드는 방법을 찾았음
- 핵심: 충분히 좋은 것을 만들면, 사람들은 빠르고 저렴하게 만드는 방법을 알아낼 것
- 4년전에 정리한 모델 최적화/압축을 위한 4가지 주요 기술
    - Quantization(양자화): 가장 일반적인 모델 최적화 방법. 매개변수를 나타내는데 더 적은 비트를 사용하여 모델의 크기를 줄임. 부동소수점 32비트 대신 16비트, 심지어 4비트도 사용
    - Knowledge distillation(지식 증류): 작은 모델(학생)이 더 큰 모델이나 모델의 앙상블(선생)을 모방하도록 훈련시키기
    - Low-rank factorization(저차원 행렬분해): 매개변수의 수를 줄이기 위해 고차원 텐서를 저차원 텐서로 교체. 예를 들어, 3x3 텐서를 3x1과 1x3 텐서의 곱으로 분해하여 9개의 매개변수 대신 6개의 매개변수만 갖게 하는 것
    - Pruning(가지치기)
- 지금도 이 4가지 기술은 관련있고 인기가 있음. Alpaca는 지식 증류기법을 사용했고, QLoRA는 저차원 행렬분해와 양자화의 조합을 사용했음

 

새로운 모델 아키텍처 설계

- 2012년 AlexNet 이후로 LSTM, seq2seq 등 많은 아키텍처가 유행하고 사라짐
- 이에 비해 Transformer는 매우 끈질김. 2017년에 나왔고, 언제까지 유행할지 궁금
- Transformer를 능가하는 새로운 아키텍처를 개발하는 것은 쉽지 않음. 지난 6년간 엄청 최적화 되었음
- 새로운 아키텍처는 오늘날 사람들이 관심을 가질만한 규모로 성능을 발휘해야함
- 트랜스포머는 원래 TPU에서 빠르게 실행되도록 설계되었고, 나중에 GPU에 최적화 되었음
- 2021년엔 Chris Ré’의 연구실에서 S4를 중심으로 많은 흥분이 있었음.
- 최근에도 여전히 새로운 아키텍처에 투자를 하고 있으며, 가장 최근엔 스타트업 Together와 공동으로 Monarch Mixer 아키텍쳐를 개발했음

 

에이전트를 사용 가능하게 만들기

- 에이전트는 인터넷 검색, 이메일 보내기, 예약등과 같은 작업을 수행할 수 있는 LLM
- 이 글의 다른 연구 방향들과 비교해보면 가장 초기의 분야라고 할 수 있음
- 참신함과 막대한 잠재력 때문에 에이전트에는 열광적인 인기가 있음
- Auto-GPT는 이제 GitHub Star 수 기준 25번째로 인기있는 Repo임
- GPT-Engineering 도 또 다른 인기있는 저장소
- 설레임에도 불구하고 LLM이 행동할수 있는 권한을 위임받을 만큼 신뢰할 수 있고 성능이 있는지에 대해서는 여전히 의구심이 있음
- 이 분야에서 가장 주목할 만한 스타트업은 Adept
    - 2명의 Transformer 공동 저자와 전 OpenAI VP가 설립해서 지금까지 거의 5억달러를 펀딩

 

Human Preference를 통한 학습 개선

- RLHF, Reinforcement Learning from Human Preference 는 멋지지만 다소 Hacky함
- 사람들이 LLM을 교육하는 더 좋은 방법을 알아내더라도 놀랍지 않을 것. RLHF에는 다음과 같은 미해결 질문이 있음
    - 인간의 선호도를 수학적으로 표현하는 방법은?
    - 인간의 취향은?

 

채팅 인터페이스의 효율성 향상

- ChatGPT 이후로 채팅이 다양한 작업에 적합한 인터페이스인지에 대한 여러 논의가 있었음
- 이는 새로운 논의가 아니며, 아시아에서는 채팅이 약 10년동안 슈퍼앱의 인터페이스로 사용되었음
- 하지만 아직 채팅 인터페이스를 개선할 수 있다고 생각되는 영역들이 있음
    - 턴당 여러개의 메시지
    - Multimodal 입력
    - 워크플로우에 생성AI 통합
    - 메시지 편집 및 삭제

 

비영어권 언어용 LLM 구축

- 현재 English-First LLM은 성능, 대기 시간 및 속도 면에서 다른 언어에 대해서는 잘 작동하지 않음
- 기계 번역 및 챗봇과 같은 AI 도구가 언어 학습에 미치는 영향은 아직 불분명함