LLM의 미래에 대하여

최근 ChatGPT와 같은 LLM(Large Language Model) 기반 서비스가 IT업계를 뒤흔들고 있다.

이 현상이 마치 디지털 카메라가 처음 나오던 시기에 고전적인 필름 카메라를 고집하던 당시의 공룡 기업인 "코닥"의 몰락을 가져왔던 것과 같이 현재의 공룡 기업들을 순식간에 파괴하는 기하급수적 변화를 이룩할 수 있을까?

 

구글은 바드를 성급하게 공개했다가 생성되는 답변의 퀄리티가 너무 낮은 모습에 주가가 순식간에 폭락했고, 네이버는 오랜 기간을 들여서 하이퍼클로바를 완성시키고 공개했으나 챗지피티 대비 오랜시간이 지난 것에 비해 특별히 더 뛰어난 모습을 보이지 못해서 사용자들에게 실망감을 안겼다.

 

1. 운영의 관점에서

최근 IT 업계에서 DevOps나 MLOps와 같이 "개발 및 연구"와 "운영"이 혼합된 형태의 직업군에 대한 수요가 크게 증가하고 있다.

마찬가지로 LLM의 운영 및 사용을 위한 LLMOps라는 분야 역시 굉장히 핫하다.

 

여러 이유가 있겠지만, 가장 큰 이유로는 대형 언어 모델이 그 크기 때문에 굉장히 많은 GPU 코어를 필요로 한다.

이전의 AI 모델들보다 확연히 큰 사이즈 때문에 더 많고 더 빠른 GPU가 필요해지게 되고, 운영에 더 많은 비용이 들게 된다.

해법으로서 모델 자체를 경량화시키는 model quantization 기법들이 제시가 되었고, 더 비용 친화적인 LLM 기반 시스템을 만들기 위해 지금도 많은 연구자들이 새로운 방안에 대해 연구를 진행하고 있다.

 

QLoRA나 bitsandbytes, PEFT 등 다양한 모델 경량화 툴들이 등장했고, 이러한 오픈소스 프로젝트들은 구글이나 마이크로소프트 등 대기업들의 지원 및 세계의 많은 개발자들의 집단지성으로 인해 꾸준히 발전을 해나가고 있다.

 

그러나, 아직은 쉽게 뛰어들만한 분야가 아닌 것은 확실하다. 처음 LLM이 등장했을 때에 비해 운영가능성이 많이 증가했지만, 여전히 LLMOps는 매우 어려운 분야이고, GPU는 여전히 비싼 리소스이다.

 

2. 서비스의 관점에서

정보 반환 기반 서비스의 핵심은 "원하는 정보를 찾아주는 기능"이다. 전세계에 퍼져있는 웹 서버들로부터 사용자가 원하는 정보를 찾아주기 위해 웹 검색엔진이 등장했고, 사용자가 "검색"을 하기 전에 먼저 사용자의 취향을 파악해 컨텐츠를 추천해주는 "추천 시스템"이 넷플릭스 등의 많은 IT 서비스의 인기도를 크게 향상시켰다.

 

검색과 추천은 동일하게 "정보를 반환하는 기능"인데, 검색은 사용자가 질의문을 입력하고 추천은 질의문 없이 시스템이 정보를 골라준다. 그러한 관점에서 LLM은 사람과 사람이 대화하는 것과 같은 "대화형 정보 반환"이라는 페러다임을 제시해준다.

원하는 정보에 해당할 것 같은 목록을 반환해주는 것이 아닌 사용자가 원하는 정보 그 자체를 찾아서 답을 생성해주는 것이다.

즉, 사용자가 반환된 정보를 일일히 찾아보면서 원하는 내용을 발견하는 노력을 줄여주는 것이다.

이는 너무도 매력적이다.

 

그러나, 최근 LLM의 가장 큰 문제점으로 꼽히는 환각효과(hallucination)와 같이 LLM이 잘못된 정보를 주게 된다면 사실상 그 존재 의의자체가 사라지게 된다. 우리는 다른사람과 대화를 통해서 정보를 얻고 싶을 때, 거짓말을 하는 사람이나 정확한 지식 없이 아무 말이나 내뱉는 사람과 대화를 하지 않는다. 정말 우리가 알고 싶은 정보를 알려줄 수 있는 대상과 대화를 하고 싶다.

 

이러한 문제점을 해결하기 위해 RAG(Retrieval Augmented Generation)과 같은 기술들이 새로이 등장하고 있다. 실제로 Bing은 빙 검색엔진에 ChatGPT (GPT-4)를 결합해서 bing ai chat이라는 최첨단의 정보 검색 기술을 구축해냈다.

 

결국 LLM 자체도 중요하지만 그보다는 "운영 가능한" LLM에 고성능의 데이터 엔진을 결합한 RAG 엔진이 서비스적 관점에서는 더 중요한 포인트가 될 것으로 예상이 된다.