오늘날 LLM 기업들은 사용자의 질문에 답변하기 위해 보편적으로 텍스트-SQL과 RAG 방식을 사용하고 있어요. 하지만, 데이터 소스에 없거나 추론이 불가능한 답변을 해내는 데는 어려움이 있는 것이 현실인데요. 최근 UC 버클리와 스탠포드 대학교 연구진이 LLM을 데이터베이스에 직접 연결하는 '테이블 증강 생성(TAG)' 방식에 관한 논문을 아카이브에 게재했어요.📑

기존 텍스트-SQL 방식은 텍스트 프롬프트를 데이터베이스에서 실행할 수 있도록 SQL 쿼리로 변환하여 답변했는데요. 관계 연산으로만 표현할 수 있는 질문에만 답할 수 있다는 한계가 있었어요. RAG는 웹 데이터를 찾는 검색 증강 생성 방식으로 할루시네이션을 최소화하기 위해 많이 사용하고 있지만, 소수 데이터 기록을 찾아 답변한다는 데 한계가 있었죠.

연구진은 복잡한 쿼리에 효과적으로 대응하기 위해서 단순한 검색이나 관계 연산을 넘어 데이터베이스의 계산적 정밀성과 언어 모델의 추론 능력을 결합하는 방식을 채택했는데요. 이 결과가 앞서 말한 TAG 방식이에요.

그럼, TAG의 답변 생성 과정은 어떤지 알아볼게요.💫

 첫 번째, 사용자 질문을 실행 가능한 데이터베이스 쿼리로 변환한다 (쿼리 합성) 
 두 번째, 이 쿼리를 실행해 관련 데이터를 검색한다 (쿼리 실행) 
 세 번째, 이 데이터와 쿼리를 사용해 자연어 답변을 생성한다 (답변 생성) 

글로만 보니 간단해 보인다고요? 사실 그렇지 않아요. 답변 생성과 쿼리 합성 단계를 통합하여 언어 모델의 추론 능력을 향상시키고, 쿼리 실행에선 RAG의 비효율성을 해결하기 위해 집계, 수학 계산, 필터링 등의 계산 작업을 해요. 이런 방식으로 시스템이 의미적 추론이나 세계 지식, 도메인 지식을 모두 필요로 하는 복잡하고 어려운 답변에도 척척 답변할 수 있도록 만드는 것이죠.

기존 방식에서는 시스템이 주어진 데이터베이스에서 가장 높은 수익을 올린 로맨스 영화를 찾을 뿐만 아니라 세계 지식을 사용하여 고전인지 아닌지 판단해야 하기 때문에 답변하게 굉장히 어려운 문제였는데요.💦 

TAG는 3단계 접근 방식을 통해 관련 영화 데이터에 대한 쿼리를 생성하고, 필터와 언어 모델로 가장 높은 수익을 올린 영화에 대한 테이블을 생성해요. 최종적으로 테이블에서 가장 순위가 높은 영화에 대한 리뷰를 요약하여 답변을 제공하게 돼요.

그렇다면 실제로 기존 방식과 비교했을 때는 어땠을까요?
연구진은 TAG의 효과를 테스트하기 위해 언어 모델의 텍스트-SQL 능력을 평가하는 BIRD 데이터셋에 데이터 소스의 정보를 넘어선 세계 지식에 대한 의미론적 추론을 필요로 하는 질문을 추가하여 벤치마크 데이터셋을 만들었는데요. 그 결과, 기존 모델이 20% 미만의 답변 정확도를 기록했다면 TAG는 40% 이상의 정확도를 보였어요. 뿐만 아니라 쿼리 실행 속도도 3배나 더 빨랐죠.😲

결과적으로, TAG를 통해 AI와 데이터베이스 기능을 통합하는 방법을 활용하여 구조화된 기업의 데이터 소스에 대한 복잡한 질문에 대응할 수 있다는 것인데요. 즉, TAG를 통해 복잡한 코드 없이, 같은 데이터로, 더 많은 가치를 창출할 수 있다는 것이죠.

연구진은 보다 효율적인 시스템 구축을 위해서는 추가적인 미세조정과 연구가 필요하다고 강조했는데요. TAG 방식이 LLM의 효율을 한층 더 끌어올릴 수 있는 기술로 거듭날지 주목해 보자고요!📌

여러분은 글로벌 AI 시장을 리드하는 기업하면 어떤 기업이 떠오르시나요?🧐
아마 많은 분이 오픈AI나 메타, 구글 등 미국 빅테크 기업들을 먼저 떠올리셨을 거라 생각되는데요. 토터스 인텔리전스의 글로벌 AI 지수를 보면 2023년 62개국을 기준으로 인재, 특허, 정책 등을 평가했을 때 미국 100, 중국 61.5, 싱가포르 49.7, 영국 41.8 순이었어요.(참고로 한국은 6위) 압도적인 점수만큼이나 미국은 실제로 AI 시장에 엄청난 영향력을 행사하고 있어요. 미국이 AI 발전에 크게 기여하고 있는 것은 사실이지만, 한편으로는 기술 의존성 증가에 따른 AI 주권 침해에 대한 우려의 목소리도 나오고 있는데요. 최근 이와 관련해서 '소버린 AI'가 주목받고 있어요.👀 

소버린 AI는 주권을 뜻하는 ‘Sovereign’과 ‘AI’가 합쳐진 말이에요. 즉, 한 국가의 데이터와 인프라를 활용해 언어, 문화, 가치관, 역사 등을 반영하여 AI를 개발하고 운영하는 것을 의미해요.👍 이는 곧 외부의 도움 없이 독립적으로 AI를 구축하고 운영할 수 있는 능력을 갖추고 있다고 해석할 수 있어요.

기술이나 데이터 측면 모두 빅테크 기업이 개발한 AI를 활용하면 더 효율적일 것 같은데 왜 수많은 국가가 소버린 AI를 위해 노력하고 있는 것일까요? 우리가 알고 있는 글로벌 빅테크 기업들의 AI 모델은 영어권 데이터 학습 비중이 90% 이상인 것으로 알려져 있는데요. 이처럼 특정 언어와 문화권에 편향된 데이터를 학습한 AI 모델이 시장을 독과점하면 다른 국가의 고유한 특성을 간과하거나 왜곡할 수 있고 장기적으로는 문화적 지배, 혹은 획일화를 가져올 수 있기 때문이에요. 예를 들어볼까요?

ChatGPT에 ‘다케시마’를 검색하면 ‘한국과 일본 간의 영토 분쟁 지역’이라고 설명하는데요. 독도가 대한민국 땅임에도 불구하고 다케시마로 검색하면 편향된 답변이 나오는 것이죠.💢 반면, ‘독도’라고 검색하면 ‘대한민국 정부가 실효적으로 지배하고 있다’고 설명하지만, 우리처럼 대한민국의 영토라고 대답하지는 않아요. 이는 서구 문화를 기반으로 한 LLM의 특성상 대한민국의 역사를 제대로 이해하지 못했기 때문이죠.

AI 주권을 지키지 못하면 문화적 편향뿐만 아니라 AI와 관련된 기술과 일자리 가치관 등 전방위적으로 특정 국가나 기업의 영향을 받을 수 있기 때문에 국가적 차원에서도 관심이 많아요. 지난 7월 글로벌 시장조사 기업인 가트너도 AI 하이프 사이클에 소버린 AI를 범주로 추가할 만큼 많은 사람들이 눈여겨 보고 있는 과제이기도 해요.

우리나라도 소버린 AI에 대한 관심이 높은데요. 네이버, KT 등에서 자체적으로 LLM을 개발하고 있고 과학기술정보통신부에서는 공공 데이터를 개방해 한국어 데이터를 제공하고 있어요. 기업들은 영어권 데이터 대비 상대적으로 부족한 한국어 데이터를 확보하기 위해 자체적으로 데이터 파이프라인을 구축하거나 한국어 특화 데이터 전문 기업을 활용하는 등 데이터 확보에도 힘을 쏟는 모습이에요. Data brief를 전해드리는 TEXTNET이 고품질 한국어 데이터를 만들고 연구하는 것도 소버린 AI에 도움이 될 거라 생각하니 더 열심히 해야겠어요.💪

이제 AI는 단순히 기업의 영리 목적을 넘어 국가의 주권이 걸릴 정도로 전 세계에 큰 영향을 주고 있는데요. 우리나라뿐만 아니라 많은 국가와 기업, 그리고 사람들이 소버린 AI를 통해 고유의 문화적, 역사적 주권을 지켰으면 좋겠어요. 🥰