방대한 양의 공개 데이터를 기반으로 답변을 생성하는 LLM은 할루시네이션이나 도메인 전문성 등의 문제로 기업에서 사용하기에는 부족한 점이 있었습니다. 하지만, 특정 데이터베이스와 LLM을 연결하는 RAG(검색 증강 생성)가 등장하며 기업들은 기업에 특화된 LLM 서비스를 보다 쉽게 구현할 수 있게 되었는데요.👏

RAG를 사용하면 데이터베이스, 문헌, 히스토리 등과 같은 특정 도메인에 대한 지식 소스에서 검색한 정보를 LLM이 증강하여 환각 및 오래된 정보가 제한된 답변을 출력하게 됩니다. 즉, 기존보다 더 정확하고 상황에 맞는 답변을 내놓는 것이죠.📟 이에 의료, 금융, 운송 등 데이터베이스에 의존하는 산업에서 많이 사용되고 있습니다. 크게 의료와 금융을 예로 들어 보겠습니다.

의료 산업에서는 LLM과 함께 RAG를 사용하여 생물의학 데이터를 기반으로 약물 발견 및 임상 시험 스크리닝 등을 가속화할 수 있습니다. 데이터베이스, 과학 문헌, 환자 기록과 같은 정보를 검색하고 이를 LLM을 통해 증강하여 환자를 진단하거나 상태를 개선하는 데 활용하는 것이죠.🏥

금융 산업에서는 RAG를 통해 금융 자문 챗봇이나 AI 기반 고객 서비스 도구를 내놓고 있는데요. 빠르게 변화하는 금융 규정이나 시장의 정보 등을 AI와 결합하여 차별화된 고객 경험을 제공하고 있습니다.🏦 

이미 RAG 만으로 충분하다고 생각하실 수 있지만, RAG도 단점이 존재합니다.💧 RAG는 종종 정적으로 작동하기 때문에 새로운 정보나 최신 정보를 담은 사용자의 요구에 동적으로 적응하기 어렵습니다.⚙️ 또한 데이터의 양과 다양성이 커짐에 따른 운영 확장 문제도 있습니다. 가장 중요한 문제는 다면적인 쿼리를 처리할 수 없어 광범위한 엔터프라이즈 사용에 제한적이라는 것이죠.✋

이러한 문제들을 개선하기 위해 새롭게 등장한 것이 에이전틱 RAG입니다.🤖 에이전틱 RAG는 지능형 에이전트를 사용하여 복잡한 쿼리를 처리할 수 있으며 여러 소스에서 정보를 교차 참조하고 검색, 데이터 검증, 다단계 추론을 통해 더욱 정확하고 시의적절한 답변을 출력할 수 있습니다.

에이전틱 RAG는 복잡한 쿼리를 처리하기 위해 향상된 검색 기술을 사용하는데요.🔎 검색 정밀도를 개선하기 위한 재순위 알고리즘, 키워드 기반 및 의미 검색을 사용하는 하이브리드 검색 방법론, 계산 비용을 줄이고 응답 시간을 개선하는 의미 캐싱을 포함하여 기존 검색 시스템의 효율성, 정확성, 적응성을 향상시켰습니다.📈

또한, 멀티 모달 통합을 통해 이를 극대화할 수 있는데요. 이미지, 오디오, 비디오 등 다양한 데이터 유형을 통합함으로써 쿼리를 총체적으로 이해하여 보다 정확하고 관련성 높은 답변을 제공합니다. 다양한 유형의 데이터를 검색하는 것은 물론, 신뢰할 수 없거나 품질이 낮은 정보를 식별하여 제외하는 필터링 메커니즘으로 데이터 품질을 평가하고 검증하기도 하죠.✅ 다양한 검색 엔진과 API를 활용하여 정보 수집 기능을 향상시킬 수 있다는 것도 눈에 띄는 특징인데요. 실시간 데이터에 액세스하려면 외부 및 내부 소스에 대한 API 통합이 필수적이기 때문입니다.🛠️ 

에이전틱 RAG, 이 정도면 거의 RAG 계의 끝판왕이라 할 수 있을 텐데요. 하지만 기존 RAG 때부터 풀지 못한 숙제가 있습니다. 바로 내부 데이터에 대한 액세스 문제입니다.🚫 

기업 데이터를 에이전틱 RAG 및 LLM에서 사용할 수 있게 하려면 아래 3가지 단계를 거쳐야 합니다.

1) 기업 데이터 디지털화하기

2) AI가 잘 사용할 수 있도록 데이터를 추출, 정제, 구조화하기

3) 구조화된 데이터를 RAG 또는 LLM과 연결하기

대부분의 기업은 OCR 솔루션을 통해 실제 문서를 디지털화하는데요. 일부 기업은 이 과정에서 AI와 OCR을 통합한 지능형 문서 처리를 통해 데이터 변환 시 문서의 텍스트와 구조에 대한 정확도를 높이기도 합니다.💡 좋은 품질의 데이터가 LLM에 미치는 영향은 이미 AI 시장에 잘 알려져 있는데요. 이를 위해 기업들은 데이터 스트림 관리, 레이블링, 자연어 처리 등을 사용하여 양질의 데이터를 확보하는 데 심혈을 기울이고 있습니다.🔥

에이전틱 RAG 및 LLM을 위한 정보의 디지털화를 가장 잘 보여주는 것은 물류 산업입니다.📦 물류 산업은 송장, 포장 목록, 원산지 증명서, 운전 일지, 배송 정보, 영수증, 차량 서류 등 문서의 90%가 비정형 및 수기로 작성되는데요.📝 주문부터 배송까지 여러 이해관계자가 다양한 데이터베이스에 저장하는 데이터를 에이전틱 RAG의 API를 사용하여 하나의 시스템에 연결함으로써, 다양한 정보를 검색하여 수요 예측, 경로 최적화, 창고 관리, 차량 예측, 유지 보수 등 물류 산업에서 중대한 이슈를 해결하고 인사이트를 제공할 수 있습니다.

기존 데이터로 학습했을 땐 문제가 없었는데 실제로 사용해 보니 잘 작동되지 않는 머신러닝 모델 이야기, 들어보셨나요?🤔 이와 같은 현상은 모델을 처음 만들 때 학습했던 데이터와 실제로 모델을 사용했을 때 접하는 데이터가 다를 경우 종종 발생하는 데이터 드리프트 현상 때문입니다.😱 예를 들어볼까요?

편의점에서 특정 제품을 얼마나 비축해야 할지 예측하기 위해 머신러닝을 사용한다고 가정해 보겠습니다. 이들은 모델 훈련을 위해 지난 몇 년 동안의 과거 판매 데이터를 사용하여 모델을 훈련했습니다.📈 이를 통해 매장 내 상품에 대한 수요 예측으로 큰 문제 없이 재고를 관리할 수 있게 되었는데요. 최근 일부 제품을 온라인 판매로 전환하며 문제가 발생하게 됩니다.🚨 머신러닝 모델은 기존과는 다르게 잘 작동하지 않는 것이었는데요. 그 이유는 훈련 데이터에 온라인 판매에 대한 정보가 충분치 않았기 때문이었습니다.🤦🏻‍♂️ 결국 모델 예측 품질은 크게 떨어지고 재고 관리 효율에 악영향을 미치고 말았죠.

위 예처럼, 모델의 입력 데이터 분포의 변화는 모델의 성능 저하로 이어질 수 있습니다.📉 머신러닝 모델은 처음 학습한 데이터와 실제 데이터가 유사할 때 더 좋은 성능을 발휘하는데요. 반면, 데이터가 계속 변하고 모델이 새로 접한 데이터를 일반화할 수 없는 경우라면 정확한 예측이나 결정을 내리는 데 어려움을 겪을 수 있습니다.🥵

머신러닝을 사용하기에 앞서 데이터 드리프트의 개념을 이해하는 것이 중요한데요. 아래 3가지 개념만 이해하고 있어도 큰 도움이 될 수 있습니다.

🚩첫 번째, 모델에서 데이터의 배포 편차가 발생할 수 있고 그런 상황이 올 수 있음을 개념적으로 이해하면, 모델 모니터링 및 재학습을 통해 머신러닝 모델의 품질을 유지할 수 있습니다.

🚩두 번째, 데이터의 분포 드리프트를 추적하여 기준값 또는 실제 레이블링을 사용할 수 없는 경우, 머신러닝 모델의 품질을 모니터링하는 도구로 활용할 수 있습니다.

🚩세 번째, 데이터 드리프트를 분석하는 것으로 모델이 품질이 왜 저하되는지 해석 및 디버그하고 모델의 데이터 환경이 어떻게 변화하고 있는지 이해하는 데 도움이 됩니다.

그렇다면, 데이터 드리프트는 어떻게 감지할 수 있을까요? 가장 일반적인 방법은 평균, 중앙값, 분산, 분위수 등과 같은 통계를 살펴보는 것입니다.📊 예를 들어, 숫자 변수의 평균값이 기준값에서 두 표준 편차 이내인지 확인하는 것입니다. 개별 통계 값을 모니터링하여 변동이 있을 때 대응할 수 있으며, 도메인 지식을 기반으로 특정 피처의 중앙값이나 사분위수 값 등 기대치가 있는 경우에 사용하기 좋은 방법입니다.

또 다른 방법은, 통계적 가설 검정 방법입니다. 숫자적 특징에 대한 검정(Kolmogorov Smirnov 등)이나 범주적 속성에 대한 검정(Chi-square 등)이 대표적이며 두 데이터 세트 간의 차이가 통계적으로 유의미한지를 평가할 때 사용되는데요. 특히 데이터 세트가 작고 각각의 데이터가 중요하고 해석할 수 있는 특징을 가지고 있는 경우에 사용하는 것이 좋습니다.🎯 예를 들어 의료나 교육 등의 도메인이 해당되겠네요.

그 외에도 분포가 얼마나 떨어져 있는지 정량적으로 측정하는 거리 지표를 활용한 거리 측정법, 간단한 규칙을 만들어 검사하는 규칙 기반 검사 등이 있는데요. 현재 상황에 맞는 데이터 드리프트 감지 방법을 선택하는 것도 좋지만, 상황이 된다면 여러 방법을 복합적으로 활용하여 정확도를 올리는 것도 좋습니다.😎

데이터 드리프트가 감지되었을 때 조치하는 방법도 여러 가지인데요. 가장 필수적인 것은 바로 분석을 통해 현재 상황을 이해하고 적절한 조치 방법을 찾는 것입니다. 가장 일반적인 조치로는 새로 관찰된 데이터 분포의 레이블링을 지정하고 이를 통해 모델을 재교육하는 것인데요.🧠 재교육하기 위한 충분한 양의 레이블링 된 데이터가 있는 경우 가장 권장되는 조치입니다.

드리프트 정도에 따라 선택할 수 있는 전략도 다양한데요. 예를 들어 이전 데이터와 새 데이터를 사용하여 모델을 다시 학습하거나, 최신 데이터에 더 높은 가중치를 주거나, 이전 데이터를 완전히 삭제하는 것도 방법입니다. 또 피처 엔지니어링 및 모델 설계 프로세스를 다시 실행하는 방식을 개발할 수도 있죠.🧐

만약 데이터 드리프트로 인해 모델이 심각한 오류를 일으킬 수 있다고 예상된다면, 일시적으로 모델을 중지하고 모델의 출력에 대한 결정 프로세스를 수정하는 것도 고려해 볼 수 있습니다. 혹은, 데이터의 변화에 따라 더 탄력적으로 대응할 수 있도록 모델 설계를 조정하는 것도 방법이 될 수 있죠.⚙️

데이터 드리프트는 AI에 있어 피할 수 없는 문제가 되었습니다. 데이터 드리프트에 대해 충분히 이해하고 관리하는 것은 프로젝트의 안정성과 효율성을 유지할 수 있게 도와주고, 더 나아가 데이터 변화에 대한 인사이트를 통해 기업의 방향성을 정립할 수도 있습니다.🔀 끊임없이 발전하는 AI, 그리고 이로 인해 시시각각 변화하는 시장. 최신 기술을 따라가는 것도 좋지만, 데이터를 통해 현 상황을 진단하고 예측하는 것만으로도 남들보다 한 발 더 앞설 수 있지 않을까요? 데이터는 거짓말을 하지 않으니 말이죠.😉