올해 노벨상 과학 분야에서 다수의 AI 학자가 수상자로 선정되었습니다.🏆 다른 학문에 비해 비교적 짧은 역사를 지닌 컴퓨터과학 분야에서 이러한 결과가 나온 것이 놀라운데요. 최근 AI의 성장세와 다양한 분야의 AI 도입 성과를 보면 그럴 수밖에 없다는 생각도 듭니다.😊 많은 사람이 AI 서비스가 보여주는 표면적인 기능과 성과에 주목하고 있지만 그 이면에는 무수히 많은 혁신적인 기술들이 뒷받침되는데요. 오늘은 AI의 발전 뒤에 가려진 숨은 공신, 데이터 청킹과 검색 증강 생성(RAG)에 대해 이야기해 보겠습니다.

이전부터 지금까지 데이터 관리와 처리는 AI에서 핵심 과제로 여겨집니다. AI가 발전하며 기하급수적으로 거대화하고 복잡해진 데이터 세트로 인해 기존의 정보 처리 방식의 효율이 감소하고 있는데요. 데이터 청킹은 이러한 상황에서 데이터 관리를 간소화하고 AI의 기능을 향상시키는 혁신적인 접근 방식입니다.👍

데이터 청킹의 핵심은 대용량의 데이터를 청크 또는 세그멘트로 분할하여 관리의 편의성을 높이는 것인데요.🗃️ 이러한 프로세스를 통해 더 쉽게 저장, 검색, 처리할 수 있게 되어 AI 시스템이 방대한 데이터 세트를 효율적으로 관리할 수 있습니다. 데이터를 관리 가능한 청크로 분할하면 AI 알고리즘이 더욱 신속하게 작동하여 처리 시간과 리소스 사용률이 줄어들기 때문에 효율은 더욱 증가하죠.🌟

데이터 청킹은 다양한 산업 분야에서 데이터 관리 능력을 개선하고 새로운 AI 솔루션 개발에 대한 잠재력을 가지고 있습니다. 예를 들어 의료 분야에서는 의료 영상 데이터를 청킹하여 더 빠르게 분석하고 진단함으로써 골든타임을 확보하고 치료의 결과를 개선할 수 있죠. 또한, 금융 분야에서는 사기 탐지 및 위험 평가를 위해 거래 데이터를 세분화하여 보안 조치를 강화할 수 있고, 제조 분야는 IoT 디바이스의 센서 데이터를 분류하여 실시간 모니터링과 예측 유지보수를 수행하여 효율을 극대화할 수 있습니다.👏

데이터 청킹과 더불어 AI 서비스 활성화의 주역으로 알려진 기술이 또 있는데요. 바로 검색 증강 기술(RAG)입니다. DataStax의 현장 엔지니어링 책임자인 Dom Couldwell은 ‘고객에게 더 많은 가치를 제공하기 위해선, 제품과 고객에 대한 기업의 고유 데이터를 활용하여 개인화해야 하고 이를 위해선 RAG가 필요하다’고 말하기도 했었죠.

RAG는 사전에 학습된 대규모 언어 모델(LLM)을 기업의 고유 데이터를 결합하여 검색 결과를 개선하기 위한 프로세스인데요. LLM의 단점으로 알려진 환각 현상을 줄이고 기업의 고유 데이터를 통해 정확도를 높일 수 있습니다. 또한, 새로운 정보도 빠르게 업데이트할 수 있어 많은 기업이 AI를 도입하는 데 활용하는 기술입니다.👌 

Dom Couldwell은 RAG를 제대로 활용하려면 2가지를 살펴봐야 한다고 하는데요. 하나는 RAG 활용을 위한 데이터 준비이고, 다른 하나는 RAG 시스템을 대규모로 작동시키기 위한 실행 방법입니다.

 📌 첫 번째, RAG 활용을 위한 데이터 준비 

RAG를 활용하기 전에 어떤 데이터를 가지고 있고, 어떤 형식으로 존재하는지, 또 Gen AI에서 사용할 수 있도록 준비하는 방법을 알아야 합니다. 1️⃣데이터의 형태가 다양하고 정형화되지 않았다면, 텍스트와 관련 메타 데이터를 모두 포함하는 문서 개체로 변환해야 합니다. 2️⃣그 후 데이터를 인덱싱 및 청킹하여 더 작은 부분으로 세분화해야 하죠. 3️⃣세분화된 청크는 색인화되고 벡터 임베딩으로 변환되어 개념이나 객체 간의 의미 관계를 수학적 형태로 포착할 수 있게 됩니다. 4️⃣이를 나중에 활용할 수 있도록 벡터 데이터베이스에 저장해 놓아야 합니다.

이러한 각 단계는 사용자로부터 쿼리가 들어올 때 데이터를 검색할 수 있도록 준비하는 데 필요한데요. 쿼리는 벡터로 변환된 다음 벡터 데이터베이스에 보관된 모든 정보와 검색 비교하는 데 사용되며, 시스템은 쿼리와 가장 일치하는 정보를 찾아 LLM에 공유하며 답변을 생성합니다. 이러한 벡터 검색은 단어뿐만 아니라 검색 아이디어와 일치하는 결과를 혼합하여 고객이 질문한 맥락에 부합하는 완성도 있는 답변을 제공합니다.🤗 

RAG를 효과적으로 구현하기 위해서는 올바른 임베딩 모델, 데이터 청킹 전략, 인덱스 접근 방식을 선택해야 합니다. 각각 접근 방식은 특정 시나리오와 텍스트 유형에 맞게 조정되는데요. 어떤 방식과 방법을 선택하는 것이 좋을지는 RAG 애플리케이션의 특정 요구 사항에 적합한지 테스트를 해보며 결정해야 합니다.

 📌 두 번째, RAG 실행 방법 

데이터를 준비하는 것보다 더 신경 써야 하는 것은, 어떻게 RAG를 실행할 것인가 하는 것입니다. 테스트를 통해 데이터를 활용하여 결과를 도출할 수는 있지만 수천, 수백만 건의 질문이 들어온다면 어떻게 될까요? 정형 및 비정형 데이터에 대한 엑세스가 누적되면 이를 처리하는 과정에서 지연이 발생하여 사용자 경험에 영향을 줄 수 있습니다.💧

지연의 약 40%는 임베딩 서비스와 벡터 검색 서비스에 대한 호출에서 발생하는데요. 트랜잭션당 이런 오버헤드를 줄이면 더 비용 효율이 상승하고 더 나아가 사용자 경험 개선에도 도움을 줍니다. 이를 위해선 구성 요소를 직접 관리하여 가장 적합한 방식과 도구를 선택하여 활용하거나 하나의 솔루션에서 다양한 도구를 지원하는 스택 기반 접근 방식을 활용해 볼 수 있습니다.

또한, 데이터 검색 성능과 함께 데이터 배포 확장 방법도 살펴봐야 하는데요. 다양한 지역에서 실행하기 위해서는 지역을 나누어 호스팅하는 것이 좋습니다. 동일한 스테이징 환경을 여러 지역에 분포함으로써 지리적으로 다양한 환경에서 테스트하고 이를 통해 테스트 및 검증 프로세스를 간소화할 수 있습니다. 또한, 성능이나 가용성을 저하시키지 않고 늘어난 수요를 관리하는데도 유용하죠.⚙️

오늘 말씀드린 데이터 청킹과 RAG는 많은 기업에서 고유 데이터를 효율적으로 활용하기 위해 사용하고 있는데요. 단순히 AI를 도입하는 것으로 끝나는 것이 아니라, AI 기술의 변화를 주시하고 비즈니스에 시의적절하게 반영해 지속 가능한 기업 고유의 AI 환경을 만드는 것이 무엇보다 중요한 일이지 않을까 생각해 봅니다.🙂

AI는 다양한 산업 분야에서 혁신의 원동력으로 자리매김하고 있습니다. 대기업의 경우 막대한 자금력으로 비교적 빠르게 AI 기술을 도입하고 있는데요. 비용 부담으로 AI 도입을 주저하던 중소기업의 경우에도 최근에는 운영 효율 혁신과 성장 동력으로써 AI의 잠재력을 인지하고 있는 추세입니다.😲

중소기업에게 AI는 경쟁력 강화를 위한 강력한 수단인데요. 프로세스 간소화 및 효율성 향상은 물론 고객 행동에 대한 인사이트까지, 끊임없이 변화하고 발전하는 시장에서 비즈니스 영역을 공고히 할 수 있을 뿐만 아니라 무한한 확장 가능성을 가질 수 있기 때문입니다.🚀

골드만 삭스의 샬롯 키넌은 AI가 영국의 550만 중소기업에게 도전 과제이자 성장의 기회라고 하는데요. 골드만 삭스의 프로그램에 참여한 중소기업 중 절반에 가까운 기업이 비즈니스의 성과를 최적화하기 위해 AI를 활용하고 있고, AI가 운영 방식에 지속적인 영향을 미치고 있는 것을 목격하고 있다고 합니다.🔥 이는 비단 영국뿐만 아니라 대한민국을 포함한 전 세계 중소기업을 대상으로 해도 공통적으로 해당되는 이야기일 것입니다.

2024년 초 발표된 설문조사에 따르면 약 80%가 이미 특정 Gen AI 도구를 사용하고 있거나 내년에 사용할 계획이 있는 것으로 나타났는데요. 이는 많은 중소기업이 생산성과 효율성 향상 등 AI를 통해 비즈니스를 성장시키고 싶어 한다고 볼 수 있습니다.📈

중소기업은 제한된 자원과 상대적으로 적은 매출을 가지고 있기 때문에 AI를 통해 효율성을 향상시키는 것에 진심일 수밖에 없는데요. AI 도입을 통해 일상적인 작업을 자동화하고 운영을 최적화하면 전략적 성장 모멘텀을 가질 수 있는 시간적, 비용적 자원을 확보하게 되는 것이죠.🤟 

위처럼 AI 도입을 통해 중소기업이 성장할 수 있는 것은 분명해 보이지만, 실제로 AI를 도입하기엔 많은 어려움이 있습니다. 중소기업이 자사 AI를 구축하기 위해서는 상당한 비용이 필요할 뿐만 아니라 내부적으로 AI 부서나 전문가를 영업하는 것도 쉽지 않기 때문인데요. 또한, ChatGPT와 같은 툴이 있다고 하더라도 AI에 대한 지식 격차로 인해 업무에 적용하기까지 시행착오를 겪을 수 있습니다.🥲

중소기업이 AI를 통해 실질적인 성과를 거두기 위해서는 AI에 대한 교육이 선행되어야 합니다. 하지만 각 기업의 입장에선 어떻게 활용할 수 있을지, 어떤 교육을 받아야 할지 파악하기 어렵습니다. 이를 해결하기 위해서 샬롯은 협력 관계를 구축하는 방법을 제안했는데요. 얼라이언스나 커뮤니티를 구성하여 새로운 기술에 대한 지식과 경험, 사용 사례를 공유하며 지식의 격차를 좁히고 AI 도입을 활성화하고자 하는 것입니다.🧠 또 한 가지는, 정부의 지원인데요. 공공 및 민간 지원을 통한 보조금, 세금 혜택, 파트너십 등을 통해 중소기업의 AI 도입을 촉진할 수 있을 것입니다.🔥

AI는 기업의 규모를 떠나 다양한 산업에서 무궁무진한 확장성과 잠재력을 가진 기술입니다. 중소기업의 AI 활성화는 경제적인 이점뿐만 아니라 국가적 차원에서도 AI 입지를 다지는 기회가 될 수 있는데요. 적절한 교육과 지원, 그리고 협업을 통해 중소기업에도 AI를 통한 새로운 혁신이 이루어지길 바라봅니다.🙏