AI 네이티브 데이터 플랫폼 웨카(WEKA)와 S&P 글로벌 마켓 인텔리전스가 전 세계 AI 업계 종사자와 결정권자 약 1,500명을 대상으로 설문을 진행했습니다. 바로 AI 채택과 이용에 영향을 미치는 근본적인 트렌드를 이해하기 위해서였는데요. 이를 토대로 제작한 글로벌 AI 동향 보고서가 발표되었습니다. 

보고서에는 크게 5가지 주요 결과가 있었다고 하는데요. 1,500명의 AI 업계 관계자들은 어떤 답변을 내놓았는지, 또 어떤 주요 결과를 알 수 있었는지 바로 알아보도록 하겠습니다.😎

 🚩 AI 애플리케이션 도입 목적은 품질 개선과 IT 효율성 

• 생성형 AI는 빠르게 성숙하고 있으며 광범위한 범위에서 핵심 요소로 자리 잡음.
• 설문자의 33%가 기업 내 AI 조직 규모가 광범위하게 구현되었다고 답변.
• 조직의 AI 도입 목표는 제품 및 서비스 품질 개선(42%), 매출 성장(39%) 등.
• 인력 생산성(40%), IT 효율성(41%) 개선 및 혁신 가속화(39%)를 위해 AI 활용.

 🚩 AI 프로젝트 확장에 실패하는 이유는 레거시 데이터 아키텍처 때문 

• 평균 조직의 AI 프로젝트 단계는 시범 10개, 일부 배포 16개. 반면, 대고객은 6개.
• 조직의 주요 과제는 AI 프로젝트를 상용화하기 위한 데이터 품질 확보.
• 하지만 일관되고 통합된 형식의 고품질 데이터를 구축하는 데 어려움 겪음.
• AI 개발을 방해하는 인프라 구성 요소는 스토리지 및 데이터 관리(35%), 컴퓨팅(26%), 보안(23%), 네트워킹(15%) 등.
• 취약한 데이터 아키텍처가 다수 조직의 AI 프로젝트를 방해.

 🚩 생성형 AI가 다른 AI 애플리케이션을 빠르게 잠식 중 

• 88%의 조직이 생성형 AI를 적극 검토 중. 예측 모델(61%), 분류(51%), 전문가 시스템(29%), 로보틱스(30%)와 같은 다른 AI 애플리케이션을 빠르게 잠식하고 있음.
• 24%의 조직이 생성형 AI를 조직 전반에 적용되는 통합 기능으로 보고 있음.
  AI에 전혀 투자하지 않는 조직은 11%에 불과.
• 이미 생성형 AI를 구축한 조직은 투자를 지속할 계획.
  생성형 AI 예산은 향후 1년 총 AI 예산의 47%에 도달할 것으로 예상.

 🚩 인프라 의사 결정에 영향을 미치는 GPU 가용성 

• 10개 조직 중 4개 조직이 인프라 의사 결정의 주요 사항으로 GPU 확보 여부를 꼽음. 
  30%는 AI 모델을 상용화하는 데 GPU 가용성을 3대 과제 중 하나로 선정.
• 조직이 모델 훈련을 위해 GPU를 활용하는 채널은 하이퍼스케일의 퍼블릭 클라우드(46%)이며, GPU 클라우드 전문 업체(32%) 활용도 증가 추세.

 🚩 AI가 환경에 미치는 영향 우려, 하지만 AI 도입이 먼저 

• 조직의 64%가 AI/ML 프로젝트의 환경적 영향에 대해 우려, 25%는 매우 우려.
• 조직의 42%가 지난 1년간 진행한 AI 프로젝트의 환경적 영향을 해결하기 위해 에너지 효율적인 IT 하드웨어와 시스템에 투자, 이 중 56%는 높은 효과.
  그 외는 데이터 인프라 공급업체(59%), AI 프로젝트 범위(57%) 변경에서 효과.
• 조직의 37%가 AI 인프라 의사 결정에 지속 가능성이 영향을 미쳐.
  단, 보안(47%) 및 GPU 액세스(44%)가 먼저.

보고서 작성을 위해 설문을 진행한 S&P 글로벌 마켓 인텔리전스의 수식 리서치 애널리스트 존 에버트는 이렇게 말했다고 합니다.

“이번 조사에서 가장 눈에 띄는 사실 중 하나는 최초의 생성형 AI 모델이 출시된 지 채 2년이 지나지 않아 생성형 AI가 기업 내 AI 애플리케이션들을 빠르게 잠식하며 새로운 AI 리더 코호트를 정의했습니다 … 우리는 이제 더 수준 높은 AI 성숙도를 가진 사람들과 매출 및 운영 효율의 제고, 혁신 제품의 출시 시간 단축이 형성하는 상관관계를 볼 수 있을 것입니다”.

하루가 다르게 발전하는 생성형 AI 시장! 앞으로 우리가 눈여겨봐야 할 것이 무엇이고 어떤 부분에 힘을 쏟아야 할지 지속적인 관심을 가지고 살펴본다면, 이 노력이 모여 언젠가는 남들보다 한 발 더 앞설 수 있는 원동력이 될 거라 믿어봅니다.💪

윗글에서 글로벌 AI 동향 보고서의 주요 내용을 알아봤는데요. Data brief를 전하고 있는 입장에서 특이점이 하나 발견되었습니다. 설문에 참여한 1,500명 중 많은 사람이 고품질 데이터를 구축하는데 어려움을 호소하고 취약한 데이터 아키텍처 때문에 문제를 가지고 있다고 답한 것이죠.😱

더 놀라운 건, 응답자의 59%가 데이터 전처리 단계가 모델 구축보다 더 어렵다고 이야기한 것인데요. 데이터에 문제가 있음을 알고 중요한 것도 알지만 매년 데이터 전처리 단계에서의 의미 있는 개선은 없었다고 합니다. 이와 관련해 영국의 식음료 제조 회사 CIO는 이렇게 말하기도 했죠.

“제가 가장 먼저 한 일은 데이터 전략을 두 배로 강화하여 데이터 플랫폼과 이를 둘러싼 거버넌스 및 역량을 효과적으로 구축한 것입니다. 이를 통해 데이터를 더 잘 제어할 수 있게 되었습니다. 많은 회사에서 이러한 인수합병으로 인해 이질적인 시스템을 많이 보유하고 있는데 이는 곧 서로 다른 데이터가 있다고 볼 수 있습니다. 이것을 통합하고 관리하기란 매우 어려운 일입니다.”

즉, 데이터의 중요성을 알고 있다 하더라도 현실적으로 이를 개선하기 위해선 엄청난 리소스와 투자가 필요하기 때문에 개선하기 어렵다는 것입니다.💧

급속도로 성장하는 AI 시장은 매년 더 많은 데이터를 소비하고 있습니다. 응답자의 80% 이상이 향후 1년 이내 AI 모델을 개발하는 데 사용하는 데이터양이 증가할 것으로 예상하고, 49%는 데이터양이 25% 이상 증가할 것이라고 예상했죠. 즉, 데이터 관리에 투자하지 않는다면 데이터 부족은 물론, AI 학습에 제동이 걸릴 수 있다는 것입니다.🚨

다만, AI 빅테크 기업에겐 크게 문제가 되지 않는 듯 보이는데요. 실제 설문 결과를 보면 조직 내 AI가 광범위하게 구현되었다고 답한 응답자 중 28%만이 스토리지 및 데이터 관리를 저해 요소로 꼽았습니다. 이는 AI 시장을 리드하는 기업은 사전에 생성형 AI를 염두해 두고 현대적인 데이터 아키텍처를 위해 투자해 왔다고 볼 수 있습니다.

그렇다면, 기업들은 이 문제를 어떻게 해결할 수 있을까요?

📌단기적으로는, 기존 레거시 데이터에서 사용할 수 있는 데이터를 통합하는 것이 우선입니다. 이 중 AI 도입을 위한 핵심 데이터를 식별하고 해당 데이터를 정제, 가공하여 생성형 AI가 학습할 수 있는 형태로 만들어야 하죠. 또한, 레거시 데이터 아키텍처에서 AI가 필요로 하는 데이터를 적시에 가져올 수 있도록 데이터 파이프라인과 API를 구축하여 데이터 접근성을 향상시키는 것도 좋은 방법입니다. 단, 이 경우에는 기존 인프라에 과부하를 주지 않으면서 필요한 데이터만 추출할 수 있게 최소한의 데이터 통합을 설계하는 것이 중요하죠.

📌장기적으로는, 데이터 아키텍처를 고도화하는 것인데요. 기존 레거시 데이터 아키텍처의 문제점을 평가하여 이를 개선할 수 있도록 로드맵을 설계해야 합니다. 기존 레거시 데이터를 고도화하기 위해서 데이터를 일관된 형식으로 중앙 집중화하고 다양한 데이터를 모두 수용할 수 있는 데이터 레이크를 구축해 대규모 데이터를 통합하여 관리할 수 있게 만드는 것도 중요합니다. 또한, 갑작스러운 사용량과 대규모 데이터에 대비해 클라우드로 전환하면 유연성과 효율성을 높일 수 있습니다. 또한, 데이터 파이프라인을 구축하고 워크플로 자동화를 통해 데이터의 수집과 분석의 효율을 증가시킬 수도 있어요. 혹은 데이터 거버넌스를 구축하고 데이터 컨소시엄을 통해 데이터풀을 넓히는 것도 방법입니다.

학습 데이터 부족 문제는 최근 생성형 AI 도입이 보편화되며 부각되고 있는 문제인데요. 소규모 업체부터 대규모의 자금을 투자한 빅테크 기업까지도 이 문제를 피할 수는 없을 것을 보입니다. 생성형 AI의 시작을 알린 오픈AI의 GPT-4는 최대 12조 개의 토큰을 학습한 것으로 알려졌는데 차세대 모델인 GPT-5의 경우, 60조 개에서 100조 개의 토큰을 학습할 것으로 전망하고 있어요. 하지만 오픈AI가 현재 사용 가능한 고품질의 텍스트와 이미지 데이터를 총동원하더라도 여전히 10~20조 개의 토큰이 부족할 것으로 예측되죠.😵‍💫 

더 좋은 품질의 데이터를 더 빨리 더 많이 확보하려는 AI 개발사 간의 경쟁이 치열해지고 있는데요. 최근에는 데이터 확보를 위해 언론 데이터와 AI 모델 생성 데이터를 학습하는 방법도 논의되고 있지만 저작권이나 모델 붕괴 등의 이슈로 쉽지 않은 상황입니다. 생성형 AI는 많은 데이터를 학습할수록 좋은 결과물을 생성한다고 알려져 있는데요. 데이터 고갈에 대비하기 위해 기업의 고유 데이터를 잘 관리하고 개발 목적에 맞는 고품질 데이터를 확보하는 것이 기업 경쟁력을 키우는 방법이지 않을까 생각해 봅니다.✨