💌AI로 AI를 학습시켰더니... 얘가 왜 이래?🤯

2024. 9. 5.

이 메일이 잘 안보이시나요?

안녕하세요. 구독자님🤗

1분 1초가 바쁘게 돌아가는 현대사회!

데이터에 有관심한 구독자님의 시간을 아껴줄

데이터 뉴스🗞️를 큐레이팅했어요.

구독자님이 놓쳐선 안될

이번 주 데이터 브리프,

지금 만나보세요👇

??? : AI 학습 데이터, AI로 만들면 되지!
현실은 '얘가 갑자기 왜이래?🤯'

인간의 기준에서 본다면, 이 세상에는 상상할 수 없을 만큼 많은 데이터가 존재해요. 하지만 AI는 어떨까요? 생성형 AI는 지금도 무수히 많은 양의 데이터를 학습하고 있고 당장 *2년이면 AI가 학습할 수 있는 데이터가 고갈될 거라고 예상하고 있어요.

그렇다면, AI 학습 데이터를 AI로 만들면 어떨까요?

영국 옥스퍼드대와 캐나다 토론토대 등 국제 공동 연구진은 상상을 현실로 실행했어요. 결과는 어땠을까요? 국제학술지 네이처 최신호에 따르면 "*AI가 만든 데이터를 AI가 학습해 결과를 생성하고, 이 데이터를 AI가 다시 학습해 결과를 내는 과정을 반복했더니 결국에는 엉뚱한 결과물을 생성하는 'AI 모델 붕괴' 현상이 나타났다"고 해요.

연구진은 AI에 14세기 건축에 대한 데이터를 입력한 뒤, 위키피디아와 유사한 결과물을 내도록 하는 형식으로 학습과 생성을 반복했는데요. 단 9번 만에 검정@-@ 꼬리 토끼, 흰 @-@ 꼬리 토끼 등, 알 수 없는 이야기를 늘어놓으며 횡설수설했다고 밝혔어요.

마치 근친 교배로 종이 붕괴하는 것처럼 AI가 붕괴한 것인데요. 그렇다면, 지금 상용화된 ChatGPT나, Gemini, Llama 등도 붕괴될 수 있지 않을까요? 다행히도 AI 붕괴가 당장에 일어날 가능성은 낮아요. 상용화된 AI가 100% 합성 데이터에 의존하고 있지 않기 때문인데요. 연구진은 인간이 생성한 학습 데이터를 10%, AI가 생성한 학습 데이터를 90% 비율로 함께 학습했을 때는 AI 붕괴 현상이 더뎠다고 해요.

그렇다고 안심할 순 없어요. AI의 붕괴 속도를 늦출 뿐이지 아직까지 완전히 막을 수 있는 것은 아니니까요. 최근에는 AI의 학습 데이터의 양보단 품질이 더 중요하다는 연구 결과도 많이 나오고 있는데요. 한국데이터산업진흥원에 따르면 완전성, 정확성, 대표성, 개인정보 보호의 측면에서 고품질 데이터셋은 신뢰할 수 있는 AI 시스템 개발에 직접적인 영향을 미친다고 밝혔어요. AI 학습에 사용되는 대부분의 데이터셋은 노이즈가 많고 편향되어 있는 경우가 많다고 하는데요. 연구에 따르면, 레이블링이 잘못된 데이터셋의 10%를 수정한 것만으로 데이터셋의 크기를 두 배 늘린 것과 비슷한 성능 향상을 가져왔다고 해요. 즉, 학습 데이터셋에서 노이즈 수준이 증가할수록 AI 시스템의 성능이 명백하게 저하되는 것이죠. 학습 데이터의 양을 확보하는 것도 중요하지만 좋은 품질의 데이터가 무엇이고 어떻게 만들 수 있는지 연구하는 일도 게을리해서는 안 될 것 같아요.👍

19조 원 가치의 데카콘 기업🦄×10
Scale AI가 박사급 인력을 채용하는 이유👨‍🎓

데이터 레이블링의 선두주자로 잘 알려진 Scale AI가 박사급 인력을 대거 채용하고 있어요. Scale AI는 주로 아프리카, 인도, 필리핀 등 값싼 인력을 고용하여 AI 레이블링 작업을 AI 레이블링을 진행해 왔는데요. 갑자기 고급 인력, 그것도 박사급 인력이 필요해진 이유는 무엇일까요?

Scale AI는 LLM으로 비즈니스 모델을 확장하며 최근 시리즈 F로 10억 달러(약 10조 3,500억 원)를 투자받아 창업 5년 만에 데카콘 기업으로 성장했어요. 막대한 자금 유입과 더불어 고급 인력을 채용하는 데 초점을 맞추고 있는 모습인데요. *값싼 인력에서 고급 인력으로 채용의 흐름이 변화한 이유에는 AI 시스템을 개발하는 데 있어 인간이 핵심적인 역할을 하기 때문이에요.

현존하는 LLM의 경우, 많은 양의 범용 데이터를 학습함에 따라 일정 수준 이상의 발화나 추론 능력을 확보하고 있는데요. 그렇다고 하더라도 범용 데이터만으로는 상황에 따른 자연스럽고 정확한 답변을 내놓지는 못하고 있는 상황이에요. 예를 들어 '팔을 쥐어짜는 것 같아'와 같이 특이한 구문을 LLM이 이해하고 자연스럽게 답변하기 위해서는 수많은 케이스의 예시와 데이터가 필요해요. 뿐만 아니라 법률이나 의학, 교육 등과 같이 특정 도메인에 대한 지식이 필요한 경우에는 더욱 어려울 수 있어요. Scale AI가 전문 인력을 고용하는 이유 역시 LLM이 보다 정확하고 전문적인 내용의 데이터를 학습해 LLM의 성능을 극대화하기 위함인 것이죠.

지난 5월, Scale AI의 창업자인 알렉산드르 왕은 팟캐스트를 통해 "데이터를 제공하려면 가장 뛰어난 인재들이 필요하다"며 "고급 인력의 작업은 사회에 매우 광범위한 영향을 미치고, AI 시스템을 위한 데이터 생산은 거의 무한대에 가까운 영향력을 발휘할 수 있다"고 덧붙일만큼 고품질 데이터를 강조하고 있는데요. Scale AI뿐만 아니라 메타, 앤트로픽, 구글 등 기존 LLM 기업도 고품질 데이터에 대한 필요성을 인지하고 데이터 확보에 주력하고 있어요.

고품질 데이터에 대한 필요성이 알려지며 업계 전반에 수요도 증가하고 있는데요. 도메인에 최적화된 데이터 구축을 위해 전문적인 데이터 설계 기업에 의뢰하거나 내부적으로 데이터 구축을 위한 전문 인력을 채용하기도 해요. 또한, 개발한 모델의 성능이 어떤지 점검하고 개선점을 찾아 보완할 수 있는 LLM 평가 부분도 활발하게 이루어지고 있어요. 고성능의 LLM 기준, 이제 데이터 학습량과 모델만큼이나 학습 데이터 품질도 꼭 따져봐야 할 것 같아요.