지난 2022년 11월, 오픈AI가 ChatGPT를 출시하며 LLM 시대를 열었습니다.🚀 어떤 질문이든 척척 대답하는 ChatGPT에 이용자가 급증하며 출시 두 달만에 월 사용자 1억 명을 돌파하기도 했는데요.😮 많은 기업이 그 뒤를 이어 AI를 통해 혁신을 시도하고 있습니다. 반면, AI가 인간의 직업을 빼앗는 것은 아닌지 우려의 목소리도 나오기도 하는데요. 실제로 올해 초 미국 테크 기업들이 대규모 인원 감축을 실행하며 우려가 현실로 이루어지는듯 보였습니다.😱 

“우리 사회는 이전에도 많은 기술의 발전을 겪어왔고, 기술의 등장할 때마다 모두 유토피아적 삶을 약속한다. 하지만, AI 리더들이 기업의 이윤을 위해 사람을 AI로 대체하는데 관심을 더 쏟는 것 같다.  현실에선 우리의 일자리를 빼앗아 갈 것이다.”

미국의 데일리 쇼의 진행자인 존 스튜어트도 위와 같은 말을 하며 AI와 인간 간의 일자리 문제를 꼬집기도 했는데요. 애널리스트 그룹인 Forrester도 2030년까지 컴퓨터 및 수학 직종의 53%가 AI에 의해 사라질 수 있다고 예측하며, 데이터 관련 직종에 종사하는 사람들의 우려의 목소리를 키웠습니다.😢

아이러니하게도, 데이터에 관련한 직업은 미국에서 가장 빠르게 성장하는 직업 중 하나입니다.📈 미국 노동통계국은 2023년부터 2033년까지 데이터 과학 직무가 36% 성장할 것으로 예상하기도 했는데요. 그렇다면 AI가 일자리를 뺏는다는 것일까요? 아니면 창출한다는 것일까요?🤔

데이터챗의 공동 창립자이자 카네키멜론 대학교 교수인 파텔 박사는 AI가 특정 직업을 없앨 수는 있지만 너무 과대평가하고 있다고 말합니다.🤖 AI 리더들이 약속하는 유토피아적 삶과 스튜어트가 비난하는 노동의 격변 사이 어딘가에 있다는 것이죠. 생각해보면 AI로 프로세스나 워크플로우를 자동화한다고 해서 인간이 필요 없어지는 것은 아닙니다. AI가 업무를 잘 수행하고 있는지, 문제는 없는지 감독하고 심사하는 것인 사람의 일이니까요.✍🏻 오히려 점점 더 많은 기업이 AI에 의존하면서 데이터 관련 직종에 종사하는 사람은 필수자원이 될 수 있습니다.💡

또한, AI를 운영하기 위해선 데이터에 정통한 전문가가 필수적입니다. LLM 개발을 위해서는 인간의 훈련이 필수적이고, 고품질의 데이터는 인간이 만들기 때문이죠.🙎‍♂️ 오픈AI의 리더들은 인간의 피드백을 통한 강화 학습(RLHF)이 ChatGPT를 훈련하는데 필수적이었다고 말했는데요. 오픈AI는 프롬프트에 대한 GPT의 답변 중 가장 올바른 것을 골라내고, 할루시네이션 등 예상하지 못한 문제가 발생했을 경우엔 상황별 기준을 수립해 답변을 평가하는 방법으로 LLM을 학습시켰죠.🧠 오픈AI가 이런 방식을 사용한 이유는 AI가 스스로 생각할 수 없기 때문입니다. AI는 단지 사람의 피드백을 통해 지능적으로 보이는 방식으로 정보를 종합할 뿐이라는 것이죠.⚙️

AI는 우리의 일상에 빠르게 녹아들고 있습니다. 어쩌면 앞에서 존 스튜어트가 이야기한 것처럼 AI가 사람의 일자리를 뺏을지도 모르죠. 단순히 반복하거나 일정한 프로세스를 가진 업무에서 사람이 AI를 이기긴 어려울 것입니다.🧮 하지만, 이를 통해 의미 있는 인사이트를 찾아내거나 어떻게 대응하고 행동해야 하는지는 사람만이 판단할 수 있는 일이죠.😎 혹시, AI가 우리의 일자리를 뺏을 것이라고 걱정하셨나요? 그렇다면 AI를 어떻게 활용할지 고민해보세요. 오히려 AI가 여러분의 잠재력을 끌어올리는 수단이 될 수도 있으니까요.🚀

LLM의 등장으로 AI 서비스에 대한 관심이 급증했습니다.👏 기업들은 AI 도입으로 시장에서 경쟁우위를 점하기 위해 노력하고 있는데요. 이 과정에서 데이터 문제로 골머리를 앓고 있다고 합니다.𖡎 MIT 연구에 따르면 기업들이 AI를 도입하는데 가장 큰 문제로 생각하는 것이 데이터 통합과 데이터 파이프라인 구축이라고 하는데요. 그 이유는 많은 양의 고유 데이터가 있어도 AI에 활용할 수 있는 데이터는 극히 제한적이기 때문입니다.🥲

기업은 사업을 영위하는 과정에서 다양한 부서, 다양한 플랫폼을 통해 수많은 데이터를 확보하게 됩니다.🗃️ 이를 활용한다면 도메인에 특화된 AI를 만드는 것에는 큰 문제가 없을 것 같은데요. 현실은 그렇지 않습니다. AI 개발을 위해서는 AI가 학습할 수 있도록 ‘정형화된 데이터’가 필요하기 때문인데요. 실제 최신 데이터 스택을 보유한 기업은 10%에 불과하다고 합니다. AI 도입을 위해서는 산재되어 있는 비정형 데이터를 알맞은 형식으로 정제하고 통합하는 정형화 과정이 필요한데요. 이 과정은 매우 복잡하고 까다로워서 많은 기업이 데이터를 확보하는데 어려움을 느끼고 있는 것입니다.🤯

그렇다면, 어떻게 하면 기업이 가진 고유 데이터를 잘 사용할 수 있을까요? 아래 2가지 관점에서 살펴보겠습니다.

🚩데이터 관리의 관점👀

기업에서 생성된 수많은 파일은 여러 데이터 사일로에 분산되어 있는데요. 이를 손쉽게 관리하기 위해서는 모든 형식의 데이터를 수집하고 저장할 수 있는 데이터 레이크를 구축하는 것이 좋습니다.⚙️ 이를 통해 비정형, 정형, 반정형 데이터 등 AI 학습에 필요한 모든 데이터 하나의 플랫폼으로 통합할 수 있고 관리나 분석 측면에서 편의성이 높기 때문입니다.📊 

보다 원활한 관리를 위해 데이터 거버넌스 체계를 강화하는 것도 중요한데요. 데이터의 품질, 보안, 사용 규정 등을 체계화하여 데이터의 정합성을 유지하고 데이터의 보안 범위를 명시하여 신뢰성을 높일 수 있습니다.📝 꾸준히 데이터를 확장하는 경우, 클라우드 기반의 환경을 마련하여 비용 효율적이고 유연한 데이터 저장 및 분석 환경을 마련할 수 있습니다.☁️

🚩데이터 활용의 관점👀

AI 학습은 무수히 많은 데이터를 필요로 합니다. 이를 위해서는 새로운 데이터를 구축하는 것도 중요하지만, 비정형 데이터를 정형화해야 합니다.✂️ 먼저, AI 목적에 맞도록 결측값, 중복값, 노이즈이 포함된 비정형 데이터를 필터링하여 정형화하고 AI 모델이 데이터를 이해하기 쉽도록 레이블링하여 효율을 극대화할 수 있습니다.🏷️ 또한, 자연어 처리와 컴퓨터 비전을 통해 구조화하여 일관된 형식으로 변환해야 AI 학습에 최적화된 고품질 데이터로 만들 수 있습니다.✨

비정형 데이터용 마이닝 툴을 활용하는 것도 효율을 높일 수 있는 방법입니다.🛠️ 텍스트 데이터에서 키워드를 추출하거나 트렌드를 분석해주는 툴을 활용하는 것은 보다 쉽게 정형화된 데이터를 생성할 수 있게 해줍니다. 또한, 비정형 데이터 자체를 활용할 수도 있습니다. 고객과의 대화 기록이나 상담 내역, 피드백 등의 데이터는 많은 인사이트를 포함하고 있기 때문이죠.🔎

AI의 성능은 데이터 품질에서 결정된다는 말이 있습니다. 이는 수많은 연구에서도 증명된 사실인데요. 성능 측면에서 본다면 AI 목적에 맞는 고품질 데이터를 대량으로 구축하는 것이 좋겠지만 비용이나 기간 측면에서 부담이 될 수밖에 없습니다.💸 따라서, 기업의 고유 데이터를 최대한 활용하고 추후 고품질 데이터로 미세 조정하는 것이 보다 효율적으로 AI를 도입할 수 있는 방법이 아닐까 생각해봅니다.