대규모 언어 모델, 데이터 부족에 직면하다

인공지능(AI) 기술, 특히 대규모 언어 모델(LLM) 기반 생성형 AI는 최근 몇 년 동안 놀라운 속도로 발전해 왔습니다. 텍스트 생성, 번역, 요약, 질의응답 등 다양한 분야에서 인간 수준의 성능을 보여주며, 우리 삶의 여러 측면에 영향을 미치고 있습니다. 하지만 이러한 놀라운 발전에도 불구하고, 생성형 AI 모델의 성능 향상에는 방대한 양의 학습 데이터가 필수적입니다. 모델은 학습 데이터로부터 패턴을 배우고, 이를 기반으로 새로운 텍스트를 생성하거나 언어를 번역하는 방법을 익힙니다.

 

인터넷 데이터의 한계와 데이터 부족 문제

초창기에는 인터넷상의 방대한 양의 텍스트와 코드 데이터가 AI 모델 학습에 충분하다고 생각되었습니다. 하지만 실제로는 인터넷 데이터가 생각보다 한정적이고 편향되어 있으며, 고품질 데이터가 부족하다는 문제가 드러났습니다.

 

• 데이터의 한정성: 인터넷 상의 대부분의 데이터는 뉴스 기사, 블로그 게시물, 소셜 미디어 글과 같은 비공식적인 텍스트로 구성되어 있으며, 전문 용어나 특정 분야 지식이 부족합니다. 또한, 학습에 필요한 다양한 주제와 스타일의 데이터가 충분하지 않은 경우가 많습니다.
• 데이터의 편향성: 인터넷 데이터는 특정 관점이나 이데올로기에 편향되어 있을 수 있습니다. 이는 AI 모델이 편향된 결과를 생성하거나 특정 그룹에 대한 차별적인 결과를 초래할 수 있습니다.
• 고품질 데이터 부족: AI 모델 학습에 가장 효과적인 데이터는 전문가가 작성한 고품질 텍스트 데이터입니다. 하지만 이러한 데이터는 수집 및 정제에 많은 시간과 비용이 소요되기 때문에 매우 부족합니다.

빅테크 기업들의 데이터 확보 경쟁

데이터 부족 문제는 빅테크 기업들 사이에서 치열한 경쟁을 야기하고 있습니다. 기업들은 더 많은 데이터를 확보하기 위해 다양한 노력을 기울이고 있으며, 이는 데이터 소유권과 저작권 문제에 대한 논의를 불러일으키고 있습니다.

 

• 오픈 AI의 위스퍼 소프트웨어 개발: 오픈AI는 유튜브 영상의 자막 데이터를 활용하여 AI 모델을 학습시키는 위스퍼 소프트웨어를 개발했습니다. 이는 방대한 양의 데이터를 확보하는 효과적인 방법이지만, 저작권 침해 문제에 대한 우려도 제기되고 있습니다.
• 구글과 메타의 데이터 활용 전략: 구글과 메타는 자체적으로 보유한 방대한 양의 데이터(구글 검색, 유튜브, 페이스북, 인스타그램 등)를 AI 모델 학습에 활용하고 있습니다. 하지만 이는 데이터 독점 문제와 개인 정보 침해 우려를 야기하고 있습니다.

소셜 미디어 데이터 활용과 논란

소셜 미디어 플랫폼의 데이터는 AI 모델 학습에 매우 유용한 것으로 알려져 있습니다. 하지만 이는 개인 정보 보호 문제와 윤리적 문제를 야기하고 있습니다.

 

• 일론 머스크의 비판: 일론 머스크는 소셜 미디어 데이터를 AI 모델 학습에 활용하는 것은 "위험하고 잘못된 일"이라고 비판했습니다. 그는 개인 정보 침해와 데이터 편향 문제를 우려했습니다.
• 메타의 데이터 활용: 메타는 페이스북과 인스타그램의 공개 게시물 데이터를 활용하여 AI 모델을 학습시키고 있습니다. 하지만 이는 사용자 동의 없이 데이터를 활용한다는 비판을 받고 있습니다.
• 데이터 보유 기업과 그렇지 않은 기업 사이의 균열: 소셜 미디어 플랫폼은 방대한 양의 사용자 생성 데이터(텍스트, 이미지, 영상 등)를 보유하고 있습니다. 이러한 데이터는 AI 모델 학습에 매우 유용한 것으로 알려져 있으며, 특히 다양한 주제와 스타일의 텍스트 데이터가 풍부하다는 장점을 가지고 있습니다. 하지만 소셜 미디어 데이터를 보유한 기업들과 그렇지 않은 기업들 사이에는 데이터 접근성과 활용 측면에서 심각한 불균형이 존재합니다.

학습 데이터 확보의 새로운 전략

데이터 부족 문제를 해결하기 위해 다양한 새로운 전략들이 모색되고 있습니다.

 

• 포토버킷과 레딧의 데이터 활용 계약: 포토버킷과 레딧은 AI 모델 학습에 활용될 수 있는 방대한 양의 이미지 및 텍스트 데이터를 보유하고 있습니다. 최근 이들 플랫폼은 데이터 활용 계약을 통해 AI 기업들에게 데이터 접근 권한을 제공하기 시작했습니다.
• 사용자 생성 콘텐츠의 가치와 데이터 라이선스 사업: 사용자들이 생성한 콘텐츠(텍스트, 이미지, 영상 등)는 AI 모델 학습에 매우 유용한 데이터로 활용될 수 있습니다. 이를 기반으로 사용자 생성 콘텐츠의 가치를 인정하고 데이터 라이선스 사업을 통해 새로운 수익 창출 모델을 모색하는 움직임이 나타나고 있습니다.
• 합성 데이터 활용: 실제 데이터를 모방하여 만든 합성 데이터는 데이터 부족 문제를 해결하는 데 도움이 될 수 있습니다. 하지만 합성 데이터는 실제 데이터의 품질을 보장하지 못하며, 편향 문제를 야기할 수 있다는 단점도 있습니다.

 

대규모 언어 모델 기반 생성형 AI는 우리 삶의 다양한 측면에 긍정적인 영향을 미칠 수 있는 잠재력을 가지고 있습니다. 하지만 데이터 부족 문제는 이러한 발전을 저해하는 주요 요인 중 하나입니다. 데이터 확보를 위한 새로운 전략과 윤리적 논의를 통해 데이터 부족 문제를 해결하고, 인간과 AI의 협력을 통해 더 나은 미래를 만들어나가야 합니다.