GPT-4 뛰어넘는다더니… 성능 논란 불거진 구글 제미나이

구글이 12월 6일(이하 현지 시간) 새롭게 출시한 생성형 인공지능(AI) 언어 모델 ‘제미나이(Gemini)’를 둘러싼 평가가 롤러코스터를 타고 있다. 구글은 제미나이를 공개하면서 오픈AI의 최신 언어 모델 ‘GPT-4’보다 성능이 우수하며 ‘대규모 다중 작업 언어 이해(MMLU)’ 테스트에서 인간 전문가 이상의 수준을 기록한 최초 모델이라고 홍보한 바 있다. 그러나 당시 구글이 선보인 제미나이 시연 영상이 사전 편집본이라는 사실이 뒤늦게 밝혀졌고, 실제 성능 또한 기대 이하라는 반응이 이어지고 있다.

구글이 12월 6일(현지 시간) 선보인 신규 생성형 인공지능(AI) 언어 모델 ‘제미나이(Gemini)’ 시연 영상 중 일부. 이 영상은 준비된 이미지와 대본을 통해 사전 제작됐다. [구글 유튜브 캡처]

알파벳 주가 5% 올랐다 10% 떨어져

구글은 12월 6일 제미나이 공개 당시 6분짜리 시연 영상을 선보였다. 영상에선 제미나이에 기반한 AI 챗봇이 사용자와 실시간으로 상호작용하며 이미지, 음성, 영상 등을 인식하는 멀티모달(multi-modal) 기능이 부각됐다. 사용자가 메모지에 물갈퀴가 있는 새 그림을 그린 뒤 주변에 물을 더하니 제미나이는 “오리”고 답했다. 이후 오리를 파란색으로 칠하자 제미나이는 “일반적인 오리 색은 아니다”라며 “갈색, 검은색, 흰색 오리가 좀 더 흔하다”고 말했다. 사용자가 고무로 된 오리 인형을 들고 “이게 물에 뜰까”라고 물었을 때는 “고무는 물보다 밀도가 낮기에 분명 뜰 것”이라고 설명하기도 했다. 이처럼 놀라운 제미나이의 성능에 구글 모기업인 알파벳 주가는 하루 만에 5.3% 급등했다.

그러나 며칠 뒤 제미나이 시연 영상이 실제 성능과 거리가 있다는 사실이 밝혀졌다. 미국 블룸버그통신은 12월 8일 익명의 구글 관계자를 인용해 “시연 영상은 사용자의 질문에 제미나이가 바로 답을 내놓는 실시간 형태가 아니며, 영상 속 제미나이의 반응도 준비된 이미지와 대본에 따른 것”이라고 보도했다. 미국 CNBC도 이 같은 내용을 보도하며 “구글이 2월 AI 챗봇 ‘바드(Bard)’를 성급하게 출시해 시연회에서 오답을 남발하던 데자뷔가 떠오른다”고 평했다. 구글 측은 이 같은 현지 언론의 지적을 인정했다. 그러면서 “시연 영상은 테스트 결과를 기반으로 인간과 제미나이의 상호작용 가능성을 예시적으로 묘사한 것”이라고 해명했다.

“구글, 오픈AI와 타이밍 경쟁서 밀려”

12월 14일 기자가 바드(Bard)에 “최근 5년간 청룡영화상에서 여우주연상을 수상한 배우를 모두 알려달라”고 요구하자 오답을 내놓았다. [바드 홈페이지 캡처]

제미나이 성능이 기대에 미치지 못한다는 혹평도 나온다. 제미나이는 울트라, 프로, 나노 버전으로 출시됐는데, 이 중 가장 대중적 버전인 프로가 현재 바드(영어 프롬프트만)에 적용돼 있다. 문제는 제미나이 프로 탑재 후에도 바드가 간단한 질문에 틀린 답을 하고 논쟁적 질문을 피하면서 성능 논란이 일고 있는 것이다. 12월 14일 기자가 바드에 “최근 5년간 청룡영화상에서 여우주연상을 수상한 배우를 모두 알려달라”고 요구했을 때도 바드는 오답을 생성했다(사진 참조). 2019~2023년 청룡영화상 여우주연상 수상자는 각각 조여정(기생충), 라미란(정직한 후보), 문소리(세자매), 탕웨이(헤어질 결심), 정유미(잠)다. 이처럼 부족한 성능이 도마에 오르면서 알파벳 주가는 12월 7일(종가 기준) 136.93달러(약 17만7530원)에서 12일 132.52달러(약 17만1800원)로 9.6% 내렸다.

구글은 제미나이를 자사 AI 플랫폼 및 서비스에 장착하고 향후 성능을 업그레이드하면서 시장의 의구심을 해소해나갈 것으로 보인다. 12월 13일 구글의 개발자용 AI인 ‘AI 스튜디오’와 구글 클라우드의 기업용 AI인 ‘버텍스(Vertex) AI’엔 제미나이 프로가 탑재됐다. 제미나이 나노는 구글의 최신형 스마트폰 ‘픽셀8 프로’에 적용될 예정이다. 바드에 제미나이 울트라를 장착한 버전인 ‘바드 어드밴스드’는 내년 초 공개된다.

전문가들은 구글이 오픈AI와 타이밍 경쟁에서 밀리면서 연이은 실수가 나오고 있다고 분석했다. 최병호 고려대 인공지능연구소 교수는 12월 14일 전화 통화에서 “구글과 오픈AI는 AI 개발 기술, 보안 문제 해결력 면에서 실력 차가 크지 않다”며 “다만 다른 점이 있다면 오픈AI는 베타 수준인 AI를 일단 시장에 공개하고 그를 통해 주도권을 가지려 한다는 점”이라고 말했다. 최 교수는 이어 “오픈AI가 11월 ‘데브 데이’ 행사에서 ‘GPT 빌더’ ‘GPT 스토어’ 등 이전에 없던 AI 플랫폼과 서비스를 공개한 만큼 구글로서는 멀티모달 등 자신들이 좀 더 앞서 있다고 판단되는 AI 기능을 강조하려 했을 것”이라며 “구글이 시연 영상에 소개한 기술이 전혀 근거가 없거나 초고난도인 것은 아니지만 시장에 오해를 낳았다는 측면에서 자충수가 된 것으로 보인다”고 덧붙였다.