LLM 넘어 LWM 시대 온다

지난 2년간 챗GPT가 생성형 인공지능(AI) 시장을 주도한 기술의 근원은 거대언어모델(Large Language Model·LLM)이었다. 인간 언어를 학습한 AI가 언어로 답을 내놓는 것. 이제는 LLM을 넘어 거대세계모델(Large World Model·LWM) 시대가 오고 있다.

2025년은 거대세계모델의 새로운 분기점

구글 딥마인드가 지난해 12월 출시한 지니2로 만든 가상 세계. 지니2는 텍스트·이미지로 사용자와 상호작용할 수 있는 세계를 만들어낸다. [구글 딥마인드 제공]

젠슨 황 엔비디아 최고경영자(CEO)는 1월 CES(국제전자제품박람회) 2025에서 “로봇의 챗GPT 모멘트(변곡점)가 온다”며 물리 AI(Physical AI)를 차세대 AI의 발전 방향으로 제시했다. 그리고 이를 위한 플랫폼 코스모스(Cosmos)를 발표했다.
‌
엔비디아는 3D(3차원) 시뮬레이션에 기반한 디지털 트윈 플랫폼 옴니버스(Omniverse)를 갖고 있다. 디지털 트윈은 현실과 같은 가상공간을 만드는 것으로, 시뮬레이션을 통해 결과를 미리 예측할 수 있다. 여기에 코스모스가 더해지면서 옴니버스로 구현한 가상공간에 정교한 디지털 트윈이 가능해졌다. 현실에서의 물리적 상호작용이 가상 세계에서도 구현되는 것이다. 또 휴머노이드 로봇에 탑재되는 소형 컴퓨터 ‘젯슨 토르(Jetson Thor)’가 출시되면 로봇이 현실 속 수많은 환경 변화를 인식하고 인간의 명령까지 이해할 수 있는 새로운 세계가 열린다. 황 CEO의 말대로 AI가 또 한 번의 거대한 기술적 변곡점을 맞이하고 있는 것이다.
‌
엔비디아 외에도 구글과 지멘스 역시 물리 법칙을 이해하는 AI를 개발하고 있다. 구글은 현실 세계를 시뮬레이션해 AI가 스스로 학습하고 문제를 해결하는 LWM을 지향한다. 구글 자회사 딥마인드가 지난해 12월 출시한 지니2(Genie2)는 텍스트와 이미지를 기반 삼아 실시간으로 상호작용이 가능한 3D 가상 세계를 생성할 수 있다. 가령 “숲속을 걷는 귀여운 로봇”이라는 텍스트와 로봇 이미지를 입력하면 로봇이 숲을 걸어 다니는 3D 장면을 실시간으로 만들어낸다. 사용자는 키보드와 마우스를 통해 이 3D 환경을 탐색하고 상호작용할 수 있다. 이 기술을 응용하면 현실감 있는 가상 세계를 구축할 수 있을뿐더러, 자율주행이나 로봇 시뮬레이션 분야에서도 활용할 수 있다.
‌
지멘스는 디지털 트윈 기술을 통해 실제 공장을 가상으로 복제해 생산 공정을 최적화하고 있다. 독일 암베르크에 위치한 지멘스의 스마트팩토리 EWA(Electronics Works Amberg)가 대표 사례다. 이 공장은 가상 세계와 현실 세계를 통합한 형태로 모든 공정 상황을 실시간 공유하고, 오류 발생 가능성을 점검해 최적화된 공정을 유지한다.
‌
이처럼 수년 전부터 여러 기업이 물리 AI를 서로 다른 목적과 용도로 개발하고 있다. 올해가 다른 점은 지난 2년간 발전한 LLM과 고도화된 AI 칩셋 덕분에 LWM 발달의 새로운 모멘텀이 만들어졌다는 것이다.

SAM2, 비전프로도 분기점 마련

메타는 2023년 4월 이미지뿐 아니라 비디오까지 처리할 수 있는 인공지능(AI) 분할 모델 SAM2를 출시했다. [메타 제공]

B2C(기업과 소비자 간 거래) 시장에서 주목받은 메타버스도 LWM과 결합하면 획기적인 전기를 마련할 수 있다. 메타는 2023년 4월 이미지 분할 AI 모델 SAM(Segment Anything Model)을 발표해 이목을 끌었다. SAM은 이미지 내 객체를 자동으로 식별하고 분할하는 AI 모델로 사진 편집, 과학적 이미지 분석, 증강현실(AR), 가상현실(VR) 등에서 객체를 정확히 분할해 인식할 수 있게 해준다. 차세대 버전인 SAM2는 이미지뿐 아니라 비디오까지 처리할 수 있도록 기능이 확장됐다.
‌
비전프로 역시 현실 세계의 사물과 환경을 인식하기 위해 다양한 AI 기술이 적용되고 있다. 이 장치는 12개 카메라와 라이다(LiDAR) 스캐너를 통해 주변 환경을 정확히 파악하고, 이를 기반으로 가상 콘텐츠와 현실 세계를 매끄럽게 결합한 혼합현실 경험을 제공한다. 특히 카메라 패스 스루(Camera Pass Through) 기술을 통해 디바이스가 실사와 가상 세계를 정확히 정렬함으로써 사용자에게 몰입감 있는 경험을 선사한다. 또 AI를 활용해 이미지 속 사람, 사물, 문자 등을 인식·분석할 수 있다. 메타와 애플의 기술은 LWM이라고 볼 수는 없지만 향후 LWM에 활용돼 좀 더 정교한 메타버스 세상을 구현하는 데 큰 역할을 할 것이다.
‌
지금까지 주요 기업이 선보인 혁신적인 기술은 LWM으로 수렴될 전망이다. 각각의 기술·서비스가 LWM과 연계될 때 물리적 세계와 디지털 세계의 경계를 초월한 통합 플랫폼이 탄생할 수 있다. LWM은 단순히 데이터를 분석하거나 예측하는 수준을 넘어 현실 세계의 복잡한 상호작용과 물리적 법칙을 통합적으로 이해하고 재현하는 역할을 할 것이다. 결과적으로 자율주행, 산업용 로봇, 스마트 팩토리, 몰입형 메타버스 등 다양한 분야에서 새로운 비즈니스 가치와 고객 경험 혁신을 이끌어내며 디지털 전환의 또 다른 도약점을 마련할 것으로 보인다.

_{*유튜브와 포털에서 각각 ‘매거진동아’와 ‘투벤저스’를 검색해 팔로잉하시면 기사 외에도 동영상 등 다채로운 투자 정보를 만나보실 수 있습니다.}