AI가 인간 대신 컴퓨터 조작하는 CUA(Computer Using AI)

지난 30년간 우리의 인터넷 사용 방식은 손가락으로 키보드를 누르느냐, 마우스를 잡고 클릭하느냐, 손으로 화면을 터치하느냐 같은 차이만 있었을 뿐 결국 GUI(Graphic User Interface)라는 화면을 보면서 작업을 수행하는 방식으로 귀결됐다. 그런데 최근 컴퓨터와 스마트폰의 조작 방식을 획기적으로 개선할 수 있는 발판이 마련됐다. 바로 사람 대신 컴퓨터를 조작하는 인공지능(AI) CUA(Computer Using AI)의 등장이다.
‌
10월 22일 미국 AI 회사 앤스로픽은 AI 모델 ‘클로드 3.5 소네트’를 업데이트하고 이를 기반으로 한 ‘컴퓨터 제어 기능(Computer Use)’을 출시했다. 이 기능을 사용하면 사람이 컴퓨터를 쓰려고 마우스를 잡거나 키보드를 두드리지 않아도 된다. CUA인 클로드가 사람 대신 컴퓨터 화면을 조작한다. 예를 들어 클로드에 ①회사 직원들의 정보가 담긴 엑셀 파일을 열고 ②입사한 지 5년, 10년, 15년 된 직원들의 집주소를 찾아 ③직원 이름과 집주소를 인쇄하라는 명령을 내리면 클로드는 이 모든 작업을 알아서 수행한다.

AI가 인터넷 창 열고 자료 정리

애플이 10월 28일 출시한 인공지능 ‘애플 인텔리전스’의 사용 설정 화면. [애플 제공]

CUA는 하나의 명령어만 입력하면 여러 단계를 거쳐야 하는 작업을 빠르게 수행한다는 점에서 챗GPT와 동일하다. 챗GPT가 데이터 분석, 프로그래밍, 자료 정리와 분류 등 다양한 작업을 쉽게 처리하듯이, CUA 역시 원하는 작업을 요청하면 자동으로 컴퓨터 화면 메뉴와 아이콘 등을 인식해 여러 소프트웨어나 브라우저를 실행하고, 화면에 뜬 특정 자료를 확인해 적절한 내용을 발췌하고 정리한다.
‌
CUA와 챗GPT의 차이점은 작업을 수행할 때 활용하는 자료에 있다. 챗GPT는 클라우드에서 학습한 거대언어모델(LLM)을 기반으로 클라우드와 인터넷상의 데이터를 활용해 작업을 수행한다. 반면 CUA는 사용자로부터 위임받은 컴퓨터 제어권을 AI가 획득한 뒤 컴퓨터 내 소프트웨어와 자료를 활용한다. CUA는 브라우저를 통해 접근할 수 있는 인터넷 사이트의 내용들을 활용할 수도 있다.
‌
‘애플 인텔리전스(Apple Intelligence)’ 역시 애플 AI ‘시리(Siri)’가 아이폰을 대신 조작한다는 점에서 CUA와 비슷하다. 애플 인텔리전스는 CUA처럼 사용자의 명령을 바탕으로 스마트폰 내부 앱(애플리케이션)과 데이터를 직접 다루면서 작업을 수행한다. 다만, 애플 인텔리전스가 제한된 스마트폰 환경에서 AI가 특정 앱을 제어하는 데 초점이 맞춰져 있다면, CUA는 스마트폰보다 더욱 확장된 컴퓨터 환경에서 사용자가 필요로 하는 다양한 프로그램과 웹 자원을 다룬다는 점에서 차별성을 갖는다.
‌
PC(개인용 컴퓨터)나 스마트폰을 사람 대신 조작해 특정 작업을 수행하는 AI는 인간의 삶을 편리하게 할 것이다. 사람 대신 스마트폰 앱을 실행해 택시를 호출하고 쇼핑몰에서 상품을 주문하는 식으로 말이다. AI가 단순 반복 작업을 자동으로 수행하는 것을 넘어 여러 소스에 접근해 데이터를 비교 정리해야 하는 복잡한 업무까지 도맡을지도 모른다.

AI 발전할수록 인간의 적극 개입 늘려야

하지만 PC와 스마트폰을 조작하는 AI가 예상치 못한 문제점을 일으킬 수 있는 만큼 주의가 필요하다. 이러한 AI가 도입되면 사람의 판단력과 통제권이 약해질 수 있다. AI가 PC와 스마트폰을 사람 대신 조작하는 환경에서는 사용자와 기기의 상호작용이 줄어들고, 결국 PC와 스마트폰의 기본 운영 방식에 대한 사용자의 이해도가 떨어질 수밖에 없다. 이는 사람이 AI의 판단에 지나치게 의존해 AI가 수행한 작업의 정확성이나 품질을 검토하지 못하는 결과를 낳게 된다. AI가 일으킨 실수나 버그, 또는 잘못된 해석이 인간의 능동적인 개입으로 교정될 기회가 줄어드는 것이다.
‌
보안과 프라이버시 침해 문제도 늘어날 수 있다. AI가 PC와 스마트폰을 제대로 조작하려면 인간이 AI에 더 많은 정보 접근 권한을 부여해야 한다. AI가 PC와 스마트폰에 있는 메일, 금융 데이터, 사진 등 개인의 민감한 정보에 접근할 수 있고, 기업의 시스템과 자원에 대한 폭넓은 권한을 갖게 되는 것이다. 이 경우 정보 유출에 관한 법적·윤리적 문제가 제기될 수 있다. 기업이나 국가의 기밀 정보가 AI에 의해 유출되면 국가 안보에 큰 위협이 될 것이다.
‌
글로벌 빅테크 기업들이 CUA에 대한 기술 투자를 늘려가는 상황에서 CUA가 가져올 문제에 관한 깊은 논의와 대비도 함께 진행돼야 한다. AI가 인간의 완전한 대행자로 자리 잡으려면 인간의 통제와 감시가 필수적이라는 사실을 간과해서는 안 된다.

_{*유튜브와 포털에서 각각 ‘매거진동아’와 ‘투벤저스’를 검색해 팔로잉하시면 기사 외에도 동영상 등 다채로운 투자 정보를 만나보실 수 있습니다.}