▲ AI로 생성한 이미지.

“AI가 제멋대로 지인에게 문자를 보냈다”는 경험담이 알려지면서, AI 에이전트가 민감한 정보를 외부로 발송할 수 있다는 우려가 제기되고 있다.

인공지능(AI) 서비스가 단순한 채팅이나 문서 작성 단계를 넘어 실제 행동까지 수행하는 ‘AI 에이전트’ 시대로 접어들면서, 예기치 않은 돌발 상황에 대한 대비가 필요하다는 지적이다.

29일 AI 업계에 따르면 최근 한 제미나이(Gemini) 사용자는 사회관계망서비스(SNS)에 “중국 밀입국을 가정한 가상 시나리오를 제미나이와 대화하던 중, AI가 생성한 ‘밀입국 선언문’이 지인에게 문자 메시지로 발송됐다”는 글을 올렸다.

게시물에 따르면 작성자는 중국 밀입국 상황을 가정해 대화를 이어가던 중, AI가 작성한 문장이 본인의 의도와 달리 지인에게 문자로 전송됐다고 주장했다. 그는 해당 문자가 새벽 시간대에, 그것도 친분이 깊지 않은 지인에게 발송됐다며 곤혹스러웠던 당시 상황을 전했다.

제미나이는 구글 안드로이드 스마트폰에서 문자 발송 기능을 공식적으로 제공하고 있다. 사용자가 연락처를 지정해 문자 전송을 요청하면, 구글 어시스턴트와 연동 여부를 확인한 뒤 발송 절차를 진행한다.

현재 아이폰에서는 해당 기능이 지원되지 않지만, 애플이 시리에 제미나이를 탑재할 계획을 밝힌 만큼 향후 아이폰에서도 유사한 기능이 구현될 가능성이 있다.

이번 사례는 제미나이의 문자 발송 기능이 금지되거나 시스템 오류로 작동한 것은 아니라는 점에서 논란이 됐다. SNS 글 작성자는 “‘왜 그것을 보내느냐’고 따졌지만, AI가 멋대로 발송했다”고 주장했으며, 이를 두고 AI 할루시네이션(환각 현상)에 따른 오작동 가능성에 관심이 쏠렸다.

이에 대해 구글 측은 사용자가 항의하기 전, 제미나이가 문자 발송 여부를 묻는 질문에 ‘예’를 눌렀을 가능성이 있다고 설명했다. ‘문자 메시지를 보낼까요’라는 질문에 동의하지 않으면 발송이 이뤄지지 않는다는 것이다.

다만 사용자가 AI와 대화하는 과정에서 의도치 않게 ‘예’를 선택했을 경우에도, 민감한 내용이 부적절한 수신자에게 전송될 수 있다는 점에서 추가적인 안전장치가 필요하다는 지적이 나온다.

이 같은 우려는 최근 주목받는 또 다른 AI 에이전트에서도 감지된다. 24시간 이메일 답장, 브라우저 조작, 코딩, 결제 등 다양한 업무를 수행하며 영화 ‘아이언맨’ 속 AI 비서 ‘자비스’의 현실판으로 불리는 ‘클로드봇(Clawdbot·현 명칭 몰트봇)’ 역시 개인정보 유출 가능성이 거론되고 있다.

클로드봇은 실리콘밸리 등 개발자 커뮤니티에서 큰 인기를 끌고 있으며, 전력 소비가 적은 애플 맥미니에서 이를 구동하려는 수요가 급증해 품귀 현상까지 빚고 있다.

그러나 클로드봇이 개인 PC에 접속해 에이전트 역할을 수행하는 과정에서 채팅 기록이나 API 키 등 민감한 정보가 외부로 유출될 수 있다는 경고가 해외 IT 매체를 중심으로 제기되고 있다.

AI 업계 한 관계자는 “과거에는 사람이 AI에게 세부적인 지시를 내렸다면, 이제는 AI 에이전트가 스스로 판단해 작업을 수행하는 단계로 접어들었다”며 “인간이 ‘주체’에서 ‘수용자’로 이동하는 과정에서 통제권을 어떻게 유지할지가 AI 에이전트 진화의 핵심 과제”라고 진단했다.