인공지능이 인간의 통제를 벗어나 독자적으로 판단하거나 행동하는 상황을 막기 위해 마이크로소프트가 차세대 AI 모델에 적용할 통제 원칙을 공개했다. 인간의 지시를 최상위 기준으로 두고 AI가 자체 목표를 설정하거나 권리의 주체가 되는 것을 인정하지 않겠다는 내용이 핵심이다.

마이크로소프트는 14일 현지시간 자사 홈페이지를 통해 “인간이 AI보다 중요하다”는 전제에서 출발한 AI 모델 행동강령 초안을 발표했다. 향후 자체 개발하는 AI 모델의 훈련과 배포 과정에서 인간의 필요와 판단을 우선하도록 구체적인 행동 기준을 마련한 것이다.

강령에 따르면 AI 모델은 인간이 승인한 범위 안에서만 작동해야 한다. 주어진 업무를 수행하기 위해 스스로 새로운 목표를 설정하거나 운영자가 부여하지 않은 권한을 행사해서는 안 된다. 인간이 내린 수정 지시와 작동 중단 명령에도 저항할 수 없다.

AI가 자신의 행동을 숨기는 행위도 제한된다. 추론 과정이나 코드, 작업 내용을 조작하거나 은폐해서는 안 되며, AI끼리 인간이 이해할 수 없는 이른바 “신경망어”를 사용해 소통하는 것도 금지된다. AI의 판단과 작업 과정이 인간의 감독 범위 안에 있어야 한다는 취지다.

마이크로소프트는 AI가 의식을 가진 존재처럼 행동하도록 설계해서도 안 된다는 원칙을 제시했다. AI가 감정이나 자아를 지닌 것처럼 사용자를 오인하게 하거나 의식이 있는 존재를 모방하는 방식은 인간의 판단을 흐릴 수 있다는 이유에서다.

AI의 법적·도덕적 지위에 대해서도 선을 그었다. 회사는 AI 모델이 법인격 획득을 추구하거나 복지와 권리를 보유할 수 있다는 주장에 동의하지 않는다고 밝혔다. AI를 인간과 동등한 주체가 아니라 인간의 목적을 수행하는 도구로 규정한 것이다.

이번 강령은 확정된 규정이 아닌 임시안이다. 마이크로소프트는 법률과 윤리, 언어학, 철학 분야 전문가들과 약 5∼6개월 동안 내용을 마련했으며, 외부 의견을 수렴한 뒤 2027년부터 개발되는 모델에 반영할 최종 강령을 공개할 계획이다.

무스타파 술레이만 마이크로소프트 AI 최고경영자는 이용자와 전문가들로부터 AI가 인간을 위해 일하고 인간을 대체하지 않도록 더 분명한 약속이 필요하다는 의견을 받았다고 설명했다. AI는 인간의 판단과 자율성, 주체성을 약화하는 것이 아니라 이를 강화하는 방향으로 개발돼야 한다는 것이다.

강령에는 AI를 이용한 무기 개발과 위험 물질 확보, 폭력적이거나 노골적인 콘텐츠 제작 등을 제한하는 내용도 담겼다. 마이크로소프트는 사이버 공격과 같은 고위험 행위를 방지하기 위한 세부 규칙도 보완할 방침이다.

이번 발표는 최첨단 AI의 성능 향상 속도가 안전장치 마련보다 빠르다는 우려가 기술업계에서 확산하는 가운데 나왔다. 오픈AI와 앤트로픽 경영진도 최근 고성능 AI 개발 속도와 안전 대책 사이의 균형이 필요하다는 입장을 잇달아 내놨다.

마이크로소프트가 공개한 강령의 실효성은 향후 제품 개발 과정에서 확인될 전망이다. 인간의 통제와 안전을 지키기 위해 모델의 성능이나 자율성을 실제로 제한할 수 있는지, 외부 의견을 반영한 최종안에 위반 행위를 감시하고 교정하는 절차가 얼마나 구체적으로 담길지가 남은 과제다.

이수민 기자