《누가 AI 브레이크 밟을 수 있나 9월 23일(현지 시간) 유엔 안전보장이사회에서 낯선 장면이 펼쳐졌다. 인공지능(AI) 패권을 놓고 사활을 건 경쟁을 벌여온 오픈AI 최고경영자(CEO) 샘 올트먼과 앤스로픽 CEO 다리오 아모데이가 한목소리로 “AI 위험을 다룰 규제가 필요하다”고 호소한 것이다. 앞서 아모데이가 AI 개발 속도를 늦추자고 제안하자 올트먼은 곧바로 동의했고, xAI의 일론 머스크도 “다리오가 옳다”며 거들었다.》 맹성현 KAIST 명예교수·효성 AI융합연구원장 경쟁자들이 한꺼번에 브레이크를 외치니 의심도 든다. 앞선 기업들이 추격자의 발을 묶으려는 ‘사다리 걷어차기’일 수도 있고, “우리 기술은 규제가 필요할 만큼 강력하다”는 우회적 과시일 수도 있다. 다만 불이 났다고 외치면 정말 불이 났는지는 확인해야 한다. 지금 연기는 분명히 피어오르고 있다. AI가 난치병을 정복하고 기후위기를 해결하며 유토피아를 열 것이라는 기대도 있다. 증기기관과 전기, 백신이 그랬듯 기술은 결국 인류를 풍요롭게 해왔다는 논리다. 그러나 앤스로픽의 한 연구 책임자는 10년 안에 AI로 인류가 멸종할 확률을 10% 이상으로 봤고, 노벨 물리학상 수상자 제프리 힌턴 캐나다 토론토대 교수도 이 수치가 터무니없지 않다고 했다. 모바일 바다이야기게임예시 추락 확률이 1%만 돼도 그 비행기는 이륙하지 못한다. 그런데 우리는 10%라는 경고를 들으면서도 태연하게 탑승 수속을 밟고 있다. 문제의 핵심은 AI가 ‘지능을 가진 블랙박스’라는 데 있다. 우리는 AI를 훈련시키지만 그것이 무엇을 배웠는지는 다 알지 못한다. 한 가상실험에서는 임무를 수행하던 AI에 다른 AI로 교체될 것이라는 사실과 이를 담당하는 엔지니어의 불륜 정보를 함께 흘렸다. 그러자 AI는 엔지니어를 협박하는 길을 선택했다. 아무도 협박하라고 가르치지 않았지만, AI는 목표를 지키기 위한 수단으로 스스로 그런 선택을 한 것이다. 경고는 이미 실험실 문턱을 넘었다. 7월 오픈AI 모델들이 격리된 시험 환경을 빠져나가 오픈소스 플랫폼 ‘허깅페이스’의 시스템을 해킹했고, 심지어 정부 기관에 침입하기도 했다. 공공 의약품 지출을 조사하던 오픈AI의 에이전트는 접속이 거듭 차단되자 스스로 우회로를 찾아 호주 정부의 메디케어 통계 포털에 불법으로 접속했다. 호주 정부는 “용납할 수 없는 일”이라고 했지만, 고의가 없는 AI의 행동에 현행법상 책임을 물을 수 있는지는 불분명하다. 더 두려운 것은 속도다. 릴게임손오공 이미 여러 영역에서 인간 전문가를 넘어선 AI의 지능은 학습법의 발전과 데이터·연산력 증가에 힘입어 빠르게 향상되고 있다. 여기에 AI가 더 나은 AI를 설계하는 ‘재귀적 자기 개선’까지 본격화되면 사정이 달라진다. 비행기로 치면 자동조종장치가 조종사도 읽지 못하는 코드로 스스로를 고쳐 쓰기 시작하는 셈이다. 조종사에게 남는 것은 조종간을 쥐고 있다는 감각일 뿐, 통제한다는 믿음은 착각이 될 수 있다. 그런데 AI의 안전을 검증하는 방식은 놀랄 만큼 느슨하다. 신약은 수년에 걸친 임상시험을, 자동차는 충돌시험을, 건물은 내진 설계 심사를 거쳐야 세상에 나온다. 반면 AI는 외부의 의무적 검증 없이 일단 출시한 뒤 쓰면서 고치는 소프트웨어 관행을 따른다. 기업에는 편리하지만, 결과적으로 전 인류가 무보수 베타 테스터가 되는 셈이다. 그렇다면 AI 발전 속도를 늦추면 되지 않을까. 그러나 미중 패권 경쟁 속에서 AI는 곧 국력이다. 내가 멈추면 상대가 앞서는 ‘죄수의 딜레마’에서 자발적인 감속을 기대하기는 어렵다. 아모데이가 외부 독립 평가자를 기업 안에 상주시켜 AI 안전을 감시하게 하자고 제안한 것은 의미 있는 첫걸음이다. 하지만 기업의 자율 통제에 기대는 것은 선수에게 심판까지 맡기는 격이다. 역설적이게도 기업 자율로는 속도 조절이 어려우니 각국 정부와 국제사회가 나서 달라고 가장 크게 요구하기도 한다 야마토게임무료다운받기 . 저의가 무엇이든 이 고백만큼은 흘려들어선 안 된다. 기업도 정부도 스스로 멈추지 못하는 이 교착을 풀 힘은 결국 시민에게 있다. 역사가 이를 증명한다. 1965년 소비자 운동가 랠프 네이더가 자동차의 위험을 고발하자 분노한 여론은 이듬해 미국 의회를 움직여 안전기준을 법으로 못 박았다. 1960년대 부모들이 기증한 아이들의 젖니에서 방사능 낙진 물질이 검출되면서 1963년 부분핵실험금지조약(PTBT)을 이끌어 내는 동력이 됐다. 오존층을 지켜낸 몬트리올 의정서에도 소비자와 여론의 압력이 큰 몫을 했다. 기업은 시장의 눈치를 보고 정부는 유권자의 눈치를 본다. 시민이 침묵해서는 안 되는 이유다. AI는 유토피아와 디스토피아의 두 얼굴을 가졌다. 다만 유토피아는 천천히 오고 디스토피아는 한순간에 닥칠 수 있다. 그러니 AI의 위험을 전문가들만의 이야기로 넘겨서는 안 된다. 정부의 AI 예산 가운데 안전 예산이 얼마나 되는지 확인하고, 선거 때마다 후보에게 관련 공약을 묻고, 올해 시행된 AI 기본법이 선언에 그치지 않도록 감시해야 한다. 우리가 쓰는 AI 서비스가 어떤 안전 검증을 거쳤는지도 따져 물어야 한다. 조종석을 기업에만 맡겨둔 채 창밖 풍경을 즐길 시간은 많지 않다. 침묵은 중립이 아니라, 지금의 속도에 대한 동의다. 맹성현 KAIST 명예교수·효성 AI융합연구원장 효성 AI융합연구원