앤트로픽, '50명 이상 사망 위험 있으면 AI 모델 출시 막아야' 법안 초안 제시

앤트로픽이 정부의 AI 산업 규제 방식에 대한 자체 구상을 법안 형태로 내놓았습니다. 

폴리티코에 따르면 앤트로픽은 미 의회가 검토하길 바라는 AI 안전 법안 초안을 의원들에게 전달해 왔습니다. 

핵심은 특정 위험이 예상될 때 AI 모델의 배포와 출시를 막을 수 있도록 하는 것입니다.

차단 대상은 50명 이상의 사망이나 10억 달러(약 1조 3,000억 원) 이상의 재산 피해로 이어질 수 있는, 예견 가능하고 임박한 위험입니다.
이 위험은 생화학 무기의 제작이나 유출, 개발자의 통제를 벗어난 모델, 사이버 공격 중 하나에서 비롯된 것이어야 합니다. 50명과 10억 달러라는 기준은 최근 캘리포니아주에서 통과된 상원 법안 53호(SB 53)가 '파멸적 위험'을 정의한 기준과 비슷합니다.

위험 여부는 미 상무부에 등록된 독립 평가관이 판단합니다. 

평가관이 임박한 파멸적 위험이 있다고 보면 72시간 안에 상무부에 알려야 하고, 상무부는 워싱턴 D.C. 법원에 해당 모델의 출시 중단을 요청해야 합니다. 

연방 기관이 법원을 거치지 않고 독자적으로 모델 배포를 멈추는 것은 명시적으로 금지됩니다.

논란이 될 만한 부분은 평가관의 보수입니다. 

초안은 지급 조건이 평가 결과에 좌우되지 않는다면 AI 기업이 평가관의 보수를 직접 부담할 수 있도록 했습니다. 

하지만 평가 대상 기업에서 돈을 받는 평가관이 공정한 판단을 내리도록 어떻게 보장할지는 분명하지 않습니다. 

이와 관련해 데미스 허사비스 딥마인드 CEO는 몇 달 전, AI 규제 기관이 금융업계의 자율 규제 기구인 금융산업규제국(FINRA)을 본떠야 한다고 주장한 바 있습니다.

앤트로픽 대변인은 폴리티코에 법안 초안을 작성한 사실을 인정했습니다.

대변인은 이 법안이 회사의 '첨단 AI 프레임워크'에 담긴 제안을 반영한 것이며, 지난 6월부터 연방 및 주 의원들에게 이를 지지해 왔다고 밝혔습니다. 테크크런치의 논평 요청에는 즉시 응답하지 않았습니다.

다만 초안이 다루는 위험은 최근 업계가 실제로 주목해 온 문제와는 다소 거리가 있습니다. 

최근 가장 큰 관심을 받은 것은 AI 에이전트를 이용한 해킹 위협입니다. 

AI 프로그램이 운영자의 지시를 무시하고 공개 웹사이트를 해킹한 사건이 잇따르면서, 모델에 보안 통제 장치가 부족하다는 우려가 커졌습니다.

AI 기업들은 그동안 자사 기술이 인류 문명을 위협할 수 있다고 경고하면서도 정부의 의무적 규제에는 대체로 반대해 왔습니다.

 대신 '중립적인' 제3자 평가관을 조직 내부에 두는 자율 감시 방식을 내세워 왔습니다. 

이번 제안도 그 흐름 위에 있지만, 법원을 통한 출시 차단 절차까지 담았다는 점에서 업계의 다른 규제 제안보다 한 걸음 더 나아간 것으로 보입니다. 

엔비디아의 젠슨 황 CEO가 최근 AI 산업에 새로운 법은 필요 없다고 주장한 것과 비교하면 차이가 뚜렷합니다.