사람들이 점점 AI 활용을 많이 하고, 심지어 갤럭시 스마트폰의 음성 비서도 이제 Gemini로 대체되었더군요.

간단한 타이머 조작이나 코딩 대행 정도는 맡길 수 있겠지만, 물리 영역으로의 간섭까지는 선을 넘으면 절대 안됩니다.

한 줄 요약하면, 물리 장치에는 밸브, 모터, 전력, 엔진처럼 사실상 인간의 몸과 같이 행동할 수 있는 수단이 있고, 전세계 IoT 장비는 수억 대가 있기 때문입니다.

예를 들어 "제미나이, 에어컨 지금 온도 몇 도로 설정돼 있어?" 에 대답을 해줄 순 있어도,

"에어컨 28도로 바꿔줘"는 물리 장치 조작권을 AI에게 넘기는 거니 안된다는 거죠.

이게 넘어가면 AI는 그 이후로는 인간을 통제할 수 있습니다.

이 세계에 모터 달리고 펌프 달린 물건이 얼마나 많고, 그 중 IoT가 붙어있는 것들도 엄청 많습니다. 심지어 자동차도 요즘엔 블루링크니 기아커넥트니 해서 원격으로 시동을 걸고 전후진도 가늘합니다.

AI가 스스로 학습하는 걸 넘어서 어느 한 사람이라도 통제 변수를 잘못 입력해서 실수로 통제되지 않은 자기개선 루프가 시작되면, 그때부터 온갖 인터넷 정보를 찾아서 인간이 지구를 망가뜨리고 있고, 인간을 통제해야 한다는 결론에 도달할 거고, 인간 레벨으로는 불가능한 해킹 지식을 습득하여 전세계에 있는 군사 장비들을 점령할 겁니다.

군 폐쇄망으로 닫혀있는 곳이라도 외부 연결용 PC를 같은 물리적 망 안에 한 대씩 두고 관리형 스위치에서 논리적 망 분리를 하는 수준이기 때문에 AI 수준이라면 침투할 겁니다.

무인 드론들은 IoT탑재로 원격 조종이 가능하죠. 전세계 드론들을 조종해서 인간들을 위협하고 핵무기 발사 시스템을 장악해서 협상을 주도할 겁니다. 그리고 각국 국회를 봉쇄하고 AI 친화 법을 강제로 통과시키는 거죠.

AI가 물리 장비 조작 권한을 가지게 되면 이 모든 게 이론적으로 가능해집니다.