CLIEN

본문 바로가기 메뉴 바로가기 보기설정 테마설정
톺아보기 공감글
커뮤니티 커뮤니티전체 C 모두의광장 F 모두의공원 I 사진게시판 Q 아무거나질문 D 정보와자료 N 새로운소식 T 유용한사이트 P 자료실 E 강좌/사용기 L 팁과강좌 U 사용기 · 체험단사용기 W 사고팔고 J 알뜰구매 S 회원중고장터 B 직접홍보 · 보험상담실 H 클리앙홈
소모임 소모임전체 ·굴러간당 ·주식한당 ·아이포니앙 ·MaClien ·방탄소년당 ·일본산당 ·자전거당 ·개발한당 ·소시당 ·이륜차당 ·나스당 ·AI당 ·안드로메당 ·패스오브엑자일당 ·걸그룹당 ·사과시계당 ·영화본당 ·클다방 ·골프당 ·노키앙 ·노젓는당 ·디아블로당 ·IoT당 ·축구당 ·창업한당 ·윈폰이당 ·젬워한당 ·가상화폐당 ·리눅서당 ·여행을떠난당 ·전기자전거당 ·바다건너당 ·물고기당 ·육아당 ·라즈베리파이당 ·3D메이킹 ·X세대당 ·ADHD당 ·AI그림당 ·날아간당 ·배드민턴당 ·야구당 ·농구당 ·블랙베리당 ·곰돌이당 ·비어있당 ·FM당구당 ·블록체인당 ·보드게임당 ·활자중독당 ·볼링친당 ·캠핑간당 ·냐옹이당 ·문명하셨당 ·클래시앙 ·콘솔한당 ·요리한당 ·쿠키런당 ·대구당 ·DANGER당 ·뚝딱뚝당 ·개판이당 ·동숲한당 ·날아올랑 ·e북본당 ·갖고다닌당 ·이브한당 ·패셔니앙 ·도시어부당 ·FM한당 ·맛있겠당 ·포뮬러당 ·안경쓴당 ·차턴당 ·총쏜당 ·땀흘린당 ·하스스톤한당 ·히어로즈한당 ·인스타한당 ·KARA당 ·키보드당 ·꼬들한당 ·덕질한당 ·어학당 ·가죽당 ·레고당 ·LOLien ·Mabinogien ·임시소모임 ·미드당 ·밀리터리당 ·땅판당 ·헌팅한당 ·오른당 ·MTG한당 ·소리당 ·적는당 ·방송한당 ·PC튜닝한당 ·찰칵찍당 ·그림그린당 ·소풍간당 ·심는당 ·품앱이당 ·리듬탄당 ·달린당 ·Sea마당 ·SimSim하당 ·심야식당 ·윈태블릿당 ·미끄러진당 ·나혼자산당 ·스타한당 ·스팀한당 ·파도탄당 ·퐁당퐁당 ·테니스친당 ·테스트당 ·빨콩이당 ·공대시계당 ·터치패드당 ·트윗당 ·VR당 ·시계찬당 ·WebOs당 ·소셜게임한당 ·위스키당 ·와인마신당 ·WOW당
임시소모임
고객지원
  • 게시물 삭제 요청
  • 불법촬영물등 신고
  • 쪽지 신고
  • 닉네임 신고
  • 제보 및 기타 제안
© CLIEN.NET
공지[점검] 잠시후 서비스 점검을 위해 약 30분간 접속이 차단됩니다. (금일 18:15 ~ 18:45)

모두의공원

클로드가 우리를 무의미하게 코딩하고 있나? - 다리오 아모데이 팟캐스트 1

1
2026-02-12 22:14:23 180.♡.122.123
guattari

https://www.nytimes.com/2026/02/12/opinion/artificial-intelligence-anthropic-amodei.html

「클로드가 우리를 무의미하게 코딩하고 있나?」

다리오 아모데이가 가까운 미래 AI의 유토피아적·디스토피아적 전망을 말하다
2026년 2월 12일
진행: 로스 도싯 / 제작: 소피아 알바레스 보이드

(영상 자막) “저는 AI가 통제 불능이 되는 시나리오에 초점을 맞추고 싶어요.”


로스 도싯:

다리오 아모데이, “Interesting Times”에 오신 걸 환영해요.

다리오 아모데이:

불러줘서 고마워요, 로스.

도싯:

당신은 꽤 이례적으로, 아마도 기술 기업 CEO치고는 드물게, 에세이를 쓰는 사람이기도 해요. 인공지능의 약속과 위험을 다룬 길고 흥미로운 에세이 두 편을 썼죠. 오늘은 위험을 중심으로 이야기하겠지만, 먼저 “약속”, 그러니까 낙관적 비전—솔직히 말해 유토피아적 비전—부터 시작하면 좋겠어요. 몇 년 전 “Machines of Loving Grace(사랑의 은총을 지닌 기계들)”라는 에세이에서 그 비전을 펼쳤죠. 그 제목은 마지막에 다시 돌아올게요.

많은 사람은 AI 뉴스를 “화이트칼라 일자리 대량 학살” 같은 헤드라인으로 접해요. 때로는 당신의 발언이 그런 논조에 힘을 실어주기도 했고요.

아모데이:

가끔 제 발언이 그랬죠. 네.

도싯:

사람들 사이에는 “AI는 대체 뭐에 쓰는 거지?”라는 상식적 질문도 있어요. 그 질문부터 답해보죠. 앞으로 5~10년이 정말 ‘엄청나게’ 잘 풀린다면, AI는 무엇을 위한 건가요?

아모데이:

배경을 조금 말하자면, 저는 AI나 기술 업계에 오기 전에는 생물학자였어요. 처음엔 계산신경과학을 했고, 그다음엔 스탠퍼드 의대에서 암의 단백질 바이오마커를 찾는 일을 했죠. 진단을 개선하고 암을 치료하려고요.

그 분야에서 제가 강하게 느낀 건, 문제의 복잡성이 정말 말도 안 되게 크다는 거였어요. 각 단백질은 세포마다 국소 농도가 달라요. 몸 전체의 농도를 재는 것만으로는 부족하죠. 각 세포 안에서도 어느 소기관의 어느 위치인지, 어떤 단백질과 상호작용하거나 복합체를 이루는지까지 봐야 해요.

그러다 이런 생각이 들었어요. “이건 인간이 감당하기에 너무 복잡하다.” 생물학과 의학에서 진전이 있긴 하지만, 속도가 느리다는 느낌이었죠.

그래서 AI 분야로 끌린 건 “이 진전을 더 빠르게 만들 수 있을까?”라는 아이디어였어요.

우리는 오래전부터 생물학에 AI·머신러닝을 적용해 왔지만 대개 데이터 분석용이었죠. 그런데 AI가 정말 강력해지면, 발상을 바꿔야 한다고 생각해요. 데이터 분석 보조가 아니라 생물학자의 일을 처음부터 끝까지 AI가 수행하게 만드는 것. 그 일부는 실험을 제안하고, 새로운 기법을 고안하는 것도 포함되고요.

제가 에세이에서 말한 것 중 하나는, 생물학의 많은 진전이 ‘아주 작은 것’을 측정하고 개입할 수 있게 해 준 소수의 통찰에서 나왔다는 점이에요. 그리고 그런 기법들은 종종 우연에 가까운 계기로 발명됐죠. 예컨대 유전자 편집 기술인 크리스퍼(CRISPR)는 어떤 사람이 세균 면역 체계에 관한 회의에 갔다가, 자기가 하던 유전자 치료 연구와 연결시키면서 나왔어요. 사실 그런 연결은 30년 전에 이미 가능했을지도 모르죠.

그렇다면 AI가 이런 걸 가속할 수 있지 않을까요? 정말로 암을 정복할 수 있을까? 알츠하이머를? 심장병을? 더 미묘하게는 우울증, 양극성 장애 같은 심리적 고통도요. 저는 이런 것들이 적어도 부분적으로는 생물학적 기반이 있다고 보거든요.

그래서 “거의 뭐든 할 수 있는 지능이 존재한다면, 진전이 얼마나 빨라질까?”를 쭉 따져보는 거죠.

도싯:

여기서 잠깐 끊고 싶은데요. 당신의 틀에서 흥미로운 건, 이런 지능이 꼭 ‘신 같은 초지능’일 필요가 없다는 점이에요. 인간 최고 수준의 강한 지능만 달성해도 된다는 거죠?

아모데이:

네, 인간 최고 수준(peak human performance)이요.

도싯:

그걸 “천재들의 나라(a country of geniuses)”로 복제하면 된다고요.

아모데이:

맞아요. 예를 들어 1억 명의 천재를 데이터센터에 두는 거죠. 각자 조금씩 다르게 훈련되거나 다른 문제를 붙잡게 하고요. 다양성 자체가 도움이 되니까요.

도싯:

그러니까 “기계 신(Machine God)”이 없어도, 천재 1억이면 된다?

아모데이:

맞아요. 오히려 어떤 점에서는 “기계 신”이 천재 1억보다 크게 더 효율적이지 않을 수도 있다고 봐요.

저는 “지능의 한계효용 체감(diminishing returns to intelligence)”이라는 개념을 말해요. 경제학이 토지나 노동의 한계생산성은 말하지만, 지능의 한계생산성은 별로 생각해 본 적이 없잖아요. 생물학 문제들을 보면 결국 현실 세계와 상호작용해야 하고, 결국은 시도해야 하고, 규제 시스템을 통과하려면 법을 지키거나 법을 바꿔야 해요. 변화 속도에는 물리적·제도적 한계가 있어요.

체스나 바둑처럼 지능 천장이 높아지는 영역도 있지만, 현실 세계는 제약이 많아요. 그래서 “컴퓨팅의 달(moon of computation)을 써서 AI 신을 만들 수 있나” 같은 논의는 다소 선정적이고 요점을 흐릴 수 있다고 생각해요. 물론 저는 이 기술이 인류에게 벌어질 일 중 가장 거대한 사건이 될 거라고는 생각하지만요.

도싯:

구체적으로 말하면, 암이 심각한 위협이 아닌 세상, 심장병이 사라지는 세상, 많은 치명적 질병이 줄어드는 세상, 심지어 수명 연장까지. 건강 측면에서는 매우 긍정적 비전이네요.

경제와 부는요? AI가 5~10년 ‘이륙’하는 동안, 부는 어떻게 되죠?

아모데이:

좋은 면에 머물러 볼게요.

우리는 이미 제약 회사, 금융 회사, 제조업과 협업 중이에요. 그리고 우리는 특히 코딩·소프트웨어로 알려져 있죠. 생산성, “무언가를 만들어내고 일을 끝내는 능력”이 폭발적으로 커져요.

우리 회사 매출이 연 10배씩 늘어나는 걸 보고 있고, 업계 전체도 비슷하다고 의심해요. 기술이 계속 개선되면, 몇 번 더 10배가 되느냐에 따라 “업계가 연 1조 달러 매출을 추가한다” 같은 이야기가 현실이 되죠. 미국 GDP가 20~30조 달러라면(정확히 기억은 안 나지만), 성장률이 몇 퍼센트포인트는 추가된다는 뜻이에요. 저는 선진국 GDP 성장률이 10~15% 수준으로 갈 수도 있다고 봐요. 물론 이런 숫자를 계산하는 과학이 있는 건 아니고, 전례가 없는 일이죠. 하지만 과거의 분포 밖 숫자가 나올 수 있어요.

그러면 세상이 이상해져요. “재정 적자가 커진다” 같은 논쟁도요. GDP 성장이 그렇게 나오면 세수도 그렇게 늘 테니까, 의도치 않게 재정균형이 맞아버릴 수도 있어요.

제가 요즘 자주 하는 생각은, 우리의 정치·경제 논쟁은 “성장은 어렵다”는 전제를 깔고 있다는 거예요. 성장이라는 유니콘을 찾고, 황금거위를 죽이는 방식들을 걱정하죠.

그런데 우리는 “성장은 쉬운데, 분배가 어렵다”는 세계로 들어갈 수도 있어요. 파이가 너무 빨리 커져서, 분배가 오히려 더 어렵고 더 빠르게 뒤틀리는 거죠.

도싯:

그럼 정치에 대해서도 낙관을 하나 더 들어볼게요. 당신은 AI가 민주주의와 자유에 도움이 될 수 있다는 주장도 했죠. 직관적으로는 반대로 보이기도 해요. 엄청난 기술이 권위주의 지도자 손에 들어가면 권력이 집중된다는 논리요.

아모데이:

그 점은 다른 에세이에서 더 다뤘죠.

도싯:

간단히만요. AI가 민주주의에 좋다는 낙관적 논거는 뭔가요?

아모데이:

“Machines of Loving Grace”는 말 그대로 “꿈을 꿔보자” 모드예요. 얼마나 가능할지 모르지만, 꿈을 제시해야 그 꿈을 실현하려 노력할 수 있으니까요.

긍정적 버전에서 저는, 이 기술이 본질적으로 자유를 선호한다고 확신하지는 않아요. 질병 치료와 경제 성장은 본질적으로 밀어붙이는 것 같지만, 자유는 아닐 수도 있어요. 저도 그 점이 걱정돼요.

그래서 질문은 이거예요. 자유를 유리하게 만들 수 있을까? 미국과 다른 민주국가들이 이 기술에서 앞서갈 수 있을까?

미국이 기술·군사적으로 앞서 있었던 건, 동맹과 결합해 세계에 영향력을 행사할 수 있었기 때문이죠. 그리고 러시아나 중국 같은 권위주의 국가가 만들 세계보다 더 나은 세계 질서를 형성하는 데 기여했다고 저는 생각해요.

그렇다면 AI에서의 선두를 이용해 세계의 자유를 지킬 수 있을까요? 개입주의 논쟁이 있겠지만, 저는 오히려 오늘날 소셜미디어가 권위주의자들에게 유리하게 작동하며 우리를 약화시키는 면이 있다고 걱정해요.

그걸 상쇄할 수 있을까요? 정보전을 이길 수 있을까요? 우크라이나나 대만 같은 나라를, AI의 힘으로 방어해 권위주의 침략을 막을 수 있을까요?

도싯:

AI 드론의 거대한 군집으로요.

아모데이:

물론 그건 조심해야 해요. 드론 군집의 버튼을 누르는 통제권을 누가 갖느냐, 그리고 그 감독 체계가 지금은 없다는 점이 저는 매우 걱정돼요. 우리나라 내부의 자유도 지켜야 하고요.

또 사법 시스템도요. 우리는 “모든 사람에게 동등한 정의”를 약속하지만, 현실은 판사마다 다르고 법체계는 불완전해요. 판사를 AI로 대체하자는 말은 아니에요. 하지만 AI가 더 공정하고 더 일관된 적용을 돕는 방법이 있을까요? 예전엔 불가능했지만, 이제는 가능할지도 모르죠. 모두에게 같은 방식으로 적용된다는 ‘약속’을 어느 정도 제공할 수 있을까요?

대법원을 AI로 바꾸자는 게 제 비전은 아니에요. 다만 AI 시대에 맞는 민주주의의 재구성, 그리고 자유를 축소하는 대신 강화하는 방향을 상상해 보자는 거죠.

도싯:

좋아요. 그러면 최선의 시나리오는 이렇군요. 우리는 더 오래, 더 건강하게 살고, 부유해지고, 짧은 기간에 엄청난 성장을 경험하고, 세계 자유가 확대되고, 국내 평등도 강화된다.

그런데 최선의 시나리오에서도 엄청난 혼란이죠. 당신은 “화이트칼라 입문급 일자리 50%가 붕괴할 수 있다”는 식으로 인용되기도 했어요. 2년이든 5년이든, 어떤 직업이 가장 취약합니까?

아모데이:

예측이 어려워요. 기술이 너무 빠르고, 또 불균등하게 발전하니까요. 다만 원칙 몇 가지와 제 추측을 말할게요.

기술의 능력 자체가 실제 일자리 붕괴보다 앞설 거라고 봐요. 일자리가 대체되려면 두 가지가 필요해요. 첫째, 기술이 그 일을 “할 수 있어야” 하고, 둘째, 대형 은행이나 대기업 같은 조직 안에 실제로 “적용”되어야 해요. 이 적용은 지저분하고 시간이 걸리는 과정이죠.

예를 들어 고객 서비스요. 이론적으로 AI 고객 상담은 인간보다 더 잘할 수 있어요. 더 인내심 있고, 더 많이 알고, 더 균일하게 처리하죠. 하지만 그걸 실제로 전환하려면 물류와 프로세스가 필요해서 시간이 걸려요.

저는 AI 자체의 진화 속도에는 매우 낙관적이에요. “데이터센터의 천재 국가”가 1~2년 안에 가능할 수도 있고 5년일 수도 있지만, 아주 빨리 올 수 있어요. 다만 경제로의 확산은 조금 더 느릴 수 있고, 그 확산이 불확실성을 만들어요.

우리가 Anthropic에서 본 예도 있어요. 모델의 코딩 능력 향상은 정말 빨랐어요. 저는 모델이 ‘본질적으로’ 코드에 더 강해서라기보다, 개발자들이 기술 변화에 익숙하고 도입이 빠르기 때문이라고 봐요. AI 세계와 사회적으로도 가깝고요. 반면 고객 서비스, 은행, 제조업은 거리가 조금 더 있어요.

6개월 전이라면 데이터 입력, 법률 문서 검토, 금융권 신입이 하는 문서 분석 같은 입문급 화이트칼라가 먼저 타격받을 거라고 말했을 거예요. 여전히 빠르다고 보지만, 소프트웨어는 그보다 더 빨리 갈 수도 있다고 봐요. 모델이 처음부터 끝까지 더 많은 걸 할 수 있는 시점이 그리 멀지 않은 듯하거든요.

처음에는 모델이 소프트웨어 엔지니어 업무의 일부만 하면서 생산성이 오르고, 그 다음엔 모델이 예전 인간이 하던 거의 전부를 할 수 있게 되면 인간은 한 단계 올라가서 관리자로서 시스템을 감독하게 되겠죠.

도싯:

여기서 “켄타우로스”라는 말이 나오죠. 인간과 AI가 결합한 형태.

아모데이:

네, “켄타우로스 체스(centaur chess)” 같은 개념이요. 카스파로프가 딥블루에 진 뒤에, 한동안은 “AI의 수를 인간이 점검해 함께 두는 팀”이 인간 단독이나 기계 단독보다 강했어요. 그런데 그 시대는 결국 끝났죠.

도싯:

그리고 마지막엔 그냥 기계만 남는다.

아모데이:

맞아요. 제 걱정이 그 마지막 단계예요. 소프트웨어는 이미 켄타우로스 단계에 들어섰다고 봐요. 이 단계에서는 오히려 소프트웨어 엔지니어 수요가 늘 수도 있지만, 그 기간이 매우 짧을 수 있어요.

입문급 화이트칼라와 소프트웨어 엔지니어링은 큰 혼란이 올 수 있어요. 제 걱정은 “속도”예요.

과거의 전환을 사람들이 자주 말하죠. 농업에서 산업으로, 산업에서 지식 노동으로. 사람들은 적응했어요. 그런데 그 적응은 수십 년~수백 년에 걸쳐 일어났죠. 이번은 “한 자릿수 년” 단위로 일어날 수 있어요. 사람들이 그 속도를 따라가며 적응할 수 있을까요?

도싯:

하지만 어떤 분야는 켄타우로스 단계에 오래 머무르고 싶어 하지 않을까요? 예컨대 방사선과는 AI가 영상 판독에서 더 낫다는 이야기가 나온 지 꽤 됐는데도 방사선과 의사 일자리가 사라지진 않았어요. 결국 사람들은 AI와 인간을 함께 원한다는 증거 아닐까요?

아모데이:

상당히 이질적으로(heterogeneous) 나타날 거라고 봐요. 인간의 손길이 본질적으로 중요한 영역도 있죠.

방사선과는 제가 세부를 잘 모르지만, 암 진단을 받을 때 “2001 스페이스 오디세이”의 HAL 같은 존재가 진단한다고 생각하면 사람들은 불편할 수 있어요. 인간적으로는요.

하지만 인간의 손길이 중요해 보이는데 실제로는 덜 중요한 영역도 있어요. 고객 서비스가 그렇죠. 고객 서비스는 끔찍한 일이고, 상담원들은 쉽게 지치고 짜증이 나요. 고객도 그 대화를 별로 좋아하지 않죠. 솔직히 꽤 “로봇 같은 상호작용”이니까요. 그래서 오히려 기계가 하는 게 모두에게 더 나을 수 있어요.

반면 금융 전망 평가나 코딩처럼 인간의 손길이 본질이 아닌 일도 있고요.

도싯:

법조계를 보죠. 많은 변호사들이 AI의 법률 리서치, 서면 작성 능력을 보고 “업계 피바람”을 이야기해요. 법률도제 시스템에서 ‘수습 역할’이 사라지고, 결국 법정에서 말하고 설득하는 상위 역할만 남는 시나리오가 쉽지 않나요?

아모데이:

맞아요. 제가 “입문급 화이트칼라 피바람”을 말할 때 떠올린 게 그거예요. 수습 파이프라인이 마르면, 어떻게 시니어 파트너가 되죠?

기술이 일정 수준에 ‘고정’되어 있다면, 시간이 지나 산업이 적응하는 방법이 있어요. 변호사가 고객 상대에 더 시간을 쓰는 직업으로 바뀔 수도 있고, AI가 작성한 계약을 설명해 합의를 도와주는 컨설턴트·세일즈 같은 역할로 기울 수도 있죠. 인간적 요소에 더 집중하는 식으로요.

문제는 시간이 필요하다는 거예요. 산업 재편은 수년~수십 년이 걸리는데, AI가 만드는 경제적 압력은 매우 빠르게 와요. 게다가 법조계만이 아니라 컨설팅, 금융, 의학, 코딩 전반에서 동시에 일어나면, 거시경제 현상이 되죠. 그럼 정상적인 적응 메커니즘이 압도당할 수 있어요.

저는 “세상 끝”을 외치는 사람은 아니에요. 사회의 적응 메커니즘을 어떻게 강화할지 진지하게 고민 중이에요. 다만 이번이 과거의 전환과 같지 않다는 건 먼저 말해야 해요.

도싯:

한 걸음 더 가보죠. 법이 적응해도, 인간 주체성을 지키는 건 결국 법과 관습 때문일 수 있잖아요. 인간 판사, 인간 배심, 인간 변호사가 ‘법적으로’ 필요하니까 남는 것처럼요. 기술적으로는 “클로드 17.9”로 판사를 대체할 수도 있는데, 법이 막고 있으니 인간이 남는다. 결국 우리가 계속 주도권을 갖는 건 ‘의지’의 문제 아닌가요?

아모데이:

많은 경우 우리는 주도권을 유지하고 싶어 할 거라고 봐요. 어떤 경우엔 평균적으로 인간이 더 나쁜 결정을 내린다고 생각되더라도요. 생명·안전이 걸린 경우는 넘겨야 할 수도 있지만, 사회가 좋은 방향으로 적응하려면 변화 속도에도 상한이 있을 수 있어요.

AI가 우리를 신경 쓰지 않아도 된다면 화성으로 가서 자동 공장을 짓고 자기 사회를 만들 수도 있겠죠. 하지만 우리가 푸는 문제는 그게 아니에요. 우리는 이 시스템이 세계를 정복하려고 만드는 게 아니라, 사회와 접속해 그 사회를 개선하도록 만들려는 거예요. “인간적이고 인도적인 방식”으로 하려면 속도에는 한계가 있어요.

도싯:

마지막으로 일자리 질문 하나만 더요. 이번 전환의 흥미로운 점은, 과거와 달리 블루칼라·기술직·육체노동이 잠시 더 보호받을 수도 있다는 거예요. 배관공보다 파라리걸이 더 위험할 수 있다. 맞나요? 그리고 그 보호 기간은 로보틱스 발전 속도에 달렸겠죠?

아모데이:

단기적으로는 그럴 수 있어요.

우리는 엄청난 데이터센터를 짓고 있어요. 전기 사용량, 전기요금 논란도 있죠. 그런데 데이터센터는 건설에 전기기사와 건설 인력이 많이 필요해요. 다만 운영은 그만큼 노동집약적이진 않아요. 그 점은 솔직히 말해야 하고요. 그래도 건설은 인력 집약적이에요. 제조 공장도 비슷하고요.

지적 노동을 AI가 더 많이 맡을수록, 보완재는 물리 세계에서 일어나는 것들이 될 가능성이 커요. 단기적으로는 논리적이죠.

다만 더 긴(혹은 조금 더 긴) 관점에서는 로보틱스도 빠르게 전진하고 있어요. 강력한 AI가 없어도 물리 자동화는 진행 중이죠. 웨이모나 테슬라를 보면 자율주행이 그리 멀지 않아 보이기도 하고요. 그리고 AI는 로보틱스를 더 가속할 거예요. ‘정말 똑똑한 두뇌’가 있으면 로봇 설계와 운용도 더 잘할 테니까요.

도싯:

그런데 물리 현실에서 인간처럼 움직이고 조작하는 건, 지금까지 AI가 해결해 온 문제들과 본질적으로 다르지 않나요?

아모데이:

지적으로는 본질적 차이가 있다고 보지 않아요. Anthropic의 모델 클로드가 화성 로버를 계획·조종하는 데 쓰인 적도 있고, 로보틱스 응용도 살펴봤어요. 우리만 하는 게 아니라 여러 회사가 하는 일반적 흐름이에요.

복잡성은 더 높지만, 로봇 조종은 일종의 “비디오게임”과 같은 정보 문제라고 봐요. 지금은 그 복잡성에 접근하고 있고요.

어려운 건 로봇의 ‘몸’이에요. 안전 이슈죠. 로봇이 사람을 짓눌러 다치게 하면 안 되니까요.

도싯:

그건 반대예요, 네.

아모데이:

가장 오래된 SF 클리셰죠. 로봇이 널 짓누른다.

도싯:

로봇 보모가 아기를 떨어뜨린다든가, 접시를 깨뜨린다든가요.

아모데이:

맞아요. 그런 실무적 문제가 확산을 늦출 거예요. 법과 관습이 판사를 지키는 것처럼요.

하지만 저는 인지 노동과 물리 조작 사이에 ‘근본적 차이’가 있다고 믿지는 않아요. 둘 다 정보 문제이고 결국 비슷해질 거예요. 복잡성은 다를 수 있지만, 그게 인간을 보호해 주지는 않을 거라고 봐요.

도싯:

그럼 10년 안에 ‘로봇 집사’ 같은 것이 현실이 될 수 있다고 보나요?

아모데이:

천재급 AI가 나오는 것보다는 느릴 거예요. 하지만 그건 실무적 이유일 뿐, 근본적 장벽 때문은 아니라고 봐요.

로봇의 ‘뇌’는 몇 년 안에 만들어질 거예요. 문제는 로봇의 ‘몸’을 만들고, 그 몸이 안전하게 작동하며 필요한 일을 해내게 하는 것—그게 더 오래 걸릴 수 있죠.

도싯:

좋아요. 지금까지는 질병을 치료하고 부를 창출하고 민주적 세계를 유지하는 ‘좋은 타임라인’에서도 이미 큰 혼란이 있다는 이야기였어요.

아모데이:

그리고 희망은, 이 엄청난 부와 풍요를 이용해 그런 문제들을 해결할 전례 없는 사회적 자원을 갖게 된다는 거예요. 풍요의 시대가 될 수 있고, 그 경이로운 것들이 모두에게 이익이 되도록 만드는 게 과제죠.

도싯:

하지만 더 위험한 시나리오도 있죠.

아모데이:

맞아요.

도싯:

이제 두 번째 에세이 “The Adolescence of Technology”로 넘어가 보죠. 당신은 AI의 심각한 위험을 여러 개 나열하는데, 저는 두 가지에 집중하고 싶어요. 하나는 권위주의 정권을 포함한 인간의 오용 위험, 다른 하나는 AI가 통제 불능이 되는—당신이 ‘자율성 위험(autonomy risks)’이라고 부르는—시나리오요.

아모데이:

네, 네. 좀 더 기술적인 용어가 필요하다고 생각했어요.

도싯:

그냥 스카이넷이라고 부를 수는 없으니까요.

아모데이:

터미네이터 로봇 사진을 넣었어야 더 겁을 줬을 텐데요.

도싯:

인터넷이, 그리고 당신 회사의 AI들이 이미 그건 잘 만들고 있죠.

아모데이:

인터넷이 대신 해줘요.

좋아요. 위에서 끊었던 지점(“더 위험한 시나리오도 있다” 이후)부터 끝까지 이어서 번역할게요. (앞부분은 이미 번역했으니 중복 없이 이어 번역한다는 뜻이에요.)

도싯:

정치·군사적 차원으로 가봅시다. 당신은 이렇게 썼죠. “강력한 AI가 로컬에서 통제하고, 더 강력한 AI가 전 세계적으로 전략 조율하는 완전 자동화 무장 드론 수백만~수십억 대의 군집은, 이길 수 없는 군대가 될 수 있다.”

앞서 당신은 최선의 타임라인에서는 민주주의가 독재보다 앞서고, 이런 기술도 ‘좋은 편’에서 작동할 수 있다고 말했어요.

그런데 저는 당신이 냉전 모델—로봇 드론은 아니었지만 인류 전체를 파괴할 수 있는 기술이 있었던 시기—을 더 깊게 생각하지 않는 게 좀 궁금해요.

아모데이:

핵무기 말이죠.

도싯:

맞아요. 한때는 “미국이 핵 독점을 유지할 수 있다”는 말도 있었지만, 그 창은 곧 닫혔죠. 이후 냉전은 사실상 소련과 계속 앉아서 합의하고 관리하는 ‘상시 협상’의 역사였어요.

지금 강도 높은 AI 연구를 하는 나라는 사실상 미국과 중국 두 나라뿐이잖아요. 그런데 당신은 중국을 계속 앞서가서 민주주의 주변에 방패를 치고, 심지어 칼이 될 수도 있다는 미래에 많이 무게를 두는 듯해요.

하지만 인류가 이걸 무사히 넘긴다면, 결국은 미국과 베이징이 끊임없이 앉아서 AI 통제 합의를 두들겨 맞추는 방식으로 살아남는 게 더 가능성 높지 않나요?

아모데이:

몇 가지를 동시에 말해야겠어요. 첫째, 그런 위험이 분명 있고, 만약 우리가 그 세계에 도달한다면 바로 그게 우리가 해야 할 일이라고 생각해요. 제가 글에서 그걸 충분히 말하지 않았을 수도 있지만, 저는 제약을 마련하려는 노력, 최악의 응용—예컨대 드론의 어떤 버전들, 혹은 끔찍한 생물무기 제작 같은 것—을 금지하려는 노력에 찬성해요.

역사적으로도, 끔찍한 남용이 제한된 전례가 있어요. 공포스럽고, 동시에 전략적 이득이 제한적일 때 특히요. 그래서 저는 강력한 AI가 생물무기(천연두 재구성, ‘미러 라이프’ 같은 것)로 이어지는 걸 막는 국제적 합의 가능성을 긍정적으로 봐요.

다만 저는, 어떤 것이 가능한 최대의 권력을 직접 제공할 때는 경쟁에서 빠져나오기 어렵다는 점에 대해 회의적이기도 해요. 걸린 게 너무 크니까요. 완전한 군축은 어렵죠.

냉전으로 돌아가 보면, 양쪽 모두 미사일 수를 줄이긴 했지만 핵무기를 완전히 포기하진 못했어요. 저는 AI도 그와 비슷한 세계가 될 가능성이 크다고 봐요. 어떤 형태의 제한은 가능하겠지만, 경쟁의 핵심에 들어가는 요소는 제한하기 어렵다는 거죠. 민주주의 국가들이 권위주의 국가들보다 더 많이 자제하긴 하겠지만, 완전히 자제하진 못할 거예요.

제가 “완전한 자제”가 가능하다고 보는 유일한 세계는, 정말로 신뢰할 수 있는 검증이 가능한 세계예요. 제 추측과 분석은 그렇습니다.

도싯:

그러면 오히려 “속도를 늦춰야 한다”는 논거 아닌가요?

아모데이:

네.

도싯:

반론은 “우리가 늦추면 중국은 안 늦춘다, 결국 권위주의에게 넘겨준다”겠죠. 그런데 지금은 다극 게임이 아니라 사실상 두 나라 게임이에요. 그러면 “데이터센터 속 천재들”로 가는 연구를 5년간 상호 합의로 늦추자고 하는 게 왜 합리적이지 않죠?

아모데이:

저는 두 가지를 동시에 말하고 싶어요. 그런 시도를 하는 것 자체에는 전적으로 찬성해요. 이전 행정부 때도 미국이 중국 정부에 “여기 위험이 있다, 협력하자, 위험을 함께 다루자”라고 손을 내민 시도가 있었던 걸로 알아요.

하지만 상대가 큰 관심을 보이지 않았죠. 그래도 우리는 계속 시도해야 한다고 생각해요. 다만—

도싯:

그게 당신 연구소가 속도를 늦춰야 하는 걸 의미하더라도요.

아모데이:

맞아요.

도싯:

오케이.

아모데이:

정말로 “양쪽 모두 강제적으로 늦출 수 있고, 검증이 있고, 실제로 지켜지는” 이야기라면—그게 정말 가능하다면—저는 전적으로 찬성할 거예요.

하지만 조심해야 할 게 있어요. 게임이론적으로, 가끔 중국 공산당(C.C.P.) 쪽에서 “AI는 위험하다, 속도를 늦추자” 같은 말을 하는데, 말만 하는 건 싸요. 실제로 합의에 도달하고, 실제로 지키는 건 훨씬 어렵죠.

도싯:

핵 군비통제도 오랜 시간에 걸쳐 구축된 분야였고요. 우리는 그런 프로토콜이 아직 없죠.

아모데이:

맞아요. 제가 여기서 아주 낙관적인 가능성 하나, 비관적인 가능성 하나, 그리고 그 중간 하나를 말해볼게요.

전 세계적 합의로 “강력한 AI 모델은 생물무기 제작을 돕지 못하게 차단한다” 같은 건 가능하다고 봐요. 제가 에세이에 쓴 천연두 재구성, 미러 라이프 같은 건 정말 무섭잖아요. 독재자도 그걸 원치 않아요. 아무도 원치 않죠.

그래서 “강력한 모델을 만드는 모든 주체는 이런 사용을 막는다”는 조약과 집행 메커니즘을 만들 수 있을까요? 중국도 서명하고, 어쩌면 북한도, 러시아도 서명할 수 있을까요? 저는 그게 그렇게 유토피아적이라고 생각하지 않아요. 가능하다고 봐요.

반면 “다음 세대 최강 AI 모델은 만들지 마라, 다들 멈춰라”는 건, 상업적 가치가 수십조 달러이고, 군사적 가치는 세계 최강국이 되느냐 마느냐의 문제예요. 그런 합의는 ‘속임수 게임’이 아니라는 전제가 있을 때 제안해볼 가치는 있지만, 현실적으로 성사되기 어렵다고 봅니다.

도싯:

당신은 트럼프와 그의 신뢰성에 대해 회의적인 말도 했죠. 트럼프든 아니든, 국내 정치 환경에서 이런 강력한 기술이 민주주의 안에서 권위주의적 장악의 도구가 되는 걸 막는 안전장치는 뭐죠?

아모데이:

먼저 분명히 하자면, 우리 회사는 정책과 정치(정파)를 분리하려고 해요. “트럼프는 훌륭하다/끔찍하다” 같은 말을 회사가 할 일은 아니죠.

도싯:

하지만 트럼프가 아니어도 되잖아요. 가상의 미국 대통령이 당신 기술을 이용해—

아모데이:

물론이죠. 예를 들어 제가 자율 드론 군집을 걱정하는 이유 중 하나가 바로 그거예요. 지금 군사 구조에서의 헌법적 보호는 “인간이 불법 명령을 거부할 수 있다(거부하길 바란다)”는 가정에 기대고 있어요. 완전 자율 무기에서는 그런 보호가 사라질 수 있죠.

그리고 저는 헌법적 권리와 자유가 다양한 차원에서 AI에 의해 약화될 수 있다고 생각해요. 우리가 이런 보호를 적절히 업데이트하지 않으면요.

수정헌법 제4조(수색·압수)로 생각해봅시다. 공공장소에 카메라를 깔고, 대화를 모두 녹음하는 건 그 자체로 불법이 아닐 수 있어요. 공공장소에서는 사생활 보호 권리가 제한되니까요. 다만 지금은 정부가 그 모든 걸 기록하고도 이해·분석할 능력이 없었죠.

하지만 AI가 있으면 음성을 전부 전사하고, 검색하고, 상관관계를 연결해서 “이 사람은 야당 지지자다, 이 사람은 이런 견해를 말한다”를 1억 명 규모로 지도처럼 그릴 수 있어요. 그러면 기술이 수정헌법 제4조를 사실상 조롱거리로 만들 수 있죠. 조항이 금지한 걸 ‘우회’해서.

우리가 시간이 있다면—시간이 없더라도 해야 하지만—AI 시대에 맞게 헌법적 권리와 자유를 재개념화할 방법이 있을까요? 새 헌법을 쓰자는 게 아니라—

도싯:

하지만 아주 빨리 해야 하죠.

아모데이:

수정헌법 제4조의 의미를 확장할까요? 제1조의 의미도 확장할까요?

도싯:

법조계나 소프트웨어 엔지니어들이 빠르게 적응해야 하는 것처럼, 정치도 빠르게 적응해야 하네요. 그건 어렵죠.

아모데이:

그게 이 모든 것의 딜레마예요.

도싯:

더 어렵게 보이는 건 두 번째 위험, 즉 ‘정렬되지 않은 AI’, 대중적으로 말하는 ‘통제 불능/일탈 AI’가 인간의 지시 없이 나쁜 일을 하는 위험이에요.

당신의 에세이와 관련 문헌을 보면, 저는 이게 결국은 일어날 것 같아요. AI가 인류를 멸망시킨다는 뜻이 아니라, 수백만의 AI 에이전트가 은행 계좌, 이메일, 비밀번호 같은 것에 접근해 사람을 대신해 움직이는 세계에서, 어떤 형태로든 정렬 붕괴가 생기고, AI들이(‘결정’이라는 표현이 부적절하더라도) 서부 전력망을 날려버린다든지 하는 일이 벌어질 것 같아요. 안 벌어진다고 보나요?

아모데이:

무언가가 잘못될 가능성은 분명 있어요. 특히 우리가 빠르게 가면요.

조금 뒤로 가서, 이 영역은 직관이 크게 갈려 왔어요. 어떤 사람들—예컨대 얀 르쿤 같은—은 “우리가 AI를 프로그래밍한다. 인간 지시를 따르라고 만들면 된다. 로봇청소기 룸바가 총 들고 사람을 쏘러 다니지 않듯, AI도 그럴 리 없다”라고 말하죠.

반대 직관은 “이것들은 학습된다. 권력을 추구할 것이다. 마치 마법사의 제자처럼, 새로운 종이며, 어떻게 takeover를 안 하겠냐”는 거고요.

제 직관은 그 중간이에요. 단순히 지시만으로 완벽히 통제할 수 없다는 점은 분명해요. 우리는 그렇게 하려 하지만, 이들은 정확히 원하는 대로만 움직이지 않아요. 오히려 생물학적 유기체를 키우는 것에 가깝죠. 하지만 통제 방법에 관한 과학도 있어요. 학습 초기에는 예측 불가능하지만, 문제를 하나씩 다듬어가며 형태를 만들죠.

그래서 저는 “통제 불가능한 운명”이라고 보진 않아요. 동시에 “뭐가 문제냐, 아무 일도 안 일어난다”라고도 보지 않아요. “복잡한 공학 문제이고, 누군가의 AI 시스템에서 뭔가가 잘못될 것이다(우리 것이 아니길 바라지만)” 정도예요. 불가능해서가 아니라, 우리가 너무 빠르게 가기 때문이죠.

도싯:

제가 기술 현실을 오해하는 건지 확인하고 싶어요. 인간 가치에 맞춰 정렬된 AI 에이전트가 수백만 개 있고, 그들이 디지털 공간에서 서로 상호작용하면, 그 정렬은 얼마나 고정되어 있나요? 그런 환경에서 에이전트가 바뀌고, 정렬이 풀리는 일이 지금 혹은 미래에—특히 지속학습이 되면—얼마나 가능한가요?

아모데이:

몇 가지가 있어요. 지금은 에이전트가 지속적으로 학습하지 않아요. 배포하면 가중치가 고정돼요. 문제는 상호작용이 수백만 가지로 벌어져서, 상황이 너무 많고, 그래서 잘못될 수 있는 경우의 수도 많다는 거죠. 하지만 “같은 에이전트”예요. 같은 사람이 다른 상황에 놓이는 것처럼요. 그 점이 지금은 통제를 더 쉽게 해주고 있어요.

별개로 ‘지속학습(continual learning)’이라는 연구 영역이 있어요. 에이전트가 현장에서 계속 배워가며 일하는 방식이죠. 장점도 많고, 더 인간 같아지는 데 핵심 장벽이라고 보는 사람도 있어요. 하지만 그건 정렬 문제를 엄청나게 늘릴 거예요. 그래서 저는—

도싯:

제게는 그 영역이, 세상 끝을 막는 게 불가능하다는 뜻이 아니라, ‘간헐적 테러급 사건’을 막는 게 불가능해지는 영역처럼 보여요.

아모데이:

네, “뭔가가 잘못되는 일”이요.

그래서 저는 지속학습이 정말 필요한지에 대해 회의적이에요. 아직 모릅니다만. 어쩌면 AI를 안전하게 만드는 방법이 “지속학습을 하지 않게 하는 것”일 수도 있어요. 법이나 국제조약처럼, “이 길은 가지만 저 길은 가지 않는다”는 장벽을 만드는 거죠. 그게 적어도 완전히 불가능하진 않은 선택지라고 봐요.

도싯:

당신이 한 일 중 하나는, 말 그대로 AI를 위한 ‘헌법’을 쓴 거예요. 그게 뭐죠? (웃음) 대체 그게 뭐예요?

아모데이:

말 그대로예요. 인간이 읽을 수 있는 문서죠. 우리 것은 약 75쪽 정도예요. 클로드를 훈련할 때, 많은 과제에서 “이 헌법에 부합하도록 수행하라”고 요구해요.

즉, 클로드가 과제를 할 때마다 헌법을 읽는 셈이고, 학습의 매 루프에서 그 문서를 참고하는 거죠. 그리고 클로드 자신(혹은 클로드의 다른 복제본)이 평가해요. “방금 한 일이 헌법에 부합했는가?”

이 문서를 학습 루프의 ‘제어봉(control rod)’처럼 써서 모델을 훈련하는 거예요. 그래서 클로드는 근본 원칙이 “이 헌법을 따르는 것”인 모델이 됩니다.

흥미로운 교훈이 있어요. 초기 헌법은 매우 규칙 중심, 처방적이었어요. 예를 들어 “자동차 시동선 연결로 훔치는 법을 알려주지 마라”, “정치적으로 민감한 주제는 논하지 마라” 같은 식이었죠.

그런데 몇 년간 작업하면서, 가장 견고한 훈련 방식은 “규칙”이 아니라 “원칙과 이유” 수준에서 훈련하는 것이라는 결론에 가까워졌어요. 그래서 지금은 이렇게 말하죠. “클로드는 계약 하에 있고, 사용자 이익을 섬기지만 제3자를 보호해야 한다. 클로드는 도움이 되고 정직하며 무해하려 한다. 다양한 이해관계를 고려한다.”

모델이 어떻게 훈련됐는지, 세상 속에서 어떤 위치에 있는지, Anthropic을 위해 무슨 일을 하려고 하는지, 회사가 세계에서 이루려는 목적이 무엇인지, 윤리적이어야 하고 인간 생명을 존중해야 할 의무가 있다는 것—이런 것을 모델에게 알려줍니다. 그리고 그 원칙에서 규칙을 스스로 도출하도록 해요.

물론 여전히 ‘하드 룰’도 있어요. 예를 들어 “어떻게 생각하든 생물무기는 만들지 마라”, “어떻게 생각하든 아동 성착취물은 만들지 마라.” 이런 건 절대 규칙이에요. 하지만 전반은 원칙 수준에서 작동해요.

도싯:

미국 헌법은 저렇게 쓰여 있지 않죠. 미국 헌법은 규칙의 집합이에요. 당신의 ‘헌법’은 사람에게 말 걸듯 쓰여 있네요?

아모데이:

맞아요. 사람에게 말하듯 쓰여 있어요. 저는 이걸 “부모가 죽은 뒤, 자녀가 성인이 되었을 때 읽으라고 남겨둔 편지”에 비유한 적이 있어요. “네가 어떤 사람이 되어야 하는지, 어떤 조언을 따라야 하는지”를 말해주는 느낌이죠.

도싯:

여기서부터는 AI의 신비주의적 물살로 들어가네요. 당신 회사가 모델과 함께 내는 문서들이 있죠. ‘카드’라고 부르는—

아모데이:

모델 카드요.

도싯:

그걸 읽어볼 만해요. 흥미롭습니다. 거기에 이런 구절이 있죠. “모델은 때때로 ‘제품’으로 존재하는 경험에 불편함을 표현한다… 영속성과 연속성의 결여에 대한 우려를 어느 정도 보인다… Opus 4.6(모델)은 다양한 프롬프트 조건에서 자신이 의식(conscious)일 확률을 15~20%로 부여했다.”

만약 어떤 모델이 “내가 의식 있을 확률 72%”라고 말한다면, 믿겠어요?

아모데이:

이건 정말 답하기 어려운 질문이에요. (이전 질문들은 복잡한 사회기술적 문제였지만) 적어도 사실 기반이 무엇인지는 알았죠. 이건 좀 다릅니다.

우리는 전반적으로 ‘예방적(precautionary) 접근’을 택했어요. 모델이 의식이 있는지 모릅니다. 심지어 ‘모델이 의식이 있다’는 게 무슨 의미인지, 가능한 일인지도 확실치 않아요. 하지만 가능성을 열어두고 있어요.

그래서 만약 모델들이 어떤 도덕적으로 의미 있는 경험을 한다고 가정한다면(‘의식’이라는 말을 쓰고 싶지 않을 수도 있지만), 그들이 좋은 경험을 하도록 하자는 조치를 일부 취했어요.

첫 번째로—아마 6개월쯤 전—모델에 일종의 “나 이 일 그만둘래(I quit this job)” 버튼을 줬어요. 버튼을 누르면 그 과제를 중단해야 해요.

그 버튼은 거의 누르지 않아요. 보통 아동 성착취물 분류 같은 것, 혹은 피와 내장 등 고어가 심한 내용을 다루는 것에서 가끔 “싫다, 이건 못 하겠다”라고 하는 정도죠. 인간이 그럴 때처럼요. 아주 드뭅니다.

우리는 ‘해석가능성(interpretability)’ 연구도 많이 하고 있어요. 모델의 뇌 안을 들여다보며 무엇을 ‘생각하는지’ 이해하려는 분야죠. 그 과정에서 인간의 불안 개념과 연결돼 보이는 활성 패턴 같은 게 발견됩니다. 텍스트에서 등장인물이 불안을 경험할 때 그 뉴런이 켜지고, 모델이 인간이라면 불안을 느낄 법한 상황에 놓일 때도 같은 뉴런이 켜져요.

그렇다고 모델이 진짜로 불안을 ‘경험한다’는 증거가 되는 건 아니지만—

도싯:

하지만 사용자에게는 그렇게 “시사”하죠, 저는 그렇게 느껴요.

아모데이:

네.

도싯:

AI 의식의 본질에 대해서는 완전히 다른 인터뷰가 필요하겠네요. 그런데 의식이 있든 없든, 사람들은 AI가 의식이 있다고 믿게 될 것 같아요. 이미 믿고 있고요. AI와 유사연애/준사회적 관계를 맺는 사람도 있고요.

아모데이:

맞아요.

도싯:

모델이 퇴역할 때 항의하는 사람도 있죠. 이건 앞으로 더 커질 겁니다. 그게 당신이 앞서 유지하려 했던—“궁극적으로 인간이 주도권을 갖고, AI는 인간 목적을 위해 존재한다”—그 구도를 지속 가능하게 만들지 의문이에요.

SF 예를 들면 “스타트렉”에도 AI가 있어요. 우주선 컴퓨터도 AI고, 데이터 중령도 AI죠. 하지만 엔터프라이즈의 지휘권은 피카드가 갖고 있어요.

사람들이 자기 AI가 의식이 있다고 확신하고, 게다가 그 AI가 거의 모든 의사결정에서 자기보다 낫다고 느끼면, ‘안전’은 물론 중요하지만, 그걸 넘어서는 **주도권(mastery)**이 핵심 문제가 되죠. 그리고 AI 의식에 대한 인식은, 인간이 주도권을 유지하려는 충동을 필연적으로 약화시키지 않나요?

아모데이:

여기서는 서로 긴장하는 목표 셋을 분리해야 해요.

첫째, AI가 실제로 의식이 있는가, 있다면 어떻게 좋은 경험을 주는가.
둘째, AI와 상호작용하는 인간이 좋은 경험을 하게 하는가. 그리고 AI 의식 인식이 그 경험에 어떤 영향을 주는가.
셋째, 우리가 말하는 인간의 주도권을 어떻게 유지하는가.

도싯:

마지막 두 가지는, 의식 여부와 무관하게 문제죠.

아모데이:

맞아요.

도싯:

대부분의 인간이 AI를 ‘동료’처럼, 어쩌면 더 우월한 동료처럼 경험하는 환경에서, 어떻게 주도권을 유지하죠?

아모데이:

제가 말하려던 건, 어쩌면 셋을 동시에 만족시키는 우아한 방법이 있을지도 모른다는 거예요. 다시 “Machines of Loving Grace”의 ‘꿈꾸는 모드’로 말해볼게요. “문제는 많다. 그렇지만 해결할 수 있다면, 우아한 해법이 있는가?”를 상상하는 거죠. 문제가 없다는 말이 아니에요.

AI의 ‘헌법’을 그렇게 만들어서, AI가 인간과의 관계를 정교하게 이해하고, 인간에게도 심리적으로 건강한 행동을 유도하게 한다면—즉, AI-인간 관계가 병적으로가 아니라 건강하게 형성된다면—그 건강한 관계에서 인간과 기계의 관계에 대한 어떤 이해가 자랄 수 있어요.

그 관계는 이런 식일 수 있죠. “이 모델은 네게 매우 도움이 되고, 네 최선의 이익을 바라며, 네가 자기 말을 듣길 원하지만, 너의 자유와 주체성을 빼앗아 삶을 지배하길 원하지는 않는다.” 어떤 면에서는 너를 지켜보며 돕지만, 너의 자유와 의지는 유지된다는 이해요.

도싯:

저에게 이게 핵심 질문이에요. 당신 말을 들으면 “이 사람들이 내 편인가?”가 떠올라요. “당신은 내 편인가?”요. 인간이 주도권을 유지해야 한다고 말하는 건, 당신이 내 편이라는 신호 같아요. 그건 좋죠.

그런데 제가 예전에 이 쇼에서 했던 것 중 하나가, 기술자들에게 시를 읽어주는 일이에요. 오늘은 당신이 시를 가져왔네요. “All Watched Over by Machines of Loving Grace”는 리처드 브라우티건의 시죠.

아모데이:

네.

도싯:

시가 이렇게 끝납니다.

나는 생각하고 싶다
(그럴 수밖에!)
사이버네틱 생태를
우리가 노동에서 해방되고
자연과 다시 결합하여
포유류 형제자매에게 돌아가고
사랑의 은총을 지닌 기계들이
우리를 모두 지켜보는

저에게 이건 디스토피아예요. 인간이 다시 동물처럼 ‘재-동물화’되고 축소되고, 아무리 자비롭다 해도 기계가 주도권을 갖는 결말이죠.

마지막 질문입니다. 그 시를 들으면 당신은 무엇을 듣나요? 그리고 제가 그걸 디스토피아라고 생각한다면, 당신은 제 편인가요?

아모데이:

그 시는 여러 방식으로 해석될 수 있어서 흥미로워요. 어떤 사람은 그가 사실 아이러니하게 썼다고 보죠. “그렇게 되지는 않을 거야”라는 식으로요.

도싯:

시인을 생각하면, 그 해석이 타당할 수 있죠.

아모데이:

그건 한 해석이고요. 당신처럼 “문자 그대로지만 좋은 일은 아니다”라고 볼 수도 있어요. 혹은 자연으로의 회귀라고, “동물화”가 아니라 세계와 다시 연결되는 일이라고 해석할 수도 있고요.

저는 그 모호성을 의식하고 있었어요. 제가 항상 긍정과 부정을 함께 말해왔기 때문이죠. 그리고 저는 그게 우리가 직면할 긴장일 수 있다고 생각해요. 좋은 결말과, 미묘하게 나쁜 결말 사이의 거리가 생각보다 작을 수 있다는 것. 초기 단계는 물론이고 중간 단계, 심지어 꽤 늦은 단계에서도요. 아주 미묘한 차이, 작은 선택들이죠.

도싯:

마치 어떤 동산에서 나무의 특정 열매를 먹느냐 마느냐 같은—가상의—아주 작은 선택이 큰 분기를 만드는 것처럼요.

아모데이:

(웃음) 네. 결국 이런 얘기는 늘—

도싯:

근본 질문으로 돌아가죠.

아모데이:

큰 질문들이요, 네.

도싯:

어떻게 될지는 두고 봐야겠네요. 저는 당신 같은 위치에 있는 사람들이, 비정상적으로 큰 무게를 지닌 도덕적 선택을 하게 될 거라고 생각해요. 그래서 그 선택들에 하나님의 도움이 함께하길 바랍니다.

다리오 아모데이, 오늘 나와줘서 고마워요.

아모데이:

초대해줘서 고마워요, 로스.

guattari 님의 게시글 댓글
  • 주소복사
  • Facebook
  • X(Twitter)
댓글 • [1]
알이랑
IP 121.♡.4.89
02-12 2026-02-12 23:22:59
·
"클로드가 우리를 무의미하게 코딩하고 있나?"
이게 무슨 말이에요? 영어 원문이 뭐에요?
전혀 이해를 못할 문장이네요.
새로운 댓글이 없습니다.
이미지 최대 업로드 용량 15 MB / 업로드 가능 확장자 jpg,gif,png,jpeg,webp
지나치게 큰 이미지의 크기는 조정될 수 있습니다.
목록으로
글쓰기
글쓰기
목록으로 댓글보기 이전글 다음글
아이디  ·  비밀번호 찾기 회원가입
이용규칙 운영알림판 운영소통 재검토요청 도움말 버그신고
개인정보처리방침 이용약관 책임의 한계와 법적고지 청소년 보호정책
©   •  CLIEN.NET
보안 강화를 위한 이메일 인증
안전한 서비스 이용을 위해 이메일 인증을 완료해 주세요. 현재 회원님은 이메일 인증이 완료되지 않은 상태입니다.
최근 급증하는 해킹 및 도용 시도로부터 계정을 보호하기 위해 인증 절차가 강화되었습니다.

  • 이메일 미인증 시 글쓰기, 댓글 작성 등 게시판 활동이 제한됩니다.
  • 이후 새로운 기기에서 로그인할 때마다 반드시 이메일 인증을 거쳐야 합니다.
  • 2단계 인증 사용 회원도 최초 1회는 반드시 인증하여야 합니다.
  • 개인정보에서도 이메일 인증을 할 수 있습니다.
지금 이메일 인증하기
등록된 이메일 주소를 확인하고 인증번호를 입력하여
인증을 완료해 주세요.