출처: 조선일보 (클릭 주의)

오로라 기자 2024.01.02.

"

타임 선정 ‘AI분야 영향력 100인’ 최예진 美워싱턴대 교수 인터뷰

서구적 가치관만 배운 AI의 오류 가능성 

“공상과학(SF) 영화에 나오는 나쁜 인공지능(AI)들은 대부분 ‘도덕적 실패(moral failure)’의 결과물입니다. 영화가 현실이 되지 않게 하려면 AI에 윤리를 가르치는 작업이 먼저입니다.”

최예진(47) 미국 워싱턴대 교수는 지난달 24일(현지 시각) 본지 화상 인터뷰에서 “사람들이 AI를 너무 과신하고 있다”며 “윤리적 결여가 있는 이상, AI는 100% 신뢰할 수 없는 제품”이라고 했다. 

• 지금의 AI는 ‘능력 차이에 따른 불평등은 필연적인 것인가’ ‘내가 위험할 경우 남을 해쳐도 되는가’와 같은 복잡한 질문에 대한 답을 내릴 줄 모른다. 
• “지금의 AI가 소수 집단을 차별하는 현상이 일어나는 것도 사람 같은 상식적 가치 판단을 내리지 못하기 때문”
• “윤리적 학습이 안 된 AI는 긴박한 순간에 사람을 해치거나 방해하는 오작동을 일으킬 위험이 크다”
  
  

최 교수는 지난해 타임지가 선정한 AI 분야 영향력 있는 100인에 이름을 올린 유일한 한인으로, 미국 앨런 AI연구소에서 AI에 윤리를 가르치는 ‘델파이 프로젝트’를 주도한 AI윤리계의 권위자다. 지난해 필즈상을 수상한 허준이 프린스턴대 교수와 함께 ‘천재들의 상’이라 불리는 맥아더펠로십에 선정되기도 했다. 다음은 일문일답.

 -윤리적 측면에서 AI 서비스가 직면한 가장 큰 문제는 무엇인가.

“AI 개발이 미국 서해안의 빅테크에 과도하게 쏠려 있다. 지금의 AI 서비스들은 미국, 특히 실리콘밸리의 도덕관이 과도하게 반영돼 있다. 최근 수년간 실리콘밸리를 휩쓴 ‘효과적 이타주의(effective altruism)’ 사상이 대표적이다. 하지만 효과적 이타주의는 다수의 이익을 달성하기 위해 소수를 희생해도 된다는 전체주의적 성향이 강한 사상으로, 이미 수많은 부작용을 낳고 있다. 더 큰 선(善)을 위해 작은 악(惡)을 행해도 된다고 판단하는 AI가 인류에 얼마나 큰 위협이 될 수 있을지 생각해보라.”

 -AI에 특정 가치관이 과도하게 반영됐을 때 무슨 문제가 생기는가.

“어떤 윤리관을 탑재한 AI가 보편적으로 사용되느냐에 따라, 해당 윤리관이 자연스럽게 미래의 ‘대세 사상’으로 자리 잡을 수 있다. 예컨대 ‘독재는 옳다’고 말하는 AI를 사용하는 사람이 많아지면, 미래 세대는 자연스럽게 독재가 옳다는 생각을 배우고 자라게 될 것이다. 인류 역사는 항상 수많은 이념의 충돌과 함께 이어졌는데, 앞으로 발생할 이념 전쟁의 승패를 AI가 가를 수 있는 셈이다. 특히 서구권의 가치관이 과도하게 반영되면서 한국 등 아시아 문화권을 비롯한 세계 각지의 고유 가치관들이 목소리를 잃고 있다. 이는 궁극적으론 문화·인종 차별로 이어질 수 있는 문제다.”

 -구체적인 사례가 있다면.

 “예컨대 쌈을 싸 먹는 한국 문화에 대해 ‘손으로 밥을 먹는 짓은 미개하고 비위생적’이라고 AI가 판단하는 오류가 생길 수 있다. 역사관에 대한 충돌 문제도 있다. 안중근 의사가 어떤 사람이냐 묻는 질문에 ‘테러리스트’라고 답하는 AI가 세계에서 보편적으로 사용되면 한국이 입을 손해가 얼마나 클지 상상조차 하기 힘들다.”

 -AI가 다양한 문화의 가치관을 어떻게 반영할 수 있나.

 “AI 윤리 교육에서 가장 중요한 부분은 다양한 문화권의 각기 다른 가치관을 질문자와 상황에 따라 적절하게 제공하는 ‘다원주의(pluralism)’를 갖추게 하는 것이다. 물론 홀로코스트(유대인 대학살)를 긍정하는 것 같은 극단적인 사상까지 검열 없이 AI에 가르치자는 뜻은 절대 아니다. 아주 상식적인 선에서 다양한 문화권의 미덕·전통 등을 고루 포용할 줄 아는 AI를 만들어야 한다는 것이다.”

-AI에 윤리를 가르치는 기술의 핵심은 무엇인가.

“양질의 데이터다. 빅테크 기업들은 수억 달러 단위의 돈을 써가며 AI 윤리 데이터를 쌓고 있지만, 외부로 공유하진 않는다. 영업비밀이라고 여기기 때문이다. 이는 사용자가 어떤 윤리관을 갖춘 AI를 쓰고 있는지 알 수 없다는 뜻이다. 또 학계 등 공공부문이 이들 데이터를 써서 연구하는 것도 불가능하다. 양질의 윤리 데이터를 구축하려면 공학자뿐 아니라 여러 문화권의 철학자, 법률학자, 사회학자 등이 모두 동참해 상식적으로 허용되는 다양한 가치관의 경계를 판단하고, 조절해야 한다. 특히 여성·유색인종 등 소수자의 연구 참여 역시 AI가 특정 집단을 배제하는 편향성을 줄이는 데 매우 중요하다.”

 -중요한 문제인 만큼 국가별 경쟁도 치열해질 것 같은데.

“물론이다. 한국 고유의 가치관과 역사관 등을 AI에 반영시키는 것은 국익과 연관된 문제다. 이를 위해서라도 정부가 나서서 적극적인 AI 윤리 연구 지원에 나서야 한다. 예컨대 스위스 정부는 챗GPT 출현과 함께 빠르게 엔비디아의 AI 반도체 1만개를 선제적으로 구매했고, 그 결과 내 제자였던 학자가 보다 풍족한 환경에서 AI 윤리를 연구하고 있다. 정부의 발 빠른 대처로 이들은 출발선부터 다른 나라 학자를 앞서가고 있는 것이다.”

 -실제로 AI에 윤리를 가르쳤을 때 효과가 어떤지 궁금하다.

 “지난 5월 네이버 AI랩의 이화란 박사, 오혜연 KAIST AI연구원장, 하정우 네이버클라우드 AI이노베이션 센터장 등과 함께 네이버의 거대언어모델(LLM)인 ‘하이퍼클로바’에 윤리를 가르친 연구 논문을 발표했다. 한국어로 구성된 13만7000개의 양질의 윤리 데이터를 학습시키자, 하이퍼클로바에서 논쟁이 있을 법한 질문에 사회 통념과 어긋나지 않는 답변을 하는 비율이 25%나 증가했다. 윤리적 학습을 거친 AI는 분명 그러지 못한 AI보다 사회적 갈등을 부추기거나 차별을 유도하는 부작용이 크게 줄어든다.”

이하 생략

"

....................................

빌 게이츠도 감탄한 최예진 교수 “생성형 AI 학습 데이터 공개해야”

한겨레

2024.02.19. 

최예진 워싱턴대 교수 인터뷰
      “소수 빅테크 기업이 물자·기술 지배
      대규모 투자 어려운 국가·기업들
      의존할 수밖에 없어 위태로워”

생략

빌 게이츠는 최 교수에게 “내부를 들여다볼 수 없는 현재의 인공지능은 ‘블랙박스’와 같아 걱정”이라고 말했고, 최 교수는 “지금의 거대언어모델(LLM) 학습 방식으로 불투명하고 믿을 수 없을 정도로 권력이 집중되고 있다”고 지적했다.

생략

그는 “수십만개의 그래픽카드로 학습한 ‘거인’을 만드는 데는 수십억달러 규모의 자본이 들어가고, 이렇게 투자하기 어려운 기업과 국가들은 궁극적으로 오픈에이아이가 만든 챗지피티에 의존할 수밖에 없다”며 “데이터도 공개되지 않은 블랙박스에 의존한다는 것은 국가적인 차원에서도 문제"

현재의 인공지능 모델이 놀랍도록 똑똑하고 충격적일 정도로 어리석다는 평가를 받는 데 대해, 최 교수는 ‘생성형 인공지능의 역설’이라고 표현했다. “인간은 소설을 쓰고 위대한 그림을 그리는 것을 더 어려워하고 이를 감상하거나 이해하는 것은 누구나 할 수 있는 반면, 생성형 인공지능은 이해하는 것을 어려워하고 소설이나 그림을 생성하는 것은 쉬워한다”며 “인공지능에 인간의 상식을 불어넣는 일은, 그동안 많은 발전이 있었음에도 불구하고 매우 어렵다”고 말했다.

그는 현재 초거대 데이터를 학습하는 방식의 생성형 인공지능이 아닌, 특화된 데이터나 고품질 데이터만을 학습해 ‘상식’의 영역 안에서 움직일 수 있는 인공지능을 연구하고 있다. 또 빅테크의 초거대 인공지능 모델 데이터가 블랙박스 상태로 누구도 모르게 발전하고 있는 것에 학계에서 누구보다 큰 목소리로 문제 제기를 하며 데이터 현황을 개방해야 한다는 분위기를 만들고 있다. 이렇게 블랙박스 문제를 지적하는 최 교수조차 “할리우드 창작자들이 제기하는 권리 침해 문제는 저작권법으로도 풀 수 없는 굉장히 어려운 과제로, 해법을 찾기 어려운 상태”라고 말했다.

그는 “역사적으로 획기적인 발전이 있을 때 제일 처음 개발된 것이 가장 최적인 경우는 거의 없었다”며 “현재의 생성형 인공지능이 거대한 데이터를 기반으로 하는 것이 해답은 아닐 것이며, 이를 베끼기에 혈안이 될 것이 아니라 대안을 찾고 통제를 위한 기술과 정책을 개발해야 한다”고 말했다. 그 대안을 찾아야 하는 과제가 2024년 인류의 앞에 있다.

"

................................

특정 소수 기업이 전세계 가치, 윤리 기준을 장악한다면 대다수에겐 폭력이 될 수 있겠습니다.

안중근 의사를 테러리스트라거나, 한국인 쌈문화는 미개하다거나.. 이런 구체적 사례를 보면요.

빅테크 기업의 인공지능 데이터를 개방하고, 전세계 시민들의 참여가 가능하게 만들어야겠네요. 이상적이지만, 지금과 같이 비공개 상태로는 매우 위험하네요.

무엇보다 최예진 교수는 효과적 이타주의의 전체주의 사상을 경고합니다.

이 전체주의 사상이 인공지능에 학습되는 것을 경계합니다.

그런데 샘 알트먼은 효과적 이타주의, 즉 소수의 뛰어난 엘리트가 전세계 사람들을 돌본다는 사상을 갖고 있는 듯해서 위험해 보입니다.

"알트먼은 올해 초 자신의 목장에서 가진 인터뷰에서 [뉴욕타임스](https://www.nytimes.com/2023/03/31/technology/sam-altman-open-ai-chatgpt.html)와의 인터뷰에서 OpenAI의 계획은 "AGI를 만들어 전 세계 부의 대부분을 확보한 다음 이 부를 사람들에게 재분배하는 것"이라고 말했습니다. 진심입니다. 그러나 그는 실제로 그 엄청난 돈을 어떻게 재분배할 것인지에 대한 계획을 명확히 밝히지 못했습니다.

대부분의 알트먼의 계획이 그러하듯, 그 계획도 아직 수립 중입니다. 하지만 걱정하지 마세요. 효과적 이타주의자는 아니지만 OpenAI를 운영하는 사람들이 여러분을 돌볼 것이라고 약속하니까요."

물론 실리콘밸리 투자 회사인 와이 콤비네이터의 스타 알트먼이 최고 경영자 자리에 올랐습니다. OpenAI의 이사회에는 이 회사의 사장인 그렉 브록맨과 수석 과학자인 일리야 수츠케버도 포함되어 있습니다. 그리고 Quora의 CEO인 아담 디안젤로와 배우 조셉 고든 레빗의 아내로 잘 알려진 기술 기업가이자 로봇 공학 전문가인 타샤 맥컬리도 있습니다(그렇다고 해서 그녀의 진지한 업무에 방해가 되어서는 안 되겠지만). 전문 사상가와 가장 가까운 이사회 멤버는 조지타운의 보안 및 신흥 기술 센터 소장인 헬렌 토너입니다.

이 사람들의 공통점은 대부분 "효과적 이타주의" 운동과 관련이 있다는 것입니다. 효과적 이타주의는 선한 의도를 가진 사람들이 엄청난 부자가 되어 그 돈을 좋은 일에 기부하는 것이 인류의 문제에 대한 해결책이라고 주장합니다. 

https://www.clien.net/service/board/park/18429048CLIEN

효과적 이타주의는 

쉽게 말하면 유능하고 선한 의도를 가진 극소수가 전 세계 부를 독점하고 재분배 한다. 효과적 이타주의로 전 세계 사람들을 돌본다는 사상입니다.

"올트먼 본인도 해당 운동의 영향권에 있다. 그는 지난해 트위터에서 “엄청나게 결함이 있는 운동”이라고 선을 그으면서도 “개인으로서의 이타주의자들은 거의 항상 유난히 친절하고 선의를 지닌 사람들”이라고 평가했다. 그는 올해 초 언론 인터뷰에서 “범용인공지능(AGI)을 만들어 전 세계 부의 상당 부분을 획득한 뒤 이를 사람들에게 재분배하는 것”을 자신의 목표로 제시하기도 했다."

출처: 경향신문 | 미국 실리콘밸리에 번진 ‘효율적 이타주의’가 부른 오픈AI 사태 | 2023.11.21

관련글:

테크 기업가들이 유럽 정치에 관여하는 주된 이유는?

https://damoang.net/free/5499696