3년 안에 AGI가 도래할 거라는 전망 (하버드대학교 AI 전공자 글)

이 글을 쓴 니콜라 유르코비치(Nikola Jurkovic)는 하버드 대학교 4학년이고, 인공지능과 사회(AI and Society)를 전공하고 있습니다. 요즘은 AI 위험성을 낮추는 일을 가장 중요하게 생각하고, 이게 진짜 제일 중요한 문제라고 굳게 믿고 있다고 합니다. 특히, 대규모 언어 모델과 관련해서 AI 안전 기술을 연구하고, AI 안전 분야가 더 발전할 수 있도록 열심히 노력하고 있다고 합니다.

제 개인적인 예상으로는, 앞으로 3년 안에 AGI가 만들어질 것 같아요. 이건 앞으로 우리가 어떻게 행동해야 할지에 영향을 미치는데, AGI가 곧 개발될 거라는 가정 하에 어떻게 대처해야 할지에 대해 저와 다른 사람들이 나눈 유용한 생각들을 공유해 보려고 해요.

저는 AGI 개발이 임박했다는 가정 하에 어떻게 대처해야 할지에 대한 소규모 워크숍을 여러 번 진행했고, 약 50명의 참가자들의 지혜를 모았어요(하지만 주로 제 생각이 많아요). 또, AGI 개발이 임박했다는 가정 하에 진행되는 여러 워게임에도 참여했고, 그 중 하나는 공동으로 진행하기도 했어요.

이 글에서는 AGI 개발 시기를 2027년으로 가정하고, 이 주장에 대한 논쟁은 다루지 않을 거예요. 대신, 3년이라는 짧은 시간 안에 AGI가 개발된다면 어떤 결과가 초래될지에 초점을 맞춰 이야기해 볼게요.

저는 최근에 있었던 o3 때문에 AGI 개발 시기에 대한 제 생각을 크게 바꾸지는 않았어요(이미 AGI가 곧 개발될 거라고 생각하고 있었거든요). 하지만 어떤 분들은 생각이 바뀌어서 혼란스러울 수도 있을 것 같아요. 이 글이 그런 분들과 그 외 다른 분들이 3년 안에 AGI가 개발될 경우를 대비해 계획을 세우는 데 도움이 되었으면 좋겠어요.

이 글의 목차는 다음과 같아요.

-3년 안에 AGI가 개발될 경우를 가정한 시나리오 (중요 변수와 주요 행위자 포함)

-현재 충족되지 않은, 인류 생존을 위한 전제 조건

-확실히 긍정적인 영향을 줄 수 있는 행동

3년 안에 AGI가 개발될 경우를 가정한 시나리오

2025년 6월 말쯤이면 SWE-bench는 약 85% 수준에 도달하고, RE-bench는 인간이 투입되는 예산 수준에서 약 1.1 정도에 도달해서, 8시간 동안 작업한 인간의 상위 30% 수준을 뛰어넘을 거예요. 2025년 말쯤이면 AI 어시스턴트는 실제 업무 환경에서 주어지는 2시간 분량의 소프트웨어 엔지니어링 업무 대부분을 능숙하게 처리할 수 있게 될 거고요. AGI 관련 기업 직원들은 간단한 PR을 작성하거나 소규모 데이터 분석 파이프라인을 구축해야 할 때, 제일 먼저 AI 어시스턴트에게 도움을 요청하게 될 거예요. 어시스턴트는 대부분의 경우 오류 없이 여러 개의 상호 연관된 파일을 작성하거나 수정할 수 있을 거고요.

3년 안에 AGI가 개발될 경우를 가정한 벤치마크 예측이에요. OSWorld와 CyBench 점수가 생각보다 높지 않은 이유는, 사람들이 과연 이 벤치마크 결과를 공개적으로 발표할지 확신이 안 서기 때문이에요. 벤치마크 결과와 실제 현실 세계에 미치는 영향 사이에는 큰 괴리가 있기 때문에, 실제로 이런 결과가 나온다고 해도 3년 안에 AGI가 개발될 거라는 강력한 증거가 되지는 않을 것 같아요.

2026년 말쯤이면 AI 에이전트가 며칠씩 걸리는 코딩 작업도 능숙하게 해낼 수 있게 될 거예요. AGI 관련 기업 직원들은 엄청난 두려움을 느끼고, 가상 업무의 95%에서 인간을 능가하는 AI가 아마 2년 안에 개발될 거라고 예상하게 되겠죠. 그리고 그 후에는 초지능(Superintelligence)이 곧 등장할 거라고 예상할 거고요. 정부는 AI가 국가 경쟁력을 좌우할 거라는 걸 깨닫고 2026년 말에 AGI 관련 기업들을 통제하기 시작할 거예요. 이건 국유화에 가까운 극단적인 정부 감시 형태로 나타나겠죠. 하지만 다른 핵무기 보유국과의 경쟁 때문에 AI 개발 속도는 이전과 비슷한 수준으로 유지될 거예요.

2027년부터는 기업에서 실질적으로 중요한 업무를 수행하는 인력의 대부분이 AI 에이전트로 구성될 거예요. 경영진이 내리는 주요 결정은 수백만 명의 에이전트로 구성된 인력을 AI 연구 개발, 안전, 상업적 응용, 군사적 응용, 사이버, 운영, 커뮤니케이션, 정책 업무, 그리고 기업 내 컴퓨터로 수행되는 대부분의 다른 유형의 업무를 포함한 다양한 연구 분야에 어떻게 배분할지에 대한 것이 될 거고요. 이 시점에서 인간 직원은 별로 중요하지 않아요. 다만, 작업하다가 막혀서 다른 의견을 구하는 AI 에이전트 그룹의 질문에 답을 해주는 정도의 역할만 하게 될 거예요.

2027년 말쯤이면 AGI가 개발될 거예요. 아마 여기서 역사가 끝나지는 않겠지만, 글이 너무 길어지는 걸 막기 위해 AGI 이후의 세상에 대해서는 이 글에서 다루지 않을게요.

연도별 중요 변수

이야기 중간에 역학 관계에 큰 변화가 있다는 점에 주목할 필요가 있어요. 이는 전략적인 환경에도 큰 변화가 있다는 것을 의미하죠.

자동화 이전 시대 (2025-2026년)

2025년과 2026년에는 여전히 인간이 대부분의 업무를 수행하고 있어요. 가장 중요한 문제는 인간 인력의 배분, 그리고 AI 연구소와 나머지 공급망에 가해지는 상업적, 규제적 압력에 대한 것이에요.

자동화 이전 시대에 인류의 최우선 과제는 AI 에이전트에게 연구를 위임할 수 있는 안전한 방법을 매우 빠르게 찾는 것이어야 해요. 안전 지향적인 연구를 하는 주된 이유는 나중에 연구를 계속할 이 초기 에이전트들을 통제하기 위해서예요.

자동화 이전 시대의 또 다른 우선 과제는 현재의 안전 조치가 수많은 AI 에이전트가 음모를 꾸미거나 다른 바람직하지 않은 일을 하는 것을 막기에 충분한지 여부를 판단할 수 있는 방법을 찾는 것이에요. 여기에는 적절한 안전성 근거를 제시할 수 없는 경우, 개발을 일시 중지하고 다른 사람들도 일시 중지하도록 설득할 수 있는 시스템을 구축하는 것도 포함돼요. 경쟁이 치열해질수록 이 일은 점점 더 어려워질 거예요.

자동화 이후 시대 (2027년 이후)

2026년 이후에는 AI가 대부분의 업무를 수행하게 돼요. 이 시점에서 연구는 대부분 인간의 손을 떠났지만, 인간 직원은 여전히 고위급 의사 결정과 AGI 기업 외부의 인간과의 소통에 관여하고 있어요. 2028년 말쯤이면 인간은 더 이상 연구의 기술적인 측면에 기여할 수 없게 될 거예요.

이 시기의 주요 쟁점은 AI 에이전트의 배분과 그들에게 부여된 우선 순위에 대한 것이에요. 이 시기에 대한 몇 가지 중요한 질문은 다음과 같아요.

1. AI 에이전트가 추구하는 전반적인 연구 계획은 얼마나 훌륭한가?

예를 들어, 초기에 연구 방향을 설정하는 책임자가 AI 안전에 대해 근본적으로 잘못 이해하고 있는 사람이라면, 초기에 선의를 가진 AI 에이전트들이 많더라도 모델을 정렬(align)하려는 희망은 사라질 수 있어요.

2. 안전 지향적인 연구에 얼마나 많은 회사 자원이 투입되는가?

안전 연구에 컴퓨팅 자원의 0.1%를 할당하는 것과 25%를 할당하는 것은 안전 연구의 성공에 큰 차이를 만들 수 있어요.

주요 행위자

-AGI 기업 리더 - AGI 기업의 전반적인 방향을 이끌어 가요.

-안전 연구자

1. 내부 인간 AI 안전 연구자 - 자동화 이전 및 이후의 연구 계획을 수립하고, 실제로 구현되는 자동화 이전 안전 연구의 상당 부분을 수행해요. 자동화된 안전 연구자들을 감독하고요.

2. 내부 자동화 AI 안전 연구자 - 실제로 구현되는 자동화 시대 연구의 대부분을 수행해요.

3. 외부 인간 AI 안전 연구자 - 자동화 이전 연구를 수행해요. 그 중 일부는 내부적으로 구현되기도 하고요. 또한 자동화 이전 및 이후 연구 계획 중 공개된 부분을 외부에서 비평해요. 국가 안보상의 이유로 공개 정보와 비공개 정보 간의 격차가 벌어지기 때문에 자동화 시대에는 관련성이 떨어질 가능성이 높아요.

-미국 정부 - 다른 정부, 미국 AISI(또는 다른 정부 기관), 싱크 탱크, 저명한 과학자, 그리고 대중으로부터 정보를 얻고 압력을 받아 AGI 기업에 압력을 가해요. 아마도 AGI 개발 시점부터 기업을 국유화하거나 감독할 것이며, 초지능 개발 이전에는 그럴 가능성이 매우 높아요.

-후발 AGI 기업 - 경쟁 압력을 가하고, 안전에 대한 선례를 만들어요. 결국에는 협력하거나 인수될 가능성도 있어요. 주요 AGI 프로젝트와 협력하거나 인수되지 않으면, 초지능(ASI) 개발 이전에 컴퓨팅 자원의 상당 부분을 압수당할 가능성이 높아요.

-악의적 행위자 - AI를 훔치거나 오용하려고 시도할 거예요.

"AI 안전 커뮤니티"는 이 목록에 포함되지 않는다는 점에 유의해야 해요. 저는 자본(재정적, 사회적, 지적 또는 기타 종류)이 많지 않은 외부인은 앞으로 일어날 일에 큰 영향력을 행사하지 못할 거라고 생각해요.

현재 충족되지 않은, 인류 생존을 위한 전제 조건

이 목록이 모든 것을 포괄하는 것은 아니라는 점을 밝혀두고 싶네요.

1. 합리적인 이륙 계획. 현재 AGI 기업들은 AI 에이전트에게 연구를 안전하게 이양하는 방법에 대한 비전이 부족해요.

a. 정렬(alignment) 접근 방식 - 기업들은 기본적으로 어떤 연구 분야에 AI 에이전트들을 배정할지에 대한 (공개된) 기본 계획이 없어요.

b. 컴퓨팅 자원 할당에 대한 약속 - 합리적인 정렬(alignment) 접근 방식이 있더라도, 자원 할당에 대한 약속이 없으면 AI 에이전트와 컴퓨팅 자원이 부적절하게 배분될 수 있어요.

c. 최첨단 안전 프레임워크 - SL-4 및 SL-5에 대한 요구 사항과 약속이 현재 매우 불분명하여, 이륙 과정에서 허술하게 넘어갈 여지가 많아요.

d. 통제 - AI 에이전트에게 작업을 안전하게 이양하는 (또는 그렇게 하는 것이 안전하지 않다는 것을 알 수 있는) 과학은 아직 매우 미개발 상태예요.

2. 국가 수준에서도 뚫을 수 없는 사이버 보안. 악의적 행위자가 매우 발전된 AI 시스템의 가중치를 훔칠 수 있다면, 오용과 덜 신중한 주체들이 고도화된 AI를 만들 수 있게 됨으로써 상황이 극도로 예측 불가능해질 거예요.

3. 글로벌 긴장 속에서 생존할 수 있는 방법. AGI의 등장은 국가 간 군사력 균형을 무너뜨리고, 어쩌면 한 국가에 결정적인 전략적 우위를 제공할 수도 있어요. 저는 향후 10년 안에 핵전쟁이 일어날 확률이 약 15%라고 생각해요. 이는 주로 이륙 과정에서 발생하는 극심한 긴장 때문일 거예요. 핵전쟁을 피할 방법을 찾는 것이 중요해요.

a. 냉전 시대에는 우리를 파멸 직전까지 몰고 간 핵 위기가 여러 번 있었어요. 이 중 일부는 전략적 균형의 변화로 인해 발생했어요(예: 쿠바 미사일 위기). 미국은 베를린 봉쇄를 두고 소련을 핵전쟁으로 위협하기도 했죠. 초지능의 등장은 이러한 사건들을 사소하게 보이게 만들 것이고, 문제는 단지 당국자들이 이것을 깨달을지 여부일 뿐이에요.

4. 국유화를 올바르게 수행하기.

a. 적절한 시기 선정. 국유화가 너무 늦게 이루어지면(예: AGI 개발 이후), 그로 인한 혼란과 프로젝트 내 급격한 변화로 인해 잘못된 의사 결정이 내려질 수 있어요.

b. 기본 계획 수립. 2025년이나 2026년에는 연구소를 통제하려는 강력한 정치적 의지가 생길 가능성이 높아요. 이를 수행하는 방법에 대한 좋은 기본 계획이나 로드맵이 이미 존재하지 않는다면, 그 계획은 여러 면에서 최적이 아닐 가능성이 높고 관련 전문 지식이 없는 사람들에 의해 작성될 거예요.

c. 정치적 자본 구축. 관련 전문 지식을 가진 사람들이 주요 행위자들에게 잘 알려져 있지 않다면, 프로젝트를 이끌도록 임명된 사람들은 관련 전문 지식이 부족할 가능성이 높아요.

d. 국유화 과정에서 안전 전문성 유지. 모든 AI 안전 전문가를 프로젝트에서 배제하는 국유화는 결국 프로젝트가 모델을 충분히 안전하게 만드는 데 필요한 기술적 전문 지식이 부족해지는 결과를 초래할 가능성이 높아요. 국유화된 프로젝트가 어떤 인력을 승계할지에 대한 결정은 안전에 공감하는 리더십과 역량 중심의 직원이 얼마나 되는지에 크게 좌우될 것이며, 이는 안전 문제에 대한 공통된 인식을 구축하는 데 크게 좌우될 거예요.

확실히 긍정적인 영향을 줄 수 있는 행동

-앞으로 일어날 일에 영향력을 행사할 수 있는 몇 안 되는 곳에 합류하기.

*어떤 곳에 취업하고 싶은지, 그리고 그곳에 취업하기 위해 무엇이 부족한지 생각해 보세요.

*외부에서 연구를 수행하는 경우, 연구 방향의 중요도에 해당 연구가 실제로 내부에서 구현될 확률을 곱해야 한다는 점을 기억하세요. 한 가지 기준은 그 연구가 그들의 Slack[2]에서 공유될지 여부예요.

*엄격한 정부 감독 이후에는 내부 연구가 일종의 보안 허가 하에 수행될 가능성이 높아요. 마약을 하거나, 빚을 지거나, 수상한 사람들과 어울리지 말고, 불필요한 해외 접촉을 줄이세요.

-주요 행위자들에게 정보를 제공하도록 돕기. 많은 주요 행위자들이 AGI와 AGI 안전에 대해 많은 생각을 해온 사람들의 조언을 구하고 싶어 할 거예요. 그들이 질문이 있을 때 가장 먼저 당신에게 전화할 거라고 생각하나요?

-실제로 계획을 세우기. 저는 이것에 대해 연도별로 생각하는 것이 좋은 방법이라고 생각해요. 2025년 말, 2026년 말, 2027년 말까지 무엇을 할 계획인지 말이죠.

-중요한 것은 AGI 개발 이전에 해야 할 일뿐이라는 점을 명심하세요. 나머지는 AGI가 할 수 있어요.

*AGI 개발 시기가 늦춰질 가능성에 대한 베팅도 있다는 것을 알고 있지만, 저는 그런 것들이 AGI 개발까지 20년이 남았을 때 유망해 보이는 것과 비교하면 그 가치가 떨어진다고 생각해요.

*또한 AGI 개발 이후 약 1년 동안 인간과 AI가 협력하는 '켄타우로스 시대'가 있을 수 있다는 것도 알고 있어요. 저는 이것이 시사하는 바가 나머지 시나리오와 어떻게 다른지 불분명하기 때문에 그렇게 중요한 고려 사항은 아니라고 생각해요.

-모든 것을 빠르게 진행하기. 만약 당신의 계획이 "나중에 Y를 하기 위해 X를 할 것이다"라면, 지금 당장 Y를 시도해 보는 것을 고려해 보세요.

*만약 당신의 계획이 "AGI 회사에 취업하기 위한 자격을 갖추기 위해 1년 동안 관련 없는 ML 회사에서 일할 것이다"라면, AGI 회사에 직접 지원하거나 그 과정을 획기적으로 가속화할 수 있는 일을 하는 것을 고려해 보세요(선택지는 매우 넓어요!).

-그에 맞게 투자하기. AGI가 3년 앞으로 다가왔다는 것은 투자 포트폴리오를 구성하는 방법에 큰 영향을 미칠 가능성이 높아요. 왜냐하면 어떤 투자는 다른 투자보다 AGI와 훨씬 더 관련성이 높기 때문이죠. 이륙 과정에서 빠르게 부상하는 기회에 자금을 할당하여 상황을 조정하는 데 돈이 유용할 가능성이 높지만, 인류가 생존한다면 초지능(ASI) 이후에 돈이 어떤 용도로 사용될지는 불분명해요(사전적으로 재산권은 적어도 어느 정도는 존중될 거예요). 이에 대한 자세한 내용은 여기를 참조하세요. (투자 조언은 아니에요)

-적응력과 회복력 키우기. 시간이 지날수록 세상은 점점 더 빠르게 변화할 거예요. 미치지 않고 냉철함을 유지하는 것은 현명한 결정을 내리는 데 매우 중요하며, 점점 더 희귀하고 가치 있는 특성이 될 거예요.

*가능한 미래와 그 안에서 당신의 위치에 대해 생각하는 데 시간을 할애하세요. 예측 가능한 방향의 변화가 있다면, "오, 세상이 너무 혼란스러워!"라고 생각하는 대신, "구체적인 내용은 틀렸지만, 이건 내가 예측했던 여러 갈래 중 하나와 대략 일치하고, 나는 이미 이런 상황에서 어떻게 행동해야 할지 생각해 봤어."라고 생각하는 것이 더 유용할 수 있어요. 그렇게 하면 초기 정신적 노동의 일부를 (많은 것을 생각해야 할) 미래의 당신에게서 현재의 당신에게로 이전할 수 있어요. 이것은 노동을 이전하는 지적 이점(저는 이것이 사소하다고 생각해요)뿐만 아니라 나중에 발생할 수 있는 기본적인 놀람이나 공황을 줄이는 더 본능적인 이점을 제공해요. 알려진 미지수는 아마도 알려지지 않은 미지수보다 훨씬 덜 스트레스를 줄 거예요.

*건강을 소홀히 하지 않기. 몇 달 전보다 훨씬 더 많은 시간 동안 일하거나 건강에 해로운 다른 선택을 하는 것이 적절해 보일 수 있지만, 이륙 과정을 현명하게 헤쳐나가려면 이륙 과정 깊숙이 들어갈 때까지 좋은 몸 상태를 유지해야 해요. 지속 가능성은 중요하며, 3년이라는 시간은 10년이라는 시간과 마찬가지로 비슷한 습관을 의미해요.

마지막으로 하고 싶은 말

AGI 개발이 임박했다는 걸 생각하면 스트레스를 받을 수 있다는 걸 알지만, 그렇다고 해서 AGI 개발이 멀었다는 증거로 받아들여서는 안 돼요. 만약 여러분이 현재 10년 또는 20년 후 AGI가 개발될 거라는 가정 하에 계획을 세웠다면, 지금쯤이면 그 계획을 여러 방면으로 변경하거나 가속화해야 할 거예요.

AGI 개발이 임박했다는 가정 하에 계획을 세우는 것의 한 가지 장점은 대부분의 퍼즐 조각이 이미 제자리에 있다는 것이고, 따라서 예를 들어 10년 후를 계획하는 것보다 훨씬 더 계획하기 쉽다는 거예요. 우리는 AGI가 잘 되도록 하기 위해 무엇을 해야 하는지 어느 정도 잘 알고 있어요. 이제 그걸 실현해 보자고요.

출처(원본) : https://www.lesswrong.com/posts/jb4bBdeEEeypNkqzj/orienting-to-3-year-agi-timelines