최신 뉴스를 보다 보니...

구글 AlphaEvolve가 Gemini핵심연산커널 속도를 빠르게 해서 전체 학습시간을 줄였더라구요.

이 자가 수정 수준을 제 나름대로 여섯단계로 나눠서 보고 있는데요. (시간 순서는 아니고 대략 나눈겁니다)

1. 실행 중 자기 수정 및 재시도 (분기형 자기 수정)

2. 실행 후 자기 수정 및 재시도 (루프형 자기 수정)
3. 실행 중 LoRA/QLoRA같은 어댑터 수정
4. 실행 후 LoRA/QLoRA같은 어댑터 수정
5. 실행 중 자기 모델 수정
6. 실행 후 자기 모델 수정

현재 기술은 2번쯤 와있는 거 같습니다. (실험실 수준으로는 3~4 단계가 테스팅되고 있는 모양이더라구요)
이게 5/6번은 순서가 뒤집힐 수도 있을 거 같긴한데, 6번까지 과정에서 어딘가에서 루핑을 돌렸을때 그 방향성이 노이즈로 수렴하지 않아야 궁극의 폐쇄루프 지능 폭발이 일어나지 않을까 싶구요. (사실 5~6단계로 가면 정말 경우의 수가 너무 많아져서 진짜지속가능 폐쇄루프는 로또 당첨되어야 된다는 이야기가 될 듯 합니다) 위 단계가 AGI의 단계는 아니고 자가수정의 깊이를 나눠본겁니다.

이미 큰 그림의 자가수정루프는 다음 세대LLM 뽑을 때 이전 세대 LLM이 개입하고 있는 상황이다보니 발동은 걸린 거 같아 보입니다. 하지만 진짜 지능의 폭발은 신뢰가 가능한 폐쇄루프가 성립이 되어야 하는데 아직은 ChatGPT5.6이나 Mythos5 둘다 초입 수준이고 실제 도달은 아마도 10년은 족히 걸릴 거라고 예상됩니다.(5.6 Sol 추정)

내년에는 상용화된 3단계가 나오기 시작해서 5~6단계까지 천천히 발전할 걸로 저는 예상하고 있는데요, 아마도 내년부터는 진짜 개인별로 다르게 학습하고 진화하는 AI가 나오지 않을까 조심스레 예측해봅니다. (지금의 MCP나 스킬같은 거랑 비슷하면서도 살짝 다를 듯 합니다. 개인화된 기억과 전문성 부분인데 이미 Agent들이 비슷한 부분을 구현해내고 있죠 - 아마도 낮에는 여러분이 사용하고 밤에는 그걸 기반으로 자가갱신하는 뭐 그런 녀석이 되는거죠)

이미 dense LLM(단일 거대모델)모델은 경제성 이슈로 뒤로 밀리고, MoE(전문가로 나뉘어진 모델) 형태를 기반으로 AI시스템으로 전환이 올해에서 내년 사이에 일어나고 있는 것으로 보입니다. 엔비디아의 베라루빈(베라는 CPU/루빈이 GPU)이 그 전환의 초창기 모습을 보여주는 것 같습니다. (아직까지는 이기종 폰노이만 시스템이기는 합니다만)

지금까지는 LLM을 돌리기 위해서 메모리를 증설하고 메모리 속도를 늘리는데 치중했다면, 이제는 CPU랑 GPU랑 뭐 온갖 짬뽕이 다 쓰이는 시대가 오는거죠. (물론 여기서 뉴로모픽이나 in memory computing등이 짠하고 모든 걸 뒤엎을 수도 있겠지만 지금같아서는 보조적인 도구가 될 가능성이 더 높아보입니다. 특히나 로봇은 지금의 LLM만으로는 구현이 불가능하죠)

그래서 하고 싶은 말이 뭐냐하면요.

생각보다 폰노이만 구조(CPU랑 메모리가 별개로 있는 구조)가 2~3년 내에도 상당부분은 유지될 거 같은데, 그 중간 단계의 물건들이 계속 나오면서 새로운 컴퓨팅 구조로 옮겨가게 되고 지금의 LLM의 모습이 단일 모델에서 변형을 거듭하고 결국 형태가 엄청 달라지게 되지 않을까 싶다는 겁니다. (종국에는 기괴한 게 나올지도 몰라요 정말로. 개구리 뉴런이 보조메모리로 쓰이는 거대 초전도체 기반 LLM라던가...)

지금의 뷰에서 보이는 LLM과 에이전트는 그 전환의 현재 포인트라면 그 도달점은 생각보다 기괴하고 우리가 전에 보지 못했던 무언가가 될 거 같다는 겁니다. 작년 11월쯤에 처음 에이전트가 나왔을 때 6개월도 지나지 않아 지금처럼 많이 쓰게 될 거라고는 기대도 못했었습니다 저는. 이 모든게 처음에 다음 단어가 뭐가 올지 통계적으로 추출해내는 것에 불과한 것에서 시작했다는 게 더 놀랍습니다

이제 LLM/에이전트는 자가수정루프의 베이스캠프에는 도달한 것 같아보입니다. 이 끝에 뭐가 있을지는 도저히 상상력이 아직은 닿지 않네요.