AI 라는게 현재 패러다임에서는필연적으로 조금만 컨텍스트 넓어지면 탐색범위가 너무 넓어져서 일관성 문제 생기는데
지금 AI 조차도 하드웨어 자원 부족해서 난리인데 과연 저 컨텍스트 넓어지면 산으로 가는 문제를 해결한다 쳐도 그만한 탐색 공간을 하드웨어가 감당할지 의문이긴 하네요
지금 반도체 컴퓨터는 집적도에서는 한계 근처라 다른방법 모색중이라고 하더라고요
AI 라는게 현재 패러다임에서는필연적으로 조금만 컨텍스트 넓어지면 탐색범위가 너무 넓어져서 일관성 문제 생기는데
지금 AI 조차도 하드웨어 자원 부족해서 난리인데 과연 저 컨텍스트 넓어지면 산으로 가는 문제를 해결한다 쳐도 그만한 탐색 공간을 하드웨어가 감당할지 의문이긴 하네요
지금 반도체 컴퓨터는 집적도에서는 한계 근처라 다른방법 모색중이라고 하더라고요
구글 내부적으로는 무한한 컨텍스트도 개발중이라는 카더라가 있다더라구요.
이미 o3나 gemini 2.5 pro는 긴 컨텍스트에 유의미한 성능을 보여줘서
지금 개발속도면 극복할 수 있지 않을까 싶습니다
사용가능까지는 생각보다 오래걸릴수 있겠다 이런 생각이 들기도 합니다 ㄷㄷ
제가 같이 프로그래밍을 해보면, 해당 분야 지식이 있는 상태에서 알려진 사실을 바탕으로 빠르게 프로토타입을 같이 만들어내는 것은 인간 대비 월등합니다.
그런데 기존에 없는 걸 논의하면서 해보면 서툴다라는 느낌을 받을 때가 있습니다. 개발 파트너로서, 기존에 알던 어떤 동료들보다 몇 문장만으로 제 의도를 잘 이해하고 반응하는데, 학습 자료 대비 성능은 개인적 경험으로는 그렇게 높은 효율은 아닌 것 같다는 겁니다.
저는 현재 알고리즘만으로는 어렵다고 보는 쪽입니다.
가상 공간에 인코딩 하고 그걸 다코딩 하는 방식으로 많이 이용되는데요
이 과정은 결국 수학일 뿐이라서 하드웨어를 가리지는 않죠
매핑하는 알고리즘의 한계가 있다면 그건 그럴수 있다고 생각하는데
공간 자체가 차원이 너무 커서 하드웨어 병목이 올 것이다? 그건 아니라고 생각합니다
인간의 뇌에 대해서도 우리가 너무 아는건 없지만 지능이나 자의식 같은게 물리적으로 그렇게 고차원의 저장 공간을 사용할 수는 없을거라고 생각하거든요
하나의 서버에 넣을수도 없기 때문에
구글의 agent2agent 표준 같은 기술을 모두 중시하는 것 같습니다.
각 분야 전문 agent들이 개발되고, 네트워크로 연결되는 구조로 발전할것 같습니다.
엔비디아가 A100에서 지금 GB200 NVL72까지의 차이를 보면
어마무시한 발전이에요.