요즘 AI 관련 글을 보면 두 가지 상반된 이야기가 동시에 나옵니다. 한쪽은 "AGI가 코앞이다"라고 하고, 다른 쪽은 "이미 한계에 부딪혔다"고 합니다. 어느 쪽이 맞는지 제 나름대로 정리해봤습니다.
1. LLM 스케일링은 이미 한계에 왔습니다
GPT-3에서 GPT-4로 갈 때의 그 충격적인 도약, 지금은 안 나오고 있습니다. 최신 프론티어 모델들끼리 벤치마크 점수 차이가 1~3%대입니다. 새 벤치마크를 만들어도 6개월~1년이면 다 포화됩니다.
업계는 MoE(Mixture of Experts), 추론 시간 계산(test-time compute) 같은 우회로를 찾고 있지만, 본질적 한계는 명확합니다.
- 데이터 한계: 인터넷의 양질 텍스트는 거의 다 학습에 썼습니다. 합성 데이터로 메우는 중인데 model collapse 위험이 있습니다.
- 자본 한계: 차세대 데이터센터가 10GW급(원자로 10기 출력)으로 설계되고 있습니다. 2026년 AI 인프라 투자가 700조 원에 육박합니다. 이런 식의 증설이 무한정 가능할 리 없습니다.
- 전력 한계: 데이터센터 한 곳이 도시 하나만큼 전기를 씁니다. 사회적 수용 한계가 옵니다.
Ilya Sutskever가 작년에 "우리가 아는 방식의 pretraining은 끝났다"고 공개적으로 말한 게 빈말이 아닙니다.
2. 사실 AI 발전은 알고리즘이 아니라 하드웨어가 만들었습니다
이 부분이 업계가 잘 인정하지 않는 진실입니다.
Attention 메커니즘은 2014년부터 있었습니다. 신경망은 1958년부터, Backpropagation은 1986년부터 있었습니다. 그런데 왜 2017년 트랜스포머가 나오고, 2022년 ChatGPT가 터졌을까요?
하드웨어가 따라잡았기 때문입니다.
- 2006년 CUDA 출시로 GPU 범용 계산이 가능해짐
- V100(16GB) → A100(80GB) → H100으로 메모리 폭증
- HBM(고대역폭 메모리)이 토큰당 latency를 가능하게 만듦
- NVMe가 수 TB~PB 데이터를 GPU에 빠르게 공급
- InfiniBand/NVLink가 수천 GPU를 한 클러스터로 묶음
Rich Sutton의 "Bitter Lesson"이 핵심을 짚었습니다. "AI 70년 역사의 가장 큰 교훈은, 일반적 방법 + 더 많은 계산이 영리한 알고리즘을 항상 이긴다는 것"이라고요.
즉, AI의 진짜 한계는 반도체 산업의 한계입니다. TSMC, ASML, SK하이닉스가 사실상 AI 회사인 셈입니다. 이 관점에서 보면 현재 AI 부스트의 진짜 원천은 OpenAI의 천재성이 아니라 HBM 공급망과 3nm 공정입니다.
그리고 실리콘 공정은 1nm 부근에서 양자 효과로 물리적 한계가 옵니다. 이게 중요한데, 모델 크기와 속도는 따로 떼어 볼 수 없습니다. 같은 공정에서 모델을 작게 만들면 빨라지고, 빠르게 만들려면 작아져야 합니다. 둘 다 같은 양자적 천장에 묶여 있습니다.
3. 차세대 AI = 지금의 프론티어급이 작아지고 빨라지는 것
여기서 다음 단계가 보입니다. 모델 능력은 사실상 충분해졌습니다. 일상 업무, 코딩, 글쓰기에 GPT-4급이면 차고 넘칩니다. 더 똑똑한 모델이 필요한 게 아니라, 현재 프론티어급을 더 작고 빠르게 만드는 게 다음 단계입니다.
왜냐하면 다음 패러다임(로봇, 에이전트, 멀티모달 통합)에서 LLM은 부품으로 들어갑니다. 부품이 크고 느리면 전체 시스템이 못 굴러갑니다.
- 로봇은 100ms 이내 반응 필요. 현재 LLM은 1~5초.
- 에이전트는 수백 번 LLM 호출. 호출당 2초면 작업 하나에 17분.
- 자기 학습 루프는 빠른 반복이 전제. 느린 LLM으론 self-improvement 불가.
업계가 보는 지표도 바뀌어야 합니다. MMLU 점수나 파라미터 수가 아니라 토큰당 latency, 같은 성능을 내는 최소 모델 크기, 엣지 디바이스 실행 가능성이 진짜 의미 있는 지표입니다.
4. 그런데 효율이 좋아진다고 전체 소비가 줄지는 않습니다
여기서 짚고 갈 게 하나 있습니다. 제번스의 역설(Jevons Paradox) 이라는 19세기 경제학 법칙인데요.
영국에서 증기기관 효율이 좋아지면 석탄 소비가 줄 줄 알았는데, 오히려 폭증했습니다. 효율이 좋아져서 가격이 내려가니까, 그동안 비싸서 못 쓰던 용도들이 새로 생겨났기 때문입니다. 결과적으로 총 석탄 소비는 늘었습니다.
AI에 그대로 적용됩니다. 모델이 10배 효율적이 되면 전력 소비도 1/10이 될까요? 아닙니다. 사용량이 100배 늘어서 총 전력은 오히려 증가합니다.
- LLM 호출 비용이 1/10이 되면 → 에이전트가 한 작업에 호출 100번
- 폰에서 GPT-4 돌아가면 → 모두가 항상 켜놓고 씀
- 추론 비용이 싸지면 → reasoning을 더 오래 돌림
즉, AI의 환경 부담은 효율 개선으로 해결되지 않습니다. 오히려 효율이 좋아질수록 더 많이 쓰게 되고, 데이터센터는 계속 늘어날 겁니다. Sam Altman이 원전 투자 얘기 꺼내는 게 이런 맥락입니다.
5. 로봇 + LLM 통합은 5년쯤 걸릴 겁니다
이게 다음 진짜 변곡점인데, 빨라도 2030년 전후입니다.
로봇 하드웨어 측면: 현재 Figure, Tesla Optimus, Unitree 등은 데모 수준입니다. 양산가 $20k 이하로 가야 시장이 형성되는데 지금 $50k+입니다. 배터리, 모터, 관절 신뢰성이 진짜 병목입니다. 자동차 산업 학습곡선을 보면 5년이 합리적입니다.
로봇용 LLM 측면: 엣지에서 GPT-4급이 50ms 이내로 돌아가야 합니다. 그러려면 7B 모델로 현재 프론티어 수준이 나와야 하는데, 같은 성능 모델이 매년 약 3.5배 작아지는 추세대로면 2028~2030년 가능해 보입니다.
데이터 측면: 로봇 학습용 실제 상호작용 데이터가 절대 부족합니다. Tesla가 자율주행 데이터 모으는 데 10년 걸린 것과 비슷한 시간이 필요합니다.
정리
제 결론은 이렇습니다.
- 현재 LLM: 능력은 충분, 크기/속도가 병목 (둘은 같은 문제)
- 2026~2028년: 현재 프론티어급을 10배 작고 빠르게 압축
- 2028~2030년: 작고 빠른 LLM이 로봇/에이전트/엣지 디바이스에 침투
- 그 후: 새 하드웨어 패러다임(광컴퓨팅, 뉴로모픽) 없으면 평탄화
AGI는 모르겠습니다. 하지만 "스마트폰 모먼트"는 옵니다. GPT-4급이 폰에서 1초 안에 응답하는 시점, 그게 진짜 변곡점일 겁니다. 모델 크기 경쟁이 아니라 압축/가속 경쟁이 본격화되는 게 다음 2~3년의 핵심이라고 봅니다.
다만 제번스의 역설 때문에, 효율이 좋아진다고 AI 산업의 에너지 소비나 자본 투입이 줄어들지는 않을 겁니다. 더 많이 쓰게 되고, 더 큰 데이터센터가 필요해질 겁니다. 이게 또 다른 형태의 한계로 작용할 수도 있고요.
지금 자본은 여전히 "더 큰 모델"에 가있지만, 시장 재편은 "더 빠른 모델" 쪽으로 올 가능성이 높습니다. 그때 NVIDIA의 거대 GPU 패권이 흔들릴 수도 있고요.
틀릴 수도 있는 예측입니다. 다만 업계 마케팅이 말하는 것보다는 현실에 가까운 시나리오라고 생각합니다.
한줄요약: 거대LLM의 시대는 이제 슬슬 저물고 소형/고속LLM의 시대가 오게 될 것 같아 보입니다. 2027년쯤을 기점으로. 램값은 더 오를듯?
그래서 구리 현물 ETF에 들어갔습니다.
시장은 예측을 넘어섭니다. 그리고 하드웨어가 캐리한것은 맞지만 대량 연산을 할 수 있는 알고리즘이 없었다면 어땠을까요. 결과론적으로 하드웨어때문에 AI가 컸다고 하드웨어가 멈추면 멈추는게 아니죠. 우리가 AI라고 말하지만 샘이 말했듯이 현재의 알고리즘으로는 제너럴 AI는 힘들다고 했듯이 제너럴 AI도 연구가 계속되고 있습니다. 그리고 언제나 그 시점은 알 수 없습니다. SW와 HW는 항상 병렬로 움직이면서 어느쪽이 선도하기도 하면서 갑니다.
그리고 LLM+로봇이 5년이라니 얼마전만해도 아직 멀었다 생각했는데 발전이 정말 빠르네요
그리고 말씀하신 2030년이 왔을때 말씀하신 예측한 미래의 외부 , 인간의 LIFE 가 어떻게 될지 궁금합니다.
지금 ai 신모델이 나와도 사람들이 대부분 챗봇용으로만 쓰니 gpt4o급의 충격을 느끼지 않을뿐, 오히려 발전된 지능의 새 모델이 출시오는 간격은 매우 짧아지고 있고 그걸 그래프로 그리면 수직상승 하는 것처럼 보입니다.
자본 한계
전력한계
데이터한계는 이미 사후학습 생성데이터로 극복이 된지 오래고..
자본과 전력은 하드웨어가 무어의법칙으로 계속 좋아지고 있고 저전력 추론용 tpu위주로 재편될 것이라 예측되고있어서
전제부터 잘못된 예측이기에 주장의 설득력이 좀 떨어집니다.
일부는 가능성 있습니다.
그 일부는 지식을 제외한 경우입니다.
이런 거죠.
벤치마크는 여럿 존재하지만,
사실 여러 레이어가 단계 별로 영향을 줍니다.
이 중 지식을 최소화 하여 용량을 줄여도 성능 손실이 없게 하는 방법은
이미 많이 시도 되고 있습니다.
최근 허깅페이스 상위에 위치한 새로운 LLM 모델은 불과 8B임에도
몇 배 더 큰 모델과 비등한 성능으로 화제가 되었습니다.
그런데, 지식과 관련된 작업은 역시 8B에서 벗어나지 못하고 있습니다.
프런티어 급이라고 하려면 지식이 충분해야 정상 결정을 할 수 있습니다.
오히려 맞춤형 기능...
예를 들어 오케스트레이션만 담당하는 전문화 작업
또는 범용 지식이 아니라 특정 지식만을 취하는 방법 등으로
용량을 상당폭 줄일 수 있을 것이나
프런티어 급에서는... 불가능한 일입니다.
지식에 필요한 용량은 지금 보다 얼마간 더 최적화 할 수 있겠지만
그리 크지 않을 것입니다.
젬마4 26B 정도가 마지노선입니다.
이 이하면 두루두루 성능 좋은 LLM은 가능하지 않습니다.
더 줄일 수 없는 지식의 양이 있고, 그것에 기반해야 성능이 잘 나오기 때문입니다.
AI와 관련 된 각종 이론은 이미 다 예전부터 있던 것들이 대다수입니다.
갑자기 툭하고 튀어나오는 것은 소수입니다.
이것을 이해하려면, LLM의 가중치를 공부해 보신다면,
지식의 양은 최적화 일부는 가능할지라도,
절대 양을 1/10로 줄인다는 것이 가능하지 않음을 알 수 있습니다.
LLM의 구조 자체를 한 번 들여 다 보시길 추천드립니다.
참고로, 각 전문가들이 말하는 개선 해야 할 기술 난제 중에
1/10은 ... 없습니다. 고려 대상이 아니에요.
좋은 데이터로 같은 용량이라도 더 좋은 출력을 얻는 개선 과정이
지난 몇 년 간 이뤄지면서 오해를 하는 경우인 것 같습니다.
좋은 데이터로 좋은 결과를 뽑아내는 것 역시 거의 어깨까지 와 있습니다.
초미의 관심사는 장기 기억... 무한 컨텍스트... 이런 쪽입니다.
자 그럼 agi로의 이론은 무엇입니까? Llm이야 원래 있던 것을 스케일 키운 것으로 시작해 여기까지 왔다 치죠. 다들 목표로 하는 agi는 어떻습니까? 특히 하사비스가 얘기하는 asi에 가까운 agi는 이미 있는 어떤 이론으로 달성 가능합니까?
https://www.clien.net/service/board/park/19104477?combine=true&q=%EC%B2%9C%EB%AC%B8%EA%B3%B5%20%EC%98%81%EC%83%81&p=1&sort=recency&boardCd=&isBoard=falseCLIEN
저글 쓰고 시댄스가 3개월 만에 나와서 극찬을 하셨죠ㅎㅎ
이분의 기술적 예측은 신뢰하지 않는게 좋습니다.
매번 좀 단편적이고 추세예측을 잘 못하시는듯요
아니... 기술을 구분을 좀 해야 하지 않겠습니까.
구글이 말하는 그 개념은 애초에 없던 것이 아니라
기존에 타이탄이나 자신들이 장기 기억 관련한 알고리즘 제언을 몇 년 전부터 해왔고,
그 중 일부이며, 이 또한 원천이 아닙니다.
즉, 인간의 신경망을 본 딴 개념이고,
중요한 것을 가려 기억한다는 것입니다.
오히려 이왕 말이 나왔으니 말씀드려 보자면,
중요한 것을 가려 기억하려 하지 않고 다 기억하려고 한다고 생각해 보세요.
1/10로 줄인다는 것이 이런 의미라는 것입니다.
중요한 것을 기억하고 덜 중요한 것을 지우는 개념...
이렇게 하는 것은 모두 다 기억할 수 없어서 입니다.
모두 다 기억하려면 컴퓨팅 파워가...지금의 천배 만배가 되어도 제한적일 것이고요.
원천이 아니라면 아직 공개된 적 없는 코드를 보시기라도 했단 말입니까?
당연히 기술은 0에서 뿅하고 나타지 않죠. 모든건 다 연결되어있습니다.
그렇다고 전부 다 옛기술로 하고 있을 뿐이라는 말은, 대체 지금 수많은 ai연구자들은 그저 마이너업데이트만 하고 있다는 뜻입니까?
ㅎㅎㅎ 그런 식으로 보면 대화가 잘 안 됩니다.
기술적인 것과 아닌 것을 구분하지 못하면..... 대화 성립이 잘 되지 않습니다.
이쑤시개로 바위를 뚫는 것이 가능하냐는 주제와
저 것이 예쁜지 아닌지 의견을 말하는 것과 같나요..ㅎㅎㅎㅎ
상황 파악부터 좀 하시는 것이 좋을 듯 합니다.
근데 그걸 겨우 현재의 llm 8b 모델과 비교하며 한계가 명확하다는듯 단정하시는건 옳지 않다고 생각이 드네요.
과학사를 공부를 좀 해보면 어떤 말인지 아실 것 같습니다.
어떤 사람이 이론을 제시하였는데,
그런데 당대에는 제반 기술이 부족해서 나중에 그것을 실제 구현을 하는 사례는 흔합니다.
노벨상을 타는 분들도 이런 경우가 많습니다.
흔한 일이에요.
코드를 말하는 것이 아닙니다.
논리가 막히니 혹여 제가 모를까 기술명을 얘기하시고, 그것 또한 제가 알고 답하니 개념을 말씀하시네요.
그래서 agi로의 개념. 장기기억화 컨텍스트, 요즘 다 아는 그 개념 말고요. 실제로 무슨 기술이냐고요.
핵융합 언젠가 될거라 생각하지만 그 개념 갖는거랑 그걸 실현하는걸 동일시 하나요?
그때도 "아 그거 다 원래 전 알고 있던 겁니다" 하시게요?
님. 기존에 그런 기술이 이미 다 적용이 되었어요.
엔비디아에서 내세운 NVFP4와 같은 것들이 이미 다 적용이 되어서,
가능한 것은 이미 적용이 되어 있는 상태라는 말입니다.
지금 이미 WAVE 파일을 MP3로 만들어 놨는데,
그걸 다시 0.4MB 로 줄이는 일은 하지 않잖습니까.
솔직히 말해서,
아무도 그렇게 하려고 하지 않는데...
심지어 용량을 크게 줄이려는 연구를 하는 사람들도
지식량에 대해서는 일언반구도 없는데,
왜 그렇게 될 것이라고 보는지 이해가 좀 어렵습니다.
1. 장기 기억에 대해 이야기 하는 것이 아닌데, 엉뚱한 주제로 논거를 삼으십니다. 맞지 않는 얘기라는 것이죠. 오히려 그 장기 기억 관련 소식을 제가 이 곳에 뉴스 글로 올리는 사람입니다. ㅎㅎ
2. 로컬 모델에 대해 잘 모르면 그렇게 말하는 경우가 일부 있긴 합니다.
젬마4 로컬 4B 돌려 보셨는지 모르겠습니다. 그걸로 다양한 실험을 해보셨는지도요.
젬마 26B와 차이를 실험해 보셨는지 모르겠습니다. 해보시고... 나면, 아마 제 말을 이해하실 것 같습니다.
3. 이미 그런 것이 다 반영이 거의 다 되어 있다는 겁니다. 님.. 현 상황은요. 그러니까 저기 위에 제가 예를 든 것을 보시면 이해가 빠를 겁니다. WAVE 파일을 초기 모델이라 치면요. 지금은 MP3가 나와서 노래 하나가 4메가 전후로 가능해 졌습니다. 그런데 여기서 또 0.4MB가 된다고 하는 말이라는 겁니다. 이해가 되셨는지 모르겠습니다.
그러니까 님은 집에서 실험하신 결과 수준으로
빅테크 엔지니어들이 하는말등을 반박하시고 계신거에요...
님.
빅테크 엔지니어들이 지식의 양을 1/10 용량으로 된다고 말한다고요? ㅎㅎㅎㅎ
어디 가져와 봅시다. 아예 본적도 들은 적도 없는 이야기를 .. 한다니요.
지식의 양이 지능을 결정한다는 님의 전제도 최근 적은 양의 학습과 지식으로도 높은 지능을 구현하고 있는 연구들이 있어요.
즉 전제부터 잘못된 전제를 하고 계세요. 님은...
jepa같은 논문도 좀 보셔서 개념을 확장해 보세요.
어떤 누구도 지식의 양을 최적화 정도가 아니라 1/10로 줄일 수 있다고 하는 사람은 없습니다.
있지도 않은 것을 말씀하시는 거구요.
지능과 지식이 같습니까
그리고 그 지능... 즉 성능에 대해서는 이미 제가 위에서 8B 얘기 할 때 한 얘깁니다.
지식의 양을 줄일 수 없기 때문에 프런티어 모델의 크기가 지금도 6T 10T 말하는 겁니다.
산업 흐름을 안다면 할 수 없는 말을 하고 계세요.
빅테크는 오히려 더 좋은 품질의 데이터를 확보해서,
더 많은 좋은 지식을 쌓으려 하고 있고,
그래서 모델의 크기가 줄어들기는 커녕 커지고 있는 겁니다.
AI에 대해 아는 사람을 붙잡고 전문가든 기술자든 다 붙잡고 얘기해 보세요.
그들이 가장 노력하는...가장 관심 많고 가장 이루려고 하는 것이 무엇인지를요.
장기 기억 및 여러 가지 기술적 난제는요.
얼마 전 구글 기술자가 언급한 것처럼 많은 방법들이 나와 있고,
어떤 것을 구체적으로 선택할지의 과정 중에 있습니다.
즉, 과정에 돌입해 있는 것입니다.
좋은 데이터를 얻기 위한 방법은 얼마 전 메타가 그 데이터를 만드는 방법을
공개 했습니다.
이게 가장 최종까진 몰라도 가장 관심이 많은 쪽이라는 것이고요.
현재까지는 좋은 데이터로 사이즈를 키운 후,
다시 그것을 증류해서 여러 목적별로 사용하게 합니다.
어떤 빅테크도, 경량 모델을 만들 때 목적에 의해 만들지
지식의 양을 기준으로 만들지 않습니다.
그렇기 때문에 4B를 만들 때는 지식의 양이 줄어드는 것을 감수하고,
에이전트 및 여러 목적에 맞는 성능을 올리려고 합니다.
그것이 가능한 분야 중에 하나가 수학이 있습니다.
그래서 8B로 둘인 모델이 수학 능력 , 도구 사용 능력이 괜찮은 겁니다.
이렇게 사용 목적 별로 용량을 나누는 현 상황에서
마치 26B의 1/10 인 2.6B가 지식의 희생이 없을 수 있다고요?
2.6B의 모델의 목적에 맞게 만들어 쓸 수는 있어도,
지식의 희생이 없을 거라는 말은 그 어떤 누구도 하지 않습니다.
있다면 가져와 보세요.
님은 지식의 양이 지능을 수치를 결정한다고 전제하고 있잖아요. 현재의 llm 개발에선 그렇지만
그런 방식을 극복하기 위한 학습법 같은것들이 굉장히 많아요.
많은 빅테크들이 실험중이고 논문도 많아요.
님은 님이 알고계신 몇가지 지식이 불변인양 메여있는겁니다..
ㅎㅎ 그러니까 한 번 가져와 보시라고요. 단 하나라도 봅시다.
일례로 jepa 1.6b가 qwen72b모델을 월드벤치에서 이기는 사례가 있습니다.
즉 이런사례를 통해 앞으로의 연구추세를 알 수 있어요.
큰 데이터를 넣어서 패턴을 뽑아내는 무식한 방법보다 좋은데이터와 방법에서 세련되고 정교하게 패턴을 추출하는 방법이 연구되고 있어요.
ai를 그렇게 잘 아시는분이 ai활용은 왜 안하시는지 모르겠네요. 최근 추세나 빅테크 논문 수두룩한데요. 대충 최근 추세랑 논문 스크리닝해서 요약만 시켜도 흐름이해는 가능합니다.
자꾸 본문에서도, 남들도 하지도 않은 말을 만들어서 반박하시는 것 같은데요.
누가 언제 “2.6B 모델 하나가 26B 모델의 지식을 손실 없이 그대로 가진다”고 했습니까?
그런 말 한 적 없습니다. 당연히 같은 구조에서 모델 크기만 줄이면 지식량은 줄어들죠. 그걸 누가 부정합니까.
본문의 2026~2028년: 현재 프론티어급을 10배 작고 빠르게 압축 <- 이거 보고 그러시는거에요?
근데 지금 논점은 그게 아니잖아요. 언젠가 10배건 100배건 더 작게 만들어도 동일한 성능이 나올지도 모른다고 예상하는 것 아닙니까?
자꾸 무슨 “모든 지식을 작은 모델 안에 다 넣을 수는 없다” 하시는데 (이 말을 계속 왜 하는지도 모르겠고)
요즘 방향은 점점 그게 아닙니다. 큰 모델로 만들고, 작은 모델로 줄이고, 필요한 지식은 검색이나 긴 문맥, 도구 호출, 기억 구조로 보완하는 쪽으로 가고 있습니다.
님은 계속 “지식의 절대량”만 말씀하시는데, 실제 흐름은 지식을 꼭 모델 안에 다 박아넣지 않는 쪽도 같이 커지고 있습니다. 검색 붙이고, 도구 붙이고, 긴 문맥 쓰고, 큰 모델이 만든 추론 과정을 작은 모델에 학습시키는 식이죠.
그러니까 “작은 모델은 지식이 줄어든다”는 말은 맞습니다. (물론 이것도 어떻게 될지 모르지만요. 역시 님은 부정하시겠지만..)
근데 그 말이 곧 “프론티어급 기능을 작은 실행 단위로 내리는 건 불가능하다”는 말은 아닙니다. 이 둘은 완전히 다른 얘기입니다.
님 말처럼 “현재 작은 모델 하나로는 범용 지식 작업에서 부족하다”는 건 맞습니다.
근데 거기서 “그러니 앞으로도 구조적으로 안 된다”로 넘어가는 건 너무 성급하고 너무 단정적입니다.
현재 로컬 모델 몇 개 써본 체감으로 미래 구조 전체를 닫아버리는 건, 오히려 산업 흐름을 너무 좁게 보시는 것 같습니다.
혹시나 싶었는데 제파를 말씀하시는군요.
르쿤 형님 팬이신가 봅니다.ㅎㅎ
르쿤 형님 팬이라면... 더 할 말이 없네요. 수고하십시요.
그런데 그걸 보면서도 매번 틀리시니 저도 더 할 말이 없네요. 잘 가십시오.
얀르쿤 팬이 아닙니다. 대표적으로 알려진게 그런것들이니 논문 추세를 보라는 거에요.
업계는 계속 신기술이 튀어나오는데
몇개의 제대로 알지 못하는 지식으로 그것이 불변인양 짜맞추려고 하면 미래예측이 안되죠
일단 범위를 좁혀 말하고 있는데, 넓히려고 하는 것은 적절치 않습니다.
LLM을 이야기 하는데, 왜 도구를 넣어야 하는지요.
그렇다고 관련성이 낮지도 않으니, 일단 포함하여 말한다면,
님 말은 달리 반박할 필요 없이 맞는 말씀이십니다.
관련성이 낮지도 않아서 넣어본것과
그것을 핵심전제로 주장을 펼치는건 전혀 차원이 다른 얘기입니다. 에휴..
댓글의 흐름을 잘 보세요.
자기 입장에서만 보면, 답이 안 보입니다.
자! 전 처음 댓글을 달 때 모델에 집중해서 글을 달았습니다.
그리고 아주 틀린 말도 아닙니다.
도구는 만능이 아니니까요.
돕는 정도입니다.
그런데 미래 가능성을 제한한다는 취지로 생각하게 되면,
본래의 댓글이 보이지 않고,
제한으로만 생각이 가게 됩니다.
프런티어 모델의 지식의 하한선은,
아무도 부정하지 않아요.
미래 가능성을 닫는 것이 아니라 그것이 실제이기 때문입니다.
프린티어 모델은 많은 지식을 가지려고 큰 용량을 갖습니다.
그런데 그 지식은 어떤 것으로 구성되어 있을까요.
제가 예를 하나 들어 보겠습니다.
고유 명사 로 된 단어와 그 단어 각각의 역사 및 정보.
그리고 이것들이 서로 엮이는 상관관계의 추론.
이런 것들은 도구가 아니라 LLM에 내재 되어 있어야 합니다.
그래서 이런 것을 두고 '지식의 하한선'이라고 합니다.
도구가 도움이 되는 것을 모르는 것이 아니라
말 그대로 보조여서 그렇습니다.
그 보조의 역할이 커진다 해도 보조입니다.
'세종 대왕의 업적들이 서로 어떤 영향을 주고 받았는지 설명해 보자'
라고 요청했을 때,
머리 속에 각각의 '훈민정음', '집현전', '민본주의' 등의 구체적인 지식 데이터가 없으면,
아무리 추론 능력이 뛰어나도 아무 말도 할 수 없습니다.
즉, 낮은 차원의 지식은 RAG로 대체 가능하지만,
고차원의 지식에 기반한 추론은 모델 내부에 있어야 합니다.
그래서 프런티어 모델의 크기가 지금도 커지고 있지 줄지 않는 것입니다.
이런 이야기를 할 때 꼭 나오는 반응이 새로 나오는 논문인데,
아직 검증 된 바가 없습니다.
검증 될 만한 것들은 굉장히 신속하게 반영 되는 편입니다.
안 된 것들이 다 안 된다는 말이 아니라,
일단 검증이 되고 말을 하는 것이 좋다는 것이고요.
추론에 이어 논리 형성을 하기 위해서는 RAG로는 많이 부족합니다.
백터간의 복잡한 상관계수는 파라메터에 따라 달라집니다.
이건 그냥 LLM와 데이터 구조를 알면 그냥 그렇게 보는 겁니다.
아니 역사적 사실을 얼마나 압축 가능하겠습니까.
막연하게 추상적으로 볼 것이 아니라
직접 여러 문서들을 나란히 놓고 그걸 몇 줄로 압축 한 후
구체적인 상관관계의 추적이 가능한지 생각해 보세요.
어렵게 볼 것이 아니라 그냥 그런 겁니다.
대충 끼워 맞추기 식이 아니라 성능 지향적이라면,
RAG로 대체하는 것이 아니라 모델의 학습을 통해
고정 된 데이터를 알고 그 고정 된 데이터끼리의 상관관계를
현 LLM모델의 학습 방법에 의해 가중치를 도출해 내야 합니다.
이렇게 물리적인 데이터를 어떻게 줄일 수 있겠습니까.
지금 나오는 경량화 모델은 데이터 압축 기술을 통해
딱 거기까지 가능합니다.
앞서 말한 NVFP4와 같은 기술 말입니다.
양자화라고 하죠. NVFP4는 보다 더 개선된...
그러니까 더 나아질 것 같다고 하는...그런 기술이 이미 있다는 것입니다.
그럼에도...
양자화에 의한 지능 저하... 이거 다시 생각해 보셨는지요.
알고 있지만 바로 생각이 나지 않았을 수 있습니다.
양자화만 해도 이렇게 지능은 떨어집니다.
그럼 앞으로 나아질 수 있을까요.
네. 나아질 수 있을 겁니다.
전 이런 가능성을 닫아 두고 있지 않습니다.
가능한 것은 가능하다고 하죠.
중요한 것을 기억하고 덜 중요한 것은 지운다...
장기 기억 및 거대 컨텍스트 확보를 위한 이런 이론도 가능하다고 봅니다.
안 된다는 것이 아니에요.
가능성을 막는 것이 아닙니다.
물리적 지식의 하한선이 있다는 주장은
처음부터 하는 말이고,
가능성을 막는 것처럼 보인다는 이유로 여러 주제로 넓힌 것은 제가 아닙니다.
제가 고집을 부리는 것이 아니라
시작부터 그렇게 얘기 하고 있는데,
다른 얘기를 하는 것이 오히려 더 이상하지 않겠습니까?
아니 굳이 궁금하시면 (지금 생각나서 제안드립니다)
도구를 제외한.. 제 주장은 처음부터 도구 사용을 전제하지 않았으므로,
이 도구를 제외한 .. LLM 만들 대상으로,
지식의 하한선에 대해 제미나이나 지피티에 대해 물어 보세요.
그리고 왜 제가 이런 말을 하는지 아실 것 같습니다.
가상의 데이터라고 해서 물리적 한계가 없는 것처럼 생각하시는 분들이 보입니다.
있다는 겁니다.
데이터에서 절대 줄일 수 없는 것이
이 관계를 형성하는 각각의 단어들입니다.
더 똑똑하게 그것을 이용하고 추론하고 하는 것은 지금 보다 더 빠르게 발전할 수 있어요.
지식의 양은 그렇지 않습니다.
또한 현 단계의 진단에서도 차이가 보입니다.
현재 LLM은 이미 고차원 백터 공간을 극도로 효율적으로 쓰고 있습니다.
여기서 뭘 더 할 수 있을지는 모르겠습니다.
재차 말하지만,
보다 더 개선이 안 된다는 것이 아닙니다. 될 거에요.
복잡한 인과 관계에 대한 추론은 제파와 같은 것들이 할 수 있습니다.
그것의 기반이 기존의 지식 기반 추론이 아니거나 수학 등에 한정 된다면 말입니다.
아무리 똑똑해져도, 모델 내부에 '세종대왕'은 있는데 '집현전'에 대한 구체적 데이터가 없다면,
고도의 추론 능력은 갈 길을 잃고, 환각을 내뱉게 됩니다.
이걸 다시 말하지만 지식의 하한선(Knowledge Floor)라고 합니다.
제파에 대해 구체적으로 모르는 경우.. 그게 만능일것처럼 말하지만,
애초에 이 구조 자체가 '사과가 떨어지는 물리적 법칙'은 추상화 하여 아주 작게 담을 수 있겠으나, 1443년 세종대왕이 훈민정음을 창제했다'
라는 고유한 역사적 데이터는 상수여서 추상화 할 수 없습니다.
먼 훗날에 아예 구조가 다른 것이 나온다면,
그것은 LLM.. 즉, 거대 랭귀지 모델이 아니겠지요.
남들도 다 아는 기초적인 것으로 계속 현학적인 단어 나열에 집착하기를 그만둬보세요.
본인의 지난 글들이 얼마나 틀려왔는지 체크해보시는 것도 도움이 될 겁니다.
디시의 ai관련 갤러리나 x에서 얻은 정보를 억지로 늘린다고 그게 좋은 통찰이 되진 않습니다.
미래를 예측하는거니 사람마다 다르게 생각하는게 당연하다고 생각합니다.
혹시 AI발전 관련해서 참조할만한 책이나 자료를 추천해주실수 있을까요?
AGI가 다른게 아니고 신경망의 갯수가 어느 한계 이상으로 커지면 자연히 지능이라는 것이 생긴다고 합니다
(신기하죠? 저도 잘 이해는 안갑니다만)
본문에선 AGI에 대해선 작성하지 않으신거 같은데 저는 지금 인프라 투자가 모두 누가 빨리 AGI로 가느냐인 것으로 보여서 투자가 앞으로도 몇년은 계속될거 같습니다
얼마전 MS 실적발표에서도 CAPEX를 엄청 늘렸는데 이익도 많이 늘었다고 하니 투자를 줄이는 속도도 늦춰질거 같아요