5번대는 5.6 을 끝으로 6이 몇 주 내 출시 될 수 있다는 루머가 나왔습니다.
특징으로는 완전히 새로이 설계 되었고,
훨씬 더 큰 사전 훈련 기반 위에 구축 되어
기존 대비 큰 도약을 이룰 것이라고 합니다.
5.6을 먼저 살펴 봅니다.
추정이긴 하나 대략적인 페이블과의 차이점이 발생하는 원인을
전 이렇게 보고 있습니다.
페이블은 본래 엔트로픽이 갖고 있던 장점에 더해 큰 모델로서의 장점이 돋보이는 모델입니다.
그래서 지식 베이스 및 육각형의 성능을 자랑합니다.
구글 제미나이와 같은 방대한 정보를 품고 있진 못하나
가장 근접하면서 수학 과학 코딩 문학 모든 면에서 일정 수준 이상을 보입니다.
이는 똑똑하기도 하지만 동시에 모델의 크기가 받쳐주기 때문에 가능한 것으로,
그 만큼 막대한 토큰 소모를 갖게 됩니다.
이런 육각형 모델에 대한 니즈를 아는 엔트로픽은
자신들의 모델이 갖는 장점을 경쟁사가 확보하려면,
양질의 데이터가 더 많이 필요한데, 그 확보기 쉽지 않음을 알고,
당분간 자사 경쟁력이 대체가 안 되는 점을 알기에
그 대체 가능성을 줄이기 위해 온갖 시스템 지침을 설계 하는 것을
주요 개발 목적 중 하나로 삼아 왔던 것 같습니다.
그런데 GPT는 연산을 더 잘하고 사이즈 대비 지능은 가장 탁월합니다.
아무래도 GPT가 자사 점유율을 지키기 위해서 초기화권을 뿌리곤 하지만,
단지 그 때문만이 아니라 상대적으로 적은 비용이 발생하는 것도 사실이 아닐까 싶습니다.
아무튼 상대적으로 작지만(절대치로는 큰) 더 효율적인 모델을 생각의 깊이를 더해
더 많고 효율적인 추론으로 엔트로픽 대비 지피티의 기존 강점이었던
수학, 과학, 추론에 있어서 보다 더 강화한 모델이 5.6이라는 것이고,
6이 훨씬 더 큰 사전 훈련 기반이라는 말을 쓰는 것으로 보아,
기존에는 더 큰 사이즈를 만들기 위한 양질의 데이터 양이 발목이 되었다면,
이제는 양질이면서 동시에 양도 많은 데이터를 확보하고,
학습해 둔 것이 아닐까 하는 추측을 해보는 것입니다.
이렇게 되면 클로드의 장점이 커버할 수 있고 오히려 전반적인 지능 면에서 앞설 수 있게 됩니다.
사이즈가 갖는 효과까지 더해지는 것이니까요.
다만 이런 경우의 단점은...
6 울트라 사용은...토큰 소모가 미토스 보다 더 많을 가능성도 있을 것 같습니다.
요약하면 오픈AI가 사이즈를 키우는데 필요한 조건을 어느 정도 충족된 것이 아닌가...
하는 내용을 품은 루머가 있었다는 것이고,
사실이라면 이제 다시 사이즈 키우는 경쟁이 두어 번 정도는 더 있지 않을까 하는 추측입니다.
물론 사이즈 키우기가 두어 차례 이상 반복 될 것인지는 의문입니다.
양질의 데이터를 계속해서 추가로 확보하는 것이 그만큼 어렵습니다.
제 개인적인 생각은 당분간은 두어 차례가 마지노선이 아닐까 싶습니다.
수년이 더 지나면 몰라도... 당장 추가로 더 커지면 개인의 가격 접근성이 떨어질 뿐만 아니라
데센에도 엄청난 ...기존 대비 역대급 컴퓨팅 수요가 발생할 수 있으니까요.
결론입니다.
양질의 데이터 확보의 어려움과 컴퓨팅 자원의 한계로,
정체 되었던 사이즈 키우기는 6을 기점으로 당분간 이어지다,
두어 차례... 지피티로 치면 6.x 버전 정도가 당분간은 한계이지 않을까하는 추측입니다.
그 이후까지는 모르겠습니다.
AI 데이터센터에 대한 수요는 기하급수적으로 높아질 것 같네요.
어쩌면, 먼저 선수 친 한국에게 좋은 기회로 돌아올지도 모르겠습니다.
(지금 있는 AI 회사들이 계속 건재하거나, 일부 회시가 더 커진다는 전제 조건 하에...)
물론 저도 충분히 좋아서 5.5만 씁니다.
주말간 5.6 Sol 돌려보고 있는데 5.5 보다는 확실히 좋네요. 물론 좋은 만큼 토큰 소모량도 무시무시한 느낌인데, 6 은 또 얼마나 토큰을 드실런지 ㅋㅋㅋㅋㅋ
토큰 소진율은 또 얼마나 올라갈까 생각해보면... 난 제대로는 못써보겠구나 하는 생각도 듭니다. ㅠㅠ
1. 페이블이 더 큰 모델이고 5.6은 상대적으로 작은 모델이라는 근거가 없습니다. 양사 모두 파라미터 수와 학습 규모를 공개한 적이 없어요. 루머 입니다.
2. 데이터 부족 문제는 예에전에 이미 해결됐습니다. 현재 빅테크들은 강화학습, 합성데이터, 사용자 피드백, 검증 가능한 문제와 비공개 전문 데이터가 계속 만들어지고 있습니다. 데이터 병목은 양에서 품질선별 검증 문제로 바뀐지 개 오래됐습니다. 언제적 데이터고갈 이슈인지 모르겠습니다.
3. 컴퓨팅 비용은 빠르게 내려가고 있음.
불과 작년의 o3preview의 특수 고연산 벤치마크가 문제당 수백만 원이 들었지만, 지금은 그보다 높은 성능을 일반적인 요청에서 1달러 미만으로 이용할 정도로 연산 효율이 수만배 이상 개선됐음. 이를 무시하고 스케일링 커지면 비용과 토큰이 그대로 폭증한다고 보는 것은 과거 기준의 판단입니다.
4. 스케일링은 단순히 모델 크기나 GPU를 늘리는 것이 아닙니다. 데이터 생성, 강화학습, 추론 방식, 모델 구조와 알고리즘 효율화까지 모두 포함됩니다. 업데이트되지 않은 오래된 지식과 추세를 반영하지 않음을 바탕으로 한계로 결론 내리는 건 이상한 결론입니다.
위 4가지를 토대로 글의 내용은 과거이슈에 머물러 있고 추세가 반영되지 않은 글인 상태입니다.팩트부분에 있어서도
잘못된게..모델이 크면 알잘딱이 되어 토큰을 덜 소모합니다. 큰모델이 토큰소모가 커 보이는건 그냥 일을 많이 시켜서일 뿐입니다.
즉 님 글에서는 결론과 주장의 전제자체가 잘못된 지식(크기대비 토큰소모)과 과거이슈(데이터고갈)와 루머(페이블크기) 기반입니다.
가지고 계신 지식을 최신 정보로 업데이트해 보시고, 루머와 과거의 기준보다는 현재의 기술과 발전 추세를 바탕으로 판단해 보시길 추천드립니다.
잘못 된 정보가 많아서 어지간하면 답변을 잘 하지 않는데 대댓글을 달아 봅니다.
잘못 된 정보를 잘 못 된 줄 모르고 말하시니 답을 아니 달 수가 없네요.
1. 근거를 말씀하시는데, 본문 내에 계속 추측인 부분은 추측이라고 말했습니다.
동문서답이므로 잘 못 된 지적입니다.
2. 빅테크가 만들어 내는 강화 학습, 합성 데이터, 사용자 피드백을 말씀하셨는데, 해결이 되었다는 말은 금시초문입니다. 전혀 그렇지 않은데, 그렇다고 잘못 된 정보를 말씀하십니다.
지금 현재도 양질의 데이터를 만들어 내기 위해 쓰이는 비용이 큽니다.
모델의 성능이 올라갈수록 데이터의 품질 기준선은 계속 동반해서 올라갑니다.
합성 데이터도 만능이 아닙니다. 합성 데이터를 무지성으로 사용하면 모델 붕괴 현상까지 일어납니다.
예전 기준의 양질의 데이터는 이제 평범한 데이터에요.
님이 말씀하신 대목 중 현재 만들어 지고 있다고 하는 그 대목에서 충분하느냐 아니냐의 차이가 있습니다. 전혀 충분하지 않고요. 충분해지기 위해 막대한 노력을 지금도 하고 있고, 해 나갈 것인데, 마치 손에 쥐어진 떡인양.. 생각하시는 것 같습니다.
잘못 된 정보를 퍼트리시면 곤란합니다.
고도의 추론 모델을 위해 극심한 병목에 시달리며 이를 확보하기 위해 온갖 실험적 도전이 계속 되고 있는 마당에 없는 말을 하시면 안되죠.
심지어 품질 선별과 검증도 말씀하셨는데, 이게 하늘에서 떨어지는 것이 아닙니다.
고품질의 데이터를 계속 만들어내기 위해 막대한 비용과 노력을 쏟아 붓고 있는데.....이미 해결이 되었다니요..ㅎㅎㅎㅎㅎ.
양질의 데이터에 대한 목마름은 지금도 계속 되는 과제입니다.
만만하지 않은데 해결이 되었다니.. 참...
다시 말하지만 절대 해결 된 것이 아니라 계속 부족하고 계속 큰 비용을 들이게 될 문제입니다.
아니 아직도 모델 성능의 성패를 좌우할 가장 중요한 대목인데,
선별의 문제로 바뀌었다니....ㅎㅎㅎ 논리가 성립이 되겠습니까.
그 논리가 성립 되려면 양질의 데이터가 충분히 제공 되는 와중에
선별을 한다는 것인데,
그렇지 않다는 얘깁니다.
경쟁 우위를 확보하기 위한 고밀도의 데이터 확보에 목을 매는 상황이라는 점을 기억해 주시면 좋겠습니다.
3. 컴퓨팅 비용은 빠르게 내려가지만,
그 이상으로 연산 추론을 많이 합니다. 과거 기준의 판단이 아니라 그 만큼 많은 이용량을 보인다는 겁니다.
이건 딱히 지적을 할 일도 아닌데, 하시네요.
요즘 이런 추세를 모르는 사람 있나요.
이번 5.6의 특징이 끝까지 놓치지 않고 해결을 위해 달려가는 건데,
이거 자체가 엄청난 토큰 소모를 보이는 겁니다.
그럼에도 전 보다 더 개선 된 토큰 소모가 홍보 문구가 되는 상황입니다.
몇시간이고 목적을 이뤄 내는 것은 ... 전에는 가능하지 않았거나 되더라도 많은 시행착오를 겪어야 했던 문제를 단 몇시간 만에 끝까지 달라부터 해결해 내는....
그렇지만 그 과정에서 막대한 토큰 소모가 있긴 있는데,
즉, 앞서 말한 데이터와 같이 계속 기준선이 올라가는 겁니다.
연산 효율이 올라간 것을 모르는 사람은 없고요.
올라갔지만 문제 해결의 기준선도 올라갔다는 겁니다.
쉽게 말하면 연산 효율이 올라간 것처럼 문제를 푸는 기준도 올라가서,
더욱 어려운 문제나 작업을 풀어 나가고, 그러면서 올라간 연산 효율 이상으로
더 많은 컴퓨팅 자원을 사용하는 것입니다.
에르되시 문제 푸는 것처럼 말입니다.
잘못 된 정보가 하나 둘이 아니라 전부 다 잘 못 되어 있네요.
너무 길어지니 여기까지만 하겠습니다.
님이 “당신 주장은 잘못됐다”는 말을 계속 반복하는 것만으로는 님 말이 맞게 되는게 아닙니다. 제가 틀렸다고 생각하신다면 아래 님이 하신 주장들의 근거를 자료와 수치로 제시하세요.
1.페이블이 5.6보다 큰 모델이라는 오피셜 근거
2.고품질 데이터 부족이 현재 모델 확장의 결정적 한계라는 근거
3.연산 효율 향상보다 작업당 컴퓨팅 비용이 더 빠르게 증가한다는 근거
4.그래서 gpt6정도가 당분간 모델 확장의 마지노선이라는 근거
님 주장인
합성데이터가 만능이 아님 고품질 데이터 생산에는 비용이 듬 더 어려운 작업에는 연산이 많이 든다 같은 일반론으로는
제가 정정한 정보가 잘못됐다라고 하는것이 증명되지는 않습니다.
그리고 추측이라고 표기를 했다고 하시는데
님글과 댓글을 다시 읽어보세요.
제가 문제를 제기한건
님이 추측이라 표기하지 않은 "전제"(페이블크기, 데이터고갈, 크기비례 토큰소모)이지
님이 추측으로 표기하고 내린 "결론"이 아닙니다.
님. 이해를 바로 해야 대화가 되죠.
컴퓨팅 비용을 단순 비용으로 볼 것이 아니라
더 많은 컴퓨팅이 필요하다는 얘깁니다.
그래서 더 많이 데이터센터를 짓는 것이고요.
개인으로서도 한 번이라도 더 많이 사용하고,
더 높은 기준의 문제를 풀려 하는 것이고,
산업 측면에선 더 많은 영역으로 확장하려 하는 것입니다.
그래서 토큰이 늘어난다는 얘긴데,
이게 어렵나요.
이쯤 하겠습니다.
제가 이해를 못 한 게 아니라, 본문을 쓰신 본인이 지금 다른 설명을 하고 계신 겁니다.
본문에서는 “큰 모델이라 토큰을 많이 쓴다”고 해놓고, 지적하니 이제는 “사용량과 산업 확장 때문에 총컴퓨팅이 늘어난다”는 제가 한 얘기(많이써서)로 바꾸셨네요.
1.본문에서 큰 모델이라 막대한 토큰을 소모한다고 전제함.
2.그 전제로 gpt6울트라는 토큰 소모와 가격이 더 커지고, 데이터센터 부담도 급증할 것이라고 추론함.
마지막에는 그 추론을 근거로 컴퓨팅 자원의 한계 때문에 gpt6.x정도가 당분간 마지노선이라고 결론 냄.
한마디로 님은 결론을 바로 그 처음 전제에 기대서 내리셨다는 겁니다
그런데 지적받자 이제는 모델 크기가 아니라 사용량 증가와 산업 확장 때문에 총컴퓨팅이 늘어난다는 다른 얘기를 하고 있음. 본문 논리를 본인이 바꿔 설명하는 중이세요. 그건 많이써서 토큰 늘어나는 거라고 하는 제가 한 얘기입니다.
제가 님 전제가 틀렸다고 지적하니 다른 논점을 꺼내고, 그걸 상대 탓으로 돌리고 그 다른 논점도 제가 한 얘기고 대체 뭐하시는 건가요?ㅎㅎㅎ 어이가 없네요..
어! 그렇네요. 맞습니다.
막대한 토큰을 소모한다고 보았습니다.
그럴 것 같다고 보았고, 지금 보니 또 그럴 것 같네요.
참고로 이론상으로만 접근하지 마시고,
실제 사용을 해보시거나
후기를 찾아 보세요.
그럼 이론과 많이 다른 것을 아실 것 같습니다.
실제 사용자들은 버전업이 될 때 마다
마치 스마트폰이 전성비 개선과 성능을 동시에 올리는 것처럼,
모델이 올라갈 때 마다 o1때와 같은 문제를 풀 때
개별 토큰 소모는 효율화 되었어도
페이블이나 5.6 모델에 드는 토큰 소모는 줄기는 커녕 늘어남을 체감합니다.
이론상으로만 생각하시면 이해가 안 되겠지만,
실제는 다르다는 것이고요.
굳이 설명을 필요로 하시는 것 같은데,
제가 문제의 기준선이 올라간다고 했었죠.
그건 답변 결과도 포함 되는 겁니다.
더 어려운 문제의 해법을 찾거나 더 나은 결과물을 만들어 낸다는 것은 토큰 소모가 줄지 않고 늘어난다는 의미입니다.
모든 것이 같이 상향 되고 있는데 효율만 따지는 이론상의 생각으로는
이해가 잘 안 될 수도 있습니다.
사용자들이 효율이 올라가는 것을 모르는 것이 아닙니다.
그건 애초에 그냥 매번 버전 업 할 때 마다 AI기업들이 말해 온 겁니다.
아니 한 번 두 번이 아니라 주요 마케팅 포인트입니다.
그런데 사용할 때는 토큰이 녹는다는 표현이 흔하죠.
사용자 후기를 찾아 보시라는 얘깁니다.
님이 지금 헷갈려 하시는 것은요.
이 모델이 돌아 가는 것의 통계만 보고 판단해서입니다.
흔히 떠도는 것 중 o1프리뷰 때 돌린 벤치마크가 수천달러 들었던 것이
지금은 o1 때 벤치마크의 98% 수준을 수 달러면 된다는 식의 통계 말이죠.
매번 쳇바퀴 도는 것 같은데,
이번에 이해를 돕는 예를 들어 드리겠습니다.
챗봇에 간단한 질문이나 요청을 하나 하면
100B 짜리 보다 5T 사이즈의 모델의 답변에서 컴퓨팅이 적게 들어 갈까요.
토큰이 적게 소모 될까요.
설마 그렇게 생각하시진 않겠죠.
통계에 나오는 것은 벤치마크를 위해 설계 된 항목들을 풀 때
벤치마크... 말 그대로 갈구는 테스트를 할 때
예전의 5T 보다 지금의 5T 가 그 항목의 답변에서 더 효율적으로 결과물을 만들어 냅니다.
그런데 위에서 말했죠.
실제 사용은 다르다고요.
간단한 질문을 하면 큰 모델이 답변에 필요한 것 보다 큰 모델을 돌리기 위해
특히 추론 모델은 추론을 하지 않아도 되는데 깊은 추론도 하고 전력도 많이 먹습니다.
그런데 큰 모델이 버전업을 하면서
간단한 게임을 하나 짤 때는 기존에 10분 걸리 던 것을 5분 걸리면서 결과물도 더 좋게 만들 수 있지만,
점점 기준선이 올라가면서 전에는 풀지 못했던 답을 찾거나
새로운 물질 후보를 찾거나
이렇게 계속 사용의 기준이 올라가고 사용 영역도 확대 되면서,
모델 역시 도전적 과제들을 직면하게 되고,
맹렬하게 연산하며 간단한 게임 짤 때 보다 더 많은 토큰을 소모하고 있습니다.
특히 에이전트 시스템이 나와 편리성을 더해주면서,
녹아내리는 측면도 있습니다.
제 지적을 토큰 소모 하나로 축소하시는데 지적한 건 그게 전부가 아닙니다.
1.페이블이 5.6보다 큰 모델이라는 근거 없음. 파라미터 수와 학습 규모도 공개 안 됐는데 체감 토큰량으로 모델 크기를 역산하고 있네요.
2.모델 크기, 생성 토큰 수, 토큰당 연산량, 전체 컴퓨팅 수요는 전부 다른 개념임. 100B와 5T가 같은 문장을 읽는다고 토큰 수가 달라지는 게 아님. 큰 모델은 토큰당 연산량이 커질 수 있을 뿐입니다.
3.토큰이 많이 녹는 주된 이유는 긴 컨텍스트 재입력, 추론 토큰, 도구 호출, 테스트·수정 반복, 에이전트 루프 때문임. 더 많은 일을 해서 세션 총토큰이 늘어나는 것과 모델 크기 자체 때문에 토큰이 늘어나는 건 다른 얘기입니다.
4.사용자들이 토큰이 녹는다고 한다는 체감담은 모델 크기의 근거가 아닙니다.님은 지금 과금, 추론 강도, 컨텍스트 길이, 도구 실행 섞인 체감을 아키텍처 근거처럼 쓰고 계십니다.이건 대체 무슨 논리인가요?
5.인터넷 데이터 고갈은 이미 되었고 지금oai는 합성데이터, 사용자 피드백, 강화학습으로 계속 성능을 올리고 있습니다.
뉴스라도 검색을 좀 해보세요.
고갈이슈는 24년도 이슈입니다.
그리고 자꾸 실제로 써봐라 이해를 못 한다고 하시는데, 코덱스프로와 페이블 쓰고 풀스택 개발하고 모델학습, 컨텍스트, 에이전트 루프로 토큰 소모 다루고 있습니다. 실사용 안 해본 사람 전제는 틀렸네요. 님은 개발자도 관련논문 쓰시는 분도 아닌것 같네요.제가 님보다 많이 다루고 있는 것 같습니다.
저보고 자꾸 이론을 말한다 하시는데 오히려 업데이트 안 된 지식과 체감으로 이론을 만들고 계신 쪽은 님입니다.
저는 이론을 말한게 아니라 정보를 말하고 있습니다.
근거 없이 잘못됐다만 반복하고, 알고 계신 지식 정도의 개념을 섞어 길게 설명한 뒤 상대가 이해를 못 한다고 몰아가는 건 이상한 회피방식입니다.
화피하지 마시고 근거로 말씀을 하시는 습관을 길러보시는 것을 추천드립니다.