매달 수십억토큰을 쓰는데 AI는 아직 한참 멀었어요.
조회 1,277 · 공감 1 · 댓글 4
일단 너~~~무 느려요. 물론 사람보다는 훨씬 빠르긴 하지만 기다리는 지루한 시간이 생기는건 어쩔수 없네요. todos를 한 10단계 걸어두면 수십분입니다.
그리고 정확하지도 않아요. 수십분간 기껏 했는데 중간에 한두개 오류로 모든 토큰과 시간을 날려버리게 됩니다. ㅠㅠ
마지막으로 너무 비싸요. 토큰당 비용이 지금보다 훨씬 저렴해져야 합니다. 그러려면 발열이 적고 성능이 좋은 장비가 개발돼야 하겠죠.
그래서 아직 AI는 특이점도 아니고 이제 태동기같아요. 이와중에 신고점을 찍는 애플은 뭐지 싶긴 합니다. ㅋㅋ 지루한 시간에 뻘글 적어봅니다.
댓글 4
맘바, JEPA, 구글의 FNet, FFTNets, HiPPO 모델 등등
메모리와 전기 적게먹고 성능은 비슷하거나 더 우수한
트랜스포머 대안 모델들은 이미 대안은 넘쳐나죠.
- 시스템 램과 비디오 램이 통합되 있어서 CPU<->GPU간 병목이 없습니다.
- 그래서 딥러닝 모델 추론 속도가 매우 빨라요.
- 게다가 비디오램 32기가 글카 가격은 수백만원이 넘지만, 32기가 맥미니는 90만원 정도 가격대 였으니 ...
- 게다가 실리콘 맥들은 CPU도 빠르고 조용하고 전기도 적게 먹거든요.