엔비디아가 쿠다로 ai 시장을 언제까지 지배할 수 있을까요?
조회 4,071 · 공감 0 · 댓글 14
한 100년?
모두의공원 최근 글
- 뱃구멍 단어는 처음 봤네요
- 구글 AI 성능이 의심이 되네요;; [3]
- 뉴욕타임즈 탐사보도 대단합니다. [1]
- 고인의 명복을 빕니다. [3]
- 링크없음: 깨어있는 대구시민들 라이브하네요
- 선관위 부정선거 해결법 제가 단순한가요? [10]
- 고 최불암 배우님의 마지막 대중사진 [5]
- 뉴스, 개인생각) 토큰팩토리라는 개념으로 모델 유료서빙 하는가보군여
- 리처드 파인만-기계는 인간처럼 생각 가능한가.avi [4]
- 영원한 수사반장' 최불암 별세…'파하~' 웃음 남기고 떠난 '국민 아버지
- 사시패스한 사람을 1타 강사도 천재라 하죠.. 재평가 시급한 대통령 [13]
- 획기적인 지방활성화 방안 [13]
- 근원을 찾아서 [25]
- 속보) '영원한 수사반장'·'국민 아버지' 최불암 별세 [29]
- AI로 4인조 걸그룹을 데뷔시켜봤습니다… 목표는 리센느입니다 ㅋㅋ [14]
- 전쟁안나는 이유 = 북한군이 우크라에 있음 [10]
- 🍷 [러블리즈] Kei 리메이크 신곡 투비, 류수정 음악 감상회 / 클럽 공연, 예인 꽃 별이지나 안성 공연 Vlog (10/26~29 단신)
- 참사도 등급이있나요? [33]
- 아이폰 듀오의 커버 화면비는 분명 추가 수정이 있을거라고 봅니다. [3]
- 신인감독 김연경 추천합니다. [2]
- [오늘의 우주이야기] 대마젤란은하의 별공장 세 곳 [9]
- 전쟁날것 같다는 컨텐츠들이 돌아다니고 있는것 같아서 조사해봤습니다. [14]
- 네이버보다 구글이 한국어를 더 잘 알아들어요 [4]
- ‘내란 우두머리’ 윤석열 2심도 사형구형이군요 [43]
- 배당 수익·국채 이자에도 건보료 부과하나 [32]
- 갑자기 이게 뭔 조화일까요. [12]
- 이제 2년차 삼성뉴비팬 분의 리액션이 대단하네요 [6]
- 40대 중반이 되니 가족의 소중함이 느껴지네요 ㄷㄷㄷ.txt [12]
- 이태원 참사의 대응은 지금 생각해도 기가 막힙니다. [27]
- 이젠 맥북 프로가 너무 바싸졌어요. [26]
댓글 14
엔비디아 하나 값으로 2분의1성능 3개를 사고 세팅하면 같은 돈으로 더 빠르게 구축할 수 있죠.
문제는 옛날 게임들마냥 엔비디아만 지원하는게 대부분이라 이 부분만 인정받는 소프트가 나오면 양강구도로 가지 않을까 싶습니다.
혹시 맥 스튜디오 등에서 LLM 돌리는거도 쿠다불러서 돌리는걸까요?
제가 ai 나 S/W쪽으론 아는게 없어서
전에 H/W 설계자였습니다. 지금은 그만둔지 20년 됐긴 했습니다만... 디지털로직 쪽입니다.
추론 최적화 업계에서 하는 얘기가 그거예요. 아직은 공짜로 NPU 를 갖다 써도 토큰 생산 원가 생각하면 GPU 가 더 싼 거라고.
GPU나 NPU가 하는일이 행렬로 벡터비트연산 하는거 아닌가요?
그걸 왜 행렬연산하는지 제머리로는 도무지 이해가 안가네요
그래픽카드가 하루 종일 하는 일이 점 이동이 대부분이기 때문에 당연히 행렬로 계산되는 게 유리합니다.
쿠다는 그 행렬 벡터계산기의 모임으로 보입니다.
그런데 정말 무서운 세상입니다.
심심해서 제가 20년전에 만든 덧셈기(Hierachial Carry Lookahead Adder) Verilog 코드 64비트짜리를 주고 4096비트로 만들어보라니 ai에서 1초걸리더군요... 타이핑하기 귀찮아서 1024비트까지만 만들고 안만들고 있었는데 1초 걸리더라구요... 놀라운 세상입니다.
kv cache건 뭐건..
AI시장이라고 하시면 너무 크고 모델 학습 시장은 Nvidia가 5년은 더 먹겠지만 AI추론 시장은 지금도 경쟁구도입니다.
반 엔비디아 연합을 구성해봐라라고 ai 한테 물어봤더니 재미난 얘기를 하더라구요... 내용은 비공개입니다.
그런건 아무 의미가 없습니다.
HW연산기는 쉽게 만들지 몰라도 지원하는 명령어셋 호환이 문제입니다.
AMD도 쿠다 대체하는 ROCm이 있지만 쓰는 사람이 적고 기존 소프트웨어와 호환성 문제가 따라 다닙니다.
결국 이미 뱥에 씨를 많이 뿌린 엔비디아가 독식하고 있는거죠.
CUDA를 키운지 10년이 넘어가니까요.
즉 벡터 연산기를 hw로 만들어도 기존 AI 프로그램/패키지와 연동이 안되면 아무 쓸모가 없는거죠.
그렇군요... S/W가 받쳐줘야하는거군요...
ai 코딩으로 그 해자가 메워지고 있으니까요.
학습은 한동안 어느 정도 우위를 가져 가겠지만 추론은 금방이라고 봅니다.
데이터센터인프라 하드웨어나 기타 최적화 기술제공..
게임에서 예를 들면 dlss같은것들도 그 중 하나죠.