· 톺아보기

HBM 만큼 HBF (High Bandwidth Flash)가 AI 추론쪽으로는 뜰 수도 있겠군요.

지에르 ·

조회 5,444 · 공감 1 · 댓글 13

https://www.techtimes.com/articles/323109/20260805/high-bandwidth-flash-wins-google-backing-before-any-chip-exists-samsung-left-without-open-spec.htm


HBF는 HBM과는 달리 DRAM을 쌓는게 아니라 NAND flash를 쌓는건데요, HBM 보다 훨씬 많은 메모리 용량을 쌓을 수 있어서 (HBM: 모듈당 48 ~ 64 GB vs. HBF: 512 GB or higher) 앞으로 차세대 AI 모델용으로 각광을 받을 것 같습니다. 


NAND가 용량면으로는 좋은데 메모리에 쓰기를 너무 자주하면 성능이 떨어지는 단점이 있다고 하네요. 그래서 AI training 에서는 불리하지만, AI 추론 (inference)할 때는 이미 fix된 모델을 자주 읽기만 하면 돼서 (자주 쓰기 없이) HBF가 강점을 보일 거라는 얘기. 


HBF 기술을 선도하는 것도 우리의 SK Hynix 이고... 몇일 전에 FMS 학회에서 SanDisk랑 발표를 했는데, Google도 consortium에 참여한다고 하고, 그런데 삼성전자는 뭐하고 있나요??!


암튼 HBF vs. HBM 에 관련하여 전문가들의 고견을 듣고 싶습니다. 



댓글 13

  2. 1024 ·
    AI에 추론을 시켜보았더니 이 글은 아질게가 적당하다는군요.
  3. 지에르 ·
    @1024님 ㅎㅎ 딱히 질문하는 글은 아니니까요. 질문도 포함된 글이긴 하죠.
  4. 1024 ·
    정보를 찾는 글이니 질문성 게시물로 분류되어야 하지 않나 싶은데 딱히 뭐 댓글이 달려도 자세히 읽진 않고 하는 걸 봐서는 목적이 불분명하긴 하네요.
  5. 콩심었어 ·
    @1024님
    미래기술은 정답이 없어서, 답 없는 질문은 아질게가 아닙니다.
    다들 다른 예측들을 답으로 낼테니까요.
  6. 지에르 ·
    @1024님 좀 비뚤어지셨네요.
  8. 지에르 ·
    @카나네우스님 자세히 읽지는 않았는데 삼전은 FeFET 등 물질 개발에 압장서 있다는 내용이군요. 열을 줄이는게 크긴 하죠.
  9. 안드로S2 · · 공감 1
    한때 삼성전자도 HBF 개발 중이라는 이야기는 들렸는데 소식이 없고...
    삼성전자는 HBM5보다 8배 빠른 zNAND-O를 같은 시기에 내놨다는데 HBF의 대항마가 아닌가 싶습니다.
    근데 HBF와 성능적인 비교자료는 안보이네요.
  10. 엑스베이스 ·
    HBM과 HBF는 아예 용도가 다른놈입니다.
    HBM은 GPU와 밀접하게 연산유닛과 함께 돌아가는 정말 중요한것이고 우리 인간이 일하는 작업장으로 생각하면 책상입니다.

    HBF는 저장공간인 낸드를 병렬화해서 속도를 좀 높인건데 HBM의 메모리와는 비교할수 없이 느립니다. 중간에 일반 낸드에서 데이터 꺼내는것 보다 빠르기 때문에 HBF는 완충 역할을 해야 합니다.

    기존-GPU<->HBM<----------->NAND
    HBF적용-GPU<->HBM<----->HBF<----------->NAND

    HBM은 엄청 빨라 바로바로 처리 빠르게 하고 근시일에 썼던 자료들, 언제 또 꺼낼수 있는것들은 HBF로 활용. 바로 꺼내쓰지 않는 오래된 데이터는 NAND로 저장.

    근데 자금이 모자란다 하면 무저건 HBM을 우선 써야죠. 더 성능 좋고 돈이 남아돌아 하면 HBF를 추가 하는거죠.
  11. 지에르 ·
    @엑스베이스님 위에 글에도 썼듯이 HBF가 HBM에 비해서 모듈당 용량을 훨씬 크게 늘릴 수 있기 때문에, 결국 용량당 비용이 훨씬 덜 들것 같습니다. 그렇다면 HBF가 가격 경쟁력이 훨씬 있게 되는거죠, AI 추론 쪽에서 말이죠.
  12. 엑스베이스 ·
    지에르님
    속도 때문에 HBM 없이 HBF만으로는 어렵다는것입니다. 마지막 문단에도 적었지만 둘중 하나 써야하는 금액이라면 그냥 HBM을 우선으로 쓰는게 나은거죠.
  13. 솔라 · · 공감 1
    이제 모델 파라미터가 10T 수준까지 왔고 그중 일부의 MOE(전문가 가중치)만 바꾸어 로딩하는 구조의 추론이라면 HBF가 가성비면에서 우위에 설수 있을거 같습니다. 삼성은 HBF 보다는 메모리를 공유하는 CXL에 더 연구를 많이 해왔기 때문에 고대역 읽기 위주의 모델 파라미터 저장보다 계속 읽고 쓰는게 필요한 KV캐시 운용 쪽에서 기술적 개선을 이루어 나갈거 같구요.
    기술 개발로 메모리 수요가 줄어서 어려워지는거 아니냐는 걱정하는 분들도 있지만 현재 기술로는 어떤 방법을 써도 생산되는 모든 메모리가 사용되는 상태이기 때문에 기술을 주도하고 앞서나가는게 필요하죠.

모두의공원 최근 글

모두의공원 목록 더 보기