#1

김정호 카이스트 교수 “HBM 10년 이상 걸렸지만 HBF는 빨라질 것”
“HBM6부터 HBF도 같이 활용···2038년 HBF가 HBM 시장 넘어설 수도”

 

'NAND 스태킹' HBF 상용화가 가속화될까요? "2~3년 내에 엔비디아 GPU에 통합될 예정입니다."

 

흔히 'HBM의 NAND 플래시 버전'으로 불리는 고대역폭 플래시(HBF)의 상용화가 예상보다 빠르게 진행될 것으로 전망됩니다. 이는 DRAM 기반 HBM만으로는 폭발적으로 증가하는 AI 데이터 처리 용량에 한계가 나타나고 있어, 대용량 처리가 가능한 NAND 기반 솔루션에 대한 수요가 급증하고 있기 때문입니다. 삼성전자와 SK하이닉스를 비롯한 주요 메모리 제조업체들은 HBM 개발을 통해 축적해 온 설계 및 공정 기술을 활용하여 HBF의 상용화를 가속화할 것으로 예상됩니다.

 

......(중략)

 

HBF는 HBM이 DRAM을 쌓아 만드는 방식과 유사하게 여러 개의 3D NAND 셀을 수직으로 쌓아 대역폭을 증가시키는 메모리 개념입니다. 이 기술은 NAND 레이어를 기본 다이 위에 쌓고 TSV (Through-Silicon Vias)를 통해 연결하는 방식을 사용합니다.

 

......(중략)

 

삼성전자와 SK하이닉스는 앞서 미국 샌디스크와 HBF 표준화를 위한 양해각서(MOU)를 체결하고 컨소시엄을 구성하여 표준화 작업을 진행하고 있다. 양사는 2027년까지 시장 진출을 목표로 제품 개발을 추진하고 있다. SK하이닉스는 또한 이달 말 HBF 시범 버전을 공개할 예정이라고 발표했다.

 

김 교수는 “GPU가 AI 추론을 수행하려면 HBM에서 ‘KV 캐시’라고 불리는 가변 데이터를 읽어야 합니다. 그런 다음 해당 해석을 기반으로 단어를 하나씩 생성하는데, 이 작업에 HBF가 활용될 것으로 예상합니다.”라고 설명했습니다. 이어 “HBM은 속도가 빠르지만 HBF는 속도는 느리지만 용량이 약 10배 더 큽니다. 하지만 HBF는 읽기 횟수에는 제한이 없지만 쓰기 횟수에는 약 10만 사이클의 제한이 있습니다. 따라서 OpenAI나 Google과 같은 기업은 프로그램을 작성할 때 읽기 중심적인 아키텍처를 설계해야 할 것입니다.”라고 덧붙였습니다.

 

......(중략)

 

HBF는 GPU와 같은 AI 가속기 옆에 HBM과 함께 설치될 것으로 예상됩니다. 김 교수는 HBM6가 출시될 무렵 HBF가 널리 사용될 것이라고 예측했습니다.

 

그는 "HBM6에 이르면 단순히 하나의 스택이 아니라, 마치 아파트 단지가 건설되는 것처럼 여러 개의 HBM이 네트워크로 연결될 것"이라고 언급했습니다. 또한 "DRAM 기반 HBM은 용량에 한계가 있기 때문에 NAND를 쌓아 만든 HBF가 등장할 것"이라며, "2~3년 안에 HBF라는 용어를 매우 자주 접하게 될 것"이라고 덧붙였습니다. 그는 이어서 “HBMF가 본격적으로 보급되기 시작할 것이고, 그 뒤에 데이터 저장 장치가 연결될 것입니다. 현재 GPU에 데이터를 공급하려면 스토리지 네트워크를 통해 데이터 프로세서를 거쳐 GPU까지 매우 긴 경로를 이동해야 합니다. 미래에는 HBM7에서 HBM 바로 뒤에서 데이터를 직접 처리하는 개념이 등장할 수 있습니다. 이를 ‘메모리 팩토리’라고 부릅니다.”라고 말했습니다.

 

마지막으로 그는 "2038년경에는 HBF 시장이 HBM 시장을 넘어설 수도 있을 것"이라고 예측했습니다.

 

원본출처: https://www.sisajournal-e.com/news/articleView.html?idxno=418621

2-3년 또는 다음 버전인 Feynman에서 구현될 수 있을 것이라는 관측이 있으나 패키징 공장 증설이 되야 가능할 것으로 보입니다.

#2

삼성은 올해 AMD용 하이브리드 본딩 HBM4를 출시할 계획입니다.

그들은 2024년 초부터 AMD의 HBM에 대한 하이브리드 본딩을 계획해 왔습니다.

 

이재용 회장의 작년 12월 AMD 리사 수 CEO 회동은 차세대 AMD 제품의 삼성 파운드리-패키징등에 대한 논의등 미래 청사진에 대해 담화가 있었을 것으로 추정합니다.

 

이것은 AMD만 그치는 것이 아니라, NVDA RTX5090(또는 그 하위, 상위버전이든)에서의 GDDR7 납품 이상의 일괄 턴키 패키지 프로젝트를 구글 v8이상 상위버전을 AVGO, MRVL등과 협력하여 할 수 있는가 ?에 대한 시장의 관심대상이기 때문입니다.

Google(Ironwood/Ghostfish/Sunfish/Zebrafish), 아마존(Tranium/Inferentia), 마이크로소프트(Maia), 메타(Mtia), OpenAI(Titan), Apple(Baltra), Softbank(Izanagi), Bytedance(Gen)가 고객이 될 수 있는가?의 문제이기 때문입니다.

 

#3

삼성의 1c DRAM 공정 수율이 기존 50%가 아닌, 70%를 넘겼다는 소문이 있었습니다.

기존 전력소모가 경쟁사 대비 높아서 발열을 야기하는 문제도 해결되었다고 합니다.

전력배분 설계를 처음부터 Backplane으로 따로 분리해서 재설계한 지는 알려지지 않았습니다.

다만, 발열문제, 전력소모는 메모리와 HBM에서 매우 치명적인 것이기에 해결되고 고객인증까지 이르렀다면, 매우 좋은 결과로 봅니다. 이 부문을 해결한 팀에 두둑한 보상과 진급이 이루어졌다는 후문입니다.

#4

TSMC, 삼성과 SK하이닉스의 공장 증설 

삼성 P5, 닉스의 청주-용인 Fab증설

P4조기 가동, 기존 삼성의 텍사스, 닉스의 애리조나 Fab이외에 삼성 평택 P5(맵으로 보면 옆에 공간도 공사들어간 것 같은 ?), 닉스의 청주 15x와 옆 공간, 용인 Fab까지 전방위 공장 증설이 이루어지고 있습니다.

 

MU도 기존 애리조나-대만-싱가폴 공장, 일본(27년 완공예정)에 이어 뉴욕주 Fab까지 역시 공격적인 증설이 발표되었습니다.

공장 증설이 끝나면, 반도체 장비 구매가 이루어질 것인데 증설된 Fab용도가 전공정, 후공정 패키징, 혼합에 따라 조금 달라질 수 있어 보입니다.

중국 공장도 시장 ASP가격 상승에 신속한 대응으로 공정 업그레이드도 진행되고 있는 것으로 보입니다.

닉스의 패키징 공장 신설이 눈에 띄는데 2.5D에 이어 향후 3D 패키징(CPU/GPU/NPU-AI칩위에 직접 HBM을 연결)요구까지 수용하려면 필수고 HBM이 이어 각각 다른 고객요구에 따라 달라지는 cHBM, HBF적층요구까지 대응 가능해야하고 현재 HBM Base Die를 설계까지 TSMC와 협업하지만 닉스 독자적으로 패키징 해야 cHBM에 대응할 수 있기때문입니다.

#5

엔비디아의 HBM4 재설계 요구 소문

이것은 기존 11Gbps가 아닌 13Gbps 대역폭 요구에 따른 소문으로 판단합니다.

이것에 대한 삼성전자, 닉스의 대응은 매우 다를 수 있고 변수도 많고 간단한 문제가 아니기에 헛소문일 가능성도 높습니다. 

#6

TC본더와 하이브리딩 본딩 투트랙 진행

16단까지 기존 공정을 이용하는 것과 HBM5 이상에서 하이브리딩 본딩 장비 도입하는 것과 별개로 장비업체 구도가 증권사에 의해 제기되었습니다.

삼성: 자회사 세메스+BESI조합(미 AMAT가 대주주가 됨)

네델란드 BESI ASIC칩 TC본더와 하이브리드 본딩장비로 적용 사례와 제품군

개인적으로 해외 증권사가 놓친 점은 Throughput, 단일칩을 본딩하는 것과 겹겹이 쌓는 것은 다른환경이라고 판단합니다.

CPO(CoPackagedOptics) Connector 부분은 열에 취약해서 별도 장비를 만들었네요.

하이닉스: 한미의 한화세미텍에 특허침해소송에 따른 닉스의 한화쎄미텍 보증요구(담보제공)는 한화쎄미텍의 한미 특허 무효소송까지 이어졌습니다. 닉스는 기존 한미+한화쎄미텍에 이어 ASMPT(싱가폴 회사지만 홍콩증시 상장) 시험용 장비까지 반입되었다는 TheElec의 뉴스 기사(ASMPT 장비 납품 기사가 한화쎄미텍 보다 먼저 나왔지만 2개사 모두 HBM생산 라인 투입이 안되고 있다는 후문도 있었음, 특허소송 결과에 따라 그 파급효과 커서?)가 있었습니다. 개인적으로 여러 이유로, 한미 장비의 지속 점유율 우세를 예상하지만 해외 증권사는 다르게 평가하고 있었습니다.

마이크론: 한미 독점이지만 닉스의 사례로 해외 증권사는 역시 멀티벤더 전략을 취할 것으로 예상하지만, HBM4까지는 저는 한미의 우세를 예상중입니다.

해외 증권사의 매도/매수 보고서와 제 개인적인 의견은 다릅니다.

 

#7

AI데이타센터와 NeoCloud 센터 구조 변화

Google v7/v8버전(AVGO 영업)이 이미 출하되는 상황에서 네트워크, 전력배분 구조(800V DC도입), 화합물반도체 GaN반도체 도입은 더 변화를 가져올 것으로 보고 있습니다.

향후 COS 광 스위치, COS ASIC칩과 CPO(Co-Packaged Optics) 컨넥터가 메인보드에 통합될 때까지를 봐야 합니다.

Google(Ironwood/Ghostfish/Sunfish/Zebrafish), 아마존(Tranium/Inferentia), 마이크로소프트(Maia), 메타(Mtia), OpenAI(Titan), Apple(Baltra), Softbank(Izanagi), Bytedance(Gen)도 마찬가지입니다.

기존 빅테크 AI데이타센터뿐만아니라 NeoCloud-CRWV, NBIS, IREN, GLXY, WULF, CIFR, HUT, CLSK, FRMI등 까지 영향을 주는 것입니다.

AI데이타센터/NeoCloud공급망, 구글, HBF, 1월말 고점 ?, DXY/비트코인

https://www.clien.net/service/board/cm_stock/19117181CLIEN

개인적인 공급망 예상 갱신입니다.

올해 AMD MLB, AVGO FC-BGA 공급망에 국내 FCB업체의 진입예상으로 관련 종목의 상승이 있었습니다.

앤트로픽은 약 100만 개의 TPUv7 칩을 구글 클라우드를 통해 임대하는 대신 자체적으로 구축할 예정입니다. 하지만 구글, 브로드컴, 앤트로픽이 함께 해결해야 할 과제들이 있습니다. 예를 들어, TPU는 표준 OCP ORVv3 랙 대신 비표준 초광폭 랙을 사용하여 구축됩니다. 또 다른 과제는 ICI라고 불리는 TPU 확장에 광회로 스위치(OCS)가 사용된다는 점인데, 구글 외에는 OCS 관련 전문 지식과 경험이 제한적입니다. 이러한 모든 과제는 해결 가능하며, 시간이 지남에 따라 전문 지식과 경험이 축적될 수 있습니다.

진짜 시장이 커질때는 CPU/#GPU/#TPU/NPU 옆에 CoS 광스위치 ASIC칩과 #CPO Connector가 실장되는 때입니다. ASIC칩을 $AVGO, $LITE, $COHR, $MRVL 같은 회사중 하나가 할 것 같은데 아직은 도입시기가 미정인데 2~3년내 이루어질까요 ?

#RF머티리얼즈(327260.KQ)는 공시 사업보고에 미국 $LITE, $MTSI 에 #광통신  부품을 공급하고 있어 넣었습니다. 광통신 컨넥터, 케이블 관련으로는 $RFIL 도 있습니다.

메인보드에 있는 구리 배선대신 #Laser 소스 광(빛)을 이용해서 통신하는 것입니다. 대안으로 #MicroLED Array를 이용한 #SiliconPhotonics-실리콘포토닉스(광반도체 기술)도 연구되고 있습니다.

WGMI ETF(비트코인 ETF로 설명되어 있으나 대부분 Neo Cloud 업체입니다)

SNDK, MU

정부 지원받는 INTC

HBM에 TSV 구멍 뚫어주는 LRCX

낸드 식각하는 일본 TEL, LRCX,

검사장비 KLAC, CAMT, ONTO,

HDD 추천은 하지 않으나 상승율 좋은 WDC, STX

로봇에도 이름을 올린 반도체 장비 회사 TER 등 5-6개 반도체 종목 최근 상승이 눈에 띕니다.

종합 반도체 장비회사 AMAT,  EUV 장비 ASML 등도 있습니다.