메모리를 절약하는 LLM이 등장했다네요.
조회 2,542 · 공감 0 · 댓글 15
지금 인공지능 분야에서 메모리가 깡패인 상황인 것은 LLM이 연산을 하기 위해 메모리를 많이 사용하기 때문이라고 합니다.
그 가장 큰 이유가 어떤 문장을 인공지능에게 처리하라고 하면, 인공지능은 그 문장을 앞에서 차례대로 읽어나간 후 전체 문장을 여러번 통채로 반복해서 개선하는 방식이라서 그렇다네요.
하지만, 인간은 그렇게 하지 않는다네요. 인간은 글을 읽을 때 머리속에서 대충 전체적인 느낌만 가져간 뒤에 서서히, 디테일을 잡아가면서 생각을 구체화 한답니다.
이 방식을 인공지능에도 적용하는 기술이 등장했다네요.
이게 지금까지 인공지능과 다른 점은 메모리 사용량을 줄일 수 있다는 점이라네요. 왜냐하면, 이 방식은 인간과 마찬가지로 처음 디테일을 처리하기 전에는 극히 조악한 방식으로 사고해서, 전체를 계속 다시 반복해서 메모리에서 불러오는 기존방식보다 메모리 사용량이 줄어든다네요.
하지만, 이 기술이 적용되면, GPU사용량은 늘어날 수도 있답니다. 그 이유는 이 방식은 인공지능이 병렬 연산을 많이 사용할 수 밖에 없기 때문이라네요.
어떤 게 더 나은 방식인지는 아직 잘 모르겠다는군요.
하지만, 아직은 인공지능도 그 발전이 완성된 건 아닌가 봅니다.
자세한 건 출처 참고하세요.
댓글 15
1. 메모리를 절약하니까 덜 사도 되는거 아니야?
2. 메모리를 절약하니까 같은 돈이면 더 많이 구입할 수 있네?
지난번 구글이 발표한 터보퀀트 기술도 비슷한 맥락으로 메모리 절약할 수 있으니 메모리 덜 사겠네 이랬지만 결론은 아니었죠
이번도 똑같을 것 같다에 저는 한표입니다
네, 그렇긴 합니다만, 이건 터보퀸트랑은 좀 다르다네요..구글의 터보퀸트는 메모리 사용량이 줄어든 만큼 GPU사용량도 줄여서 둘다 늘이면, 같은 하드웨어로 더 많은 걸 해낼 수 있으니, 메모리랑 GPU랑 똑같이 늘이면 더 좋아지는 방식이었지만, 이번 건 메모리 사용량이 줄어들수록 GPU사용량은 늘어난다네요. 그래서, 무조건 메모리를 늘여서 성능이 올라가지는 않는답니다. 뭔가 애매한 거 같기는 하네요.
지금은 생존을 위해 하이퍼 스케일러들이 투자를 하고 있습니다.
때문에 더 많은 자원을 확보해야 하는 시기죠.
삼전닉스 컨콜을 보면 장기계약이 이전보다 더 늘었다고 발표 했습니다.
이를 뒷받침 하는 자료로 볼 수 있습니다.
네, 그건 아직 모른답니다. 이 기술을 적용한 건 현재 빅테크 기업들이 사용하는 데이터를 처리한 게 아니라 실험용 소규모 데이터에만 적용해 봤다네요. 빅테크 기업이 쓰는 데이터에 이 기술이 적용된 후 어떤 결과가 나올지는 아직 기다려봐야 하나 봅니다.
그런데 결국 그때는 DRAM이 또 많이 필요하고..
저장할 SSD는 결국 어차피 필요하고..
아니면 모델 사이즈는 크지만 사용하는 일부 모듈만 올려두는 모델도 있고..
(MoE와 전문가 오프로딩)
이런건 또 속도 문제가 있을 수 있구요
한 개념이 반드시 메모리를 왕창 아껴준다는건 좀 더 기다려야 할것 같습니다.
사람이 순차적으로 생각한다고 뇌 용량이 작은게 아니듯..
하드디스크용량을 두배로 만들어주는 프로그램이 만들어졌어요. 정확한지 모르지만 이름이 드라이브스페이스였나??
그런데 지금 와서 어떻게 됐습니까? 하드용량 모자라서 백업하드를 추가로 구매하고도 모자라서 클라우드에 올리고 있습니다.
네, 본문에 언급된 기술의 특징을 살펴보면 1,024개 토큰의 경우 현재 방식이 1,024번 메모리에 로드하거나 128번 로드한다네요. 하지만, 저 기술은 8번에서 11번만 메모리로 가져온답니다. 그렇다면, 저 기술이 실제로 실현된다면 메모리를 10배에서100배 정도 줄일 수 있나 봅니다. 저 기술과 현재 기술을 융합한 기술이 나온다면, 최소 3-4배는 메모리 사용량이 줄어들 거 같기는 하네요. 그렇다면, 앞으로 어떤 시점에 인공지능 빅테크 기업들이 메모리 주문량을 GPU 주문량보다 먼저 줄일 수도 있다는 생각이 들긴 하네요.