클로드 같은 툴 이용하시는분들 하네스 설정도 잘 하고 작업 상세히 잘 이어가셔도
애가 종종 컨텍스트 짤라먹는 부분도 있고, 메모리를 까먹는 경우도 있나보더라고요?
AI를 킇라우드로 굴려주는 업체에서 HBM이러던지 다음단계 칩을 더 준비해놓지 않으면
지금 수준의 그래픽램에 의존해야할 상황일텐데 운영하는 입장에서도 이것저것의 비용이 어마어마 하겠네요.
사용하는 입장에서도 내 PC에서 일을 시켜야하니까 업무중에 완성중인 앱 만드느라고 로컬로 굴리는 부분 + 클라우드 부븐 연결받아 작업도 시켜야하니 메모리 용량이 클수록 일은 약간이라도 편하겠죠..
아.. 이쪽 이제 보통 금액 드는게 아니네요.
금액들여 만드니까 비즈니스적 요소가 확실하거나 획기적이지 않으면 딱히 만들어서 서비스 팔 이유가 없겠네요.
이름난 앱 아니면 사용을 못하겠죠.. 거의 포트폴리오용 일시켜 만들고 계실 뿐요. 그렇게되면 오히려 결과물보단 과정을 더 보죠..
열심히 만들었는데 나중에 가면 시리, 빅스비 이런애들의 딥러닝 -> AI로 구조가 바뀌면서 앱 없이도 로직만으로 역할수행이 끝나는 시대가 올텐데, 회사에 칩이 구해졌으니 벌어지는 일들이겠네요.
사용자 개인이 느끼는건 그나마 말귀 알아듣는게 기존과 달라졌을 뿐 단순 버전업으로 생각될테죠. 그런데 쓰면서 진가를 발휘할겁니다. 메모리 구조가 바뀐 AI는 이용자의 이용 상태를 꾸준히 잘 기억하며 처리해줄거거든요
출처 : AIOS
그냥 한 번의 질문에 대해서 개인의 계정이나 로컬디스크에 저장되어 있는 이용기록을 바탕으로 기억하는 척 하면서 최선의 답변을 짜낼 뿐입니다.
심지어 컨텍스트 창의 연속적인 대화 조차도 여러 서버의 동일 모델 A,B,C,D가 트래픽에 따라 스위칭 되면서 한 번 씩 출력한 답변의 집합에 불과합니다.
결론
Ai 들이 일으키는 기억 관련 트러블은 서버의 물리적 메모리와 전혀 관계가 없다.= 서버의 물리 메모리가 더 늘어나도 LLM의 기억력이 좋아지지 않는다.
여기선 원리 말구 이용자 측면에서 역할설명 정도로 보시면은 됩니당
두번째 질문시에 첫질문을 포함해서 맥락파악한다는 경우를 기억하고 있다고 얘기한것이라고 보심 됩니당
램 말구 글카에 딸린 칩과 그래픽램으로 병렬 계산하고있으니 응용한 차세대 HBM칩 이상을 잘 두고있음에도 지금과 같은 문제가 벌어진다라면 HBM칩 내부의 메모리 한계를 더 늘려야 순간계산기억력이 지금보단 낫게 처리될것이라는 얘깁니당
로컬에서 돌리는 인공지능의 성능이나 접근성이 좋아지길 바랍니다.