확실히 8b 이하 모델들보다 낫기는 합니다.
그런데 맥미니 M4 16기가에서 돌리는 중인데 램 부족인지 세션이 초기화 되어버리거나 답변이 영어로 온다거나 하네요.
결정적으로 llm이 램을 다 잡아먹고 있으니 다른 앱과 연계하는 건 꿈도 못 꾸는 수준…
그래도 8b 모델들이 딴 소리만 하는 바보들이라면 20b는 적어도 제가 뭔 말을 하는지 그 의도는 알아먹네요.
확실히 8b 이하 모델들보다 낫기는 합니다.
그런데 맥미니 M4 16기가에서 돌리는 중인데 램 부족인지 세션이 초기화 되어버리거나 답변이 영어로 온다거나 하네요.
결정적으로 llm이 램을 다 잡아먹고 있으니 다른 앱과 연계하는 건 꿈도 못 꾸는 수준…
그래도 8b 모델들이 딴 소리만 하는 바보들이라면 20b는 적어도 제가 뭔 말을 하는지 그 의도는 알아먹네요.
지킬 것이 많아도 모험해보지 않겠는가?
제 결론은 그냥 월 2만원 유료 요금제가 혜자다 였습니다. ㅎㅎ
16gb는 7-8b까지가 한계...
추천하는건 32gb정도되면.. 20b이상 32b이하가 가능하다내요