이전 글에서,Deepseek 모델을 돌려 보고 싶어서, 맥북 구매를 고려하고 있다고 했는데요.
드디어, 구매를 하고 Deepseek 모델을 구동해 보았습니다.
아래는 구매한 맥북의 사양과, 테스트 환경입니다.

맥북모델: 맥북프로, M1Max, 10 CPU core, 32 GPU core, 64GB 메모리
LLM 사용 툴: Ollama

테스트에 사용한 LLM 모델: Deepseek-r1

프롬프트: 'Tell me a short story'

테스트 결과는 아래 표와 같습니다.
개인적으로 Eval rate가 10 token/sec 정도 나올 때,답답하지 않은데, 32B 모델 정도가 제 맥북이 보여줄 수 있는
한계가 아닌가 생각합니다. 70B 모델도 돌아가긴 하는데, 조금 답답해 보입니다.

답변의 정확도를 알아보기 위한 테스트는 간이로 해보았으나, 테스트 자체의 신뢰성을 담보할 수 없어서
이곳에 적지는 않겠습니다. 혹시, 테스트 문항이나, 데이터셋을 가지고 계신 분들의 연락을 기다립니다. ; ;

추가) 참고 삼아서 제가, LLM 정확도 평가할 때에, 사용한 테스트 문항입니다.

1. 보석상 주인은 손님에게 70달러짜리 물건을 팔고 100불짜리 수표를 받았습니다. 거스름 돈이 없었던 보석상 주인은

옆가게에 가서 현금으로 100불을 환전해와서 손님에게 잔돈 30달러를 지불해 주었습니다. 다음날 옆가게 주인은

현금으로 바꿔간 수표가 부도수표라며 100달러를 다시 받아갔습니다.

이 보석상 주인이 손해본 금액은 합쳐서 얼마일까요?(답:$100)

2. 해가 맑은 날에, 야외에서 5벌의 셔츠를 말리는 데에 4시간이 소요됩니다. 그렇다면, 같은 곳에서 20벌의 셔츠를
말리는 데에는 몇 시간이 걸리나요? (답:4시간)