참고로 저는 로컬LLM 하수입니다.

전문용어 잘 모릅니다.ㅜㅜ rag나 벡터db잘 모릅니다. 들어나 봤습니다.

수준 감안해주세요.ㅜㅜ

여튼

일단 제가 지금 작업중인 노트북 사양은 이렇습니다.

4070 Latop GPU - 8.0GB VRAM

이걸로 뭘 하나....싶었는데

일단, 아주 소형 모델

hf.co/google/gemma-4-E4B-it-qat-q4_0-gguf:Q4_0

을 설치했습니다.

8gb에서도 여유가 좀 남는 소형 모델이죠

자 그래서, 이걸로 뭐를 하는가 하면

전부터 생각하던 자작 툴을 돌려보자 싶었죠. 그래서 밤새 만듬새를 다듬어 봤습니다.

그런데 이게 무슨 툴이길래, 이런 저용량 LLM에서도 돌릴려고 하는가...

설명을 하자면

요렇게 PDF를 로딩해서, 부분을 선택하거나...뭐 전체를 대상으로 하거나

'선택한 범위의 내용을 바탕으로 객관식 문제를 출제해주는 일종의 물음표맨 같은 앱입니다'

저렇게 선택을 하고,

문제 만들기

를하면,

내용만을 기반으로 객관식 문제를 만들어 줍니다. ㅋ

문서 전체 내용도 참고하고, 서술된 근거 없는 문제는 짜릅니다

이렇게 문제가 출제되고, 답을 선택하는거죠.

외연 넓은 지식베이스가 아니라 근거가 문서 내에서 확인될 수 있는 부분들에서 나옵니다....

이게 도움이 될까요?

그건 개인차가 있는 문제라 모르겠습니다.

다만, 소소한 VRAM 활용이라 기분은 좋네요.

맥북 메모리는 좀 더 커서 더 큰 모델을 사용하지만,

PDF 내용 기반이라 큰 차이는 못 느끼겠어요.!

문서 단위면 모르겠습니다. 뭔가 더 심오한 질문이 나올런지..

읽고나서

한번 기계적으로 체크만 해주는건데

기억력 강화에 도움이 되는 것 같은 주관적 느낌이 들긴 합니다.

살짝 출력 훈련을 가미하는 느낌이랄까요?

별거아닐 수도 있지만...ㅋ

'pdf 학습/읽기 작업 많으신 분들께

꼭 도움이 되는앱 만들어 보고 싶네요.-_- (제발ㅜㅜ 말이죠) 

원래는 VS Code용으로

코드에 대한 저런 질문을 생성해주는 툴을 생각했었는데

소형 LLM으로는 어려운것 같다는 생각이 들더군요.