종류별로 소규모 테스팅용도로 만들어보면서 이것저것 익히고 있어요 ㅎ

아직 개인이라 고가의 칩 구입이나 서버비 마련은 힘들어서용.

---

---

이 영상은 1350만 파라미터 규모의 작은 언어 모델(Tiny Language Model)을 특정 도메인(연구 논문 분석 및 지식 추출)에 맞춰 구축하고 최적화하는 전체 과정을 다룹니다. 주요 내용은 다음과 같습니다.

1. 합성 데이터 생성 (5:28 - 20:00)

•    Outlines 라이브러리를 활용해 로컬 LLM(Qwen 3.5 4B)으로 구조화된 JSON/Pyantic 형식의 합성 데이터를 생성합니다. 이는 모델이 복잡한 작업에서도 일관된 결과를 출력하도록 돕습니다.

•    질문-답변 쌍뿐만 아니라 지식 그래프, 요약, 비교 등 다양한 태스크를 생성하여 모델의 데이터셋을 풍부하게 만듭니다.

2. 모델 파인튜닝 (23:49 - 33:41)

•    Unsloth를 사용하여 효율적으로 모델을 파인튜닝합니다. 

•    '채팅 템플릿(Chat ML)' 형식을 적용하여 학습 데이터를 변환하고, '어시스턴트 응답'에만 가중치를 두는 학습 방식을 사용합니다.

•    하이퍼파라미터 튜닝(Rank 16 vs 32)을 통해 검증 손실(Validation loss)을 0.7 수준까지 낮추는 실험 과정을 공유합니다.

3. 평가 및 배포 (33:51 - 43:52)

•    GPT-4o-mini를 '판사(Judge)'로 활용하여 모델의 성능을 비교 평가했습니다. 직접 학습한 모델은 동급 규모 모델 대비 훨씬 뛰어난 성능을 보였으며, 대형 모델과도 경쟁력 있는 결과를 나타냈습니다.

•    마지막으로 모델을 실무에서 바로 사용할 수 있도록 SDK와 하네스(Harness)를 구축하여 로컬 기기에서 초당 수백 개의 토큰을 처리할 수 있는 고성능 파이프라인을 완성합니다.

이 과정은 적은 비용($8 내외)으로도 특정 분야에 특화된 빠르고 효율적인 언어 모델을 만드는 실무적인 지침을 제공합니다.