Well-Researched Comparison of Training Techniques (Lora, Inversion, Dreambooth, Hypernetworks)
왼쪽 위부터
드림부스:
새로운 개념을 이해할 때까지 디퓨전 모델 자체를 미세 조정.
장점 (+) 아마도 가장 효과적
단점 (-) 비효율적 저장 용량(완전히 새로운 모델 처리)
로라:
디퓨전 모델에 약간의 가중치를 추가하고 수정된 모델이 개념을 이해할 때까지 훈련.
장점 : 빠른 훈련
텍스트 인버전:
새로운 개념을 포착하는 특별한 단어 임베딩을 생성.
장점 : 출력은 작은 임베딩
하이퍼네트워크:
보조 네트워크를 사용하여 원래 네트워크에 대한 새로운 가중치를 예측. 추론 과정에서 새 가중치로 교체
가장 학습 효과가 좋은 것과 더불어 가장 큰 장점이죠.
유사하게 AI chat 모델은 일반 PC에서 구동시킬 수는 있는데 아직까지는 효율적으로 학습시키지 못하죠. 다행히도 가장 핫한 분야라서 많은 스타트업이 뛰어들어 학습 시킨 세로운 또는 변형된 모델들을 내놓고는 있는데 AI Image(하루에도 헤아리기 힘들정도로 모델이 나옴) 쪽과는 비교가 불가하죠.
AI chat, AI TTS에서 드림부스가 했던 것처럼 개인 학습이 용이하게되면 시너지가 폭발적으로 늘어날 겁니다.