@mackey님 과정을 전부 설명드리기엔 공간이 부족합니다만 간단히 말씀드리면 Stable diffusion에서는 베이스가 되는 모델인 Checkpoint와 특정 그림체나 캐릭터로 파인튜닝된 모델인 LoRA를 함께 적용하여 이미지를 생성합니다. 잘 학습된 베이스 모델 만으로도 충분히 원하는 이미지를 만들 수 있습니다만 원하는 이미지나 캐릭터가 있다면 LoRA를 적용하는 것이 도움이 됩니다. 우선 베이스모델과 로라를 적용하여 이미지를 생성할 준비가 되어있다면 원본 이미지를 불러와서 inpaint로 마스크 영역을 설정하고 원하는 외모에 대한 Prompt를 입력합니다. Prompt는 positive tag와 negative tag를 전부 채워주는 것이 좋은 이미지 생성에 도움이 됩니다. 그 다음 Steps / Sampling method / Seed / CFG 등의 옵션을 조정하여 생성해줍니다. 생성은 원하는 이미지가 나올 때까지 옵션을 미세하게 조정해가며 반복 생성해주시면 됩니다.
털털모
IP 118.♡.12.219
08-03
2023-08-03 22:31:23
·
@mackey님 혹은 위의 과정 중 베이스모델과 로라를 적용한 이후에 img2img 항목으로 이동하여 얼굴 합성이 아닌 이미지 전체 재생성을 통해 만들어낼 수 있습니다. 이 경우 denoising 강도를 약하게 조정하여 원본과 거진 흡사하지만 외모가 다른 결과물을 얻을 수 있습니다.
털털모
IP 118.♡.12.219
08-03
2023-08-03 22:36:02
·
@mackey님 또 다른 접근방식으로는 text2img에서 Prompt입력을 마친 다음 ControlNet을 실행하여 원본 이미지에서 포즈 정보를 추출하여 위에 입력한 prompt와 합성해서 생성할 수 있습니다.
응용방법이 다양하기에 조금만 공부하시면 얼마든지 하실 수 있을겁니다.
mackey
IP 42.♡.234.184
08-04
2023-08-04 06:05:00
·
@털털모님 감사합니다 선생님 테스트 해보겠습니다. 한가지 질문이..faceswap과 stable diffusion은 다른건가요? 예를 들자면 예전에는 faceswap을 썼지만 요즘에는 stable diffusion을 쓴다..?
털털모
IP 211.♡.77.156
08-04
2023-08-04 07:48:49
·
@mackey님 Faceswap은 deepfake라고 보시면 됩니다. Deepfake는 Gan이라는 적대적 신경망이고 Stable diffusion과는 차이가 있습니다.
https://ivyit.tistory.com/795
여기에 나와있는 webui와는 다른건가요 ?
우선 베이스모델과 로라를 적용하여 이미지를 생성할 준비가 되어있다면 원본 이미지를 불러와서 inpaint로 마스크 영역을 설정하고 원하는 외모에 대한 Prompt를 입력합니다. Prompt는 positive tag와 negative tag를 전부 채워주는 것이 좋은 이미지 생성에 도움이 됩니다.
그 다음 Steps / Sampling method / Seed / CFG 등의 옵션을 조정하여 생성해줍니다.
생성은 원하는 이미지가 나올 때까지 옵션을 미세하게 조정해가며 반복 생성해주시면 됩니다.
응용방법이 다양하기에 조금만 공부하시면 얼마든지 하실 수 있을겁니다.
예를 들자면 예전에는 faceswap을 썼지만 요즘에는 stable diffusion을 쓴다..?