[Major Update] Reference-only Control
https://github.com/Mikubill/sd-webui-controlnet/discussions/1236
* 아래부터 딥엘 번역기로 옮겼어요.
이제 컨트롤 모델이 필요 없는 레퍼런스 전용 프리프로세서(preprocessor)가 생겼습니다. 이미지를 레퍼런스로 사용하여 직접 Diffusion을 유도할 수 있습니다.
(프롬프트 "a dog running on grassland, best quality, ..." / 초원을 달리는 개, 최고 품질, ...)
이 방법은 인페인트 기반 참조와 유사하지만 이미지가 흐트러지지 않습니다.
많은 전문가급 A1111 유저들은 인페인트 방식으로 레퍼런스 이미지를 디퓨즈(diffuse)하는 트릭을 알고 있습니다. 예를 들어 512x512 크기의 강아지 이미지가 있고 같은 강아지가 있는 다른 512x512 이미지를 생성하려는 경우 일부 사용자는 512x512 강아지 이미지와 512x512 빈 이미지를 1024x512 이미지로 연결하여 인페인트로 전송한 다음 512x512 빈 부분을 마스킹하여 비슷한 모양의 강아지를 디퓨즈하는 방법을 사용하기도 합니다. 그러나 이 방법은 이미지가 연결되면 많은 왜곡이 나타나기 때문에 일반적으로 만족스럽지 않습니다.
이 reference-only ControlNet은 SD의 어텐션 레이어(attention layers)를 어떤 개별 이미지에든 직접 연결할 수 있으므로, SD가 참고용으로 임의의 이미지를 읽을 수 있습니다. 이 기능을 사용하려면 ControlNet 1.1.153 이상이 필요합니다.
사용하려면 프리프로세서를 reference-only로 선택하고 이미지를 넣으면 됩니다. SD는 이미지를 참고용으로만 사용합니다.