안녕하세요

AI 그림 연구에 진심인 Chals 입니다.

오늘은 약속대로 제작한 LoRA의 공유와 제작 및 사용후기(?), 사용방법 안내를 위해 글을 씁니다.

일전에도 글을 남겼지만 LoRA의 제작은 누구나 할 수 있습니다.

우선 Stable Diffusion 이라는 AI를 통해 이미지 생성을 해봤고,

Web-UI 설치를 해보신 분이라면 어렵지 않게 설치하고 LoRA 학습을 진행 할 수 있습니다.

제작 방법에 대한 상세한 설명은 제가 이론에 약해 다른분의 좋은 글을 링크합니다.

기초 사용법 부터 LoRA 학습까지 꾸준히 강좌를 올려두신 루리웹의 '동생대신'님의 글로 대신합니다.

https://bbs.ruliweb.com/community/board/300143/read/59967569

-----------------

LoRA 공유에 앞서 당부 드리는 말...

제가 특별한 능력이 있거나 사명감이 있어서 LoRA 학습을 진행하는 것은 아닙니다.

그저 제가 좋아서, 전통 한복을 입은 사진과 그림이 그저 좋아서 하는 것일 뿐 그 이상의 의미와, 사명감으로 진행하는 일이 아닙니다.

그저 가지고있는 자료 잘 분류하고, 필요하면 다른 자료도 가져오기도 하면서 만든 LoRA이기에 여러분과 나눠쓰고 싶은 마음으로 공유하는 것입니다.

다만 공유되는 자료에 대해 저를 포함해 어느 누구도 저작권이나 사용권 관련해서 주장 할 수 없습니다.

그 이유를 설명 드리면...

처음에는 개인적으로 라이선스를 획득한 이미지 만을 사용해 제작을 진행했습니다.

다만 그 데이터 셋의 수가 적고, 라이센스 이미지의 특성상 모델분이 거의 한두분 돌려막기(...)이기 때문에, LoRA를 사용한 결과물이 자꾸 학습한 원본 데이터의 인물과 유사해지는 과적합이 발생합니다.

때문에 경우에 따라 출처 모를 정규화 이미지를 사용하기도 했고 다양한 데이터 추가를 위해 저도 인터넷에서 수집할 수 있는 이미지 일부를 가져다 학습을 진행 했습니다.

사실 AI 이미지 제작은 많은 시간을 거치며 만들어진 모델들이 대부분 유출되거나 무단 수집된 데이터를 기반으로 하고 있기 때문에 저작권 운운하는게 정당하지 않다는 건 너무 잘 알고 있습니다.

게다가 제가 아무리 정당한(지금으로썬 최선을 다했다고 쳐도) 방법으로 데이터를 수집하고 학습을 진행한다해도, 결국 제작된 결과물이 순수하게 정당하게 확보된 이미지를 통해 제작 되었다고 볼 수 없습니다.

때문에 이 글을 통해 공유하는 LoRA를 사용하시는 여러분도 어떠한 경우에도 개인적 용도 이외의 상업적 용도로 사용하시면 안됩니다.

그저 좋은 그림 좋은 사진 보면서 마음의 평안을 서로 공유하고 나누자는 의미로 배포하는 것이니 오해도 마시고 오용도 마시길 다시 한번 당부드립니다.

이는 앞으로 공유할 모든 LoRA 및 Model 파일 모두 마찬가지 입니다.

** 2차 창작, 3차 창작에 대한 경우는 제작 하는 사람의 입장별로 갑론을박이 있을 수 있고, 그에 대해서는 저 또한 제한적으로라도 권리 주장을 할 수 있는 환경이 조성되어 AI시대에 맞는 새로운 방식의 창작활동이 생겨 났으면 하는 바람을 가져봅니다.

--------------------

오늘 공유할 LoRA 파일은 조선후기를 기반으로 한 상류층(양반) 남성 한복과 여성 한복 입니다.

이번 작업을 하면서 조선시대의 복식을 수박 겉핧기 만큼 공부하면서 복식의 종류가 어마어마하게 많다는 것을 알게되었습니다.

궁중 복식을 제외하고도 양반이하 평민, 노비에 이르기까지 복식의 소재, 종류가 무궁무진 합니다.

이 많은 것을 모두 제작 할 수도 없고 데이터를 구하는 것도 쉽지 않기 때문에, 카테고리를 다소 축소해 제작 중입니다.

양반 / 평민, 노비 로 구분하여 제작 예정이며, 이외의 구분은 상인, 군인 등의 직업 군으로 나누려 합니다.

내부적으로 데이터셋을 계속 버전업 하다보니 남성 한복은 v4, 여성 한복은 v6 까지 제작하게 됐습니다.

여성 한복의 버전이 높은 덕인지 과적합 현상도 적고, 실사/반실사/그림으로 나뉘는 Model 형태에 상관없이 재현도가 높은 편입니다.

모든 자료는 A5000 GPU Plateform / SD 1.5 / DreamBooth LoRA Train 시스템을 기반으로 작성되었습니다.

이미지 큽니다. 클릭해서 보세요

여성 상류층(양반) 비단 한복 LoRA Hanbok_w_v6.safetensors

여성 한복 LoRA는 데이터셋의 양과 안정성이 높고, 비교적 정규화가 잘 이루어져 있어 다양한 환경에서 편하게 사용이 가능합니다.

기본적인 가중치인 1.0에서도 화면 깨짐 없이 안정적인 이미지 출력을 제공하며, 0.5 이상의 가중치 구간에서도 한복의 재현율이 높은 LoRA입니다.

특히 실사 / 반실사 / 그림 Model을 가리지 않고 모두 잘 동작하며, 노이즈 및 색수차 현상이 비교적 적은 편으로 다양한 환경에서 사용 가능합니다.

추천 Trigger : hanbok

실사 모델에 잘 맞구요

그림 모델에도 잘 맞습니다.

겨울 관련 데이터는 학습 시킨적 없는데 잘 나오네요...

여름 관련 학습도 없었는데...

극장판 애니메이션 같은 느낌과도 잘 어울립니다.

당연히 할머님도 표현 가능합니다.

남성 상류층(양반) 비단 한복 LoRA Hanbok_m_v4.safetensors

남성 한복 LoRA의 경우 데이터 셋이 조립식 구조로 되어있는 형태이기 때문에 가중치에 따라 과적합 발생 확률이 높습니다.

남성 의복은 기본적으로 몸에 걸치는 한복외에 머리에 착용하는 상투 + 망건 + 갓의 악세사리가 기본적으로 따라옵니다.

실제 양반들은 갓을 벗을 일이 많지 않았기에 사용할 일은 별로 없겠지만 다양한 활용성을 위해 상투, 망건, 갓을 모두 구분하여 프롬프트로 분리해 두었습니다.

기본적으로는 Hanbok 이라는 프롬프트만으로도 사용 가능하지만, 가중치 및 상태에 따라 별도의 프롬프트를 추가 기입해야 합니다. 

기본적인 가중치인 1.0에서는 사용하는 Model에 따라 과적합이 쉽게 나타날 수 있으며,

그림 Model 에서는 0.5 ~ 0.9 정도의 가중치가 안정적이며 실사/반실사 Model 에서는 0.45 ~ 0.8 사이의 가중치를 추천드립니다.

단, 갓이나 상투를 표현 해야 할 경우 어떤 모델이든 0.6 이상의 가중치를 사용하실 것을 권장드립니다.

추천 Trigger : hanbok, hat, topknot, see-through headband

남성 한복 로라 사용시 기본 프롬프트인 hanbok만 입력하면 높은 확률로 현대식 헤어스타일의 결과물이 나옵니다.

프롬프트에 hat을 추가하면 갓을 쓰고 나오게 되는데, 학습 과정에서 프롬프트 분리를 하지 않으면 현대식 헤어스타일에 갓을 얹어 쓴 형태로 구현될 확률이 높습니다.

이렇게 되면 그냥 현대인이 한복 코스프레 하는 형태로만 결과물이 나오게 되어 사용이 불편한 경우가 있습니다.

때문에 올림머리 형태인 상투(topknot) 태그를 추가하게되었고, 거기에 더해 이마 부분이 훤히 드러나는 것을 방지하기 위해 망건(see-through headband)가 추가되었습니다.

망건의 경우 headband 로만 처리하면 두꺼운 천으로 머리에 두르게 되는데, 이는 후에 제작하게 될 다른 LoRA들의 머리 장식으로 사용될 가능성이 높아 별도로 비치는 형태의 망건 그대로를 반영해 see-through headband로 제작을 진행했습니다.

당연히 노인도 제작 가능하구요...

어린이의 모습도 구현 가능합니다.

이 두 LoRA는 의상의 색상, 길이 악세사리의 추가 등을 통해 조정하면 예상한 것보다 다양한 계급에서 사용 가능 할 것으로 보이며, 특히 두 LoRA를 잘 조합해 사용하면 아래와 같은 이미지도 제작이 가능합니다.

인물별 LoRA 적용 방법에 대해서는 별도의 Extension을 사용하거나 inpaint 노가다를 진행하시면 됩니다.

AI 그림은 상상하는 모든것을 눈앞에 구현해 주는 좋은 도구 입니다.

다만 AI도 세상 만물을 모두 아는것은 아니기 때문에 배우고 학습하는 과정을 거쳐야 더 많은 것을 보여 줄 수 있습니다.

아주 작은 예시이자 사소한 시도이지만 이렇게 한복 LoRA를 제작하며 다양한 것들을 경험하고 상상하던 많은 것들을 만들어 가고 있습니다.

이를테면 이런 이미지들...같은 것 말이죠.

이 이미지 때문에 후방 달까 말까 고민했습니다...

남장여자 가능합니다. 여장남자는 패스할게요...

다음에 또 다른 LoRA 들고 오도록 하겠습니다.

그동안 Hanbok LoRA로 많은 이미지들 제작 해보시기 바랍니다.

감사합니다.

================================

여성 한복 LoRA Hanbok_w_v6.safetensors

Female Noble Class Hanbok - Korea Clothes | Stable Diffusion LORA | Civitai

남성 한복 LoRA Hanbok_m_v4.safetensors

Male Noble Class Hanbok - Korea Clothes | Stable Diffusion LORA | Civitai