안녕하세요
AI 그림 연구에 진심인 Chals 입니다.
오늘은 약속대로 제작한 LoRA의 공유와 제작 및 사용후기(?), 사용방법 안내를 위해 글을 씁니다.
일전에도 글을 남겼지만 LoRA의 제작은 누구나 할 수 있습니다.
우선 Stable Diffusion 이라는 AI를 통해 이미지 생성을 해봤고,
Web-UI 설치를 해보신 분이라면 어렵지 않게 설치하고 LoRA 학습을 진행 할 수 있습니다.
제작 방법에 대한 상세한 설명은 제가 이론에 약해 다른분의 좋은 글을 링크합니다.
기초 사용법 부터 LoRA 학습까지 꾸준히 강좌를 올려두신 루리웹의 '동생대신'님의 글로 대신합니다.
https://bbs.ruliweb.com/community/board/300143/read/59967569
-----------------
LoRA 공유에 앞서 당부 드리는 말...
제가 특별한 능력이 있거나 사명감이 있어서 LoRA 학습을 진행하는 것은 아닙니다.
그저 제가 좋아서, 전통 한복을 입은 사진과 그림이 그저 좋아서 하는 것일 뿐 그 이상의 의미와, 사명감으로 진행하는 일이 아닙니다.
그저 가지고있는 자료 잘 분류하고, 필요하면 다른 자료도 가져오기도 하면서 만든 LoRA이기에 여러분과 나눠쓰고 싶은 마음으로 공유하는 것입니다.
다만 공유되는 자료에 대해 저를 포함해 어느 누구도 저작권이나 사용권 관련해서 주장 할 수 없습니다.
그 이유를 설명 드리면...
처음에는 개인적으로 라이선스를 획득한 이미지 만을 사용해 제작을 진행했습니다.
다만 그 데이터 셋의 수가 적고, 라이센스 이미지의 특성상 모델분이 거의 한두분 돌려막기(...)이기 때문에, LoRA를 사용한 결과물이 자꾸 학습한 원본 데이터의 인물과 유사해지는 과적합이 발생합니다.
때문에 경우에 따라 출처 모를 정규화 이미지를 사용하기도 했고 다양한 데이터 추가를 위해 저도 인터넷에서 수집할 수 있는 이미지 일부를 가져다 학습을 진행 했습니다.
사실 AI 이미지 제작은 많은 시간을 거치며 만들어진 모델들이 대부분 유출되거나 무단 수집된 데이터를 기반으로 하고 있기 때문에 저작권 운운하는게 정당하지 않다는 건 너무 잘 알고 있습니다.
게다가 제가 아무리 정당한(지금으로썬 최선을 다했다고 쳐도) 방법으로 데이터를 수집하고 학습을 진행한다해도, 결국 제작된 결과물이 순수하게 정당하게 확보된 이미지를 통해 제작 되었다고 볼 수 없습니다.
때문에 이 글을 통해 공유하는 LoRA를 사용하시는 여러분도 어떠한 경우에도 개인적 용도 이외의 상업적 용도로 사용하시면 안됩니다.
그저 좋은 그림 좋은 사진 보면서 마음의 평안을 서로 공유하고 나누자는 의미로 배포하는 것이니 오해도 마시고 오용도 마시길 다시 한번 당부드립니다.
이는 앞으로 공유할 모든 LoRA 및 Model 파일 모두 마찬가지 입니다.
** 2차 창작, 3차 창작에 대한 경우는 제작 하는 사람의 입장별로 갑론을박이 있을 수 있고, 그에 대해서는 저 또한 제한적으로라도 권리 주장을 할 수 있는 환경이 조성되어 AI시대에 맞는 새로운 방식의 창작활동이 생겨 났으면 하는 바람을 가져봅니다.
--------------------
오늘 공유할 LoRA 파일은 조선후기를 기반으로 한 상류층(양반) 남성 한복과 여성 한복 입니다.
이번 작업을 하면서 조선시대의 복식을 수박 겉핧기 만큼 공부하면서 복식의 종류가 어마어마하게 많다는 것을 알게되었습니다.
궁중 복식을 제외하고도 양반이하 평민, 노비에 이르기까지 복식의 소재, 종류가 무궁무진 합니다.
이 많은 것을 모두 제작 할 수도 없고 데이터를 구하는 것도 쉽지 않기 때문에, 카테고리를 다소 축소해 제작 중입니다.
양반 / 평민, 노비 로 구분하여 제작 예정이며, 이외의 구분은 상인, 군인 등의 직업 군으로 나누려 합니다.
내부적으로 데이터셋을 계속 버전업 하다보니 남성 한복은 v4, 여성 한복은 v6 까지 제작하게 됐습니다.
여성 한복의 버전이 높은 덕인지 과적합 현상도 적고, 실사/반실사/그림으로 나뉘는 Model 형태에 상관없이 재현도가 높은 편입니다.
모든 자료는 A5000 GPU Plateform / SD 1.5 / DreamBooth LoRA Train 시스템을 기반으로 작성되었습니다.
여성 상류층(양반) 비단 한복 LoRA Hanbok_w_v6.safetensors
여성 한복 LoRA는 데이터셋의 양과 안정성이 높고, 비교적 정규화가 잘 이루어져 있어 다양한 환경에서 편하게 사용이 가능합니다.
기본적인 가중치인 1.0에서도 화면 깨짐 없이 안정적인 이미지 출력을 제공하며, 0.5 이상의 가중치 구간에서도 한복의 재현율이 높은 LoRA입니다.
특히 실사 / 반실사 / 그림 Model을 가리지 않고 모두 잘 동작하며, 노이즈 및 색수차 현상이 비교적 적은 편으로 다양한 환경에서 사용 가능합니다.
추천 Trigger : hanbok
남성 상류층(양반) 비단 한복 LoRA Hanbok_m_v4.safetensors
남성 한복 LoRA의 경우 데이터 셋이 조립식 구조로 되어있는 형태이기 때문에 가중치에 따라 과적합 발생 확률이 높습니다.
남성 의복은 기본적으로 몸에 걸치는 한복외에 머리에 착용하는 상투 + 망건 + 갓의 악세사리가 기본적으로 따라옵니다.
실제 양반들은 갓을 벗을 일이 많지 않았기에 사용할 일은 별로 없겠지만 다양한 활용성을 위해 상투, 망건, 갓을 모두 구분하여 프롬프트로 분리해 두었습니다.
기본적으로는 Hanbok 이라는 프롬프트만으로도 사용 가능하지만, 가중치 및 상태에 따라 별도의 프롬프트를 추가 기입해야 합니다.
기본적인 가중치인 1.0에서는 사용하는 Model에 따라 과적합이 쉽게 나타날 수 있으며,
그림 Model 에서는 0.5 ~ 0.9 정도의 가중치가 안정적이며 실사/반실사 Model 에서는 0.45 ~ 0.8 사이의 가중치를 추천드립니다.
단, 갓이나 상투를 표현 해야 할 경우 어떤 모델이든 0.6 이상의 가중치를 사용하실 것을 권장드립니다.
추천 Trigger : hanbok, hat, topknot, see-through headband
남성 한복 로라 사용시 기본 프롬프트인 hanbok만 입력하면 높은 확률로 현대식 헤어스타일의 결과물이 나옵니다.
프롬프트에 hat을 추가하면 갓을 쓰고 나오게 되는데, 학습 과정에서 프롬프트 분리를 하지 않으면 현대식 헤어스타일에 갓을 얹어 쓴 형태로 구현될 확률이 높습니다.
이렇게 되면 그냥 현대인이 한복 코스프레 하는 형태로만 결과물이 나오게 되어 사용이 불편한 경우가 있습니다.
때문에 올림머리 형태인 상투(topknot) 태그를 추가하게되었고, 거기에 더해 이마 부분이 훤히 드러나는 것을 방지하기 위해 망건(see-through headband)가 추가되었습니다.
망건의 경우 headband 로만 처리하면 두꺼운 천으로 머리에 두르게 되는데, 이는 후에 제작하게 될 다른 LoRA들의 머리 장식으로 사용될 가능성이 높아 별도로 비치는 형태의 망건 그대로를 반영해 see-through headband로 제작을 진행했습니다.
이 두 LoRA는 의상의 색상, 길이 악세사리의 추가 등을 통해 조정하면 예상한 것보다 다양한 계급에서 사용 가능 할 것으로 보이며, 특히 두 LoRA를 잘 조합해 사용하면 아래와 같은 이미지도 제작이 가능합니다.
인물별 LoRA 적용 방법에 대해서는 별도의 Extension을 사용하거나 inpaint 노가다를 진행하시면 됩니다.
AI 그림은 상상하는 모든것을 눈앞에 구현해 주는 좋은 도구 입니다.
다만 AI도 세상 만물을 모두 아는것은 아니기 때문에 배우고 학습하는 과정을 거쳐야 더 많은 것을 보여 줄 수 있습니다.
아주 작은 예시이자 사소한 시도이지만 이렇게 한복 LoRA를 제작하며 다양한 것들을 경험하고 상상하던 많은 것들을 만들어 가고 있습니다.
이를테면 이런 이미지들...같은 것 말이죠.
다음에 또 다른 LoRA 들고 오도록 하겠습니다.
그동안 Hanbok LoRA로 많은 이미지들 제작 해보시기 바랍니다.
감사합니다.
================================
여성 한복 LoRA Hanbok_w_v6.safetensors
Female Noble Class Hanbok - Korea Clothes | Stable Diffusion LORA | Civitai
남성 한복 LoRA Hanbok_m_v4.safetensors
Male Noble Class Hanbok - Korea Clothes | Stable Diffusion LORA | Civitai
그런 결과물을 이렇게 공유해 주셔서 감사합니다.
열심히 잘 써보겠습니다!
시로무쿠랑 신사이미지가 혼합된거 같네요.
아무래도 아직 한복 데이터가 적어서 그렇겠지요.
정말 대단하세요. 항상 보면서 감탄하고 있습니다.
저도 시도해보고 싶은데 저에겐 생각보다 어려워서 ㅠㅠ
맨날 눈팅만 하고 있습니다.
주말에 한번 도전해보겠습니다. 감사합니다
이런 노력을 통해서 우리나라의 훌륭한 전통이 더 잘 표현되고 많이 알려지면 좋겠네요.
저도 배워서 잘 활용해 보고 싶습니다. ㅎㅎ
자 이제, 고려시대로 가 봅시다!!!
그 다음은 통일신라와 발해, 삼국시대까지… ㅎㅎㅎ
아직 SD 잘 못 다루지만, 얼마나 대단한 일 하고 계신지는 알 것 같습니다.
응원합니다.
그런데 파일명이 이렇게 되어 있어서 예시랑 다운로드 파일명이랑 똑같으면 편하게 복붙하지 않을까하는 의견 드립니당ㅎㅎ
<lora:femaleNobleClassHanbok_v06:0.7>
맨날 중국에서 hanfu라고 로라 만들어서 배포하던거 보면서 정말 아쉬워했는데 한국 한복이 나와서 너무 기쁨니다..!!
취미생활 너무 응원드립니다!!
혹시 나중에 한옥 필요하시면 말씀해주세요ㅎㅎ
근무지가 광화문이라 돌담길이나 기와같은거 사진 많이 찍어서 드리겠습니다
이렇게 연구하고 공유하시는 분이 계서서 더 발전하는 것 같습니다.
잘 쓸게요. ^^
다만 평민 이하 특정 계층에서는 저고리의 길이도 짧아지고 속치마 착용을 생략한 경우가 많았는데 그 과정에서 겉치마를 올려입기 어려워 저런 복장의 형태가 나타났던 것으로 보면 됩니다.
그래서 반드시 속치마를 입는 비단 한복을 입고 밑가슴이 드러나는 경우는 거의 없(양반가의 규수가 쫓겨나려 일부러 그렇게 입지 않는 이상...)다고 보시는게 맞을 것 같습니다.
결과물도 멋진데 아직 AI는 손가락에 좀 약한가봅니다.
중간중간 외계인 손가락이 ㅋㅋㅋ
진짜 몰지각한 사용자들이 제작자한테 '난 상업적 이용 할 건데? 니가 뭘 할 수 있는데' 따위의 역 패드립 건 심심찮게 봐왔습니다.
요즘 같은 시대에 몰지각한 업체 / 개인이 너무 많으므로 공유는 진짜 조심해야 합니다.
실제로 많은 수의 Model 제작자 분들이 데이터 삭제 및 공유 중단 선언을 하고 계시구요...
저도 Civitai 업로드에 대해 고민을 안한건 아닌데...
결국 플랫폼이 편해야 사용도 편하게 할것 같아 우선 Civitai에 공유했습니다.
상황을 좀 더 지켜 보려구요.
2060으로도 로라 학습시킬수 있을까요??