pytorch 재설치 및 xformers 컴파일하면 성능이 향상된다고 하여 조금 더 찾아보았습니다.
일단 현 상태에서 다음 절차대로 하면 컴파일은 안해도 되는 것 같습니다.
1. 관리자권한으로 powershell 실행 (윈도우 시작-powershell 입력-우클릭하여 관리자권한으로 실행)
2. webui가 설치된 폴더로 이동 (사용자마다 다르므로 cd 명령을 사용하여 적절히 이동. 경로는 탐색기에서 복사하면 됩니다)
3. venv\Script 폴더로 이동 후 .\activate 입력하여 venv 실행
녹색 (venv) 프롬프트가 떠야 합니다.
만약 권한 오류 발생시에는 Set-ExecutionPolicy Unrestricted 명령을 내려 권한을 풀어줍니다.
4. pytorch 2.0 설치
pip install https://download.pytorch.org/whl/cu118/torch-2.0.0%2Bcu118-cp310-cp310-win_amd64.whl https://download.pytorch.org/whl/cu118/torchvision-0.15.0%2Bcu118-cp310-cp310-win_amd64.whl
5. xformers 0.0.17rc482 설치
pip install xformers==0.0.17rc482
6. pip list | select-string 'torch|xformers' 명령으로 torch 2.0.0, xformers 0.0.17rc482 버전이 설치되었는지 확인
결과: 512x768 기준 저의 믹스 모델에서 27it/s 정도로 향상 (기본 모델은 28.5it/s 정도)
pytorch 2.0을 설치시 cudnn 8.7.0이 설치되는데 cudnn 8.8.1로 덮어써도 성능 향상은 별로 없었습니다.
그리고 system info 익스텐션 설치하여 벤치도 돌려봤는데 온라인 결과상 최고값는 51.06it/s 이던데 동일한 모델에 이리저리 만져봐도 42it/s를 넘기기 어려웠습니다.
향후 pytorch 및 xformers 업데이트가 나오면 업데이트된 버전으로 설치해 주시는게 좋을것 같습니다.
--opt-sdp-attention 요 옵션이 아마 켜주는 걸껍니닷. 전 xformers 설치하기 싫엇 그냥 요거 쓰는데 나름 괜찮은거 같아요