OpenAI의 CLIP 모델을 이용해서 이미지를 검색하는 오픈소스 프로젝트입니다.
CLIP이 자연어를 지원하기 때문에 일반적인 이미지 검색 사이트보다 더 자세한
검색어를 입력할 수 있습니다.
이 오픈소스에는 Unsplash Dataset라는 공개된 이미지들을 사용했는데,
자신이 촬영한 이미지 또는 동영상 속 이미지 등도 가능합니다.
아래 그림은 이 오픈소스를 이용해 이미지 검색 웹페이지를 만든 화면입니다.(이미지 데이터셋은 위와 동일)
한가지 단점은 영어만 가능하기 때문에 한국어를 사용할려면 영어로 번역해 줘야 한다는 점입니다.
모바일 앱도 있어서 설치했습니다^^
첨에는 구글 Colab를 이용하는 게 그나마 쉬운 편입니다.
구글 Colab 사용법을 검색한 후 아래 링크를 Colab에서 연 다음 단계별로 실행해 보세요.
https://colab.research.google.com/github/haltakov/natural-language-image-search/blob/main/colab/unsplash-image-search.ipynb
동영상의 프래임을 일정 시간마다 추출해서 이미지로 저장한 후 검색하면 이미지의 수가 그리 많지 않습니다.
추출 간격을 잘 조정해 주면 될 겁니다.
아래 Github 오픈소스를 참고해 보세요.
https://github.com/haltakov/natural-language-youtube-search