이번에 마이크로소프트에서 오픈소스로 개발한 phi-4 를  맛보게 되었네요.

여지껏 로컬로 돌릴 수 있을 만한 한국어 llm이 마땅치 않아서

NC소프트에서 만든 모델 같은거로 테스트를 하거나 하는 수준이었는데,

이번에 진짜 제대로 된 모델이 나왔어요.

능력이  gpt4o 와 비교해도 손색없을 정도 입니다.

일단 팩트에 대한 부분은 뭐...

낮은 점수가 나왔지만

데이터 세트가 그만큼 충분하지 않기 때문에 넘어가기로 하죠.

하지만 다른 영역은 상당히 괜찮습니다. 굳이 온라인을 통하고 가입을 하고 ....

다 필요 없이 집에서 그냥 로컬로 돌려도 충분한 능력을 이끌어내고 있습니다.

일례로, 기존 라마 같은 버전에서는 한글이 거의 불가능 했죠.

llama3.2 버전은... 뭐 1기가 수준도 안되는 놈이라...

소개도 제대로 못하는 모델이었습니다.

이번에 제시된 phi4 는 9기가 정도 되는 녀석인데요.

보시다 시피 상당히 한국어를 잘 구사하고 있습니다.

요즘 저는 집에서 로컬로 돌릴 수 있는 비디오 생성형 ai에 관심이 많은데요.

영어로 프롬프트를 부탁한다는 명령을 내렸습니다.

내가 정확히 의도한 바는 아니지만 그래도 꽤나 정확한 이해를 바탕으로 프롬프트를 제시해 주고 있습니다.

그래서 저는 다시 맥락을 이해시키기 위해 다시 한번 요청을 해 봤지요.

이 정도의 출력을 보여주네요.

참고로 이 녀석은 PDF나 텍스트 파일을 업로드 하면

분석 할 수 있는 기능이 탑재되어 있습니다.

따라서 번역 및 기타 자료 정리용으로 꾀나 요긴하게 쓰일 수 있을 것 같고요.

응답속도 또한 상당히 빠릅니다.

RTX4080 super 기준 초당 50개의 문자열을 내뱉고 있습니다.

4070도 돌아간다고 합니다.

3060은 잘 모르겠지만, 12기가 메모리 짜리는 돌아갈 수 있을 듯 합니다.

=-=-=-=-=-=-=-=-=-=-=

요즘 시국이 어수선하여 모든 관심이 정치쪽으로 집중되어 있지만,

그렇다고 우리의 연구 및 취미 활동까지 마다할 순 없지요!

이번주에 꼭 내란범이 잡히길 바라며 글 올립니다.