물론 예전에 이슈가 될 만한 오픈소스를 몇 가지 내놓은 적이 있긴 합니다만...

한동안 잠잠하다... 또 하나 내놨습니다.

상당한 물건으로 보이는데, 이게 쓰임새가 제한적이다 보니 화제는 덜 되는 것 같습니다.

즉, 화제가 되긴 되는데, 모델의 가치 대비해서는 덜 한 것 같습니다.

https://huggingface.co/microsoft/FastContext-1.0-4B-SFT

요약하면, 기존 임베딩 모델과 달리 

자율 에이전트로 도구도 사용할 줄 압니다.

이런 것은 특정 모델을 써야하는 앱에서는 동작하지 않고,

에이전트 시스템이 구축 되어 있는 경우에 쓸 수 있습니다.

대표적으로 헤르메스 에이전트와 같은 경우겠죠.

오케스트레이션을 하는 메인 모델이 서브에이전트에게 관련 작업을 맡기면,

이 서브에이전트가 구체적인 과정 까지 자기가 직접 자율적으로 판단해서,

컨텍스트 처리를 해줍니다.

그럼 그렇게 탐색하고 처리 되어 나온 결과물만 메인이 받아 처리하면 됩니다.

즉, 이 모델은 읽고 탐색하여 전처리 해주는 전용 모델이라고 할 수 있겠습니다.

이런 모델이 있다면 이제 임베딩 모델의 역할이 조금 줄어 들지 싶습니다.

완전히 겹치는 것은 아니어서 나름 의미는 살아 있겠지만,

마소 모델의 강점이 훨씬 더 돋보이는 것 같습니다.

특히 이 모델을 사용할 경우 토큰 감소량이 상당히 클 것 같습니다.

API로 모델을 사용할 때 마다 쌓여 가는 데이터를 일일이 전체를 다시 컨텍스트 윈도우 안에

집어넣어야 하는 과정을 중간에 가로채서 필요한 데이터를 척척 찾아서 해주는데,

고작 4B 밖에 되지 않아 노트북이나 데탑 로컬에 물리면 되니... 공짜고요.

실제 사용 후기는 어떠할지 궁금하네요.