흥미로운 AI기업 중에 주목할 만 하지만 검증이 많이 필요한...

아직은 구체적인 무언가로 다가오지 않는... 곳들이 몇 곳 있습니다.

대표적인 경우로는.. 제파가 있겠고, 사카나AI도 그런 곳 중 하나입니다.

https://pub.sakana.ai/diffusionblocks/

이러한 정보를 소개 할 때는 그것이 얼마나 깊이 있는 단계로 나아갔는지 보다

소개 자체의 의의를 두었으면 좋겠습니다.

저도 잘 모르고, 아는 분들에게 도움이 될 수 있는 정보로...

그럼에도 간단하게 요약을 해보자면,

모델 학습을 하다 보면 뻑이 날 때가 있죠.

모델의 층이 깊어 질 수록 기하급수적으로 메모리 사용량이 늘어나게 됩니다.

이에 전체 층의 동시 학습이 아닌 신경망을 여러 블록으로 쪼개어 하나씩 따로 따로 학습하는 방법을 담은 프레임워크를 제안하고 있습니다.

관건은 효율의 추구로 제한된 자원 하의 개인 또는 소기업의  거대 모델 학습의 가능성을 보이는가 여부입니다.

학습이든 추론이든 일단 컨텍스트를 크고 풍부하게 제공하면서 동시에 정확성을 놓치지 않기 위해

여러가지 문제가 돌출 됩니다. 쉽게 말해 문제는... 비용입니다.

그리고 더 높은 성능을 뒷받침하면서 활용성도 높이려면...

메모리의 효율적인 활용이 중요하며, 

성패를 가르는 중요 조건으로 보아도 크게 무리는 없지 싶습니다.