운영자입니다.

공지는 아니구요... claude 5시간 한도가 한시간 남아서... 기다리는 동안 그동안 일들을 두서없이 공개해봅니다.

아래는 작년 광군절때(메모리 폭등 직전) 구입한 장비들을 자작 미니랙에 넣은 모습니다.

제일 아래에 로컬 llm 돌아가는 Minisforum MS-S1 MAX (AI MAX+395) 가 있구요. 128GB통합메모리로 VRAM에 96GB 할당할 수 있습니다.
그리고 그 위에 7840HS(8core 16스레드) 두대가 역시 메모리 가격 폭등 전에 128GB 꽉 채워서 다양한 것들이 돌아가고 있고,
제일 위에 MikroTik RB5009가 이 장비만 쓰는 격리망으로 클라우드와 vpn으로 연동되어 돌아갑니다. 

작년 초에 IDC에서 클라우드로 이전하면서 어마어마한 삽질 끝에 인프라 관리를 혼자서, 아니 AI와 같이 할 수 있게 되고,
자신감이 붙어서 크리티컬하지 않은, 서비스에 큰 영향이 없는, 시도들을 이 장비로 해봤지요.
예를들면 게시판 검색 (상단의 통합검색말고..)이  과거에는 최근 6개월치밖에 안되었었는데... 이제는 25년치 다 된다는 사실을 알고계신 분들이 별로 없으실겁니다. 이 검색 시스템을 몰래 구축했었어요. clickhouse 좋더라구요!

그거 말고도 게시물 목록 구현도 과거보다 더 향상된 방식으로 아예 다 뜯어고쳐서 파일럿을 여기서 돌려보고, 라이브에 적용하기도 하고... 그래서 필터도 더 쉽게 구현 가능했고...

기타등등 아직 공개하기 어려운 것들이나 시도했다가 폐기된 다양한 시도들도 해봤습니다.

AI가 정말 한달마다 한 계단씩 성능이 좋아지고 있는것이 느껴져요. 

지금 하고 있는 일들이 끝나면 다음엔 또 무얼 할 수 있을지 기대됩니다.