기타
ai 대화목록 어떻게 관리하시는지요...?
조회 1,927 · 공감 0 · 댓글 18
안녕하세요 @@
ai를 사용하다보면 주제별로 많은 대화목록이 생성되는데요
주제가 달라도 기존 대화에 계속 이어서 대화하는 것이 좋은지요 아니면 주제별로 각각을 새로 생성해서 대화하는 게 좋은지요...?
주제별로 새로 생성하면 제목만 봐도 예전 대화를 찾아보기 쉽지만
속도가 느려진다는 등의 다른 단점 같은 게 생겨서 설령 주제가 달라지더라도 하나의 대화에 계속 이어서 하는 게 좋을까요...?
댓글 18
휘발성 대화는 그냥 만들었다가 나중에 삭제하고요.
개발할 때는 한 대화를 가급적 이어갑니다.
운동이나 회의록 등 연속성이 없지만 성격이 동일한 경우 프로젝트 내 매 번 채팅을 새로 파고,
히스토리나 메모리는 노션 등에 기록해서 매 번 읽게 해요
정크용은 대부분 바로 삭제합니다. 개인도 개인정보 들어간 건 바로 삭제했고 요즘은 여러가지 경험으로 무조건 LLM 사용합니다. 업무용도 결과물을 선별적으로 PDF 저장해서 보관했다가 개인적으로 구축한 자가학습 rag나 gemini gem에서 처리하고 이렇게 수집 정리된 대화창은 삭제합니다.
여러가지가 있겠지만....대학원 시절 연구자료부터 해서 현직 업무 자료까지 개인 NAS(32TB 정도)에 자료를 이용해 논문, 보고서, 회의자료를 만드니 보안이 중요해서 시놀로지 조합으로 자가학습으로 rag를 구축해 놓고 씁니다.... 당연히 시놀로지 docker에 올려서 자동화를 구축해 놓았기 때문에 아이패드 미니를 업무용 수첩처럼 써서 회의 자료 녹음해서 텍스트화 해서 다음날 회의 자료를 알아서 정리 및 보완해서 1~2페이지 분량의 회의자료도 자동으로 만들도록 해 놓았습니다. 변환 및 작성은 아이패드 미니에서 단축어와 자동화로 그냥 퇴근하면 시놀로지에 전송해서 작업을 알아서 시작해요. 집에 도착하면 텔레그램으로 규정된 양식에 맞춰진 pdf 문서가 와 있으니 잠시 검토해서 수정 사항이 있으면 별도 만들어 놓은 webui에 수정 사항 입력 해두면 열심히 시놀로지가 수정해요. 취침 전 다시 검토해 놓으면 다음날 정해진 시간에 회의에 참석하는 수석급/책임급들 단톡방에 배포해줘요. 이게 루틴하게 이루어지는 일상인데 저는 그냥 폰/아이패드 미니만 보면 되니까요. 당연히 논문이나 보고서도 이런 방식으로 구축해 놓아서 주제어와 개요(프롬프트도 이미 세팅해 놓았아서 자유롭게 입력하면 정해진 프롬프트 양식에 맞춰 작성함)를 입력하면 초안이 모두 만들어지죠.결국 llm을 쓰는 이유는 rag를 구축하기 위함이고, 이러면 소위 hallucination이 없어요. 특히 논문 작성히 허위 논문 인용 등이 절대 발생하지 않으니까요.
물론 llm과 nas 없이도 구축 가능한데...부 계정들은 github로 구축해서 쓰기도 하는데.....확실히 편한 건 github에서 만들어 놓는 것이지만 방대한 자료를 다뤄야 하니까요.
여담이지만 ai 때문이라도 이제는 신규 직원 채용이 정말 필요없고, 헤드급 + 비정규직만 있어도 돌아갈 거 같은 세상이네요. 특히 몇 년전만 해도 보고서 작성하려면 팀원들 멘탈 관리 때문에 힘들어하던 팀장들 하소연이 현저히 줄었네요.