잘 쓴 문서가 AI한테 스킵당하는 이유

UX라이팅 봇을 만들면서 AI와 고군분투하며 얻은 팁에 대한 내용입니다. 

용어사전과 맞춤법은 거의 완벽하게 지키면서도 고객 친화적인 접근이 필요한 문구는 캐치하지 못했어요.

근본 원인을 파악하기 위해 Anthropic 공식 가이드와 구글 크롬 개발진의 AI 에이전트 스펙을 연구한 결과, AI가 문서를 읽는 방식이 인간과 근본적으로 다르다는 점을 발견했습니다.

• AI는 문서를 이해하며 읽지 않고 답을 찾기 위해 청크 단위로 스캔합니다 

• 신입 온보딩과 달리 매 요청마다 처음 보는 문서처럼 접근하므로 일관성 있는 적용이 어렵습니다

• Lost in the Middle 현상으로 긴 문서의 중간 내용은 처리 정확도가 떨어집니다

• 행간을 맥락으로 채우지 못해 "적절히", "자연스럽게" 같은 모호한 표현은 기본값으로 해석됩니다

이를 해결하기 위해 적용한 구체적 개선 방안은 다음과 같습니다.

• 언제 읽을지를 rules 폴더로 분리해 매니페스트 기반 라우팅 구조 도입

• 문서 첫 줄을 한 줄 명사구로 통일하여 AI용 색인 카드 역할 수행

• "간결하게" 대신 "40자 이내", "친절하게" 대신 "해요체 통일" 같이 구체적 조건으로 변경

• 예외 규칙은 판단 트리로 구조화해 단계별 확인 프로세스 제공

결과적으로 AI용 지침은 "무엇을 하라"가 아니라 "무엇을 먼저 확인하라"는 의사결정 흐름이 있을 때 훨씬 효과적이라고 해요.

평가(eval) 체계도 중요한데, 봇의 실패 사례를 수집해 인간의 관점에서 분석하고, 반복되는 패턴만 규칙으로 승격시키는 방식으로 지속적 개선을 진행합니다. 감각이 중요한 UX라이팅 영역에서 AI는 추상화된 영역을 명확하게 이해하기 어려우므로, 꾸준한 eval이 필수적이라고 합니다. 

어디서 보았는데, 클로드는 100만 토큰까지 문서를 읽을 수 있지만, 문서가 지나치게 길어지면 프롬프트의 '중간'에 위치한 내용을 일부 놓치거나 세부 지시를 누락하는 인지 저하 현상(Recall Degradation)이 발생할 수 있다고도 하네요. 

문서 참고할 때도 함께 고려해야할 것 같아요.