6장. Prompt Tracking은 평균 내면 망한다

AI visibility 측정에서 가장 흔한 실수는 평균을 보는 것이다.

"ChatGPT에서 우리 브랜드가 몇 번 언급됐는가" 같은 숫자는 출발점일 수 있지만 결론이 되면 위험하다. 어떤 모델인지, 검색이 켜졌는지, reasoning 강도가 어떤지, 프롬프트가 buyer journey의 어느 단계인지, 답변이 citation인지 mention인지, 사용자가 후속 질문을 했는지에 따라 결과가 달라진다.

특히 reasoning mode는 따로 봐야 한다.

복잡한 비교, 규제, 구매, 구현 질문에서는 AI가 더 많은 검색을 수행할 수 있다. 이때 나타나는 citation set은 단순 질문의 결과와 다를 수 있다. 평균을 내면 두 개의 다른 시스템을 하나로 뭉개게 된다.

측정은 최소한 다음 축으로 나눈다.

이 중 특히 citation과 mention을 구분해야 한다.

citation은 링크로 인용되는 것이다. mention은 본문에 이름이 등장하는 것이다. 둘 다 가치가 있지만 의미가 다르다. citation은 근거 지위를 얻은 것이고, mention은 solution space 안에 들어간 것이다. 어떤 브랜드는 인용되지 않아도 계속 언급될 수 있고, 어떤 사이트는 인용되지만 브랜드 기억은 약할 수 있다.

또 하나 봐야 할 것은 persistence다.

한 번의 프롬프트에서 보이는 것보다, 대화가 진행되며 계속 살아남는지가 중요하다. Problem 단계에서 우리 문제 정의가 들어갔는데 Comparison과 Selection에서 사라진다면 초기 교육은 있지만 결정 근거가 약한 것이다. Selection에서만 보인다면 구매 직전에는 강하지만 category shaping은 약한 것이다.

운영 대시보드는 이렇게 시작하면 충분하다.

• 핵심 고객 세그먼트 3개
• 세그먼트별 buyer journey prompt 25개
• 각 prompt의 fan-out 예상 query 10개
• 엔진별 월 1회 실행
• citation URL, mention brand, answer stance, missing evidence 기록
• 다음 달 콘텐츠 backlog로 연결

측정의 목적은 보고서가 아니다.

어떤 질문에서 우리 URL이 빠지는지 찾는 것이다. 어떤 단계에서 경쟁사가 근거로 쓰이는지 보는 것이다. 어떤 하위 질문에 대응 페이지가 없는지 확인하는 것이다. 측정은 콘텐츠 생산량을 늘리기 위한 핑계가 아니라, 근거 지도의 빈칸을 찾는 도구다.