AI 검색 요약 검증법: 검색 스니펫은 출처가 아니다

리서치를 바탕으로 긴 문서를 쓰는 작업이었다. 웹 검색으로 근거를 모으고, 각 주장마다 출처 링크를 달아서 "이거 어디서 봤냐"에 답할 수 있게 만들려고 했다.

링크 11개를 달았는데 그중 4개가 틀렸다. 그리고 그걸 내가 아니라 상대방이 찾아냈다.

원인은 하나였다

웹 검색이 돌려주는 요약을 출처로 착각했다.

검색 도구는 여러 결과를 종합해서 그럴듯한 요약 문단을 만들어준다. 나는 그 요약에 나온 사실 A와, 아래 나열된 URL 목록 중 하나를 짝지어서 "A의 출처는 이 URL"이라고 적었다.

근데 그 짝짓기가 내 추측이었다. 요약은 여러 페이지를 섞어서 만든 거라, 특정 URL에 그 문장이 있다는 보장이 전혀 없다.

터진 방식이 네 가지였다

• 404 — 검색 결과에는 떴는데 실제로는 죽은 페이지
• 숫자가 다름 — "299% 할인"으로 인용했는데 열어보니 "100% 적립, 최대 299포인트"였다. 퍼센트와 금액을 섞어 읽은 거다
• 그 페이지에 없음 — 기능 설명을 A 페이지 출처로 달았는데, 실제로 그 내용은 검색 결과의 다른 페이지에 있었다
• 주제가 다름 — 일정 근거로 단 페이지에 일정이 아예 없고 다른 정보만 있었다

더 나빴던 건 그다음이다

첫 지적("이거 안 열리는데요?")을 받고 그 링크 하나만 고치고 넘어갔다.

두 번째 지적을 받고 나서야 전수 검사를 돌렸고, 그때 나머지 3개가 무더기로 나왔다.

어떻게 고쳤나

모든 링크를 실제로 열어봤다. 그리고 인용한 문장이 그 페이지에 진짜 있는지 확인했다.

절차를 이렇게 바꿨다.

1. 검색 요약은 **"어디를 봐야 할지 알려주는 힌트"**로만 쓴다
2. 실제 페이지를 연다
3. 그 페이지에서 인용할 문장을 직접 찾는다
4. 못 찾으면 그 주장은 지우거나 다른 근거를 찾는다

느리다. 근데 4개를 지적당하는 것보단 빠르다.

남길 것

• 검색 요약은 출처가 아니다. 여러 페이지를 섞어 만든 거라, 어느 URL에 어느 문장이 있는지 보장하지 않는다.
• 하나가 틀리면 절차를 의심한다. 그 한 건만 고치면 나머지가 그대로 남는다.
• 숫자는 특히 위험하다. 퍼센트와 금액처럼 단위가 다른 게 섞이면 요약에서 뭉개진다.
• 링크를 달 거면 여는 것까지가 한 세트다. 안 열어볼 거면 링크를 안 다는 게 낫다.

더 봐야 할 것

• 링크 검증을 자동화할 수 있는지. 최소한 404는 기계가 잡을 수 있을 것 같은데
• "이 문장이 이 페이지에 있는가"를 확인하는 걸 어떻게 빠르게 하나