AI 검색 서비스가 웹사이트에 보내는 요청은 서버 로그에서 장기 수집(crawl)과 실시간 인용(ai_cite)으로 나뉩니다. 두 요청은 뜻이 다르므로, 합쳐서 세면 사이트가 AI 답변 과정에서 얼마나 조회되는지를 잘못 읽게 됩니다. 한 사이트의 한 달 로그에서는 AI 요청의 약 93%가 장기 수집이었습니다.
장기 수집과 실시간 인용의 뜻
장기 수집(crawl)은 AI 서비스가 모델 학습이나 검색 색인을 위해 페이지를 미리 수집하는 요청입니다. 사용자의 질문과 관계없이 주기적으로 들어옵니다. 따라서 요청이 많다고 해서 특정 답변에 사이트가 쓰였다는 뜻은 아닙니다.
실시간 인용(ai_cite)은 사용자가 질문한 시점에 AI 서비스가 답변을 만들기 위해 페이지를 가져가는 요청입니다. 질문과 함께 발생하므로, 사이트가 답변의 근거 후보로 조회되었는지를 보여 주는 지표에 가깝습니다. 다만 가져간 페이지가 답변 화면에 인용 링크로 실제 노출되었는지는 서버 로그만으로 확인할 수 없습니다.
아래 관측 사례에서도 두 요청의 규모가 크게 달랐습니다. AI 요청 전체를 하나의 숫자로 보고하면 답변 과정에서의 조회 규모가 부풀려 보일 수 있습니다. 그래서 처음부터 두 유형을 나누어 집계합니다.
서버 로그에서 AI 요청을 가려내는 기준
AI 요청 분류는 보통 User-Agent에서 시작합니다. User-Agent는 요청을 보낸 프로그램이 스스로 밝히는 이름입니다. 이름은 누구나 흉내 낼 수 있으므로 이것만으로는 정확도가 충분하지 않고, 네트워크 정보로 교차 점검합니다.
- User-Agent 1차 분류: 봇 이름을 기준으로 장기 수집, 실시간 인용, 일반 방문을 나눕니다.
- ASN 점검: ASN(자율 시스템 번호)은 IP 대역을 운영하는 네트워크의 식별 번호입니다. 요청이 데이터센터 네트워크에서 왔는지, 일반 통신망에서 왔는지를 확인합니다.
- rDNS 정방향 확인: IP 주소를 호스트 이름으로 역조회(rDNS)한 뒤, 그 호스트 이름을 다시 IP로 조회해 원래 주소와 일치하는지 봅니다. 두 방향이 맞으면 해당 운영사 소속 요청일 가능성이 높다고 판단합니다.
세 기준은 서로를 보완합니다. User-Agent로 넓게 나누고, ASN과 rDNS로 이름만 맞춘 요청이 섞였는지 확인하는 순서가 일반적입니다.
관측 사례로 보는 지표 읽는 법
넥스트티가 공개한 자사 사이트 서버 로그로 AI 인용 요청을 집계한 한 달 기록에는 이 분류 방법을 적용한 결과가 담겨 있습니다. 측정 대상은 자사 사이트(next-t.co.kr) 서버 로그이고, 기간은 2026-07-01부터 2026-07-31까지입니다. User-Agent로 1차 분류한 뒤 ASN·rDNS를 교차 점검했으며, 전체 트래픽이 아닌 부분 관측입니다.
| 지표 | 값 | 읽는 법 |
|---|---|---|
| 실시간 인용(ai_cite) fetch 합계 | 8,583건(글로벌 엔진 100%) | 한 달간 질문 시점에 페이지를 가져간 요청 수 |
| 국내 엔진 실시간 인용 | 0건(0%) | 이 사이트·이 기간 로그에서 분류되지 않음 |
| ChatGPT 인용 fetch | 7,619건(89%, 고유 924페이지) | 요청 수와 서로 다른 페이지 수를 함께 봄 |
| Claude 인용 fetch | 772건(9%, 고유 223페이지) | 요청 수와 서로 다른 페이지 수를 함께 봄 |
| AI 요청 중 장기 수집 비중 | 약 93%(실시간 인용 7%) | AI 요청의 대부분이 수집 목적 |
| 장기 수집 대 실시간 인용 | 약 14.3배 | 두 요청 유형의 규모 차이(공개 자료 값) |
| 일별 인용 최다·최소 | 07-06 453건 · 07-18 102건 | 날짜별 변동 폭 |
| 데이터센터 ASN 유입 비중 | 89.3%(7,666/8,583건) | 인용 요청의 네트워크 출처 |
| rDNS 정방향 확인 | 174건 | 정방향 확인까지 마친 요청 수이며, 나머지 요청의 진위는 이 값만으로 판단할 수 없음 |
이 표에서 먼저 볼 것은 비중 지표입니다. AI 요청 중 장기 수집은 약 93%, 실시간 인용은 7%입니다. 총량만으로 답변 과정의 조회 규모를 추정하면 실제와 크게 어긋날 수 있습니다.
장기 수집 대 실시간 인용 약 14.3배는 공개 자료가 제시한 배수입니다. 표의 93%와 7%는 반올림한 비중이므로, 이 두 값으로 다시 나누면 배수가 조금 다르게 나옵니다. 배수를 인용할 때는 비중에서 다시 계산하지 않고 공개 자료의 값을 그대로 쓰는 편이 정확합니다.
엔진별 비중과 고유 페이지 수를 읽을 때의 주의점
엔진별 비중은 이 사이트로 들어온 실시간 인용 요청 안에서의 비중입니다. ChatGPT 89%, Claude 9%라는 값을 AI 검색 시장 점유율로 읽으면 안 됩니다. 사이트의 주제와 언어, 독자층에 따라 같은 시기에도 엔진별 구성은 달라질 수 있습니다.
고유 페이지 수는 요청 수와 함께 볼 때 의미가 생깁니다. 요청 수는 같은 페이지를 여러 번 가져간 경우를 모두 세고, 고유 페이지 수는 서로 다른 페이지가 몇 개 조회되었는지를 셉니다. 이 사례에서 ChatGPT는 7,619건 요청에 고유 924페이지, Claude는 772건 요청에 고유 223페이지로 나타났습니다. 요청이 소수 페이지에 몰렸는지, 여러 페이지에 퍼졌는지를 판단하는 출발점으로 쓸 수 있습니다.
국내 엔진 실시간 인용 0건도 범위를 좁혀 읽어야 합니다. 이 값은 이 사이트의 이 기간 로그에서 국내 엔진의 실시간 인용 요청이 분류되지 않았다는 뜻입니다. User-Agent 기준 분류에 잡히지 않은 요청이 있을 가능성도 있으므로, 이번 측정만으로 국내 엔진의 인용 방식 전반을 판단하기는 어렵습니다.
일별 변동도 같은 원칙으로 읽습니다. 인용 요청이 가장 많았던 날은 07-06(453건), 가장 적었던 날은 07-18(102건)입니다. 날짜별 차이는 크게 나타났지만, 관측만으로는 원인을 특정하기 어렵습니다. 게시물 갱신, 질문 수요의 변화, 엔진의 수집 방식 변경 같은 요인이 겹쳤을 수 있다고 볼 수 있습니다.
분류 기준 자체의 한계도 함께 적습니다. 봇 분류는 User-Agent를 기준으로 하므로, 엔진 운영사가 봇 이름이나 용도 구분을 바꾸면 같은 요청이 다른 유형으로 재분류될 수 있습니다. 데이터센터 ASN 유입 비중 89.3%와 rDNS 정방향 확인 174건은 서로 다른 질문에 대한 답입니다. ASN은 요청의 네트워크 출처를, rDNS 정방향 확인은 운영사 소속 여부를 가늠하는 기준을 보여 줍니다. 174건은 정방향 확인까지 마친 요청 수이며, 확인되지 않은 나머지 요청의 진위는 이 값만으로 판단할 수 없습니다.
자사 로그를 점검하는 순서
- AI 요청을 장기 수집과 실시간 인용으로 먼저 나누고, 두 값을 합친 총량을 성과 지표로 쓰지 않습니다.
- User-Agent 분류 결과를 ASN과 rDNS 정방향 확인으로 교차 점검해, 이름만 맞춘 요청을 걸러냅니다.
- 엔진별 비중을 보고할 때는 분모가 자사 사이트의 실시간 인용 요청이라는 점을 함께 표기합니다.
- 요청 수와 고유 페이지 수를 나란히 기록해, 어떤 페이지가 반복 조회되는지 확인합니다.
- 비중과 배수는 건수 원자료에서 계산하고, 반올림한 비중으로 배수를 다시 구하지 않습니다.
- 측정 기간, 분류 기준, 관측 범위(전체 또는 부분)를 지표 옆에 적어 다음 측정과 비교할 수 있게 합니다.
- 일별 급증·급감은 원인을 단정하지 않고, 같은 기간의 게시·수정 기록과 함께 검토합니다.
정리
장기 수집은 AI 서비스가 페이지를 미리 수집하는 요청이고, 실시간 인용은 질문 시점에 답변을 만들기 위해 페이지를 가져가는 요청입니다. 이번 관측 사례에서는 AI 요청의 약 93%가 장기 수집이었고, 실시간 인용 8,583건은 모두 글로벌 엔진에서 분류되었습니다.
이 수치는 한 사이트의 한 달간 부분 관측 결과이며, 엔진별 비중은 시장 점유율이 아닙니다. 자사 로그를 읽을 때도 두 요청을 구분하고, 분류 기준과 분모를 함께 적는 것이 지표를 바르게 해석하는 첫 단계입니다.