AI 크롤러 허용(robots.txt), 크롤러에게 정상 응답하는지, 내용이 HTML 텍스트로 있는지, 페이지별 제목과 설명, 구조화 데이터, sitemap.xml, llms.txt 일곱 가지를 확인하면 됩니다. 이 중 하나라도 막혀 있으면 콘텐츠가 좋아도 AI 답변에 인용되기 어렵습니다.
1. AI 크롤러를 막고 있지는 않나요?
우리도메인/robots.txt를 열어 아래 크롤러가 막혀 있지 않은지 봅니다.
| 크롤러 | 회사 | 용도 |
|---|---|---|
| OAI-SearchBot, ChatGPT-User | OpenAI | ChatGPT 검색과 답변 |
| GPTBot | OpenAI | 모델 학습 |
| PerplexityBot, Perplexity-User | Perplexity | Perplexity 검색과 답변 |
| Yeti | 네이버 | 네이버 검색과 AI 브리핑 |
| ClaudeBot | Anthropic | Claude |
Disallow: /가 이 이름들 아래에 있으면 해당 AI는 사이트를 읽지 못합니다. 웹 방화벽이나 CDN의 "AI 봇 차단" 기능이 켜져 있어도 같은 결과가 나오니 함께 확인합니다.
2. 크롤러가 실제로 페이지를 받아 가나요?
robots.txt로 허용했다고 끝이 아닙니다. 서버가 크롤러에게 오류를 내는 경우가 있습니다.
키포인트도 이 문제를 직접 겪었습니다. 2026년 10월 우리 사이트에 GPTBot과 ClaudeBot 이름으로 각각 8번씩 접속해 보니 8번 중 2번은 503 오류(일시적으로 서비스를 쓸 수 없음)가 돌아왔습니다. 사람이 브라우저로 볼 때는 아무 문제가 없었습니다. CDN에서 페이지를 미리 저장해 두고 대신 응답하게 바꾼 뒤 다시 확인하니, 크롤러 5종이 8번씩 접속해 모두 정상(200) 으로 받아 갔습니다.
확인 방법은 간단합니다. 개발자에게 크롤러 이름(User-Agent)으로 주요 페이지를 여러 번 요청해 응답 코드를 보라고 하면 됩니다.
3. 내용이 HTML 텍스트로 들어 있나요?
AI 크롤러는 대부분 자바스크립트를 실행하지 않고 처음 받은 HTML만 읽습니다. 그래서 아래 경우에는 사람 눈에는 보여도 AI에게는 빈 페이지입니다.
- 제품 설명이 통이미지로만 되어 있는 경우
- 페이지를 열면 스크립트로 외부 쇼핑몰로 바로 넘기는 경우
- 화면이 전부 자바스크립트로 그려지는 경우
브라우저에서 "페이지 소스 보기"를 열어 본문 문장이 그대로 있는지 확인합니다. 메뉴와 회사 정보만 보이고 제품 설명이 없다면 AI도 그것만 읽습니다.
4. 페이지마다 제목과 설명이 다른가요?
모든 페이지의 <title>과 meta description이 "○○ 공식 사이트"처럼 같다면, AI와 검색엔진은 페이지마다 무엇을 다루는지 구분하기 어렵습니다. 페이지마다 그 페이지가 답하는 질문과 핵심 내용을 한두 문장으로 씁니다.
5. 구조화 데이터가 있나요?
구조화 데이터(Schema.org, JSON-LD)는 "이 페이지는 회사 정보다", "이건 제품이고 가격은 얼마다", "이건 질문과 답이다"를 기계가 읽는 형식으로 알려 주는 코드입니다. 최소한 아래를 붙입니다.
- Organization: 회사명, 대표, 주소, 연락처, 외부 채널
- Product 또는 Service: 제품·서비스 이름, 설명, 가격
- FAQPage: 자주 묻는 질문과 답
- BreadcrumbList: 페이지 위치
6. sitemap.xml이 열리나요?
우리도메인/sitemap.xml이 오류 없이 열리고, 주력 제품과 서비스 페이지가 빠짐없이 들어 있는지 봅니다. robots.txt 맨 아래에 Sitemap: https://우리도메인/sitemap.xml 줄도 넣어 둡니다. 실제로 진단해 보면 sitemap이 오류를 내거나 주력 제품만 빠져 있는 경우가 생각보다 많습니다.
7. llms.txt가 있나요?
llms.txt는 사이트 맨 위 주소에 두는 마크다운 문서로, AI가 회사 정보와 핵심 페이지를 한 번에 읽도록 정리한 요약본입니다(llmstxt.org 제안 형식). 모든 AI가 읽는다고 확인된 표준은 아니지만, 만드는 데 비용이 거의 들지 않고 회사 정의를 한곳에 고정해 두는 효과가 있어 함께 둡니다. 키포인트 사이트의 예시는 kpoint.kr/llms.txt에서 볼 수 있습니다.
점검이 끝나면 무엇을 하나요?
일곱 가지는 AI가 읽을 수 있게 만드는 기본기입니다. 그다음은 AI가 인용하고 싶은 내용을 쓰는 일입니다. 고객이 묻는 질문을 제목으로 삼고 첫 문장에서 바로 답하는 글이 쌓여야 언급률이 올라갑니다. 진단 방법은 우리 브랜드가 AI 답변에 나오는지 어떻게 확인하나요?에 정리했습니다.
자주 묻는 질문
GPTBot을 막으면 ChatGPT 답변에 안 나오나요?
GPTBot은 OpenAI가 모델 학습용으로 쓰는 크롤러이고, ChatGPT 검색 답변은 OAI-SearchBot과 ChatGPT-User가 가져갑니다. 그래서 GPTBot만 막아도 검색 답변에는 나올 수 있습니다. 다만 학습 데이터에서 빠지면 AI가 브랜드를 기본 지식으로 아는 정도가 약해질 수 있으므로, 특별한 이유가 없다면 모두 허용하는 편을 권합니다.
쇼핑몰 솔루션(카페24, 고도몰, 스마트스토어)을 써도 점검할 수 있나요?
네. robots.txt, 응답 코드, 페이지 소스의 텍스트, 제목과 설명, sitemap은 어떤 솔루션이든 같은 방법으로 확인할 수 있습니다. 다만 솔루션에 따라 robots.txt나 구조화 데이터를 직접 고칠 수 없는 경우가 있어, 그때는 브랜드 소개와 FAQ를 담은 별도 페이지를 두는 방법을 씁니다.
llms.txt만 만들면 AI 답변에 나오나요?
아닙니다. llms.txt는 AI가 사이트를 이해하도록 돕는 보조 장치입니다. AI 답변에 나오려면 크롤러가 실제 페이지를 읽을 수 있어야 하고, 질문에 바로 답하는 콘텐츠와 AI가 인용하는 외부 출처가 함께 있어야 합니다.