한국 주요 사이트 40곳, AI 검색 대응 실태 조사 (2026년 7월)

조사 요약

2026년 7월 28일, 국내 주요 웹사이트 40곳의 robots.txt와 llms.txt, 홈페이지 HTML을 직접 수집해 AI 검색 대응 실태를 조사했습니다. 이 글은 다른 자료를 인용한 것이 아니라 직접 측정한 원본 데이터이며, 수집 스크립트와 원자료를 함께 공개합니다.

• 절반 이상(19/36, 53%)이 ChatGPT의 크롤러 GPTBot을 완전히 차단하고 있습니다.
• AI 크롤러에 대한 정책이 아예 없는 곳이 20/36(56%)입니다. 막은 것도 연 것도 아닌 무대응 상태입니다.
• AI에게 사이트를 설명하는 llms.txt를 갖춘 곳은 37곳 중 4곳(11%)뿐입니다.
• 46%는 구조화 데이터(JSON-LD)가 홈페이지에 전혀 없습니다.
• 10곳을 실제로 진단해 보니 종합 점수는 65~95점으로 갈렸지만, 약점은 같았습니다. 콘텐츠 신뢰 신호(E-E-A-T)가 7곳에서 7개 모듈 중 최하위였고, 9곳에서 하위 2위 안에 들었습니다.

왜 조사했나

“AI 검색 시대가 왔다”는 말은 넘치는데, 정작 한국 사이트들이 실제로 어떤 상태인지 숫자로 보여주는 자료가 없었습니다. 그래서 직접 셌습니다.

핵심 질문은 하나입니다. ChatGPT나 Perplexity가 답변을 만들 때, 한국 사이트의 정보를 가져갈 수 있는가? 아무리 좋은 콘텐츠가 있어도 크롤러가 막혀 있으면 인용 후보에조차 오르지 못합니다.

어떻게 조사했나

포털·커뮤니티, 이커머스, 미디어, 서비스/IT, 교육, 공공 등 6개 분야에서 국내 주요 사이트 40곳을 선정했습니다. 각 사이트에 대해 다음을 수집했습니다.

• robots.txt — GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, CCBot, Bytespider, Applebot-Extended 등 AI 크롤러 8종에 대한 접근 지시문
• llms.txt — AI에게 사이트 구조를 설명하는 파일의 존재 여부
• 홈페이지 HTML — 구조화 데이터(JSON-LD), meta description, canonical, OG 태그

측정의 정확성을 위해 두 가지를 구분했습니다. 첫째, AI 크롤러를 콕 집어 막은 ‘명시적 차단’과 User-agent: *로 모두를 막아 결과적으로 AI도 막힌 ‘포괄 차단’은 의미가 전혀 다르므로 따로 셌습니다. 둘째, 우리 요청 자체가 차단(403)되거나 DNS가 실패한 경우는 ‘측정 불가’로 분리하고 허용으로 간주하지 않았습니다.

그 결과 40곳 중 홈페이지가 정상 응답한 곳은 37곳, robots.txt까지 판정 가능한 곳은 36곳입니다. 아래 비율은 모두 이 모집단을 기준으로 합니다.

결과 1 — 절반이 ChatGPT에게 문을 닫았다

판정 가능한 36곳 중 19곳(53%)이 GPTBot의 접근을 완전히 차단하고 있습니다. 그중 11곳은 GPTBot을 명시적으로 지목해 막았고, 8곳은 전체 크롤러를 막는 포괄 규칙에 함께 걸린 경우입니다.

AI 크롤러별로 명시적 차단이 걸린 사이트 수는 다음과 같습니다.

• GPTBot(OpenAI) — 11곳
• Bytespider(바이트댄스) — 10곳
• ClaudeBot(Anthropic) — 7곳
• anthropic-ai — 6곳, CCBot — 6곳
• Google-Extended — 5곳
• PerplexityBot — 4곳, Applebot-Extended — 4곳

가장 강하게 차단하는 분야는 미디어입니다. 언론사 8곳 중 6곳(75%)이 GPTBot을 명시적으로 막았습니다. 기사 콘텐츠가 학습·인용에 무단 사용되는 것에 대한 방어로 읽힙니다. 커뮤니티(62%)가 뒤를 이었습니다.

이것 자체는 잘못이 아닙니다. 콘텐츠를 지키겠다는 것은 정당한 경영 판단입니다. 문제는 다음 항목입니다.

결과 2 — 더 큰 문제는 ‘무대응’이다

판정 가능한 36곳 중 20곳(56%)은 robots.txt에 AI 크롤러에 대한 규칙이 한 줄도 없습니다. 막은 것도, 연 것도 아닙니다. AI 검색이라는 주제가 아직 의사결정 테이블에 오르지 않았다는 뜻입니다.

차단한 곳들은 최소한 판단을 내린 것입니다. 명시적으로 8종을 모두 막은 사이트도 3곳 있었습니다. 반면 무대응 20곳은 자기 콘텐츠가 AI에 어떻게 쓰이는지 통제하지 않고 있습니다. 열려 있어서 이득을 보는 것도, 막아서 보호받는 것도 아닌 상태입니다.

결과 3 — llms.txt를 갖춘 곳은 37곳 중 4곳

llms.txt는 AI에게 “우리 사이트는 이런 곳이고, 중요한 페이지는 여기다”를 알려주는 파일입니다. 아직 초기 표준이지만, 갖춘 곳은 37곳 중 4곳(11%)뿐이었습니다.

흥미로운 건 그 4곳이 형식만 갖춘 게 아니라는 점입니다. 특히 한 경제지는 “대부분의 기사 영역은 robots.txt로 엄격히 차단하지만, 큐레이션된 기업 정보 플랫폼은 크롤링·인용을 명시적으로 환영한다”고 영문으로 적어 두었습니다. 막을 곳은 막고 열 곳은 여는 선별적 개방 전략입니다.

또 다른 채용 플랫폼은 사용자 여정 순서로 주요 진입점을 정리하고, “AI 에이전트는 이 문서를 활용해 사용자 의도에 맞는 페이지로 안내할 수 있다”고 명시한 뒤 더 상세한 /llms-full.txt까지 두었습니다. AI를 트래픽 유입 경로로 설계한 것입니다.

즉 한국에서 AI 검색에 전략적으로 대응하는 기업은 아직 소수지만, 그 소수는 이미 상당히 정교합니다.

결과 4 — 기본기도 절반은 비어 있다

AI 이야기를 빼고 봐도 기초 항목에 구멍이 있었습니다.

• 구조화 데이터(JSON-LD) 없음 — 17/37(46%).AI와 검색엔진이 “이 회사는 무엇을 하는 곳인가”를 기계적으로 이해할 근거가 없습니다. 있는 곳도 대부분 Organization·WebSite 수준에 머물렀습니다.
• robots.txt에 sitemap 미선언 — 13/36(36%).
• canonical 태그 없음 — 7/37. 중복 URL 문제에 취약합니다.
• 한 이커머스 사이트는 /robots.txt 자리에 robots 파일이 아니라 81KB짜리 HTML 페이지를 반환하고 있었습니다. 크롤러 입장에서는 규칙을 읽을 수 없는 상태입니다.

결과 5 — 실제로 진단해 봤습니다

위 조사는 개별 신호를 센 것입니다. 그래서 10곳을 SearchLens 전체 진단(7개 모듈)에 넣어 종합 점수를 내봤습니다. llms.txt를 갖춘 4곳과, 그렇지 않은 5곳, 그리고 우리 사이트입니다. 각 진단은 24~32초가 걸렸습니다.

결과는 65점에서 95점까지 갈렸습니다. 상위권은 마이리얼트립 95점, 긱뉴스 90점, 원티드 87점, 매일경제 86점이었습니다. 하위권은 개별 기업의 점수를 공개하지 않고 분포로만 밝힙니다 — 65 · 72 · 82 · 83 · 85점이었습니다.

눈에 띄는 것은 llms.txt를 갖춘 곳이 한 곳도 빠짐없이 상위권이라는 점입니다. 갖춘 4곳의 평균은 89.5점, 갖추지 않은 5곳은 77.4점으로 12점 차이가 났습니다. 다만 표본이 9곳뿐이고, llms.txt가 점수를 올렸다기보다 AI 검색을 신경 쓰는 팀이 다른 것도 챙겼다고 보는 편이 타당합니다. 인과가 아니라 상관으로 읽어야 합니다.

그러나 진짜 발견은 점수가 아니라 패턴입니다. 7개 모듈 가운데 콘텐츠 신뢰 신호(E-E-A-T)가 최하위인 곳이 10곳 중 7곳, 하위 2위 안에 든 곳이 9곳이었습니다. 점수 범위는 47~81점입니다. 반면 기술 SEO는 10곳 중 9곳이 90점을 넘겼고 최저가 89점이었습니다. 95점을 받은 곳도, 65점을 받은 곳도 약점의 종류는 크게 다르지 않았습니다.

예외 3곳도 E-E-A-T가 좋아서가 아닙니다. 각각 구조화 데이터(45점), AI 크롤러 접근(64점), 플랫폼 커버리지(74점)가 더 낮았을 뿐, E-E-A-T 역시 58·67·78점으로 낮은 편이었습니다.

가장 분명한 숫자는 이것입니다. 7개 모듈을 통틀어 E-E-A-T에서 90점을 넘긴 사이트는 10곳 중 0곳이었습니다(평균 66.5점). 기술 SEO에서 90점을 넘긴 곳이 9곳인 것과 정확히 반대입니다. 그리고 가장 자주 나온 지적은 ‘작성자 정보 누락’으로 10곳 중 8곳에서 높음 등급으로 찍혔습니다. 우리 사이트도 그중 하나였습니다.

이것이 뜻하는 바는 분명합니다. 한국 웹사이트의 약점은 기술이 아니라 콘텐츠입니다.태그를 넣고 속도를 올리는 일은 이미 잘하고 있습니다. 부족한 것은 “누가 썼는가, 무엇을 근거로 하는가, 언제 갱신됐는가” 같은 AI가 인용할 때 확인하는 신뢰의 근거입니다.

우리도 같은 지적을 받았고, 고쳤습니다

자사 사이트도 같은 진단에 넣었습니다. 94점이 나왔고, 가장 심각한 지적은 ‘작성자 정보 누락’(높음)이었습니다. 조사 대상 여러 곳에서 똑같이 나온 바로 그 항목입니다. 확인해 보니 가이드 페이지만 작성자 정보를 넣고 있었고 홈을 비롯한 나머지 페이지는 비어 있었습니다.

그래서 사이트 전역에 작성자 정보를 선언하고 다시 진단했습니다. 지적은 ‘누락(높음)’에서 ‘불완전(중간)’으로 낮아졌고, E-E-A-T 모듈은 69점에서 76점, 종합 점수는 94점에서 95점이 됐습니다.

완전히 없애지 않은 이유도 밝힙니다. 이 검사를 통과하려면 Article 계열 구조화 데이터에도 작성자가 있어야 하는데, 홈페이지는 기사가 아닙니다. 점수를 올리려고 사실과 다른 스키마를 넣는 것은 우리가 이 도구를 만든 원칙에 어긋납니다. 그래서 ‘중간’에서 멈췄습니다.

덧붙이면 지금 읽고 계신 이 글은 같은 진단에서 99점을 받았습니다. 작성자·발행일·구조화 데이터·1차 데이터가 모두 갖춰졌기 때문입니다.

그래서 무엇을 해야 하나

이 데이터가 가리키는 우선순위는 순서가 있습니다.

1. 먼저 결정하십시오 — 열 것인가 막을 것인가. 56%가 빠져 있는 이 단계가 첫 번째입니다. robots.txt에 AI 크롤러 규칙을 명시하는 것 자체가 의사결정입니다. 무대응이 가장 나쁩니다.
2. 열기로 했다면 llms.txt를 두십시오. 11%만 하고 있으므로 지금은 아직 차별화 요소입니다.
3. 구조화 데이터를 채우십시오. 46%가 비어 있습니다. 노력 대비 효과가 가장 큰 구간입니다.
4. 그다음이 콘텐츠 신뢰 신호입니다. 작성자, 근거, 갱신일, 1차 정보. 가장 어렵고 가장 오래 걸리지만, 이 조사에 따르면 거의 모두가 여기서 막혀 있으므로 격차를 벌릴 수 있는 곳이기도 합니다.

내 사이트는 어떤 상태일까

이 조사에서 쓴 것과 똑같은 검사를 아무 사이트에나 돌려볼 수 있습니다. SearchLens 홈에서 URL을 넣으면 AI 크롤러 접근, llms.txt, 구조화 데이터, 기술 SEO, 콘텐츠 신뢰 신호까지 진단하고 무엇을 어떤 순서로 고칠지 알려줍니다. 회원가입은 없고 30초쯤 걸립니다.

데이터 공개와 한계

수집 스크립트와 원자료 전체는 저장소의 claudedocs/data/ 경로에 함께 공개돼 있습니다. 누구나 재현하고 반박할 수 있어야 한다고 생각합니다.

한계를 분명히 밝힙니다.

• 표본은 40곳이며 임의 선정입니다. 한국 웹 전체를 대표하는 확률표본이 아닙니다. 전체 진단을 돌린 곳은 그중 10곳이므로 점수 관련 서술은 더욱 표본이 작습니다.
• llms.txt 보유와 종합 점수의 관계는 상관일 뿐 인과가 아닙니다. 9곳 비교로는 인과를 주장할 수 없습니다.
• 홈페이지만 검사했습니다. 하위 페이지는 다를 수 있습니다.
• 3곳은 우리 요청이 차단(403)되어 홈 응답을 받지 못했고, 1곳은 robots.txt 판정이 불가능했습니다. 이들은 비율 계산에서 제외했습니다.
• 2026년 7월 28일 시점의 스냅샷입니다. robots.txt는 언제든 바뀝니다.
• robots.txt 정책은 각 사이트의 정당한 선택입니다. 이 글은 차단을 잘못이라고 말하지 않습니다. 다만 ‘선택하지 않은 상태’가 절반을 넘는다는 점을 지적합니다.