← 가이드 목록
기술중급7분 읽기

llms.txt란 무엇인가 — AI에게 내 사이트를 설명하는 법

llms.txt 파일의 역할, 작성법, 그리고 AI 크롤러 접근 제어와의 관계를 설명합니다. robots.txt와 무엇이 다른지 비교합니다.

llms.txt란 무엇인가?

llms.txt는 웹사이트 운영자가 AI 모델에게 사이트의 구조와 핵심 정보를 설명하기 위해 작성하는 텍스트 파일입니다. robots.txt가 크롤러의 접근을 제어하는 것과 달리, llms.txt는 AI가 사이트를 더 잘 이해하도록 돕는 역할을 합니다.

robots.txt와 llms.txt 비교

구분robots.txtllms.txt
목적크롤러 접근 제어 (허용/차단)AI에게 사이트 구조 설명
대상검색엔진 크롤러LLM 및 AI 시스템
형식User-agent / Allow / Disallow 규칙자연어 + 구조화된 섹션
위치/robots.txt/llms.txt 또는 /.well-known/llms.txt

llms.txt에 포함되는 정보

  • 사이트 설명 — 사이트의 목적, 주요 서비스, 대상 사용자
  • 주요 페이지 목록 — 핵심 콘텐츠와 섹션의 URL 및 설명
  • API 또는 데이터 소스 — 공개 API가 있다면 해당 정보
  • 연락처 및 운영 정보 — 사이트 운영자 정보

llms.txt 예시

# SearchLens
> AI 시대의 GEO·SEO 통합 진단 서비스

## 주요 페이지
- [홈](https://hope-seachlens.info): GEO·SEO 진단 실행
- [가이드](https://hope-seachlens.info/guide): GEO·SEO 학습 자료

## 선택적 상세 정보
- [GEO란](https://hope-seachlens.info/guide/what-is-geo)
- [SEO 기초](https://hope-seachlens.info/guide/what-is-seo)

주요 AI 크롤러 목록

  • GPTBot — OpenAI (ChatGPT)
  • ClaudeBot — Anthropic (Claude)
  • Google-Extended — Google (Gemini, AI Overviews)
  • PerplexityBot — Perplexity AI
  • Bytespider — ByteDance

실제 예시: 소규모 쇼핑몰의 llms.txt

수제 캔들을 파는 작은 온라인 쇼핑몰을 예로 들어봅시다. 이 쇼핑몰은 제품 종류, 향 계열, 배송 정책이 여러 페이지에 흩어져 있어, AI가 “이 브랜드는 어떤 캔들을 파나요?”라는 질문에 답하기 어려웠습니다. 운영자는 llms.txt를 만들어 브랜드 한 줄 소개, 대표 컬렉션 페이지 링크, 배송·환불 안내 페이지를 간결하게 정리했습니다.

이제 AI가 이 사이트를 참고할 때, 흩어진 수십 개의 페이지를 헤매는 대신 llms.txt에 정리된 핵심 경로부터 파악합니다. llms.txt는 새로운 콘텐츠를 만드는 것이 아니라, 이미 있는 정보 중 무엇이 중요한지를 AI에게 안내하는 지도 역할을 합니다. 사이트 규모가 작아도, 정보가 여러 곳에 흩어져 있다면 llms.txt의 효과를 볼 수 있습니다.

llms.txt에서 흔히 저지르는 실수

  • robots.txt와 혼동하기— llms.txt는 크롤러를 차단하는 파일이 아닙니다. AI 접근 자체는 robots.txt에서 허용해야 하며, llms.txt는 그 위에서 사이트를 “설명”하는 역할입니다.
  • 사이트 전체를 그대로 나열하기 — 모든 URL을 넣으면 오히려 핵심이 묻힙니다. 가장 중요한 페이지 위주로 간결하게 정리하는 것이 좋습니다.
  • 만들고 방치하기 — 페이지 구조나 서비스가 바뀌면 llms.txt에 적힌 링크가 깨질 수 있습니다. 사이트를 개편하면 함께 업데이트하세요.

SearchLens에서 확인하기

SearchLens의 AI Visibility 모듈은 llms.txt 파일의 존재 여부와 형식을 자동으로 점검합니다. 또한 robots.txt에서 주요 AI 크롤러의 접근이 허용되어 있는지도 함께 확인합니다.

실제로 얼마나 쓰이고 있을까

2026년 7월 국내 주요 사이트 40곳을 직접 조사한 결과, llms.txt를 갖춘 곳은 37곳 중 4곳(11%)뿐이었습니다. 아직 드물다는 뜻이고, 지금은 갖추는 것만으로 차별화가 된다는 뜻이기도 합니다. 그 4곳이 파일을 어떻게 쓰고 있는지, 전체 진단 점수와 어떤 관계가 있었는지는 한국 주요 사이트 40곳 AI 검색 대응 실태 조사에 원자료와 함께 정리했습니다.

관련 용어