llms.txt란 무엇인가 — AI에게 내 사이트를 설명하는 법
llms.txt 파일의 역할, 작성법, 그리고 AI 크롤러 접근 제어와의 관계를 설명합니다. robots.txt와 무엇이 다른지 비교합니다.
llms.txt란 무엇인가?
llms.txt는 웹사이트 운영자가 AI 모델에게 사이트의 구조와 핵심 정보를 설명하기 위해 작성하는 텍스트 파일입니다. robots.txt가 크롤러의 접근을 제어하는 것과 달리, llms.txt는 AI가 사이트를 더 잘 이해하도록 돕는 역할을 합니다.
robots.txt와 llms.txt 비교
| 구분 | robots.txt | llms.txt |
|---|---|---|
| 목적 | 크롤러 접근 제어 (허용/차단) | AI에게 사이트 구조 설명 |
| 대상 | 검색엔진 크롤러 | LLM 및 AI 시스템 |
| 형식 | User-agent / Allow / Disallow 규칙 | 자연어 + 구조화된 섹션 |
| 위치 | /robots.txt | /llms.txt 또는 /.well-known/llms.txt |
llms.txt에 포함되는 정보
- 사이트 설명 — 사이트의 목적, 주요 서비스, 대상 사용자
- 주요 페이지 목록 — 핵심 콘텐츠와 섹션의 URL 및 설명
- API 또는 데이터 소스 — 공개 API가 있다면 해당 정보
- 연락처 및 운영 정보 — 사이트 운영자 정보
llms.txt 예시
# SearchLens > AI 시대의 GEO·SEO 통합 진단 서비스 ## 주요 페이지 - [홈](https://hope-seachlens.info): GEO·SEO 진단 실행 - [가이드](https://hope-seachlens.info/guide): GEO·SEO 학습 자료 ## 선택적 상세 정보 - [GEO란](https://hope-seachlens.info/guide/what-is-geo) - [SEO 기초](https://hope-seachlens.info/guide/what-is-seo)
주요 AI 크롤러 목록
- GPTBot — OpenAI (ChatGPT)
- ClaudeBot — Anthropic (Claude)
- Google-Extended — Google (Gemini, AI Overviews)
- PerplexityBot — Perplexity AI
- Bytespider — ByteDance
SearchLens에서 확인하기
SearchLens의 AI Visibility 모듈은 llms.txt 파일의 존재 여부와 형식을 자동으로 점검합니다. 또한 robots.txt에서 주요 AI 크롤러의 접근이 허용되어 있는지도 함께 확인합니다.