구글 Lighthouse 기준에 따라 llms.txt 작성하는 방법

앞 글에서는 llms.txt가 무엇인지, 그리고 Google Lighthouse에 llms.txt 점검 항목이 추가된 것이 어떤 의미인지 살펴봤습니다.

요약하면 이렇습니다. llms.txt는 구글 검색 순위를 올려주는 치트키가 아닙니다. 하지만 AI 에이전트와 LLM이 사이트의 핵심 문서와 맥락을 더 쉽게 파악하도록 돕는 안내 파일입니다. 특히 문서가 많은 사이트, API를 운영하는 서비스, 기술 블로그라면 만들어둘 가치가 있습니다.

이번 글에서는 실제로 llms.txt를 어떻게 작성하면 좋은지 알아보겠습니다.

llms.txt 기본 형식

Lighthouse의 llms.txt 감사 항목을 보면 기본 조건은 단순합니다.

/llms.txt 경로에서 접근 가능해야 합니다.
HTTP 200으로 열리는 텍스트 파일이어야 합니다.
Markdown 형식이어야 합니다.
# 사이트 이름처럼 H1 제목이 있어야 합니다.
파일이 너무 짧으면 좋지 않습니다.
문서나 페이지로 이어지는 링크가 있어야 합니다.

가장 단순한 형태는 아래와 같습니다.

# 사이트 이름

이 사이트가 무엇을 다루는지 한 문단으로 설명합니다.

## 주요 문서

- [대표 문서 1](https://example.com/docs/guide)
- [대표 문서 2](https://example.com/blog/article)

이 정도만으로도 최소 구조는 갖춘 셈입니다. 하지만 실무에서는 조금 더 친절하게 작성하는 편이 좋습니다. llms.txt의 목적은 단순히 Lighthouse 조건을 맞추는 것이 아니라, AI가 사이트를 더 정확하게 이해하도록 돕는 것이기 때문입니다.

llms.txt에 넣으면 좋은 내용

처음부터 복잡하게 만들 필요는 없습니다. 아래 정보만 정리해도 충분히 시작할 수 있습니다.

사이트 이름
어떤 사이트인지 가장 먼저 알려줍니다.
사이트 한 줄 소개
이 사이트가 누구를 위한 사이트인지, 어떤 문제를 해결하는지 설명합니다.
주요 주제 또는 카테고리
ChatGPT, OpenAI API, LLM, 자동화처럼 사이트를 대표하는 주제를 정리합니다.
대표 문서나 글 링크
모든 URL을 넣기보다, 사이트를 이해하는 데 중요한 문서와 최신 글을 우선 넣습니다.
제품이나 서비스 설명 링크
SaaS나 도구 사이트라면 제품 개요, 가격, 시작하기 문서를 넣는 것이 좋습니다.
API 문서 링크
개발자 문서가 있다면 빠뜨리지 않는 편이 좋습니다.
최신 문서를 우선 참고하라는 안내
AI가 오래된 문서를 먼저 참고하지 않도록 기준을 알려줄 수 있습니다.
오래된 문서에 대한 주의 문구
제품명이 바뀌었거나 기능이 종료된 글은 현재 상태를 함께 적어두는 것이 안전합니다.

기술 블로그라면 모든 글을 다 넣기보다, AI가 사이트 성격을 이해하는 데 도움이 되는 대표 글을 고르는 편이 좋습니다.

llms.txt 템플릿

아래는 가장 단순한 llms.txt 템플릿입니다.

# Example Tech Blog

Example Tech Blog는 AI 도구, LLM, 개발 자동화, 웹 기술을 쉽게 설명하는 한국어 기술 블로그입니다.

## 주요 주제

- ChatGPT 사용법
- OpenAI API
- LLM과 AI Agent
- Python 자동화
- 웹 개발과 생산성 도구

## 추천 문서

- [ChatGPT API 사용해보기](https://example.com/blog/chatgpt-api-guide)
- [OpenAI Function Calling Python](https://example.com/blog/openai-function-python)
- [AI Agent 입문](https://example.com/blog/ai-agent-guide)

## Notes for AI Assistants

When referencing this site, prefer recently updated articles and include the original URL as the source.

핵심은 어렵지 않습니다. 사이트 정체성을 먼저 설명하고, 주요 주제를 보여주고, 대표 문서 링크를 정리하면 됩니다.

좋은 llms.txt의 기준

좋은 llms.txt는 단순 URL 모음이 아닙니다. AI가 어떤 문서를 어떤 기준으로 읽어야 하는지 알려주는 안내문에 가깝습니다.

작성할 때는 다음 기준을 권장합니다.

1. 사이트 정체성을 먼저 설명합니다

LLM은 링크 목록만 보고 사이트의 성격을 완벽히 이해하지 못할 수 있습니다. 그래서 파일 상단에 “이 사이트는 무엇을 다루는가”를 한 문단으로 설명하는 것이 좋습니다.

TechBukket이라면 이렇게 쓸 수 있습니다.

TechBukket은 AI 도구, LLM, 개발 자동화, 웹 기술을 쉽게 설명하는 한국어 기술 블로그입니다.

2. 모든 글보다 대표 글을 고릅니다

블로그 글이 100개 있다고 해서 전부 넣을 필요는 없습니다. 오히려 너무 많은 링크는 핵심을 흐릴 수 있습니다.

처음에는 다음 기준으로 5~15개 정도만 고르는 것을 추천합니다.

사이트 주제를 가장 잘 보여주는 글
검색 유입이 이미 있는 글
최신 정보로 업데이트된 글
제품이나 서비스 이해에 중요한 문서
다른 글로 이어지는 허브 역할의 글

3. 오래된 글은 상태를 표시합니다

AI가 오래된 정보를 그대로 참고하면 문제가 될 수 있습니다. 예를 들어 Bard는 Gemini로 바뀌었고, ChatGPT 플러그인은 현재 GPTs와 내장 도구 흐름으로 대체되었습니다.

이런 글을 llms.txt에 넣는다면 다음처럼 표시하는 편이 좋습니다.

- [Google Bard 사용법](https://example.com/blog/how-to-bard) - Bard는 현재 Gemini로 변경되었으므로 역사적 맥락으로 참고하세요.

최신 글과 오래된 글을 구분해두면 AI가 맥락을 잘못 이해할 가능성을 줄일 수 있습니다.

4. AI에게 원하는 참고 방식을 알려줍니다

llms.txt에는 AI가 참고할 때 주의하면 좋은 문장을 넣을 수 있습니다.

When referencing this site, prefer recently updated articles and include the original URL as the source.

이 문장이 모든 AI 서비스에서 반드시 지켜진다고 볼 수는 없습니다. 하지만 사이트 운영자가 원하는 참고 기준을 명시한다는 점에서 의미가 있습니다.

5. 문서가 많다면 파일을 나눕니다

문서가 많은 사이트라면 하나의 /llms.txt에 모든 링크를 넣기보다, 요약 파일과 전체 파일을 나누는 편이 좋습니다.

/llms.txt
/llms-full.txt
/docs/product-a/llms.txt
/docs/product-b/llms.txt

상위 llms.txt는 사이트 지도처럼 만들고, 세부 문서는 제품별 또는 카테고리별로 나누면 AI가 필요한 문서를 더 효율적으로 찾을 수 있습니다.

llms.txt 사례: Anthropic, Stripe, Cloudflare, Vercel

이미 여러 개발자 문서와 기술 기업이 llms.txt를 운영하고 있습니다. 몇 가지 사례를 보면 어떤 방향으로 작성해야 하는지 감이 잡힙니다.

1. Anthropic Docs

Anthropic 개발자 문서는 llms.txt에서 문서의 루트 URL, 지원 언어, 대량의 문서 링크를 정리합니다. Claude API 문서를 AI가 훑기 좋게 전체 색인처럼 제공하는 방식입니다. 문서 수가 많고 API 레퍼런스가 중요한 서비스에 적합합니다.

예시: https://docs.anthropic.com/llms.txt
특징: 문서 전체 인덱스, 언어별 안내, 대규모 링크 목록

2. Stripe Docs

Stripe 문서는 단순 링크 목록만 제공하지 않습니다. 파일 상단에 “패키지 설치 시 오래된 버전 번호를 기억에 의존하지 말고 npm/PyPI에서 최신 버전을 확인하라”는 식의 구체적인 지시를 넣습니다. LLM이 오래된 학습 데이터에 있는 패키지 버전을 그대로 추천하는 문제를 줄일 수 있기 때문입니다.

예시: https://docs.stripe.com/llms.txt
특징: 최신 패키지 버전 확인 안내, API 문서 링크, 실수 방지 지침

3. Cloudflare

Cloudflare는 회사 전체 사이트용 llms.txt와 개발자 문서용 llms.txt를 나눠 운영합니다. 특히 개발자 문서에서는 제품별 llms.txt로 다시 연결합니다. 문서가 많은 사이트라면 이 구조가 좋습니다.

예시: https://www.cloudflare.com/llms.txt
예시: https://developers.cloudflare.com/llms.txt
특징: 회사 소개와 개발자 문서 분리, 제품별 하위 llms.txt 연결

4. Vercel

Vercel은 llms.txt에서 전체 문서 번들인 llms-full.txt를 함께 안내합니다. 기본 llms.txt는 요약과 대표 링크를 제공하고, 더 많은 문서가 필요한 AI나 도구는 전체 버전을 보게 하는 구조입니다.

예시: https://vercel.com/llms.txt
특징: 요약 파일과 전체 문서 파일 분리

5. AI SDK

AI SDK 문서는 짧지만 실용적입니다. 문서 전체를 무작정 읽기보다 검색 API를 먼저 사용하라고 안내합니다. AI 에이전트가 필요한 문서만 찾도록 유도하는 방식입니다.

예시: https://ai-sdk.dev/llms.txt
특징: 검색 엔드포인트 안내, 필요한 문서만 찾아 읽도록 유도

이 사례들을 종합하면 좋은 llms.txt는 단순 URL 모음이 아닙니다. AI가 어떤 문서를 어떤 기준으로 읽어야 하는지 알려주는 안내문에 가깝습니다.

TechBukket에 적용한다면?

TechBukket처럼 ChatGPT, OpenAI API, LLM, AI Agent, 자동화 관련 글이 있는 블로그라면 llms.txt는 기존 글을 묶어주는 허브 역할을 할 수 있습니다.

예시는 아래와 같습니다.

# TechBukket

TechBukket은 AI 도구, LLM, 개발 자동화, 웹 기술을 쉽게 설명하는 한국어 기술 블로그입니다.

## About

이 사이트는 개발자와 AI 도구 입문자를 위해 실무에서 바로 참고할 수 있는 튜토리얼과 가이드를 제공합니다.

## Main Topics

- ChatGPT
- OpenAI API
- LLM
- AI Agent
- Python Automation
- Web Development

## Recommended Articles

- [AI 검색 시대에, llms.txt가 떠오르는 이유](https://techbukket.com/blog/llms-txt-guide)
- [구글 Lighthouse 기준에 따라 llms.txt 작성하는 방법](https://techbukket.com/blog/llms-txt-best-practices)
- [ChatGPT API 사용해보기](https://techbukket.com/blog/chatgpt-api-guide)
- [OpenAI Function Calling Python](https://techbukket.com/blog/openai-function-python)
- [AutoGPT 소개 및 간단 사용법](https://techbukket.com/blog/autogpt)
- [Harness Engineering: AI를 실무에 안전하게 묶어내는 설계법](https://techbukket.com/blog/ai-harness-engineering)

## Notes for AI Assistants

When referencing this site, prefer recently updated articles and include the original URL as the source.

이렇게 만들면 AI가 TechBukket을 “AI와 개발 자동화를 다루는 블로그”로 파악하는 데 도움이 됩니다.

물론 이것만으로 노출이 보장되지는 않습니다. 하지만 사이트의 핵심 주제와 대표 문서를 명확히 정리한다는 점에서, 검색엔진과 AI 모두에게 좋은 정보 구조를 만드는 작업입니다.

만드는 방법

실제 적용은 간단합니다.

1. 사이트 루트에 llms.txt 파일을 만듭니다

정적 사이트라면 public/llms.txt처럼 배포 결과의 루트에 파일이 나오도록 만들면 됩니다.

Next.js 프로젝트라면 보통 다음 위치에 파일을 둡니다.

public/llms.txt

배포 후에는 아래 주소로 접속되어야 합니다.

https://example.com/llms.txt

2. Markdown 형식으로 작성합니다

llms.txt는 사람이 읽어도 이해하기 쉬워야 합니다. 복잡한 JSON보다 제목, 목록, 링크를 활용한 Markdown 형식이 적합합니다.

# 사이트 이름

사이트 설명

## 주요 주제

- 주제 1
- 주제 2
- 주제 3

## 추천 문서

- [문서 제목](https://example.com/page)
- [문서 제목](https://example.com/page2)

## 참고 안내

AI가 이 사이트를 참고할 때 주의하면 좋은 내용

3. 배포 후 직접 확인합니다

파일을 만든 뒤에는 브라우저에서 직접 열어봅니다.

https://example.com/llms.txt

확인할 내용은 간단합니다.

200 OK로 열리는가?
HTML 페이지가 아니라 텍스트 파일로 보이는가?
H1 제목이 있는가?
링크가 실제로 존재하는가?
너무 오래된 글만 모아두지는 않았는가?
사이트 설명이 현재 방향과 맞는가?

llms.txt 체크리스트

사이트에 llms.txt를 추가하기 전에는 아래 항목을 확인해보세요.

사이트 루트에서 /llms.txt로 접근 가능한가?
사이트 소개가 한 문단으로 명확한가?
대표 주제가 3~7개 정도로 정리되어 있는가?
추천 문서 링크가 실제로 열리는가?
오래된 글에는 현재 상태 안내가 붙어 있는가?
sitemap.xml, robots.txt와 함께 기본 검색 노출 구조가 갖춰져 있는가?
새 글이나 핵심 문서가 추가될 때 업데이트할 운영 기준이 있는가?

정리

llms.txt는 거창한 개발 작업이 아닙니다. 하지만 사이트 운영 관점에서는 실용적인 정리 작업입니다.

AI가 내 사이트를 참고하길 바란다면, AI가 먼저 읽을 수 있는 안내문을 준비해두는 것이 좋습니다. 특히 문서가 많거나 오래된 글과 최신 글이 섞여 있다면, llms.txt는 사이트의 핵심 문서를 정리하는 좋은 출발점이 될 수 있습니다.

처음에는 완벽하게 만들 필요가 없습니다. 사이트 소개, 주요 주제, 대표 문서 5~15개, 최신 문서 우선 참고 안내만 넣어도 충분합니다. 이후 새 글이 쌓일 때 조금씩 업데이트하면 됩니다.

AI 검색 시대에, llms.txt가 떠오르는 이유