AI 검색 크롤러와 robots.txt 실전 가이드: 노출과 학습을 따로 제어하는 법
OAI-SearchBot, GPTBot, Claude-SearchBot, PerplexityBot, Google-Extended의 역할을 구분하고 검색 노출과 모델 학습 정책에 맞는 robots.txt 작성·검증 방법을 설명합니다.
AI 도구, 코딩 에이전트, Git과 개발 자동화를 직접 사용하고 정리한 글을 모았습니다.
OAI-SearchBot, GPTBot, Claude-SearchBot, PerplexityBot, Google-Extended의 역할을 구분하고 검색 노출과 모델 학습 정책에 맞는 robots.txt 작성·검증 방법을 설명합니다.
한국에서도 시작된 ChatGPT Ads를 집행하기 전에 목표 CPA, 일일 예산, 전환 측정, 랜딩페이지, Context Hint, 광고 소재와 중단 기준까지 확인할 11가지를 정리합니다.
GEO의 뜻과 SEO·AEO와의 차이, AI 답변에 콘텐츠가 발견되고 인용되는 과정을 설명하고 사이트 운영자가 먼저 해야 할 일을 정리합니다.
GEO 성과를 AI 답변 가시성, 추천 유입, 전환의 세 단계로 나눠 측정하고 플랫폼별 데이터와 대시보드, 실험 방법을 실무 기준으로 정리합니다.
페이지 속도가 AI 인용을 직접 높이는지와 크롤링·색인·렌더링·사용자 행동을 통한 간접 효과를 구분하고 GEO 관점의 성능 개선 순서를 설명합니다.
llms.txt를 실제 사이트에 적용하는 방법을 정리합니다. Lighthouse가 확인하는 기본 형식, 좋은 llms.txt에 들어갈 내용, Anthropic·Stripe·Cloudflare·Vercel 사례, TechBukket 적용 예시까지 살펴봅니다.