robots.txt

쉬운 설명

검색 엔진이나 크롤러에게 사이트의 접근 가능 범위를 알려주는 텍스트 파일.

실제로는 이렇게 만나요

robots.txt은(는) 실제 작업 흐름에서 Crawling, Sitemap, SEO 같은 개념과 함께 등장합니다.

• 이런 거 할 때 나와요 검색 노출, 크롤링 허용 범위, 사이트맵 위치를 설정하거나 확인할 때 등장합니다.
• 이렇게 생겼어요 robots.txt은(는) Crawling, Sitemap, SEO 같은 주변 개념과 함께 문서, 설정 화면, 오류 메시지에서 자주 보입니다.
• 나오는 화면 예시 웹 기본 작업을 하다가 Crawling, Sitemap, SEO를 확인하는 화면

헷갈리기 쉬운 점

robots.txt는 크롤러의 접근 규칙을 알려주고, 사이트맵(Sitemap)은 중요한 URL 목록을 알려줍니다.

왜 알아두면 좋을까요?

검색 노출, 크롤링 허용 범위, 사이트맵 위치를 설정하거나 확인할 때 등장합니다.