크롤링(Crawling)

쉬운 설명

웹페이지를 자동으로 돌아다니며 필요한 정보나 링크를 수집하는 작업.

실제로는 이렇게 만나요

크롤링(Crawling)은(는) 실제 작업 흐름에서 Selenium, robots.txt, Sitemap 같은 개념과 함께 등장합니다.

• 이런 거 할 때 나와요 검색 색인, 가격 모니터링, 자료 수집, 사이트맵 확인, 데이터셋 만들기 같은 자동화 작업에서 등장합니다.
• 이렇게 생겼어요 크롤링(Crawling)은(는) Selenium, robots.txt, Sitemap 같은 주변 개념과 함께 문서, 설정 화면, 오류 메시지에서 자주 보입니다.
• 나오는 화면 예시 데이터 / 자동화 작업을 하다가 Selenium, robots.txt, Sitemap를 확인하는 화면

헷갈리기 쉬운 점

크롤링은 페이지를 찾아다니는 수집 과정이고, 스크래핑은 그 안에서 원하는 데이터를 뽑아내는 작업에 더 가깝습니다.

왜 알아두면 좋을까요?

검색 색인, 가격 모니터링, 자료 수집, 사이트맵 확인, 데이터셋 만들기 같은 자동화 작업에서 등장합니다.