- 크롤링 및 색인
- 14이 카테고리에서 실행되는 테스트
- 모듈
- 2전용 크롤링 및 색인 검사
- 매 스캔
- 299+모든 카테고리 합계 테스트
중요한 이유
크롤링 가능성은 기반 계층이에요. 콘텐츠, 구조화 데이터, 성능이 중요해지기 전에 크롤러는 사용 가능한 응답을 반환하는 canonical URL의 안정적인 지도를 필요로 해요.
어떻게 동작하나요
FixWeb은 브라우저 크롤링에서 얻은 robots.txt, 사이트맵 발견 결과, 렌더링된 페이지 상태, 최종 URL, canonical 태그, robots 메타 지시어를 함께 확인해요.
사이트 영향
실수로 들어간 noindex 하나, 손상된 사이트맵, 호스트를 가로지르는 canonical 하나만으로도 사람이 보기에는 멀쩡한 페이지가 중요한 페이지를 누락시킬 수 있어요.
개선 방법
유효한 사이트맵을 게시하고 robots.txt에서 참조하며 canonical 태그의 일관성을 유지하고 실수로 추가된 noindex 지시어를 제거하고 중요한 템플릿의 4xx/5xx 응답을 모니터링해요.