robots.txt는 어떤 식으로 기본 설정하나요?

robots.txt는 처음부터 복잡하게 만들기보다 기본 설정부터 간단하게 시작하는 것이 좋습니다. 전체 허용 상태로 두고 특정 경로만 차단하는 방식이 많이 사용됩니다.

필요하면 사이트맵 경로도 함께 적어둘 수 있습니다. 다만 중요한 페이지를 실수로 막으면 검색 노출에 영향을 줄 수 있으므로 설정 후에는 꼭 확인해 보셔야 합니다.