맛집 여행 캠핑 일상 생활

구글봇 및 여러 검색봇들이 은근히 트래픽을 발생시키기도 한다. 이러한 검색엔진봇들을 차단하면 트래픽을 줄이는데 도움이 된다. 이러한 검색봇들에 의한 트래픽을 막는 방법중에 robots.txt 파일을 이용하는 방법이다.물론 메타태그를 이용하는 방법도 있다.robots.txt 파일은 도메인 루트 디렉토리에 위치하여야 한다. (index.html이 위치하는 곳) robots.txt 파일을 아래의 방법으로 작성하여 웹서버에 ftp로 업로드하면 된다. ▶ 모든 검색봇 차단User-agent: *Disallow: / ▶ 모든 봇 허용User-agent: *Allow: / ▶ 구글봇 차단 (구글봇, 구글봇이미지, 구글봇모바일)User-agent: GooglebotDisallow: / User-agent: Google..