일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
- 복현오거리
- 아파치
- mysql
- 알리익스프레스
- ConoHa
- html/css
- 알뜰폰
- proxmox
- 가상서버호스팅
- iptime
- 스톤에이지
- KB증권
- 티스토리
- 킹북이초월
- 윈도우10
- 워드프레스
- 시놀로지
- 소비전력
- 램가스초월
- centos
- php
- Ajax
- SKT
- 보르비스초월
- KB국민카드
- 리눅스
- 거제도
- 자바스크립트
- Apache
- jQuery
- Today
- Total
목록robots.txt (3)
맛집 여행 캠핑 일상 생활
수많은 검색봇들이 있는데 이중에 잘 알려는 검색봇만 허용하고 나머지는 차단해주는 robots.txt 작성 예제입니다. User-Agent: Amazonbot User-agent: AhrefsBot User-Agent: AwarioBot User-agent: Baiduspider User-Agent: DataForSeoBot User-Agent: DotBot User-Agent: MauiBot User-Agent: MJ12bot User-agent: SemrushBot User-agent: PetalBot User-agent: YandexBot Disallow: / User-Agent: Bingbot User-Agent: Daum User-Agent: DuckDuckBot User-Agent: Google..
[티스토리] robots.txt 편집 불가능 티스토리는 robots.txt 파일을 수정이 불가능합니다.자신의 블로그 주소 뒤에 /robots.txt 를 추가해서 브라우저에서 열어보면 아래처럼 나옵니다.User-agent: *Disallow: /ownerDisallow: /manageDisallow: /adminDisallow: /oldadminDisallow: /searchDisallow: /m/searchDisallow: /m/adminDisallow: /likeAllow: / User-agent: Mediapartners-GoogleAllow: / User-agent: bingbotCrawl-delay: 30 하지만 HTML/CSS 편집에서 메타 태그로 가능합니다.< meta name="robots"..
구글봇 및 여러 검색봇들이 은근히 트래픽을 발생시키기도 한다. 이러한 검색엔진봇들을 차단하면 트래픽을 줄이는데 도움이 된다. 이러한 검색봇들에 의한 트래픽을 막는 방법중에 robots.txt 파일을 이용하는 방법이다.물론 메타태그를 이용하는 방법도 있다.robots.txt 파일은 도메인 루트 디렉토리에 위치하여야 한다. (index.html이 위치하는 곳) robots.txt 파일을 아래의 방법으로 작성하여 웹서버에 ftp로 업로드하면 된다. ▶ 모든 검색봇 차단User-agent: *Disallow: / ▶ 모든 봇 허용User-agent: *Allow: / ▶ 구글봇 차단 (구글봇, 구글봇이미지, 구글봇모바일)User-agent: GooglebotDisallow: / User-agent: Google..