맛집 여행 캠핑 일상 생활

특정 검색봇은 허용하고 이외에는 차단 robots.txt 본문

IT이야기

특정 검색봇은 허용하고 이외에는 차단 robots.txt

영은파더♥ 2023. 11. 20. 13:14

수많은 검색봇들이 있는데 이중에 잘 알려는 검색봇만 허용하고 나머지는 차단해주는 robots.txt 작성 예제입니다.

User-Agent: Amazonbot
User-agent: AhrefsBot
User-Agent: AwarioBot
User-agent: Baiduspider
User-Agent: DataForSeoBot
User-Agent: DotBot
User-Agent: MauiBot
User-Agent: MJ12bot
User-agent: SemrushBot
User-agent: PetalBot
User-agent: YandexBot
Disallow: /

User-Agent: Bingbot
User-Agent: Daum
User-Agent: DuckDuckBot
User-Agent: Googlebot
User-Agent: Slurp
User-Agent: Yeti
Allow: /

Sitemap: https://www.example.com/sitemap.xml

빙봇, 다음봇, 덕덕봇, 구글봇, 야후봇, 네이버봇만 허용 나머지는 차단하는 간단한 예제는

User-Agent: Bingbot
User-Agent: Daum
User-Agent: DuckDuckBot
User-Agent: Googlebot
User-Agent: Slurp
User-Agent: Yeti
Allow: /

User-agent: *
Disallow: /

우선 순위는 Allow 가 Disallow 보다 높습니다.

 

저작자표시 비영리

'IT이야기' 카테고리의 다른 글

[Win10] 컴퓨터 디스크 관리에서 지워지지 않는 파티션 삭제  (0) 2024.04.05
RustDesk Failed to connect via relay server  (0) 2024.01.29
[윈도우10] 컴퓨터 쿨링팬 소음 줄이는 방법  (0) 2023.03.29
[CentOS] 8.x Squid Proxy 서버 구축 방법  (0) 2023.03.23
[윈도우10] Nox VT 기능 비활성화로 녹스앱플레이어 실행 안되는 문제  (0) 2023.03.20
공유하기 링크
'IT이야기' Related Articles more
Trackback : | Comments :