우크라이나와 싱가폴에 연구소를 둔 Ahrefs.com은 검색엔진 최적화(SEO) 업체로 표준을 지키지 않는 것으로 유명했습니다. 참고로 SEO란 Search Engine Optimization을 줄임말로 검색엔진이 검색을 잘 할수 있도록 도와주는 솔루션입니다. 통상 인터넷 기반의 웹사이트는 robots.txt에 접근 정책을 정의해 둡니다. 그런데 ahrefs.com은 이를 무시하고 크롤링을 해 버리는 경우가 많았습니다. 예전에도 한번 그런적이...
트래픽초과에 이제는 지쳤다. 결국 검색사이트의 로봇을 차단하기로 결정. 그 방법을 검색해서 가장 마음에 들게 정리한 부분을 발췌.아래 내용을 읽고 내가 사용하고자 하는 robots.txt의 내용은 아래와 같이 했다.User-agent: GooglebotDisallow: /User-agent: Googlebot-ImageDisallow: /User-agent: SlurpDisallow: /User-agent: yahoo-blogs/v3.9Disallow: ...
631 