BEGIN CERTIFICATE와 END CERTIFICATE를 포함한 텍스트를 *.crt혹은 *.der, *.cer등 다양한 확장자로 저장합니다. 각 웹서버에서 이 인증화일을 불러들일 준비를 합니다

2. Apache(modSSL)

1. 현재 임시 인증서, 또는 교체해야할 인증서가 있으시다면 이를 백업합니다. 그리고 새로이 만든 파일로 이를 교체합니다.
2. 받은 인증서의 -----BEGIN CERTIFICATE----- and -----END CERTIFICATE-----에 해당하는 부분을 mycert.crt로 저장합니다. 그리고 Apache에 옵션 변경을 합니다. SSLCertificateFile /path/conf/ssl.crt/mycert.crt
   SSLCertificateKeyFile /path/conf/ssl.key/mycert.key
   mycert.key는 CSR을 생성할 때 생기는 개인키로서, Thawte의 무료 CSR생성기를 통하여 CSR을 생성하셨다면, 메일로 보내졌습니다. 대부분 Apache 인스톨과정에서 make certificate를 통해 생성된 개인키는 conf/ssl.key 디렉토리 아래에 저장이 됩니다.
3. 아파치 SSL을 구동시킵니다 apache/bin/apachectl startssl

2. Microsoft IIS4.0

1. Start > Program > Microsoft Management 를 실행합니다.
2. 운영하는 웹사이트를 선택하고 Key Manager 아이콘을 클릭합니다.
3. Key > Install Certificate를 선택하면 Install Wizard가 실행됩니다.
4. 인증서를 저장한 mycert.txt 화일을 선택합니다.
5. 암호를 입력합니다.
6. Server Bindings 박스에서 Add를 눌러 443번 포트를 지정합니다.
7. Micfosoft Management > Website Advanced콘솔에서 웹사이트 등록정보에 방금 설정한 IP와 포트번호인 443번을 입력합니다.
8. 모든 설치과정이 완료되면 서버를 재시동 합니다.

3. Microsoft IIS5.0

1. 시작 > 프로그램 > 관리도구 > 인터넷 서비스 관리자를 선택합니다.
2. 기본 웹사이트에서 인증서를 사용할 웹서버를 선택한 후 마우스 오른쪽 버튼 클릭해서 등록정보를 봅니다.
3. 디렉터리 보안 탭을 누릅니다.
4. 보안 통신에서 서버 인증서를 선택하면 웹서버인증 마법사가 나타납니다.
5. 신청한 인증서를 설치합니다를 선택합니다.
6. Thawte로 부터 받은 CRT화일을 불러옵니다.
7. 마침을 눌러 인증서 설치를 마칩니다.
8. 웹사이트의 고급을 선택합니다.
9. 이 웹사이트의 복수SSLID에 추가를 선택하고, IP주소를 선택한 다음 확인을 누릅니다. SSL포트에는 443이라고 적습니다.
10. IIS를 재구동하고 https://로 접근하여 SSL서버가 구동되는지 확인합니다.

4. Netscape Enterprise Server

1. 루트로 로그인하고 서버 루트 디렉토리로 들어 갑니다. 서버가 설치된 디렉토리입니다.
2. bin/admin/admin/bin/sec-key프로그램을 실행합니다. Windows < b>실행.
3. 입력 메시지가 나타나면 새로운 CSR의 이름을 입력합니다. 이름은 흔히 서버명을 사용하며, 공백은 포함시키지 않습니다.
4. 입력 메시지가 나타나면 해당 키 쌍 파일에 대해 8자 이상의 암호를 입력합니다. 암호는 숫자를 포함해야하며, 매우 중요하므로 꼭 기억하셔야 합니다.
5. 암호를 재입력하고 확인을 누릅니다. 파일이 작성되어 저장되었습니다.
6. Netscape서버에서 CSR을 생성하면 개인키가 /alias/-key.db에 저장됩니다. 꼭 백업해 두시기 바랍니다.

1. 서버 관리 페이지에서 키와 인증서|인증서 요청을 선택합니다.
2. 윈도우에서 새 인증서임을 지정합니다.
3. 전자 우편을 통한 인증서 요청 제출을 선택하고 CA의 전자 우편 주소란에 사용자의 전자 우편 주소를 입력하십시오.
4. 드롭 다운 목록에서 인증서를 신청할 때 사용할 개인키 파일의 이름을 선택하고, 암호를 입력합니다.
5. CSR의 정보를 입력합니다

5) Iplanet Enterprise 6.0

1. Administration Server에 들어가 Security 탭을 선택합니다.
2. Install Certificate를 선택합니다.
3. 설치할 인증서의 종류를 체크합니다
   
4. 리스트에서 암호모듈을 선택합니다
   
5. 개인키 암호를 입력합니다
6. 메일로 받은 인증서의 BEGIN과 END부분이 포함된 부분을 Messagebox에 입력하고 OK를 클릭합니다.
7. Add Certificate혹은 Replace Certificate 중 선택합니다.
8. Apply를 선택하고 서버매니저를 종료합니다.
   인증서는 https-servername-cert7.db에 저장됩니다.

구글 http://www.google.co.kr/intl/ko/add_url.html

네이버 https://submit.naver.com/

네이트 http://add.nate.com/

다음 http://help.search.daum.net/help/register.html

야후 https://kr.suggest.yahoo.com/apply/index.php -> 구글 ADSense 사용자는 등록불가

야후(인터네셔널) https://siteexplorer.search.yahoo.com/submit

야후RSS Feed 등록 https://siteexplorer.search.yahoo.com/submit  (사이트맵도 등록 가능)

마이크로소프트 MSN http://search.msn.com/docs/submit.aspx?FORM=SUNO

파란닷컴 http://add.paran.com/normal_info.php

네이트닷컴 http://reghome.nate.com/comReg/common_01.asp

Gigablast: http://gigablast.com/addurl

SubmitExpress : http://www.submitexpress.com/submit.php

1. 애드센스 가입페이지에 가보시면, 다음과 같은 화면이 뜹니다. 신청버튼을 클릭하십시오.

2. 그러면 좀 다소 까다로운 입력화면이 뜨는데, 너무 어렵게 생각하실 필요는 없습니다.
다음과 같이 입력하시면 됩니다.

웹사이트 URL: 자신의 홈페이지 주소를 입력하세요.
웹사이트 언어: 한국어
계정종류: 개인
국가 또는 지역: 한국
수취인 이름: 영어로 자기 이름을 쓰십시오
ex) Hong Gil Dong

주소: 주소 같은 경우 입력하기가 좀 까다로울 수가 있습니다.

이런 식으로 입력하시면 됩니다.

3. 다 적었으면 다음과 같은

□ AdSense를 통해 제가 게재하는Google 광고를 클릭하지 않을 것임에 동의합니다.
□ 광고 클릭 인센티브를 제공하는 사이트에 광고를 게재하지 않겠습니다.
□ 위에 나열된 수취인 이름으로 발급된 수표를 수령하는 데 동의합니다.
□ 포르노 콘텐츠가 포함된 사이트에 광고를 게재하지 않겠습니다.
□ 애드센스 프로그램 정책을 읽었음을 보증합니다.

다섯가지 항목에 동의를 하시고 [정보제출] 버튼을 누르십시오.

4. 그러면, 애드센스 계정을 생성하는 과정을 거치게 되는데 계정을 생성하기 위해서는
기존에 메일을 갖고 계셔야합니다. 없다 하더라도 애드센스 로그인으로 사용할 새로운
Google 계정을 만드시도 무난합니다.

5. 모든 가입과정이 끝나면, 입력한 이메일 주소로 인증메일을 보낼 발송 절차를 밟습니다.

6. 버튼을 누르게 되면 인증메일을 성공적으로 보냈다는 메세지가 뜹니다. 확인해보겠습니다.

7. 메일함에 인증메일이 왔습니다. 클릭해보도록 하겠습니다.

8. 간단합니다. 구글에서 보내온 메일 내용의 인증 주소를 클릭하시면 됩니다.

9. 이것으로 인증절차가 끝났습니다.

10. 앞으로 2~4일간, 웹사이트 URL에 입력하셨던 홈페이지가 구글로부터 적합한 사이트인지 검증절차를 밟게 됩니다. 이후부터는 애드센스 측으로부터 애드센스를 달아도 좋다는 허가메일이 온 뒤에 읽어보시길 바랍니다.

11. 일단 허가 메일이 오게 되면 바로 구글 애드센스에 접속을 합니다.

12. 그러면 이런 화면이 뜨는데, 콘텐츠를 위한 AdSense - 시작 를 눌러주십시오.

13. 활성화를 시키면 각각 메뉴가 뜹니다. 콘텐츠를 위한 AdSense 메뉴를 클릭해봅니다.

14. 가장 보편적인 광고단위라는 폼을 체크하시고 계속하기를 해주십시오.

15. 원하시는 광고사이즈를 선택하신 다음에 계속하기를 눌러주십시오.

16. 채널 기능이 다소 까다롭습니다. 귀찮으시면 추가 버튼 신경쓰실 필요없이 계속하기

위치에 스크립트 코드를 삽입하시면 됩니다. 맨 처음 설치하면, 3~4시간 가량은 영문광고
또는 공익광고가 출력됩나다만 정상적인 상황이니 안심하셔도 됩니다.

출처: 아르의 게이버

My Sense는 자신의 구글광고의 클릭 현황을 자세히 알 수 있게 해줍니다.

My Sense 를 이용하기 위해선 간단하게 아래의 코드를 자신의 맨 페이지 하단에 삽입하시면 됩니다.

<script src="http://adsensekr.com/adinfo/mysense.js.html?id=kurapa" type="text/javascript"></script>

부정클릭을 방지하기 위해 아래와 같이 자세한 옵션을 추가할 수 있습니다.
<script src="http://adsensekr.com/adinfo/mysense.js.html?id=kurapa&time=최근시간&count=클릭수" type="text/javascript"></script>

예를 들어 아래와 같이 하시면 됩니다.
<script src="http://adsensekr.com/adinfo/mysense.js.html?id=kurapa&time=24&count=3" type="text/javascript"></script>
위와 같이 하시면 최근 24시간동안 3번클릭까지만 허용되고 그 이상 되면 광고가 나오지 않습니다.

광고대신 다른 페이지를 표시할 수 있습니다. url을 안쓰시면 기본적으로 공백으로 나옵니다.
<script src="http://adsensekr.com/adinfo/mysense.js.html?id=kurapa&time=최근시간&count=클릭수&url=표시할 페이지주소 " type="text/javascript"></script>

분석 프로그램에서의 시간은 미국 캘리포니아(구글본사)의 시간을 기준으로 합니다. 단 전체로그의 시간은 우리나라 시간입니다.

가입신청 URL: http://adsensekr.com

구글 검색엔진은 다른 엔진과는 다른 몇가지 특징을 갖고 있는데, 그 중 하나가 주소(URL)에 id라는 파라미터를 갖고 있는 웹페이지는 보안 문제로 인해 검색대상에서 제외합니다.

이번의 업데이트는 id 파라미터가 있다손 치더라도 검색에서 제외하지 않는다는 것입니다.

하지만, 또다른 특징인 큰 숫자가 들어간 주소는 검색에 후순위로 밀리는 것은 여전히 남아있습니다. 이런 이유로 이글루스(SK 커뮤니케이션즈의 블로그 서비스)가 구글 검색에서 상위에 나타나는 일은 그다지 많지 않습니다.

그리고, 세션을 사용하는 툴, 예를 들어 태터툴즈나 phpbb와 같은 프로그램은 구글 검색에서 세션에 대한 조치를 취하지 않는다면 검색의 상위에 나타나기가 힘듭니다.

이런 검색엔진 최적화(SEO)에 대한 내용은 같은 페이지 랭크일 경우 더 좋은 위치를 보장하거나 검색엔진에 잘 걸리게 합니다.

사진을 보기 전에 구글엔 크게 두가지 광고가 있습니다. 키워드광고라고도 불리우는 검색광고와 문맥을 분석해서 보여주는 문맥광고, 그리고 둘을 합쳐서 애드센스라고 합니다.(구글 자체 사이트일 경우는 애드센스라 하지 않음)

그럼 두가지 광고의 아이트래킹 사진을 보도록 하겠습니다.

검색광고(키워드 광고)

위의 사진은 검색 골든 트라이앵글이라고도 불리우는 것으로 신기하게도 사용자의 시선이 스폰서광고와 검색창에 뭉처있는 것을 알 수 있습니다. 이 결과로 일부 블로거는 구글이 미리 스폰서 광고의 위치를 잡을 때 이 실험을 해 본것이 아닐까 라는 추측이 나오기도 했습니다.

문맥광고



화면에 보면 알겠지만 우측의 애드센스 광고는 사용자의 시선이 거의 가지 않는 것을 알 수 있습니다. 전통적으로 화면 우측 광고를 스카이스크래퍼라고 하는데 웹사이트 상단과 우측은 인터넷 초창기부터 표준 위치일 정도로 인기있는 자리입니다.

그럼에도 불구하고 위 사진은 사용자의 눈길을 전혀 끌지 못하고 있음을 알 수 있습니다. 전문적인 용어로 이러한 현상을 Ad Blindness라고 하고 그 의미는 사용자가 광고가 있음에도 불구하고 없는 것 처럼 무시한다는 내용입니다.

Ad Blindness는 광고자가 가장 우려하는 것으로 초창기 이미지 광고의 클릭율(CTR)이 3-5%였던 데에 반해 현재는 0.1% 정도로 낮아진 전례가 있습니다. 이 것은 이삼구글에서 예전에 언급한 광고 신뢰도의 문제와 일맥상통하는 면도 있습니다.

미래 예측

이 실험에 따르면 블로그의 경우 광고가 컨텐츠와 밀접하게 붙어있어야 함을 알 수 있습니다. 전통적인 스카이스크래퍼 형식은 Ad Blindness를 피할 수 없기 때문입니다. 불가피한 이런 상황은 사용자가 광고를 아예 보지 않음으로서 생기는 일입니다.(만약 구글의 클릭율(CTR)이 10%만 낮아진다고 해도 10% 이상의 수익이 날라갈 수 있습니다.)

구글 애드센스팀에서 알려준 블로그의 애드센스 효과에 대한 그림에서 빨간색 이하 그 후순위 부분은 전혀 신경쓸 필요가 없음을 의미하기도 합니다.

그리고, 검색광고(키워드 광고)의 경우 아직까지 주목도가 매우 높기 때문에 페이비뷰 당 광고 수익률은 당분간은 괜찮겠지만, 인터넷 광고시장의 역사를 돌아볼 때 언제 사용자들의 Ad Blindness가 생길지 알 수 없습니다.

광고 게시자는 자신의 웹사이트가 검색형인지 컨텐츠형인지 알 필요가 있습니다. 그리고, 올블로그와 같은 메타사이트의 경우 검색결과의 최상단에 광고를 넣는다면 좋은 효과가 생길 수 있음을 이 결과를 통해서도 알 수 있습니다.

IE7 beta2 에서도 감지가 되고,
구글 테스크탑3의 웹클립에서도 rss를 추가하지 않아도 자동으로 감지되고 추가된다.

firefox에서도 라이브북마크라는 이름으로 동작을 한다. ㅎㅎ

뭔가 하나 발견하니 좋아요. 좋아. ㅎㅎ

 <link rel="alternate" type="application/rss+xml" title="웹마스터::KURAPA.COM" href="http://kurapa.com/xml.php?sid=979">

구글의 웹 검색 순위는 페이지 랭크를 이용하는 것으로 알려져 있지만, 지금에 와서는 이 말은 전혀 틀린 이야기가 됩니다. 페이지 랭크 알고리즘에 따르면 새로 만들어진 웹문서가 전적으로 불리하게 작용합니다. 따라서, 구글은 페이지 랭크에 개인화 검색 결과를 섞어서 순위를 정하게 됩니다. 구글에서 "핵실험"으로 검색을 할 경우, 많은 뉴스 페이지들을 볼 수 있고, 그 문서가 만들어진 날짜가 보통 10월 이후입니다.

하지만, 페이지 랭크 값이 높으면 왠지 자신의 웹사이트가 유명해 진 것 같은 기분이 들기도 합니다. 검색 결과에 있어서 페이지 랭크 값은 예전에 비해서 중요도가 많이 떨어졌지만, 그럼에도 불구하고 웹사이트를 알리는데 많은 도움을 주고 있습니다.

이상한 현상 1. 한국 블로그는 랭크 5 이상이 없다?

구글 댄스가 진행되면서 대부분의 유명 블로그는 랭크 5를 얻고 있습니다. 하물며, 올블로그나 미디어몹, 블로그플러스 등의 메타 사이트들도 5를 넘지 못합니다. 그렇다면 구글 한국 공식 블로그의 랭크는 몇일까요? 무려 7입니다. 랭크 7은 네이버보다 높고, 다음이나 조선일보와 같은 값입니다.

올블로그보다, 네이버보다 구글 한국 공식 블로그가 더 인기있다는데 동의할 사람이 있을까요?

랭크 5를 넘는 블로그는 한국에는 구글 한국 공식 블로그 외에 없는 것으로 보이고, 메타 블로그의 경우는 이글루스가 랭크 6, 다음 블로그가 랭크 6을 얻고 있습니다. 다음은 그렇다 쳐도 이글루스의 랭크 6은 어떻게 얻어졌을까요?

이 내용은 이후에 알아보기로 하고, 한국 블로그의 최고 랭크는 현재까지 구글 공식 블로그를 제외하고 최대 5라는 것은 이후의 글을 이해하는데 도움이 됩니다.

이상한 현상 2. 왜 5이상의 블로그는 존재하지 않는가?

블로그는 태생이 링크로 묶여 있는 커뮤니티이기 때문에 구글의 페이지 랭크에 매우 강합니다. 구글은 링크가 많은 페이지가 더 중요하다고 보기 때문인데요, 그렇다면 블로그는 다른 페이지들 보다 높은 랭크를 얻어야 합니다. 그리고, 그 점수도 빠른 속도로 올라가야 합니다.

페이지 랭크를 주의깊게 본 사용자라면 영문 페이지들이 한글 페이지보다 일반적으로 더 높은 값을 갖는다는 사실을 알 것입니다. 그리고, 이런 이유로 블로그로 돈을 벌려면 영문으로 해야 한다고 주장하기까지 합니다. 과연 영문 블로그가 일반적으로 한글 블로그보다 방문자가 많을까요? 그래서 랭크가 높게 나오는 것일까요?

그리고, 하필이면 왜 5 이상의 블로그는 없을까요?

이상한 현상 3. 바캠프(BarCamp) 한국 페이지는 왜 6일까?

바캠프 서울은 생긴지 오래되진 않았습니다. 그리고, 일반인들에겐 잘 알려져 있지 않습니다. 블로그를 둘러보아도 많은 링크가 있다고 보기도 어렵습니다. 하지만, 바캠프 서울의 랭크는 6. 이 점수는 어떻게 나온 것일까요? 과연 페이지 랭크는 백링크가 많은 웹페이지에 높은 점수를 부여하긴 하는 것일까요?

진실 1. 트러스트 랭크(TrustRank)

페이지 랭크가 알려지고, 구글 검색에 대한 SEO, 즉 검색 엔진 최적화라는 말이 생기면서 스팸이 빠른 속도로 늘었습니다. 스패머는 자동으로 페이지를 생성해서 서로 링크를 거는 방식으로 구글의 상위에 위치하는 방법을 썼는데, 이 부분은 팔글에서도 다룬 바 있습니다.

이런 이유로 생긴 것이 트러스트 랭크인데, 요약하면 구글은 랭크 10짜리 사이트를 인위적으로 정합니다. 공정성을 기하기 위해서 오픈 디렉토리에 등록된 웹사이트를 이용할 수도 있습니다. 아무튼 어떤 인위적인 방법으로 높은 점수의 웹사이트를 정하고, 거기에 링크된 웹페이지들의 점수를 계산합니다.

이런 이유로 영어로 된 웹사이트들의 점수가 더 높은 것입니다. 즉, 현재 랭크 10을 달리고 있는 구글닷컴(google.com), 애플닷컴(apple.com) 등에 링크가 걸린 웹페이지들은 왠만해선 7 이하로는 떨어지는 법이 없습니다. 따라서, 구글의 공식 블로그들은 매우 높은 랭크값을 얻을 수 있습니다. 구글 한국 공식 블로그의 랭크 7도 이런 것으로 설명이 됩니다.

서울대 웹사이트(랭크 8 )를 보면 재미있는 사실을 알게 됩니다. 서울대 첫페이지에는 각 과별 웹사이트가 링크되어 있는데, 랭크를 확인해 보면 보통 랭크 5 이상은 된다는 것을 알 수 있습니다. 서울대 메인 페이지에 링크가 걸린다면 손쉽게 랭크 7 까지는 올릴 수 있겠지요.

진실 2. 롱테일 이론은 통하지 않는다

아무리 많은 백링크를 갖고 있는 웹페이지라도 트러스트 랭크를 통하지 않고는 일정 점수 이상 오르기는 불가능합니다. 다음은 정말 많은 백링크를 가지고 있는 한국의 대표 포털이지만, 겨우 페이지 랭크는 7, 네이버는 6입니다. 그리고, 다음 메인에 링크가 되어 있는 다음 블로그는 랭크 6.

한국에서 랭크 7을 넘기위해서는 어떻게 해야 할까요?

진실 3. 블로그는 악마의 5를 뛰어넘을 수 없다

물론 이 말은 현재의 진실이지만, 미래의 진실일 수는 없습니다. 왜냐하면 한국엔 구글 공식 블로그가 있기 때문입니다. 현재 구글 공식 블로그의 랭크는 7. 그 곳엔 십여개 블로그의 링크가 걸려 있습니다. 이삼구글도 그 곳에 링크가 있어서, 구글 댄스 이후의 값은 랭크 5. 그리고, 김중태 블로그도 역시 랭크 5입니다.

만약, 한국 블로고스피어에 페이지 랭크 5를 돌파하는 일이 발생하려면, 6 이상의 웹사이트에 고정 링크가 있어야 합니다. 세가지 시나리오가 있을 수 있습니다.

1. 다음 블로그 메인페이지에 블로그로 향하는 고정 링크가 존재
2. 이글루스 메인페이지에 블로그로 향하는 고정 링크가 존재
3. 구글 한국 공식 블로그에 고정 링크가 존재

3번은 현재에도 있는 것이니만큼, 한국 블로고스피어의 랭크 값이 올라가려면 김중태 블로그나 이삼구글 블로그가 랭크 5를 넘어야 합니다. 아니면, 1,2와 같은 방법이 적용되어야 합니다. 그렇지 않기 때문에 현실적으로 랭크 6 이상의 블로그는 현존하기가 매우 힘듭니다.

능동적 시나리오

페이지 랭크에 목숨걸 일은 없지만, 재미로 한다면, 블로고스피어의 전체적인 랭크 값을 올리기 위해, 우선적으로 높은 랭크 값을 갖는 웹페이지에 어느 한 블로그가 링크되는 일이 발생되어야 합니다. W3C(랭크 10)도 좋고, PHP.net(랭크 9)도 좋습니다. 한국에선 외국에 인용이 많이 되는 에트리(etri.re.kr, 랭크 9)가 좋겠죠. 아무튼, 이런 웹사이트 메인에 블로그 링크가 걸려야 합니다.

일단, 그런 블로그의 랭크 값이 올라가면, 그 블로그는 자신이 좋다고 생각하는 블로그를 자신의 메인 페이지에 걸어줍니다. 그리고, 그런 식으로 밑으로 뻗어나아가면 전체적인 블로그 점수가 높아집니다.

이상은 구글 댄스가 진행 중이어서 생각해 본 이삼구글의 가상 시나리오 입니다. 툴바가 설치되지 않았다면, 리플넷에서 제공하는 페이지 랭크 알아보기를 이용해 보세요. livepr에선 더 자세한 값을 알 수 있습니다.

이 모든 것이 복잡하다고 생각한다면, 페이지 랭크를 살짝 무시해버리는 센쓰가 필요합니다. :-)

Update

페이지 랭크 6의 블로그가 존재합니다. 역시, 구글 한국 공식 블로그에 링크된 두 곳입니다. 김중태 블로그 중 구글(Google) 관련 글 모음과 하늘은 블루님의 블로그 (하늘은 블루님 감사~)

Update2

페이지 랭크는 웹사이트의 랭크가 아닌 "페이지"의 랭크입니다. 첫페이지만을 이야기 한 이유는 일반적으로 첫페이지 랭크가 가장 높기 때문이고, 그렇지 않은 경우도 많이 있습니다. 김중태 블로그의 경우도 첫페이지 보다는 구글 관련 글 모음 쪽이 랭크가 높습니다. 이삼구글 블로그도 구글 댄스 전에는 첫페이지 보다는 사이트맵(blog.repl.net/index.php/sitemap/) 쪽의 랭크가 더 높았습니다.

Update3

한국에서 랭크 5를 넘는 블로그가 존재합니다. 개발관련 웹사이트에 링크가 됐기 때문으로 풀이가 됩니다.

아래 내용을 읽고 내가 사용하고자 하는 robots.txt의 내용은 아래와 같이 했다.

User-agent: Googlebot
Disallow: /

User-agent: Googlebot-Image
Disallow: /

User-agent: Slurp
Disallow: /

User-agent: yahoo-blogs/v3.9
Disallow: /

User-agent: *
Crawl-delay: 1200
Disallow: /data/
Disallow: /blog/attach/

==================================================

robots.txt파일을 생성해야 하는 이유는 크게 두가지입니다. 트래픽을 조절할 수 있다는 것과 다른 사람에게 알리고 싶지 않는 정보를 보호하기 위해서 입니다. 이 파일의 역할을 당신의 블로그를 방문하는 로봇들에게 사이트를 검색하게 허용할 것인지, 허용한다면 어떤 로봇에게, 어떤 디렉토리를 허용할지를 담고 있는 파일입니다.

윈도우의 경우 메모장을 이용해서 생성하면 되는데요, 파일은 반드시 계정의 최상위(root) 디렉토리에 있어야 합니다. 이를테면 제 사이트 http://bklove.info/ 라면 http://bklove.info/robots.txt 에 위치해야 합니다. http://bklove.info/temp/robots.txt 라면 제대로 작동하지 않습니다.

파일의 내용은 크게 세 부분으로 나뉩니다.
주석(#), 로봇의 이름을 적는 부분(User-agent) , 방문을 허용하지 않을 디렉토리를 적는 부분(Disallow)으로 구분됩니다.

User-agent: *
Disallow: /
위처럼 적으면 모든 로봇에서 모든 디렉토리에 대한 검색을 불가능하게 하겠다는 뜻을 담고 있습니다. [*]는 User-agent에서만 사용가능한데 [모든 로봇]이라는 뜻을 지니고 있습니다. Disallow의 [/]는 디렉토리에 있는 모든 폴더를 나타내는 것이구요.

만약 특정 디렉토리를 차단하게 하려면 다음과 같이 적어주면 됩니다.

User-agent: *
Disallow: /blog
위는 모든 로봇[*]에게 [blog]디렉토리 아래에 있는 부분에 대해서는 접근을 차단한다는 내용을 담고 있습니다.

그렇다면 특정 로봇을 차단하는 방법은 어떤게 있을까요? 이를테면 사이트에서 네이버의 로봇이 활동하게 하지 못하는 방법은 다음과 같습니다.

User-agent: Cowbot
Disallow: /
Cowbot은 네이버 로봇의 이름입니다. 위처럼 작성해주시면 네이버 로봇의 경우 검색을 하지 못하게 됩니다.

조금 복잡하게 구글과 네이버는 허용하고, 그외에는 모두 차단하는 방법은 다음과 같습니다.

User-agent: Cowbot
Disallow:

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

Disallow에 아무적도 적지 않으면 모두 허용한다는 의미가 되기 때문이죠.
/blog와 /blog/는 조금 다릅니다.
/blog의 경우는 /blog/a.htm와 /blog.htm에 대해서 불가능한 것이고
/blog/의 경우는 /blog/a.htm에 대해서만 불가능 합니다.
즉 /blog는 디렉토리와 파일까지도 포함하고, /blog/는 디렉토리만을 의미하거든요.

앞서 트래픽을 아끼기 위해서 이미지 로봇을 차단하는 방법은 다음과 같습니다. 참고로 원래는 Disallow항목에 *표시를 넣을 수 없습니다. 이 명령어는 구글과 MSN등에서만 통용되구요. 파일명 뒤에 반드시 $표시를 해주셔야 합니다. 즉 모든 검색엔진에서 통용되지는 않습니다.

User-agent: Googlebot-Image
Disallow: /*.gif$
Disallow: /*.jpg$
위 문장은 구글의 이미지를 검색하는 로봇에게 gif와 jpg로 된 이미지를 모두 검색하지 않도록 하는 명령어입니다.

참고로 주석문을 작성하기 위해서는 앞에 #를 적어주시면 됩니다. 로봇의 이름은 개별 검색사이트를 방문하셔서 아셔야 합니다. 주로 쓰는 로봇의 이름만 알려드리면...
구글: Googlebot
구글 이미지 : googlebot-image
네이버 : cowbot
야후 : Slurp
야후 이미지 : Yahoo-MMCrawler
엠파스봇 : empas
MSN : MSNBot
첫눈: 1Noonbot 1.0

차단했을 경우에, 즉시 삭제되는 것은 아니지만 시간이 지나면 검색포털에서의 검색 결과 역시 삭제된다는 사실을 염두에 두셔야 합니다.

* Crawl-Delay 항목을 지정하시면 검색엔진의 방문을 지연시킬 수 있습니다. 기본단위는 초단위입니다. 아래의 명령어 역시 위의 *.jpg$처럼 야후, MSN에서만 작동됩니다.

User-agent: Slurp
Crawl-delay: 20

이렇게 하시면, 모든 검색로봇의 방문을 허용하되 5초동안은 다시 방문을 하지 않도록 지정하게 됩니다.

** http://www.mcanerin.com/EN/search-engine/robots-txt.asp 이곳에 가시면.. 비록 외국 사이트긴 하지만.. robots.txt를 제작해줍니다. ^^!! 고르기만 하면 자동으로 파일을 생성해주죠. 가져와서 메모장에 붙여놓고 저장후 FTP로 올리면 됩니다.

*** http://tool.motoricerca.info/robots-checker.phtml 이곳은 만들어진 robots.txt파일이 잘 작성되었는지 검사해주는 사이트입니다.

**** 끝으로 제가 사용하고 있는 robots.txt는 http://bklove.info/robots.txt 여기서 확인이 가능합니다. 야후의 경우 시간을 지연시키는 명령어를 사용했고, 구글과 구글이미지, MSN의 경우 이미지와 PDF, ZIP, PPT파일에 대한 검색을 차단했습니다.