웹제로 호스팅의 modsecurity

프로그래밍 2007.02.06 02:00
  Signpen.net이라는 도메인을 소유하고 사용하면서 몇 가지 고민아닌 고민을 가지고 있었다. 지금은 signpen.net이라는 도메인 하나만을 사용하고 있지만 얼마 전까지만 해도 signpen.pe.kr도메인도 함께 소유하고 사용하고 있었다. 두 개의 도메인을 소유하고 있는 동안엔 net과 pe.kr 두 개의 도메인 모두 한개의 서버로 접속이 되도록 설정하고 사용해 왔었다. 그런데 유독 signpen.net이라는 주소는 구글검색에 노출되지 않았었다. 당시엔 signpen.pe.kr도메인을 먼저 사용했었고 중복되는 내용이 두 개의 주소에서 검출이 되니까 중복목록으로 들어가서 net도메인의 주소가 노출되지 않는걸로 생각했었다. 그런데 pe.kr도메인의 사용기간이 만료되어서 사용되지 않는 지금, 아직도 구글검색에선 signpen.net라는 도메인이 검색결과에 노출되지 않고있다.

구글 사이트맵

그동안 내 블로그는 오류투성이에다가 구글봇은 07년 신정을 마지막으로 발길을 끊어버렸다.


  아무래도 signpen.net이라는 도메인의 전 소유주가 이 도메인을 이용해서 불법적인 행위를 해서 구글검색에서 제외된 도메인일 것이라는 판단이 들어서 구글사이트맵을 이용해서 새로 소유하게된 도메인이라는 내용의 글과 함께 재등록 요청을 보냈다. 그로부터 이틀 후 구글색인에 내 도메인이 포함되었다. 그러나 여전히 검색에는 노출되지 않고있다. 구글사이트맵 서비스에도 'HTTP 406에러'라면서 구글봇이 내 사이트에 접속되지 않는것으로 나오고 있다. 어째서일까 라는 생각이 들어서 관련될만한 키워드로 구글링을 해 보았다.

#modsecurity

  몇 시간동안 구글을 뒤져본 결과 내가 사용하고있는 '웹제로'라는 호스팅업체의 문제로 결론이 나왔다. 웹제로에서는 modsecurity라는 보안에 관련된 아파치모듈을 사용해 서버레벨에서 모든 검색봇을 차단하고 있었던 것이었다. 구글봇 뿐만아니라 야후봇, 네이버봇 모두 차단목록에 포함되어 있었다. 어쩐지 07년1월1일을 마지막으로 구글봇이 내 블로그에 들어오질 않고 있더라. '자주 먹통이되곤 하지만 저렴해서 마음에 들었던 호스팅회사였는데 결국 서버를 옮겨야 하나'라는 고민을 하고 있을 쯔음에 간단하게 .htaccess파일 수정으로 해당모듈을 사용하지 않는 방법을 찾아낼 수 있었다.

  간단하게 계정에 있는 .htaccess파일에 3줄만 추가해주면 완료가 된다. 추가해야 할 내용은 아래와 같다.
SecFilterEngine Off
SecFilterScanPOST Off
SecFilterCheckURLEncoding Off

내용을 보면 알수 있듯이 해당모듈을 모두 off시켜버리는 것이다. 아파치서버를 사용하고 있지만 .htaccess파일이 생성되어있지 않다면 파일을 생성하고 위의 문장을 넣어주면 되고, 태터툴즈 유저의 경우엔 최상위 디렉토리에 존재하는 .htaccess파일을 찾아내서 맨 윗줄에 위에있는 세 문장을 넣어주면 된다. .htaccess파일은 기본적으로 hidden파일이므로 ftp프로그램의 옵션을 통해서 숨겨진 파일을 보여주도록 설정하면 나타난다.

  이렇게 설정을 넣어주고 나니까 일단은 잘 작동하는 것 같다. 검색에 노출되는 것은 몇 일 기다려봐야 알 수 있으니 잠시 기다려봐야겠다. 예전엔 구글검색이나 야후검색, MSN검색을 통해서 내 블로그에 방문하는 숫자도 꽤 되었었는데 갑작스레 줄어들어서 무슨일인가 의아해 했었는데 이제서야 문제를 알아내고 해결하게 되었다.

  서버레벨에서 이런 차단옵션을 만들어 두었으니 내 블로그의 평균트래픽이 이전의 호스팅을 이용할때와 비교가 될정도로 낮은게 당연한법. 덕분에 올블로그나 이올린이 아니고선 내 블로그는 인터넷이라는 방대한 공간 속에서 마치 무인도처럼 고립되어 있었던 것이다. 그나마 올블로그와 네이버의 협력때문에 내 블로그의 글이 예전보다는 네이버에 많이 노출이 되었지만. 대신 '싸인펜'이라는 검색어로 구글 운좋은 예감을통해 내 블로그에 한번에 접속되는 기분좋은 일과는 무척 거리가 멀어져버렸다. 구글검색을 통해서 내 블로그에 방문하는 사람의 숫자는 0이 되고 MSN이나 야후를 통한 방문도 거의 없다시피 했다.

#Robots.txt

  나 처럼 블로그가 여러가지 검색을 통해 노출되길 원하는 사람도 있겠지만 분명 그렇지 않을 사람들도 많을 것이다. 검색봇이 크롤링해가면서 발생하는 트래픽이 부담스러운 사람도 있을 것이고...

  보통 검색봇을 차단하기 위해서 robots.txt파일을 생성해서 이용하는 방법이 있는데 태터툴즈 블로그에선 파일을 생성해서 내용물을 넣고 서버에 업로드한다고 해선 제대로 작동이 되질 않는것 같다. 단적인 예로 robots.txt파일을 최상위 디렉토리에 업로드 했는데 '블로그주소/robot.txt'로 접속을 하면 페이지를 표시할 수 없다는 에러메시지만 나타나는 경우를 봐선 말이다. 내가 알기론 분명 robots.txt파일의 내용이 브라우저에 표시가 되어야하는데 말이다.

  그것은 태터툴즈 설치시 자동으로 생성되는 .htaccess의  내용물 때문인데 기존에 있던 파일에 한줄의 문구만 써 준다면 해결이 된다.
RewriteRule ^robots\.txt$ blog/robots.txt [E=SURI:1,L]

이런 방식으로 말이다. 뒤에 blog/robots.txt는 텍스트파일이 실제 업로드 되어있는 경로이고 앞의 내용은 '블로그주소/robots.txt'형식으로 블로그에 접속을 했을때 실제 파일이 있는 위치로 연결을 해 주는 것이다.

  이렇게 해 두면 태터툴즈의 경우에도 '블로그주소/robots.txt'라고 주소창에 입력하면 업로드한 robots.txt의 내용물이 웹브라우저에 표시가 된다. 종종 블로그에 robots파일을 만들어서 업로드 해 두었는데 크롤러들이 규정을 무시하고 크롤링해 간다는 글을 본적이 있었다. 태터툴즈의 경우라면 아마도 .htaccess파일을 손봐두지 않아서 그런것이 아닌가 추측이 된다.


  여러가지 노가다를 통해서 블로그를 새롭게(?) 셋팅했다. 아.. 상쾌허다~S
신고

'프로그래밍' 카테고리의 다른 글

초급개발자가 본 어이없는 프로젝트의 진행  (14) 2007.03.05
재귀적 사용  (6) 2007.02.10
웹제로 호스팅의 modsecurity  (14) 2007.02.06
mysql 4.1.X 한글처리  (6) 2007.01.12
JSP에서 JDBC클래스 로드  (2) 2007.01.02
자바 학원, 너무 부럽다...;;;  (21) 2006.12.20
top
  1. Favicon of http://www.ohyung.net Ohyung 2007.02.06 10:27 신고 수정/삭제 댓글

    전 그방법을 몰라서.. ( 운영자님께서도 방법을 모른다고만;;; )
    호스팅 업체를 옮겼습니다 ^^; 아까워라.. ㅜㅜ
    그리고 무엇보다 옮긴 이유는 페이지랭크의 0 추락이었습니다 ^^

    • Favicon of http://signpen.net 싸인펜 2007.02.06 17:51 신고 수정/삭제

      사실 검색을 하면서 Ohyung님의 블로그에 웹제로 관련글을 보고나서 호스팅 자체에서 검색봇을 차단하고 있었다는걸 알게 되었습니다^^ㅋ
      저도 지금은 페이지랭크가 0인데, 제가 쓴게 효과가 있다면 좋겠습니다. 확인해보니 검색로봇이 들락날락하기는 하고있습니다^^

  2. Favicon of http://software.tistory.com/ 별바람 2007.02.06 11:49 신고 수정/삭제 댓글

    저도 예전 24시간동안 문을 여는 카페(눈치채셨을듯)라는 호스팅을 썼었습니다. 초저가형 서비스를 써서 그런지 고객서비스도 불량이고, 마인드도 수준이하더군요..특히나 고객센터에 전화하면 왠 남자분이 걸걸한 목소리로 전화받으셨다는..쿨럭;;

    • Favicon of http://signpen.net 싸인펜 2007.02.06 17:54 신고 수정/삭제

      24시간 카페는 일반 호스팅 외에도 쇼핑몰 호스팅, 기업사이트 호스팅 등 많은분야의 업무를 하고있는걸로 알고있습니다. 아마 그래서 고객서비스가 좀 떨어지지 않았나 싶습니다. 아무래도 상대해야하는 고객의 숫자가 많다보니 작은부분까지는 제대로 신경쓰지 못하는게 아닌가 생각이 드네요.

      그렇지만 고객센터의 목소리 걸걸한 남자상담원은 24시간 카페가 실수를 한것 같네요. 저라도 별바람님과 같은 반응이.... 쿨럭;;

    • Favicon of http://blog.mog422.net 모그422 2007.02.06 18:19 신고 수정/삭제

      저는 24시간 문여는 카페 상담원 분들 참친절하다고 생각했었는데..다른분들은 아닌가봐요..ㄷㄷ

    • Favicon of http://signpen.net 싸인펜 2007.02.06 22:30 신고 수정/삭제

      사실 전 24시간 회사를 이용해 본적은 없는데, 아마 그렇지 않을까 하는 생각에 댓글을 달아봤습니다.
      목소리 걸걸한 남자상담원이라니.... 너무 끔찍해요..ㅠㅠ

  3. Favicon of http://www.hansfamily.co.kr/sayme/jc 마래바 2007.02.06 18:59 신고 수정/삭제 댓글

    아니 왜, 호스팅 업체 차원에서 검색을 막는거죠?
    그러면 인터넷이라는 열린 공간안에 블로그나 홈페이지를 만드는 의미가 없지 않나요?

    어쨌거나 저는 다른 블로거님들 덕분에 많이 배웁니다. 다행이라고 해야 하나요. 아직은 제 블로그 서비스하는 호스팅 업체는 그런 짓(?)을 안하나 봅니다. 휴우~~ 다행이다.

    • Favicon of http://signpen.net 싸인펜 2007.02.06 22:31 신고 수정/삭제

      보안을 위해서 아파치에 모듈을 추가한 것 같은데, 알려진 검색로봇 정도는 차단리스트에서 제외를 해 주어야 하지 않았을까 하는 생각이 들어요.

      저도 이런 경우가 있다는걸 처음 알았습니다...;;

  4. Favicon of http://wooyoon.net 흰우유 2007.02.06 21:28 신고 수정/삭제 댓글

    저도 항상 봇 때문에 고민이었는데, 다행히 플러그인으로 상당부분 커버가 됩니다.
    2-3개 정도의 플러그인을 사용하면서 나름 만족하고 있습니다.
    저같은 비인기 블로그의 경우, 봇님께서 힛수 올려주시는 건 감사할 일인데
    문제는 비인간적인 트랙백 횡포....... ^^;

    • Favicon of http://signpen.net 싸인펜 2007.02.06 22:36 신고 수정/삭제

      그렇죠^^ 로봇님들이 저를 대신해 웹에 PR해 주는 것 까지는 좋은데, 가끔 무시무시한 일을 저지르는 것을 돕는 경우가 있어서말이죠^^ㅋ

  5. Favicon of http://still.tistory.com 스틸 2007.02.09 20:43 신고 수정/삭제 댓글

    제 블로그에 단 Ohyung님 댓글보고 왔습니다.
    저는 이미 다른 곳으로 옮겼습니다만 (고객 센터 응대가 맘에 안 들어서리...)
    .htaccess에는 아래 라인만 적어도 차단이 안 됩니다.
    SecFilterInheritance Off

    • Favicon of http://signpen.net 싸인펜 2007.02.10 00:32 신고 수정/삭제

      역시 싼게 비지떡인지라 예전에 사용하던 호스팅에 비해서 안정적이지 못한 느낌을 많이 받아요. DB에 접속을 할 수 없는 현상도 종종 있구요.
      댓글정보 감사합니다^^ㅋ

  6. Favicon of http://yello.tistory.com yello 2008.03.05 18:24 신고 수정/삭제 댓글

    아~ 드디어 이걸 알았네요 ㅎㅎ
    저도 웹제로 ㄷㄷㄷ
    제가 크롤이 안된다는걸 알고,
    웹제로 고객센터에 막~ 머라머라머라 크롤을 이렇게막아도 되느냐~ 했더니
    modsecurity 봇차단을 해제하셨답니다
    그래도 sitemap등록시에는 계속 406오류가 뜨더군요
    아놔~ 또 이렇다고말했더니
    이건 서버문제가 아니라 제문제라고 하셔서 또-.-아놔 ㅎㅎ
    406으로 구글링하다가 이포스트를 드디어보게됬네요ㅋ
    덕분에 사이트맵 무사히등록했어요 ㅎㅎ 감사~

    • Favicon of http://signpen.net 싸인펜 2008.03.05 23:37 신고 수정/삭제

      축하드립니다^^ 이제 검색 크롤러들도 다녀가고 검색을 통해서도 yello님의 글을 만날 수 있게 되었군요!!ㅎㅎ

댓글 쓰기

익스플로러 빠른 시작페이지

Tips 2006.07.19 14:36

  익스플로러를 사용해 웹 서핑을 하다보면 사용하던 창은 남겨두고 새 창을 열어야 할 일이 자주 생길때가 있습니다. 새로 익스플로러 창을 열다보면 시작페이지 로딩으로 인해 잠시동안 기다려야 할 때가 많습니다. 한동안 그 문제로 전 시작페이지를  about:blank로 사용하기도 했습니다. 이미 겪으셨던 분들은 알만한 일이리라 생각합니다.


  about:blank로 첫 페이지를 설정 해 두면 익스플로러를 시작하자마자 시작페이지에 연결하느라 기다려야 했던 시간이 사라짐을 느낍니다. 보통은 포털사이트를 시작페이지로 설정을 해 두는데, 그 시작페이지에서 정보를 찾는 경우만큼이나 인터넷창을 열자마자 다른 사이트로 이동해야 하는 일들도 많기 때문에 시작페이지로의 접속 기다림이 답답할때가 있습니다. about:blank로 설정을 하면 바로바로 다른 페이지로의 이동작업을 할 수 있어 편리함이 있지만 첫페이지가 하얀 백지로 너무 볼품이 없고, 검색을 통해 어딘가로 접속을 해야 할 땐 검색사이트로 수동으로 움직여야 하한다는 불편함이 있었습니다.

  그래서 제가 사용하는 방법을 소개 해 보려 합니다. 일단 제 경우, 시작페이지를 구글(www.google.com)로 설정해 두었습니다. 다른 포털들을 이용하셔도 되지만 포털들에 경우엔 제가 쓰는 방법으로는 치명적인 단점이 있습니다. 그 치명적인 단점은 글 마지막에 설명하기로 하고 설정방법을 하나씩 보도록 하겠습니다.
  구글의 첫 페이지는 무척 심플하게 되어있습니다. 볼품없이 비어있는 화면이 단점이 될 수도 있으나 제가 쓰는 방법에서는 이것이 바로 최고의 장점이 됩니다. 우선 WWW.GOOGLE.COM에 접속을 합니다.

익스플로러의 파일 메뉴에서 다른이름으로 저장을 선택합니다. 그리고 원하는 폴더에 저장을 합니다. 저장 후에 인터넷 창을 닫고 저장한 페이지를 더블클릭해서 실행합니다. 방금 저장했던 구글의 첫 페이지가 화면에 나타날 것입니다.

  이제 그곳을 익스플로러의 시작페이지로 설정을 합니다.

  자, 이것으로 모든 설정이 끝났습니다. 지금부터는 익스플로러를 실행 할 때마다 구글 서버에 연결을 해서 사이트 정보를 받아오는 것이 아니라, 하드디스크에 저장되어있는 시작페이지를 읽어오기 때문에 첫페이지 접속으로 인한 딜레이도 없어지고 하얀 blank페이지도 아닌 상태가 됩니다.

  이렇게 설정을 한 후에 저장된 구글 페이지에서도 검색 기능을 사용할 수 있습니다. 검색어를 넣고 'google 검색'버튼을 누르게 되면 자동으로 검색결과 페이지로 넘어가며 결과물을 화면에 뿌려주게 됩니다. 전 이렇게 구글의 첫 화면을 시작페이지로 사용하고 있습니다.

  구글 외에 다른 포털들은 위 방법을 실행하기 어려운 까닭이, 대부분의 포털은 첫 페이지엔 뉴스들이 자리잡고 있습니다. 그렇기 때문에 익스플로러를 실행하면 저장 당시의 뉴스만을 첫 페이지에서 보여주게 되기 때문에, 익스플로러 시작화면에 가득찬 옛날 뉴스들을 볼 수 있어서지요.

  제가 이렇게 사용하는 이유가 익스플로러를 실행하고 바로 즐겨찾기에 있는 다른 사이트들로 바로 이동해 웹서핑을 하는 제 습관때문입니다. 그래서 제 나름대로의 팁입니다.
이렇게 사용하게 되실 분들이 몇 분이나 될까요?^^ㅋ

** 추가하는 정보입니다.**

  구글검색을 첫 페이지로 사용하고싶지 않으신 분들도 있을겁니다.
심플한 검색페이지를 얻는 방법입니다.

심플 네이버

네이버 => http://www.parkoz.com/naver.htm

심플 엠파스

엠파스 => http://www.parkoz.com/empas.htm

이렇게 두곳도 위의 팁 방법대로 하드디스크에 페이지를 저장한 후 첫 페이지로 설정 할 수가 있답니다. 추가된 정보는 제가 자주 들르는 하드웨어 커뮤니티 사이트 파코즈에서 박한선님의 댓글로 얻은 정보 입니다^^ㅋ 많은 분들이 유용하게 사용하셨으면 좋겠습니다.

신고
top
  1. Favicon of http://kose.tistory.com kose 2006.07.19 15:15 신고 수정/삭제 댓글

    저도 빈페이지를 첫페이지로 해놓고 지냈습니다.
    포스팅 보고 google.com 저장 , 실행 , 홈페이지로 저장
    실행 하였더니 잘되는데요..
    해당 검색어를 치면 검색이 안되는 문제가 있네요..
    제가 설정을 잘못한것이겠죠...
    익스 , 파이어폭스 둘다 똑같은 증상입니다. OTL ..
    좋은 포스팅 잘보구 갑니다.

    • Favicon of http://signpen.net 싸인펜 2006.07.19 16:21 신고 수정/삭제

      역시, 빈페이지를 첫페이지로 쓰시는 분들이 계셨군요^^ㅋ

      그나저나 저는 검색도 잘 사용하고 있는데 검색이 안된다니 무엇이 문제일지 궁금하네요..;;

  2. Favicon of http://www.puniversity.net/tts/ple/ 2006.07.19 20:28 신고 수정/삭제 댓글

    "C:\Program Files\Internet Explorer\IEXPLORE.EXE" -nohome 을 추천합니다 :) 진정한 의미의 빈페이지입니다(...)

    • Favicon of http://signpen.net 싸인펜 2006.07.19 21:32 신고 수정/삭제

      지금 해 봤습니다.
      진정한 의미의 빈 페이지군요....OTL

      새하얀 도화지 같습니다...

    • Favicon of http://kose.tistory.com kose 2006.07.19 23:24 신고 수정/삭제

      음..
      좋은정보네요..
      실행속도가 더 빠른것 같아요~~ 감사합니다.

  3. Favicon of http://smileand.com/tt 세이지 2006.07.19 23:31 신고 수정/삭제 댓글

    아~ 이런 방법이 있군요:D
    이것도 귀찮아서인지.. 인터넷을 켜고선 esc를 반복적으로 눌러주기도 합니다=_=;
    해보고 싶은 생각이 없잖아 들지만..
    전 구글로 검색하지 않습니다.
    지메일이 너무 느려서 안놀거든요^^;

    • Favicon of http://signpen.net 싸인펜 2006.07.20 10:06 신고 수정/삭제

      세이지님~ 아니나 다를까 아침에 추가로 얻어온 정보가 있어서 글에 추가를 하는데 세이지님의 댓글이 보이네요^^ㅋ

      구글 외에도 네이버와 엠파스를 첫 페이지로 사용 할만한 정보를 얻어왔습니다. 구글검색을 즐기지 않으신다면 다른 방법도 한번 봐 주옵소서^^ㅋ

  4. Favicon of http://www.puniversity.net/tts/ple/ 2006.07.20 11:57 신고 수정/삭제 댓글

    지금 클릭해보니 이상하게 포비든이 뜨네요;;

    • Favicon of http://signpen.net 싸인펜 2006.07.20 12:52 신고 수정/삭제

      이런... 제가 정보를 얻은 파코즈라는 사이트에서 로그인을 하지 않고 접속하면 제대로된 화면이 나타나질 않는군요.

      수정해야 겠습니다..;;
      제보 감사합니다^^ㅋ

      **추가**
      주소링크로는 연결이 안되는군요.
      직접 주소창에 주소를 적어놓으면 연결이 됩니다^^ㅋ

  5. Favicon of http://expj.net expj 2006.07.20 18:06 신고 수정/삭제 댓글

    우아 저거 괜찮은 방법이십니다 ㅠㅠ
    전 예전에 윈도우즈 쓸 땐
    바탕화면을 html로 만들 수있다는 장점을 살려서
    바탕화면을 아예 html로 만들어서
    거기서 naver, empas, google종류 대로 쿼리 주소를 복사해서
    각각 폼을 만들어서 input이 되고, 쓰고 엔터치면 새 익스창이 뜨도록 만들었었어요
    그 html파일에 당근 제 홈피나 각종 유용한 링크들을 다 넣어놧었구요 ㅋㅋ
    그렇게 하는 것도 괜찮은것 같아요 :)

    어쩌면 다른 주소로 갈 때는 주소를 넣고 엔터를 치면 그 쿼리된 주소로 리디렉트 하게 하는 페이지를 제 서버에 넣어놔서 그렇게 이동을 하는 방법도 괜찮은 것 같군요

    어쨋뜬 좋은 아이디어이십니다. :)

    • Favicon of http://signpen.net 싸인펜 2006.07.20 23:12 신고 수정/삭제

      expj님이 쓰셨던 아이디어도 무척 좋군요!!
      역시!! 고수이십니다!! +_+)=b

댓글 쓰기