전 워드프레스에서 WassUp이라는 플러그인으로 방문자 정보를 확인해보는데,
옵션에 스파이더와 봇은 레코드에 기록시키지 않는 것이 있습니다.
그래서 순수 방문자 정보만 확인하고 싶어 스파이더와 봇은 기록되지 않도록 해서 사용하고 있는데,
네이버 봇의 경우에는 걸러지지 않고 계속 흔적이 남아서 IP를 'Enter source IPs to exclude from recording'에
추가해서 기록되지 않도록 하고 있습니다.
그런데 IP가 하나가 아니다보니 지금까지 여러 번 걸러냈는데도 계속 잡힙니다.
아래 그림은 며칠 전 캡쳐해둔 것입니다. http://nod.pe.kr/naverbot.png
(http://help.naver.com/customer_webtxt_01.jsp)
WassUp 플러그인은 방문자 정보를 확인하는 플러그인이고, 자꾸 레코드에 기록되는 것은 WassUp 플러그인이 네이버 봇을 인식하지 못하기 때문인 것 같은데요. IP가 여러개 일텐데 IP로 거르는데는 한계가 있을 것 같은데, User-Agent로 거를 수는 없나요? 네이버봇의 User-Agent가 IP 만큼 자주 바뀌지는 않을 것 같은데요. ^^
예전에 일본에서 "바이두"가 욕먹고 사과공지를 띄운적도 있었는데요. 네이버도 욕 좀 먹었었죠. (일본이 이런쪽으로 좀 까다로운 것 같기도 하고요) 요즘엔 많이 좋아진 것 같던데요. Yeti 는 첫눈에서 사용하던 봇(의 이름)이 맞습니다. 그리고 자체 검색엔진을 가지려면 (정확히는 자체적으로 웹검색 관련 시스템 전체를 개발하려면) 초기비용이 크기 때문에 몇개 없긴 합니다만.. 잘 찾아보시면 토종도 많이 있습니다. ^^
바이두는 제가 모르는 부분이라 이야기할 부분이 아니지만 네이버의 문제는 일본이 까다로운 것이 아니라 네이버가 잘못한 것입니다. 그리고 검색엔진을 어떤 의미로 사용하셨는지 모르겠지만 제가 알기로 국내 토종 엔진은 별로 없습니다. 아울러 "초기비용이 크기 때문에 몇개 없다"는 이야기와 "잘 찾아보시면 많다"는 이야기가 어울리지 않는 것 같습니다.
메타 검색엔지이나 규모가 작은 엔진이라면 많지만 이 정도를 요즘 검색엔진이라고 하지는 않으니까요.
바이두는 중국 최대 검색업체로 일본진출 시 과다한 크롤로 욕을 좀 먹은 적이 있습니다. ^^
그리고 네이버가 잘 못 한 것은 사실 입니다. 그리고 일본이 까다로운 것도 사실 입니다. (일본의 경우 우리나라에 비해서 대충 3배 정도 민감한 것 같습니다) 일본이 까다롭기 때문이지 "네이버가 잘못한 것은 아니다"라는 말은 아니고요. ^^
네이버 크롤이 예전보다 많이 좋아진 것도 사실입니다. (사실 이 말이 하고싶은 말이지요)
그리고 몇개 없지만 잘 찾아보면 많다는 말은. 토종 검색엔진은 몇 손가락 안에 들게 몇개 없는게 사실이지만, 엠파스 검색(지금은 네이트 검색)에 사용되는 코난테크널러지의 엔진이나 다음에서 자체 제작한 웹검색 엔진, 그리고 네이버와 같이 토종엔진이 있고, 우리나라 규모에서 보면 많은 거라는 생각에서 그렇습니다. 잘 찾아보시면 "Search Technology Summit" 토종 업체들이 참가하는 행사를 보실 수 있는데요. 생각보다 관련 업체들이 없는건 아닙니다. ^^
제가 이야기한 부분은 규모가 작은 업체의 많고 적음을 이야기 한 것은 아닙니다. 엠파스나 다음, 네이버와 같은 검색엔진은 사실 검색 엔진으로 보기에는 힘듭니다. 구글과 같은 세계적인 업체까지는 아니라고 해도 국내에 검색엔진이라고 명함을 낼 수 있는 정도를 의미하는데,,, 사실 없습니다. 엠파스나 다음, 네이버 모두 검색 보다는 포털에 집중한 결과죠.
네이버 정말 치떨립니다.
그 $$ㅏ가지 없음에 정말 정 떨어져서 운영하던 카페에 올라갔던 글 몽땅 PDF로 저장하고 일일이 삭제한 후에 카페를 폐쇄시킨 적이 있습니다만 그네들이 과연 삭제를 제대로 했을 지 궁금하네요. 정말로 삭제한 것인지, 삭제 플래그만 달고 안 보여주는 것인지.......
아무튼 네이버는 정말 싫습니다.
아 그리고, 저 설인 이미지는 영화 "미이라 3"에 등장하는 녀석들입니다. 영화에서 하는 행동을 보면 은근히 귀여운 녀석들입니다. 다만 영화 스토리는 영.......
