내 주로 사용하는 검색엔진은 당연히 구글이다. 그러나 때로는 구글신도 쉬어야 하기 때문에 구글에서 찾지 못하는 것은 AllTheWeb을 사용한다. 혹시 기억할지 모르겠지만 AllTheWeb은 FTPSearch라는 FTP 검색엔진을 개발한 회사(FAST)이다. 지금이야 웹 하드가 워낙 활성화되서 FTP 스캔을 하는 일은 많지 않지만 몇년 전만해도 필요한 자료는 대부분 FTP를 통해 받았었다.

따라서 FTP를 검색하는 것이 상당히 중요했었고 이런 필요때문에 FTP를 검색할 수 있는 'Archive 서버스'가 여러 곳에 존재했다. Archive 서비스는 FTP 서버에서 ls -al한 결과를 저장한 파일을 가져와서 DB를 구축한다. 문제는 이 DB는 업데이트 주기가 한달에 한번이라서 Archive 검색 결과에는 나타나도 막상 FTP 서버에 방문하면 자료가 사라진 경우가 많았다.

1997년 혜성처럼 등장한 서비스가 바로 FTPSearch이다. 'DB의 갱신 주기는 하루'이며, 문자열 검색을 쉽게 할 수 있도록 검색어에 '정규식'을 사용할 수 있었다. 아울러 FTP 태그로 숨겨진 폴더까지 정확히 찾아내기 때문에 최고의 와레즈 검색 서비스로 불리웠다. 그런데 어느 날 이 서비스를 Lycos에서 인수했다.

그러고는 FTPSeach라는 Lycos의 부속 서비스로 만들더니 결국 마지막에는 서비스 자체를 없애버렸다(네이버에 인수된 첫눈). FTPSearch는 소니크에 이어 Lycos가 인수해서 말아 먹은 두번째 서비스였다.

FTPSearch를 개발한 개발사(노르웨이의 FAST)는 몇년 뒤 다시 AllTheWeb이라는 검색엔진을 개발했다. '가장 빠른 검색엔진'이라는 이름답게 검색도 빠르고 DB도 구글 못지 않았다. 다만 검색의 정확도는 구글 보다 떨어졌기 때문에 구글에 없으면 사용하는 보조엔진으로 활용해 왔다.

인간 철새 김민새가 복귀했다는 소식을 듣고 "돌아온 인간 철새, 김민새"라는 글을 쓰기위해 예전에 읽었던 게시물을 구글에서 찾아 봤다. 김민새가 권노갑이에게 무릅을 꿇고 밀어만 주신다면 386 동지회를 모조리 끌고 오겠다라는 얘기를 했다는 글인데 구글에서는 찾을 수 없었다.

AllTheWeb에서 '김민석 386 임수경 권노갑'으로 검색한 결과. 구글에서는 하나도 나오지 않지만 AllTheWeb에서는 상당히 많은 결과가 검색된다. 아울러 김민새에 대한 모르는 내용들이 많았다.

따라서 보조엔진인 AllTheWeb에 오랜 만에 접속해서 검색을 하는데 화면 아래쪽에 Copyright ⓒ 2007 Yahoo! Inc. All rights reserved.라는 문구가 보였다. 물론 AllTheWeb에서 야후의 리다이렉션 링크를 사용하는 것은 알았지만 당순히 계약에 의해 사용하는 것으로 알았다.

AllTheWeb이 다른 사람들에게 많이 알려진 검색엔진은 아니지만 Copyright ⓒ 2007 Yahoo! Inc. All rights reserved.라는 문구를 보니 언제 야후로 넘어갔는지 궁금해 졌다.

출처: Google과 함께 떠오른 검색엔진

1997년 설립된 노르웨이 FAST(Fast Search & Transfer)사는 2002, 2003년 검색엔진시장에서 가장 크게 성장한 업체로 꼽힌다. FAST사는 최초 멀티미디어 검색분야에 특화된 웹 검색엔진인 'AlltheWeb'을 통해 시장에 진출했다. 2003년 AlltheWeb은 Overture사에 인수되었으며, FAST사는 AlltheWeb 엔진을기반으로 제작한 기업용 검색엔진 'Data Search' 사업에 집중하게 되었다.

확인해 보니 '2003년에 Overture에 인수됐다'고 한다. 즉, 벌써 4년전에 야후에 인수된 셈이다. 그런데 나만 이 사실을 모르고 있었다. 참고로 바깔고리(링크)의 PDF 문서는 검색엔진에 관심있는 사람은 한번 읽어 보기 바란다.