얼마 전, 온라인 신문과 잡지들은 부시 대통령이 노동장관으로 지명한 린다 차베스에 관한 뉴스로 요란했다. 그러나 대부분의 인기있는 검색엔진에서 찾아낸 결과는 실망스러운 것이었다. 그녀의 집에서 거주한 불법이민자에 관한 기사 대신에, 구글은 농장노동자의 대변자였던 세사르 차베스로 안내했다. 라이코스는 오클랜드 애슬레틱스의 3루수인 에릭 차베스에 관한 정보를 담은 웹사이트 몇 개를 찾아주었다. 알타비스타의 첫번째 검색 결과에는 그녀가 오래 전에 온라인 잡지에 쓴 칼럼 몇 편이 올라 있었으나 그녀가 신문 1면을 장식한 사실에 관한 암시조차 없었다.
서치엔진워치(SearchEngineWatch.com)의 대니 설리번 편집장은 다른 검색 엔진에서도 차베스를 찾아보았지만 검색엔진은 몇주 전에 수집한 웹페이지 인덱스에 부분적으로 의존하기 때문에, 관련 자료는 불충분하다는 문제점만 확인했을 뿐이다.
사실, 검색엔진은 웹에 존재하는 내용의 1%에만 접근할 뿐이다. 브라이트플래닛(BrightPlanet.com)에 따르면, 5000억건의 콘텐츠는 이들 검색엔진으로 파악할 수 없다. 브라이트플래닛이 심층 웹으로 부르는 이 보이지 않는 웹은 검색 전문가에게는 검색엔진이 커버하는 표면 웹보다 500배나 더 큰 온라인 미개척지다.
웹을 보다 깊이 파헤치기 위해. 새 검색엔진은 다른 접근방식을 취한다. 즉, 발견한 페이지를 색인화함으로써 웹을 폭넓게 스캔하는 일반검색엔진과는 달리 의료 사이트, 법률 문서, 조크와 패러디를 다룬 웹페이지 같은 특수영역까지 파고든다. 금융자료를 찾는다면 파이낸셜파인드(www.financialfind.com), 분자구조나 과학과 관련된 유머를 찾는다면 바이오링크스(www.biolinks.com)가 도움이 된다. 이 밖에 어도비의 PDF파일을 검색하는 사이트(searchpdf.adobe.com), 조크, 유머 칼럼이 있는 웹페이지와 유명한 사이트의 패러디를 찾는 사이트(www.ditto.com)도 있다. 온라인상의 사진과 영상을 검색하는 디토(www.ditto.com)도 있다.
정교하게 조정된 소프트웨어 대리자(bot)를 내보내 어떤 페이지를 검색해야 하는가를 알 뿐 아니라, 그 페이지에서 어떤 정보를 끌어내야 하는가를 아는 검색엔진도 있다. 건초 더미가 더 작으면, 바늘을 찾을 가능성도 더 많다. 조지 워싱턴 대학의 사서이며 보이지 않는 웹을 펴낼 예정인 게리 프라이스는 도서관 이용자도 이와 똑같은 문제에 직면한다고 말했다. 자신이 찾는 참고도서가 어느 선반에 있는 지를 모르면 참고도서 사서에게 문의할 수 있지만, 웹에서는 흔히 자력으로 찾아야 한다.
그러나 최근에는 소수의 전문검색엔진이 방문자가 많은 웹사이트 목록에 등장하고 있다. 2500개 쇼핑 사이트의 제품 가격과 정보를 추려내는 마이사이먼(www.mysimon.com)은 가장 인기있는 사이트 중 하나다. 지난 12월의 방문자는 지난해의 유일 무이한 500만명이었다. 검색엔진으로 법률정보 디렉토리인 파인드로(www.findlaw.com)의 한달 방문자는 90만명이다.
1800개 온라인 뉴스사이트의 주요기사를 찾아내는 검색엔진 모어오버(www.moreover.com)는 월 방문자가 20만명 이상인 사이트만 추적한다. 지난달 이용자는 34만명. 특정 페이지만 사냥하도록 설계돼 있는 봇은 주어진 냄새 이외에는 일체 무시하는 사냥개와 같다.
마이사이먼도 특정정보만 사냥하는 봇을 채택하고 있다. 훈련된 봇은 가게를 뒤져 얻어낸 정보를 데이터베이스에 저장한 뒤 온라인상에 전시한다. 일례로, 어느 봇은 아마존의 서가만 뒤지고 다른 봇은 가전제품만 뒤지도록 돼있다. 우리의 일이란 우리 대리자에게 소비자를 대신해 쇼핑하도록 가르치는 것이라고 마이사이먼의 조쉬 골드먼 사장은 말했다.
일반검색엔진도 작은 영역을 제공하기 시작했다. 구글은 최근 이용자가 정부 자료를 검색할 수 있도록 엉클 샘 지역(www.google.com/unclesam)을 개방했다. 그러나 대다수의 웹이용자는 정밀한 검색도구의 존재를 모르고 있다. 설리번, 프라이스, 그리고 어바웃닷컴(About.com)의 검색가이드 크리스 셔먼은 특정한 검색사이트의 온라인 디렉토리를 구축하는 정보검색 전문가들이다.
브라이트플래닛이 설계한 렉시봇(LexiBot)은 기업에 판매할 수 있는 테크놀로지 관련자료를 검색한다. 89.95달러에 내려받을 수 있는 이 프로그램은 600개의 검색 사이트와 데이터베이스로부터 동시에 정보를 수집한다.
보다 어려운 점은 사람들의 행동을 변화시키는 것일지 모른다. 아무리 우수한 검색엔진도 키워드 하나만 입력하고 최선의 결과를 바라는 대다수 웹서퍼의 태도를 바꿀 수는 없다. 따라서 이용자들이 인식하지 못하는 사이에 그가 입력한 내용을 토대로 자동으로 검색을 좁히는 것은 우수한 검색 사이트가 도전해야 할 과제라고 설리번은 말했다.
<리사 구언시http://www.nytimes.com/2001/01/25/technology/25SEAR.html>
서치엔진워치(SearchEngineWatch.com)의 대니 설리번 편집장은 다른 검색 엔진에서도 차베스를 찾아보았지만 검색엔진은 몇주 전에 수집한 웹페이지 인덱스에 부분적으로 의존하기 때문에, 관련 자료는 불충분하다는 문제점만 확인했을 뿐이다.
사실, 검색엔진은 웹에 존재하는 내용의 1%에만 접근할 뿐이다. 브라이트플래닛(BrightPlanet.com)에 따르면, 5000억건의 콘텐츠는 이들 검색엔진으로 파악할 수 없다. 브라이트플래닛이 심층 웹으로 부르는 이 보이지 않는 웹은 검색 전문가에게는 검색엔진이 커버하는 표면 웹보다 500배나 더 큰 온라인 미개척지다.
웹을 보다 깊이 파헤치기 위해. 새 검색엔진은 다른 접근방식을 취한다. 즉, 발견한 페이지를 색인화함으로써 웹을 폭넓게 스캔하는 일반검색엔진과는 달리 의료 사이트, 법률 문서, 조크와 패러디를 다룬 웹페이지 같은 특수영역까지 파고든다. 금융자료를 찾는다면 파이낸셜파인드(www.financialfind.com), 분자구조나 과학과 관련된 유머를 찾는다면 바이오링크스(www.biolinks.com)가 도움이 된다. 이 밖에 어도비의 PDF파일을 검색하는 사이트(searchpdf.adobe.com), 조크, 유머 칼럼이 있는 웹페이지와 유명한 사이트의 패러디를 찾는 사이트(www.ditto.com)도 있다. 온라인상의 사진과 영상을 검색하는 디토(www.ditto.com)도 있다.
정교하게 조정된 소프트웨어 대리자(bot)를 내보내 어떤 페이지를 검색해야 하는가를 알 뿐 아니라, 그 페이지에서 어떤 정보를 끌어내야 하는가를 아는 검색엔진도 있다. 건초 더미가 더 작으면, 바늘을 찾을 가능성도 더 많다. 조지 워싱턴 대학의 사서이며 보이지 않는 웹을 펴낼 예정인 게리 프라이스는 도서관 이용자도 이와 똑같은 문제에 직면한다고 말했다. 자신이 찾는 참고도서가 어느 선반에 있는 지를 모르면 참고도서 사서에게 문의할 수 있지만, 웹에서는 흔히 자력으로 찾아야 한다.
그러나 최근에는 소수의 전문검색엔진이 방문자가 많은 웹사이트 목록에 등장하고 있다. 2500개 쇼핑 사이트의 제품 가격과 정보를 추려내는 마이사이먼(www.mysimon.com)은 가장 인기있는 사이트 중 하나다. 지난 12월의 방문자는 지난해의 유일 무이한 500만명이었다. 검색엔진으로 법률정보 디렉토리인 파인드로(www.findlaw.com)의 한달 방문자는 90만명이다.
1800개 온라인 뉴스사이트의 주요기사를 찾아내는 검색엔진 모어오버(www.moreover.com)는 월 방문자가 20만명 이상인 사이트만 추적한다. 지난달 이용자는 34만명. 특정 페이지만 사냥하도록 설계돼 있는 봇은 주어진 냄새 이외에는 일체 무시하는 사냥개와 같다.
마이사이먼도 특정정보만 사냥하는 봇을 채택하고 있다. 훈련된 봇은 가게를 뒤져 얻어낸 정보를 데이터베이스에 저장한 뒤 온라인상에 전시한다. 일례로, 어느 봇은 아마존의 서가만 뒤지고 다른 봇은 가전제품만 뒤지도록 돼있다. 우리의 일이란 우리 대리자에게 소비자를 대신해 쇼핑하도록 가르치는 것이라고 마이사이먼의 조쉬 골드먼 사장은 말했다.
일반검색엔진도 작은 영역을 제공하기 시작했다. 구글은 최근 이용자가 정부 자료를 검색할 수 있도록 엉클 샘 지역(www.google.com/unclesam)을 개방했다. 그러나 대다수의 웹이용자는 정밀한 검색도구의 존재를 모르고 있다. 설리번, 프라이스, 그리고 어바웃닷컴(About.com)의 검색가이드 크리스 셔먼은 특정한 검색사이트의 온라인 디렉토리를 구축하는 정보검색 전문가들이다.
브라이트플래닛이 설계한 렉시봇(LexiBot)은 기업에 판매할 수 있는 테크놀로지 관련자료를 검색한다. 89.95달러에 내려받을 수 있는 이 프로그램은 600개의 검색 사이트와 데이터베이스로부터 동시에 정보를 수집한다.
보다 어려운 점은 사람들의 행동을 변화시키는 것일지 모른다. 아무리 우수한 검색엔진도 키워드 하나만 입력하고 최선의 결과를 바라는 대다수 웹서퍼의 태도를 바꿀 수는 없다. 따라서 이용자들이 인식하지 못하는 사이에 그가 입력한 내용을 토대로 자동으로 검색을 좁히는 것은 우수한 검색 사이트가 도전해야 할 과제라고 설리번은 말했다.
<리사 구언시http://www.nytimes.com/2001/01/25/technology/25SEAR.html>
