Поисковые системы

Полезные советы > Internet > Поисковые системы

Разные поисковые системы используют различные алгоритмы и формулы для вычисления веса и различные способы сопоставления всех этих факторов. Поэтому релевантность документов оценивается по-разному. То есть один и тот же запрос к разным поисковым системам даст разные результаты.

Синтаксис языка запросов

Хотя расширенный запрос и предназначен для уточнения критериев поиска, полностью настраиваемый поиск можно обеспечить с помощью применения языка запросов. Язык запросов — это специальные символы и операторы, которые пишутся в ту же строку для поиска, что и ключевые слова, и обрабатываются поисковой машиной. Google, Yandex и Rambler имеют сходство в применении некоторых специальных символов. Строка, заключенная в кавычки, будет найдена именно в том виде, что и в запросе — слова расположены в том же порядке и находятся в той же форме. Символ «+» перед словом говорит о том, что слово должно обязательно присутствовать в найденных документах. На самом деле по умолчанию между всеми словами и так подразумевается логический оператор «И», то есть будут найдены документы, которые содержат одновременно все слова из запроса. Поэтому символ «+» имеет смысл для так называемых «стоп-слов». Это такие слова, которые часто встречаются в текстах и вряд ли могут являться критерием для поиска. Например, предлоги, союзы, местоимения, артикли и т. п. Противоположное значение имеет символ «-». Слово, которому предшествует этот знак, не должно попадаться в документе. В Rambler вместо «-» используется знак «!». Исключение слов — очень простой, но полезный прием, позволяющий сразу отсеять множество документов, которые точно не подходят.

Иногда можно использовать логическое «ИЛИ». В Google оно выглядит как «OR». В Yandex и Rambler — как символ «|». Также в Yandex и Rambler можно строить запросы с применением скобок и оператора логического сложения «&». К примеру, запрос «(фотография | фото | фотоснимок) & (тигр | носорог)» выдаст страницы с фото какого-либо из двух животных. Yandex оператор «&» указывает на то, что слова должны находиться в одном предложении. Rambler же достаточно, чтобы они просто присутствовали в документе. Для того чтобы Yandex искал слова по всему документу, нужно использовать оператор «&&».

Также Yandex и Rambler позволяют указать расстояние между искомыми словами в предложении. В Rambler для этого используется конструкция '(число, запрос)', где число — это расстояние между словами, представленными в запросе, измеряемое в словах. В Yandex используется конструкция вида «/(n m)», где n и m — расстояние назад и вперед в словах между ключевыми выражениями. Кроме того, можно применять упрощенную конструкцию — «/n» — или указывать расстояние не в словах, а в предложениях — «&&/(n m)».

Yandex отличается чувствительностью к регистру букв. Если в запросе присутствует слово, написанное со строчной буквы, то будут найдены документы, где это слово написано как со строчной, так и с прописной. Если же в запросе содержится слово, написанное с прописной буквы, то будут найдены только слова, начинающиеся с прописной (если это слово не первое в предложении). Для исключения слов в пределах предложения служит оператор «~», в пределах документа - «~~» (то есть «~~» эквивалентно «-»). Для поиска точной формы слова (без учета морфологии) нужно поставить перед ним «!». При помощи операторов «$» и «#» можно, как и в расширенном поиске, задать зону поиска (заголовок документа или текст ссылки) или элемент документа (описание картинки, ключевое слово и т. д.). Кроме того, у Yandex существует возможность влиять на ранжирование результатов. Через двоеточие после ключевого слова или выражения можно указать число, которое будет влиять на вес этого слова или выражения. Также можно использовать оператор «<-» для задания уточняющего слова или выражения — это увеличит релевантность документов, содержащих уточняющее выражение.

Кто ищет лучше

Оценить, насколько результат поиска соответствует запросу пользователя, довольно сложно. Google и Yandex обладают самыми большими базами по русскому Интернету. Но Rambler, так как это первая поисковая машина, начавшая индексировать российский Интернет, лучше ведет поиск по старым документам, которые в силу каких-либо причин не стали популярны. Кроме того, ресурсы с установленным счетчиком Rambler Top 100 (а это одни из самых популярных рейтингов) имеют на Rambler больший вес и индексируются еще чаще.

Особенность Google состоит в том, что благодаря применяемой там системе присвоения веса PageRank хорошо ищутся авторитетные сайты. В этом отношении Google был первым, но сейчас подобные ссылочные алгоритмы используют почти все поисковики. Yandex отличается своим развитым языком запросов (которым пользуются менее 1% пользователей) и большими познаниями в морфологии русского языка, но разработчики системы всегда видели своей задачей обеспечение точности поиска при так называемом естественно-языковом запросе, то есть когда неподготовленный человек просто пришел и просто спросил.

Дополнительные возможности

Кроме главной своей функции — полнотекстового поиска по документам Интернета — поисковые системы часто предоставляют ряд дополнительных услуг. Например, у всех трех рассматриваемых поисковых систем есть возможность поиска в каталоге. Для поиска графических изображений на Yandex отведен отдельный раздел. Обычно изображение находится в како-мто документе и связано с некоторым текстом. По этому тексту и можно попытаться его найти. Тут можно использовать текст подписи к картинке (параметр «alt» тега img, задающий поясняющую надпись) или же текст ссылки на нее. Также информацию об изображении можно почерпнуть из текста, который расположен в документе рядом с картинкой, и из названия графического файла. При этом ключевые слова подвергаются и транслитерации, и переводу на английский язык. Таким образом, если вы ищете изображение по ключевому выражению, к примеру, «розовый слон», то найдутся в том числе и файлы, содержащие в своем названии сочетания «slon», «elephant», «pink» и т. д. На Rambler есть специальная форма для поиска файлов. Файлы можно искать любые или определенного типа: картинки, аудио, видео. В отличие от Yandex поиск происходит только по именам файлов или каталогов, без анализа каких-либо элементов, связанных с файлом. Имя файла можно задавать точным значением или используя шаблоны (символы «*» и «?») и регулярные выражения (более сложные формы шаблонов). Есть возможность задать каталоги, которые следует исключить из поиска или же, наоборот, искать только в них. Эти же ограничения можно наложить и на доменные зоны, в которых должен располагаться сервер с нужным файлом. Заглавная страница каждой поисковой машины — это не просто форма для ввода запроса, но еще и внушительный портал. На сайтах Rambler и Yandex можно найти ссылки на популярные ресурсы, программу телепередач, прогноз погоды, гороскоп, курсы валют, последние новости, почтовый сервис, онлайн-словари, энциклопедии и множество других разделов. Но в тот момент, когда вам ничего этого не нужно и вы хотите воспользоваться именно поиском, к вашим услугам облегченные варианты страниц. У Rambler — http://r0.ru, у Yandex — http://ya.ru.

Rambler

Английское слово «rambler» имеет множество значений. Самим работникам компании больше по душе перевод «бродяга», под которым подразумевается бродяга по Интернету. Разрабатывать поисковый механизм начала в 1991 году группа единомышленников из подмосковного научного города Пущино. Через пять лет, в 1996 году, программист Дмитрий Крюков создал первую уникальную российскую поисковую программу, которую сразу и запустили эксплуатацию. Первая в России поисковая система с самого своего начала расположилась по адресу rambler.ru. Постепенно небольшая группа единомышленников выросла в крупный интернет-холдинг. В феврале 1997 года заработала рейтинговая система Rambler's Top100 (top100.rambler.ru). Спустя 3 года, 7 марта 2000 года, был зафиксирован миллиардный посетитель страниц, зарегистрированных в рейтинге. То есть все ресурсы, которые стоят в рейтинге Rambler (и более к Rambler никакого отношения не имеют), за три года получили миллиард посетителей.

Yandex

Yandex Разработка системы Yandex как алгоритма поиска в текстовых документах началась в начале девяностых годов прошлого века. В 1993 году родилось слово «Яndex», еще никак не связанное с поиском в Интернете. Придумал его Илья Сегалович, один из главных разработчиков поискового механизма, сейчас — технический директор компании Yandex. Изначально «Яndex» означало «Языковой index», или, по программистской традиции, «yandex» — «Yet Another indexer», как, говорят, «yahoo» — это в том числе «Yet Another Hierarchicall Organized Oracle». Позже была разработана технология, позволяющая осуществлять поиск с учетом морфологии русского языка. До 1996 года на основе существующей технологии создавались прикладные программы для поиска в различных справочниках и текстовых массивах (например, Библии). В 1996 году добавилась возможность строить гипотезы о морфологии слова. То есть, даже если слово не содержится в словаре, система в состоянии предположить, как выглядят различные формы этого слова. 21 ноября 1996 года впервые была установлена система Яndex.Site — система полнотекстового поиска на веб-сервере. В апреле 1997 года на сайте yandex.ru заработала система поиска по русскому Интернету. Основные разработчики — Сергей Ильинский, Михаил Маслов, Илья Сегалович, Дмитрий Тейблюм — до сих пор работают в компании Yandex. В 2003 году Yandex научился искать документы в форматах RTF, PDF и DOC. На сегодняшний день он хранит информацию о более чем 150 миллионах документов, что составляет больше 4000 Гбайт.

Google

Название компании происходит от английского слова «googol», обозначающего чис- ло — единицу и сто нулей. Сергей Брин и Лари Пейдж встретились случайно в Стэнфорде, где и завязалось их знакомство. В январе 1996 года они начали работу над поисковым механизмом BackRub. Первую половину 1998 года молодые люди занимались совершенствованием своей системы, установив оборудование прямо в спальне Лари. 7 сентября 1998 новоиспеченная Google, Inc. уже въехала в свой первый настоящий офис. Поисковая система обслуживала 10 000 запросов в день. И, все еще находясь в стадии разработки, попала в Top 100 веб-сайтов журнала PC Magazine. В 1999 году основатели Google дважды сменили офис, значительно расширили штат, получили множество наград, а поисковая машина обрабатывала уже 500 000 запросов ежедневно. В 2000 году Google стал крупнейшей мировой поисковой системой. Последующие годы поисковая машина совершенствовалась, добавлялись новые службы и возможности. Сегодня его индекс содержит сведения о более чем 4 млрд различных URL, а сама система обрабатывает 200 миллионов запросов ежедневно. Россия является редчайшим исключением из правил — страной, где позиция Google не первая, и даже не вторая. По статистике Rax.ru и Spylog, через Yandex на сайты попадают около половины всех ищущих, через Rambler — около четверти, а через Google — около 15%. При этом заметно, что пользователи Google, попадающие на русские сайты, как правило, находятся не в России — доказательством является относительный рост трафикогенерации Google в отечественные праздники, не совпадающие с мировыми.

Секреты Google

Помимо поиска Google предлагает доступ к целому набору других возможностей.

Поиск синонимов

Если поставить перед искомым словом оператор «~», будут найдены документы, содержащие не только само слово, но и его синонимы. Словарь синонимов представлен только на английском языке. Кроме того, поисковая машина понимает числовые диапазоны — через знак «..» можно задать нижнюю и верхнюю границу некоторого числового значения, которое должно присутствовать в документе.

Панель инструментов

Google Toolbar — надстройка для браузера Internet Explorer версии 5.0 и выше, которая позволяет вести поиск независимо от того, какой сайт открыт у вас в окошке браузера. Кроме того, Google Toolbar блокирует всплывающие окна (только в Internet Explorer версии 5.5 и выше), помогает заполнять одним нажатием мыши формы, состоящие из нескольких полей, а также подсвечивает на странице искомое слово. Надстройка не работает с такими браузерами на основе Internet Explorer, как MyIE2. (http://toolbar.google.com)

Онлайн-перевод

Google с помощью собственного механизма переведет содержимое страницы на нужный язык. Онлайн-перевод на английский может здорово помочь, если нужный вам текст оказался на немецком языке, а по-немецки вы знаете только «хенде хох» и «гитлер капут».

Калькулятор

Кто бы мог подумать, что с помощью поисковой системы можно искать не только слова и целые фразы на страницах, но и результаты математических вычислений! Работает это все так же, как и обычный поиск. Попробуйте ввести в поисковую строку что-нибудь типа «15+78*4,5», нажмите «Найти» и посмотрите, что у вас получится. Подробное описание синтаксиса калькулятора (например, как вам взять натуральный логарифм числа пять) — на http://google.ru/help/calculator.html. Кроме того, Google может работать и как переводчик единиц измерения: введите в поисковую строку «1 mile in kilometers» и узнайте, сколько километров в одной миле.

Мини-Google

Вы считаете, что целых 14 кбайт текста и графики — слишком много для заглавной страницы такого поисковика, как Google? Сделайте себе на жестком диске или собственном сайте заглавную страницу для Google размером в… 202 байта!

<html>
<meta http-equiv="content-type"
content="text/html; charset=UTF-
8">
<body>
<form
action=http://google.ru/search
method=get name=f><input type=hidden
value="UTF-8"><Input
name=q></form>
</body>
</html>

С помощью поисковой системы Google можно найти медицинские файлы, персональные отчеты, пароли и т.д. Надо только уметь пользоваться этой системой поиска. Например, для поиска файла с определенным расширением используйте следующую строку (для excel и doc файлов)
Filetype:xls
или
filetype:doc

Inurl
Другой полезный параметр поиска - inurl: опция, которая позволяет искать некоторые слова в URL. Это дает Вам возможность искать определенные каталоги/папки, особенно в комбинации с “index of” опциями:
inurl:admin Данный запрос даст ссылки, которые имеют слово “admin” в URL.

Index of
Если Вы используете “index of” строку, Вы найдете списки каталогов определенных папок на серверах. Пример:
«index of» admin
или
«index.of.admin»

Site
Опция сайта позволяет Вам придумывать результаты, которые принадлежат некоторому домену или определенному сайту. Например, можно искать .com сайты или .box.sk сайты или .nl сайты. Пример строки для поиска:
site:gov
Site:neworder.box.sk “board”

Intitle
Intitle позволяет искать страницы, которые имеют некоторое слово или слова в заголовке
intitle:winchanger

Link
Опция Link позволяет проверять, какие сайты связаны с определенным сайтом.

Объединение Параметров поиска
Например, можно пробовать эту строку для поиска:
inurl:nasa.gov filetype:xls "restricted"
или
site:mil filetype:xls "password"
или
site:mil “index of” admin

Вы можете попробовать искать ту информацию, которая Вам кажется интересной. Например, следующие слова:
Password, passwords, pwd, account, accounts, userid, uid, login, logins, secret, secrets, all followed by either *.doc or *.xls or *.db
Это приводит к весьма интересным результатам, особенно с *.db опцией, Гугль также может найти некоторые passwords.doc файлы, которые содержат рабочие пароли.

Для поиска, например, песен MP3 можно использовать такую конструкцию
-inurl:htm -inurl:html intitle:"index of" mp3 "Имя артиста или название песни"
Для поиска электронных книг
-inurl:htm -inurl:html intitle:"index of" +("/ebooks"|"/book") +(chm|pdf|zip) +"ИМЯ ИЛИ НАЗВАНИЕ"
Более грамотно запрос можно оформить так
intitle:"index of" (название) mp3