Автоматические индексы
Специальные программы-роботы (Spider, Robot или Bot, известные также как «пауки») в автоматическом режиме периодически обследуют Интернет на основе определенных алгоритмов, проводя индексацию найденных документов.
Индекс - это хранилище данных, в котором сосредоточены копии всех посещённых роботами страниц. Созданные индексные базы данных используются поисковыми машинами для предоставления пользователю доступа к размещенной на узлах Сети информации. Индексы периодически обновляются и дополняются, поэтому результаты работы одной поисковой машины с одним и тем же запросом могут различаться, если поиск производился в разное время.
Пользователь в рамках интерфейса, выбранной поисковой системы, формулирует запрос. Далее запрос обрабатывается программой обработки запроса, которая просматривает индекс на предмет наличия нужной информации и возвращает ссылки на найденные документы. В окне браузера отображаются результаты обработки запроса.
В Интернете существует большое число поисковых систем. Как правило, при поиске можно использовать не одну систему, а несколько различных. В этом случае вероятность того, что искомая информация будет найдена, выше, поскольку разные системы используют разные алгоритмы поиска.
Ниже приведен список некоторых из них:
http://www.yandex.ru
http://www.bring.ru
http://www.google.ru
http://www.rambler.ru
http://www.nigma.ru
Успех поиска в таких системах в значительной степени зависит от формулировки запроса. Рассмотрим основные моменты, которые помогут вам правильно сформулировать запрос к поисковой машине:
• Не задавайте только одно слово. Используйте целые фразы, или, по крайней мере, несколько слов;
• Указывайте слова, которые не должны встречаться в искомых документах. Обычно для этого используют либо знак «-», либо ключевое слово NOT;
• Начинайте имена собственные: названия компаний, городов, фамилии людей, и др. с заглавных букв, а все остальные слова пишите только маленькими буквами;
• Если вы хотите найти фразу целиком - заключите ее в кавычки;
• Если вы вводите запрос к поисковой машине, состоящий из нескольких слов, то в результате получаете список документов, в которых встречается хотя бы одно слово.
Поисковая машина обычно производит сортировку найденных документов по принципу релевантности.
Поиск информации представляет собой процесс выявления в некотором множестве документов (текстов) всех тех, которые посвящены указанной теме (предмету), удовлетворяют заранее определенному условию поиска (запросу) или содержат необходимые (соответствующие информационной потребности) факты, сведения, данные.
Процесс поиска включает последовательность операций, направленных насбор, обработку и предоставление информации.
В общем случае поиск информации состоит из четырех этапов:
определение (уточнение) информационной потребности и формулировка
информационного запроса;
определение совокупности возможных держателей информационных ресурсов
(источников);
извлечение информации из выявленных информационных ресурсов;
ознакомление с полученной информацией и оценка результатов поиска.
Google — крупнейшая в интернете поисковая система, принадлежащая корпорации GoogleInc.
Первая по популярности система (77,05 %), обрабатывает 41 млрд 345 млн запросов в месяц (доля рынка 62,4 %), индексирует более 25 млрд веб-страниц.
Поддерживает поиск в документах форматов PDF, RTF, PostScript, MicrosoftWord, MicrosoftExcel, MicrosoftPowerPoint и других.
Я́ндекс — российская международная ИТ-компания, владеющая одноимённой системой поиска в Сети и интернет-порталом. Поисковая система «Яндекс» является четвёртой среди поисковых систем мира по количеству обработанных поисковых запросов (4,84 млрд, 2,8 % от мирового количества, статистика за декабрь 2012 года). По состоянию на 30 сентября 2013 года, согласно рейтингу Alexa.com, сайт yandex.ru по популярности занимает 18-е место в мире и 1-е место в России.
Mail.Ru — крупный коммуникационный портал российского Интернета, ежемесячная аудитория которого по данным на октябрь 2012 года превышает 31,9 млн человек. Ресурс занимает 29-ое место по популярности в мире и 3-е — в России. Число работников составляет 2800 человек. Ресурс принадлежит инвестиционной группе Mail.RuGroup.
Rambler (читается Рамблер, на Рамблере; нежелательно Рэмблер) — медийный интернет-портал, а также одноимённая поисковая система, существовавшая в 1996—2011 годах.
«Рамблер» стоял у истоков российского интернета. Появившись в 1996 году, он быстро завоевал огромную популярность и оставался ведущим игроком на рынке поиска России вплоть до 2001 года. Рамблер запустил первый в рунете рейтинг-классификатор (Rambler Top100), первый интернет-портал, первым среди отечественных интернет-компаний вышел на биржу
В 2012 году философия портала была полностью переосмыслена — теперь «Рамблер» представлен как медиапортал персонализированных новостей.
Состоит в объединённой компании «Рамблер-Афиша-SUP» в рамках холдинга «ПрофМедиа» Владимира Потанина «Рамблер» четырежды завоёвывал «Премию Рунета»
По данным на июль 2013 года, «Рамблер» занимает 11-е место по популярности среди сайтов России (по другим данным — 9-е) Месячная аудитория «Рамблера» составляет 29 миллионов человек.
Bing(рус.Бинг) — поисковая система, разработанная международной корпорацией Microsoft. Bing был представлен генеральным директором MicrosoftСтивом Балмером. Доступна по адресуhttp://www.bing.com/.
В настоящее время сайт Bing занимает 2-е место в списке самых популярных поисковых сайтов по объёму трафика, в отличие от которых обладает рядом эксклюзивных возможностей, таких как динамическое корректирование объёма информации, отображаемой для каждого результата поиска (например, только название, краткая или большая сводка).
Nigma – это мало известная поисковая система. Её изобрели 2 студента из МГУ им М.В. Ломоносова. Так же одному из основателей этой системы, помог научный руководитель, который в своё время был руководителем у основателей Google.(Рисунок 3) Nigma имеет следующие преимущества:
1) Nigma осуществляет поиск, как по своему индексу, так и по индексам Google, Yahoo, Bing, Яндекс, Rambler, AltaVista, Aport. По состоянию на 28 февраля 2009 года в суммарном индексе всех этих поисковых систем находилось более 7,16 млрд русскоязычных документов.
2) На основе введённого пользовательского запроса Нигма формирует список документов, разделённых на несколько множеств (кластеров). Пользователь может уточнить, в каком множестве продолжить поиск, тем самым улучшив релевантность результатов поиска. Пользователь также может исключить ненужные ему множества сайтов, например, документы, пришедшие с интернет-магазинов (для них формируется специальный кластер). Список кластеров выводится слева от списка результатов поиска. Для каждого кластера указывается образующая его фраза и количество документов в кластере. Пользователь может управлять кластерами при помощи специальных ссылок под списком кластеров.
3) Nigma поддерживает русскую морфологию. Используется морфологический модуль для русского языка собственной разработки. Ранее в Нигме поддержка морфологии была реализована через отсылку в поисковые системы дублирующих запросов, в которых приведены распространённые морфологические формы запрашиваемых слов. При этом, в отличие от имеющихся реализаций русской морфологии для поисковых систем, предлагаемый алгоритм не сокращал, а увеличивал количество найденных документов, так как морфологически изменённый запрос объединяется с исходным. Релевантность также увеличивалась, так как использовались специальные алгоритмы объединения результатов. Таким образом, через Nigma, например, можно было искать документы в индексе Google с учётом русской морфологии даже в то время, когда Google не поддерживал русскую морфологию. Сейчас надобность в данной технологии отпала, так как все ведущие поисковые системы поддерживают русскую морфологию.
Результаты
поиска в Google«Большие данные»
http://ru.wikipedia.org/wiki/Большие_данные
Большие данные (англ. BigData) в информационных технологиях — серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов
http://www.mann-ivanov-ferber.ru/books/paperbook/big_data/
Это первая большая книга о грядущем революционном явлении, равнозначном интернету или, может, даже печатному станку.
http://www.tadviser.ru/index.php/Статья:Большие_данные_(Big_Data)
`Большие данные: новый рубеж для инноваций, конкуренции и производительности`
http://www.computerra.ru/98063/bolshie-dannyie/
«Большие данные» и эволюция бессмысленных профессий
Результаты
поиска в Яндекс«Большие
данные»
http://ru.wikipedia.org/wiki/Большие_данные
Большие данные (англ. BigData) в информационных технологиях — серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов
http://www.tadviser.ru/index.php/Статья:Большие_данные_(Big_Data)
`Большие данные: новый рубеж для инноваций, конкуренции и производительности`
http://www.osp.ru/os/2011/10/13010990/
У каждой промышленной революции были свои символы: чугун и пар, сталь и поточное производство, полимеры и электроника, а очередная революция пройдет под знаком композитных материалов и данных. BigData — ложный след или будущее индустрии?
http://innocrowd.ru/big-data-essentials/
Что такое «Большие данные», и что они нам сулят? Возникает первый естественный вопрос: откуда вообще взялась сама проблематика «Больших данных»?
Результаты поиска в Mail.ru«Большие данные»
http://ru.wikipedia.org/wiki/Большие_данные
Большие данные (англ. BigData) в информационных технологиях — серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов
http://www.osp.ru/os/2011/10/13010990/
У каждой промышленной революции были свои символы: чугун и пар, сталь и поточное производство, полимеры и электроника, а очередная революция пройдет под знаком композитных материалов и данных. BigData — ложный след или будущее индустрии?
http://innocrowd.ru/big-data-essentials/
Что такое «Большие данные», и что они нам сулят? Возникает первый естественный вопрос: откуда вообще взялась сама проблематика «Больших данных»?
http://www.tadviser.ru/index.php/Статья:Большие_данные_(Big_Data)
`Большие данные: новый рубеж для инноваций, конкуренции и производительности`
Результаты поиска в Рамблер«Большие данные»
http://ru.wikipedia.org/wiki/Большие_данные
Большие данные (англ. BigData) в информационных технологиях — серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов
http://www.osp.ru/os/2011/10/13010990/
У каждой промышленной революции были свои символы: чугун и пар, сталь и поточное производство, полимеры и электроника, а очередная революция пройдет под знаком композитных материалов и данных. BigData — ложный след или будущее индустрии?
http://innocrowd.ru/big-data-essentials/
Что такое «Большие данные», и что они нам сулят? Возникает первый естественный вопрос: откуда вообще взялась сама проблематика «Больших данных»?
http://www.tadviser.ru/index.php/Статья:Большие_данные_(Big_Data)
`Большие данные: новый рубеж для инноваций, конкуренции и производительности`
http://www.pcweek.ru/idea/article/detail.php?ID=141962
В сущности понятие больших данных подразумевает работу с информацией огромного объема и разнообразного состава, весьма часто обновляемой и находящейся в разных источниках в целях увеличения эффективности работы, создания новых продуктов и повышения конкурентоспособности. Консалтинговая компания Forresterдает краткую формулировку: “Большие данные объединяют техники и технологии, которые извлекают смысл из данных на экстремальном пределе практичности”.