«SEO: Поисковая Оптимизация от А до Я» - Продвинутый уровень => Глава VII. Разное. Расширенная оптимизация

Часть VII/12. Список поисковых ботов для User-agent в robots.txt

Автор: Сергей Кокшаров (Devaka)

Для запрета индексации вашего сайта или определенных разделов ресурса поисковыми ботами используется два метода: добавление мета тегов на страницу либо создание файла robots.txt. Часто вебмастера сталкиваются с вопросом о юзер-агенте ботов той или иной поисковой системы. Зная значения User-agent для поисковых ботов, можно запретить, либо наоборот, открыть доступ тому или иному боту, например следующими строками:

User-agent: *

Disallow: /

User-agent: Mediapartners-Google

Disallow:

Верхние строки запретят всем ботам индексировать контент, кроме бота AdSense (если на сайте показываются объявления AdSense).

Ниже приведен список наиболее часто встречаемых ботов, принадлежащих известным поисковым системам.

«SEO: Поисковая Оптимизация от А до Я» - Продвинутый уровень => Глава VII. Разное. Расширенная оптимизация

Примечание:

У некоторых крупных поисковых систем помимо основных поисковых ботов существуют также роботы для индексации блогов, новостей, изображений и т.д. Вот некоторые из них:

Googlebot-Mobile выполняет обход страниц для включения их в индекс для мобильных устройств. Googlebot-Image сканирует страницы для включения в индекс картинок.

Mediapartners-Google сканирует страницы для определения содержания AdSense объявлений. Adsbot-Google сканирует страницы для определения качества целевых страниц AdWords. MSNBot-NewsBlogs – сканирует для поиска новостей в сети Интернет.

MSNBot-Products – сканирует для поиска продуктов, которые можно приобрести в Интернете. MSNBot-Media – сканирует страницы для поиска мультимедийных файлов.

Ссылки по теме поисковых ботов:

List of Robot Agent Strings

Robots Database

«SEO: Поисковая Оптимизация от А до Я» - Продвинутый уровень => Глава VII. Разное. Расширенная оптимизация

Часть VII/13. Поисковые запросы Google

Автор: Михаил Шакин (Globator)

Поисковые запросы Google позволяют сделать поиск нужной информации более совершенным и целевым. Я составил список основных операторов языка поисковых запросов Google. Надеюсь, он будет вам полезен.

Толковый словарь Google define:rss

Толковый словарь от Google. Выводит энциклопедическое значение указанного запроса. Для русского языка пользуйтесь google.ru. для английского - google.com

Проверка граматики spell:дызайн

проверка грамматики указанного запроса. Если запрос содержит ошибки, то google подскажет правильный вариант.

Поиск по типам файлов в Google

реферат экономика filetype:doc rammstein filetype: mp3

Если вам нужен поиск по типам файлов (doc, mp3, pdf, html, rtf и др.), используйте оператор filetype.

Поиск точного запроса

“как хорошо на свете жить”

Для поиска точного запроса в Google заключите запрос в кавычки.

Исключение слова paris hilton -hotel

Для того, чтобы при поиске исключить ненужную информацию, используйте оператор “-” (минус). Например, при обычном поиске Paris Hilton в результатах будет информация о сети отелей Hilton. Чтобы ее исключить, сделайте запрос paris hilton -hotel.

«SEO: Поисковая Оптимизация от А до Я» - Продвинутый уровень => Глава VII. Разное. Расширенная оптимизация

Принудительное включение слова в поиск

туры +florida

Когда нужно принудительно включить слово в поиск, используйте оператор “+” (плюс). Например, при обычном запросе туры будут показаны слишком общие результаты, а при запросе туры +florida результаты будут ограничены только турами по Флориде (кстати, это мой самый любимый штат).

Сокращение слова в Google

лучший * пляж горящие туры в * * квартиру в Москве

Если нужно найти фразу с неизвестным словом или фразой, то вместо неизвестных элементов используйте оператор *.

Диапазон

телефон Samsung 5000…30000

Поиск товара определенной марки в указанном ценовом диапазоне цен (от 5000 до 30000 рублей). Нужные цифры диапазона разделяйте многоточием.

Безопасный поиск в Google safesearch: половое воспитание

Поиск по указанному запросу без эротических сайтов в результатах поиска.

Поиск синонимов в Google

~коса

Если поставить знак “~” (тильду) перед искомым запросом в окне поиска Google, то, помимо обычного поиска, Google выведет и результаты с его синонимами.

Сохраненная копия страницы из кеша Google cache:shakin.ru

Выводит сохраненную страницу указанного сайта из кеша Google. Очень удобно, когда нужный сайт временно недоступен.

Список ссылающихся сайтов link:maxsite.org

Теоретически выводит список сайтов, которые ссылаются на указанный сайт. На практике Google показывает далеко не все сайты. Для более полного вывода списка ссылающихся сайтов рекомендую пользоваться оператором linkdomain:maxsite.org в yahoo. Разница в количестве ссылающихся сайтов значительна.

Список похожих сайтов в Google related:google.com

Данный оператор языка поисковых запросов Google выводит список сайтов, которые похожи по содержанию и тематике на указанный сайтом.

Информация о сайте info:shakin.ru

Показывает информацию, которая есть у Google об указанном сайте.

Список проиндексированных страниц на сайте site:shakin.ru

Этот оператор поисковых запросов Google выводит список всех проиндексированных страниц на указанном сайте.

Поиск только по одному сайту

продвижение сайтов site:shakin.ru

«SEO: Поисковая Оптимизация от А до Я» - Продвинутый уровень => Глава VII. Разное. Расширенная оптимизация

Поиск запроса только на указанном сайте.

Например, если ввести в окно поиска Google запрос: продвижение сайтов site:shakin.ru, то будут получены страницы, содержащие запрос “продвижение сайтов” только на сайте “shakin.ru“.

Поиск только в текстах сайтов allintext:кровососущие клопы

Поиск указанного запроса в текстах сайтов (не в заголовках или ссылках).

Поиск только по заголовкам allintitle:спутники сатурна

Этот оператор языка поисковых запросов Google выдаст страницы, в которых все слова запроса содержатся в заголовках (внутри тега title).

intitle:спутники сатурна

Этот оператор выводит страницы, в кoтopыx только то слово, которое расположено сразу после оператора intitle, содержится в заголовке, а остальные слова запроса могут быть в любом месте текста. Посмотрите результаты для allintitle и intitle, и вы увидите разницу.

Поиск только по ссылкам allinurl:mercedes 600

Находит страницы, в которых все слова запроса содержатся только в ссылках (url).

inurl:mercedes 600

Этот оператор похож на предыдущий. Слово, которые расположено сразу после оператора inurl (в моем примере mercedes), будет найдено только в адресе страницы, а остальные слова могут быть в любом месте текста. Данный оператор выводит больше результатов, чем allinurl.

Поиск по текстам ссылок (анкорам) inanchor:пластиковые окна

Поиск указанного запроса в анкорах (текстах) ссылок.

Поиск по книгам в Google http://print.google.ru

Поиск книг. Данный сервис пока в бете.

Также рекомендую пользоваться расширенным поиском в Google, ссылка на который находится справа от основного окна поиска Google.