вторник, 19 февраля 2008 г.

Announcing Crawler Improvements for Live Search

Сегодня мы рады сообщить о ряде улучшений в сканере для Live Search, который должен существенно повысить эффективность, сканирования и индексирования веб-сайтов. Мы всегда ищем пути, чтобы помочь веб-мастерам, и мы надеемся, что эти характеристики нам несколько шагов в правильном направлении.

1)Сжатие HTTP: HTTP сжатие позволяет ускорить передачу время сжатия статических файлов и применение мер, уменьшение загрузки сети между ваших серверов и сканером. Мы поддерживаем наиболее распространенные методы сжатия: gzip и deflate, как это определено в RFC 2616 (см. разделы 14,11 и 14,39). Сжатие в настоящее время при поддержке всех основных браузеров и поисковых систем. Используйте этот интерактивный инструмент для проверки вашего сервера HTTP для сжатия поддержки.

Следующие ссылки предоставлять информацию о конфигурации для IIS и Apache.
Настройка сжатия в IIS
Настройка Апаче с использованием GZIP или с использованием deflate
Условные Get: Мы поддерживаем условие GET, как это определено в RFC 2616 (раздел 14,25), в целом мы не сможем загрузить страницу, если она изменилась с момента последнего времени последнего сканирования. Согласно стандарту, сканер будет включать в себя "If-Modified-Since" заголовка и время последнего скачивания в GET запроса и при наличии сканер будет включать в себя "If-None-Match" и значение ETag в GET запросе. Если содержимое не изменилось веб-сервер отдавать 304 HTTP .

Проверить поддержку сервером "If-Modified-Since" можно здесь.
Также можно проверить с помощью Fiddler для ИЕ,
либо Live Headers для Firefox. Каждый из этих инструментов позволяет создать пользовательский GET запрос и отправить его на свой сервер.
Если вы хотите убедиться, что ваш запрос включает в себя "If-Modified-Since" заголовок, вот упрощенный пример:
GET /sa/3_12_0_163076/webmaster/webmaster_layout.css HTTP/1.1 Host: webmaster.live.com If-Modified-Since: Tue, 22 Jan 2008 01:28:49 GMT
ответ сервера должен быть аналогичным:
HTTP/1.x 304 Not Modified

Помимо этих двух функций существуют многие другие улучшения в производительности, которые должны способствовать дальнейшей оптимизации нашего сканера.

По материалам Official blog of the Live Search Webmaster Center Team