Announcing Crawler Improvements for Live Search

Сегодня мы рады сообщить о ряде улучшений в сканере для Live Search, который должен существенно повысить эффективность, сканирования и индексирования веб-сайтов. Мы всегда ищем пути, чтобы помочь веб-мастерам, и мы надеемся, что эти характеристики нам несколько шагов в правильном направлении.

1)Сжатие HTTP: HTTP сжатие позволяет ускорить передачу время сжатия статических файлов и применение мер, уменьшение загрузки сети между ваших серверов и сканером. Мы поддерживаем наиболее распространенные методы сжатия: gzip и deflate, как это определено в RFC 2616 (см. разделы 14,11 и 14,39). Сжатие в настоящее время при поддержке всех основных браузеров и поисковых систем. Используйте этот интерактивный инструмент для проверки вашего сервера HTTP для сжатия поддержки.

Следующие ссылки предоставлять информацию о конфигурации для IIS и Apache.
Настройка сжатия в IIS
Настройка Апаче с использованием GZIP или с использованием deflate
Условные Get: Мы поддерживаем условие GET, как это определено в RFC 2616 (раздел 14,25), в целом мы не сможем загрузить страницу, если она изменилась с момента последнего времени последнего сканирования. Согласно стандарту, сканер будет включать в себя "If-Modified-Since" заголовка и время последнего скачивания в GET запроса и при наличии сканер будет включать в себя "If-None-Match" и значение ETag в GET запросе. Если содержимое не изменилось веб-сервер отдавать 304 HTTP .

Проверить поддержку сервером "If-Modified-Since" можно здесь.
Также можно проверить с помощью Fiddler для ИЕ,
либо Live Headers для Firefox. Каждый из этих инструментов позволяет создать пользовательский GET запрос и отправить его на свой сервер.
Если вы хотите убедиться, что ваш запрос включает в себя "If-Modified-Since" заголовок, вот упрощенный пример:
GET /sa/3_12_0_163076/webmaster/webmaster_layout.css HTTP/1.1 Host: webmaster.live.com If-Modified-Since: Tue, 22 Jan 2008 01:28:49 GMT
ответ сервера должен быть аналогичным:
HTTP/1.x 304 Not Modified

Помимо этих двух функций существуют многие другие улучшения в производительности, которые должны способствовать дальнейшей оптимизации нашего сканера.

По материалам Official blog of the Live Search Webmaster Center Team

Дорвеи

Пишу по поводу анека о дорейщиках....
Набрел на статью, как заработать с умаксом (UMAX Search)
линков не публикую (кому нужно, тот найдет.Позже выложу или линк или статью)
Так вот к чему все сводится (если все официально и по правилам), нужно с своего сайта отправлять юзверя(пользователя) на умакс, который тебе, начинающему и не очень, сеошнику и заплатит денежку :-)
В кратце попробую обьяснить суть работы:
Для начала главное определение:
Траффик(в нашем случае) - это не обьем скачаной/закачаной иформации, а количество посетителей пришедших от тебя (яркий пример - AdSense )
Как заработать - отправлять всемы дозволенными путями пользователей, со своего (или не очень своего) сайта на умакс. А там уже разберутся какую страничку показать пользователю. Вот собственно за это и платят вам деньги.
Что такое дорвей(doorway) или дор - это СПЕЦИАЛЬНО созданная html-страничка, под определенный запрос пользователя. А "специального" в ней вот что. Повышенная плотность ключевых слов(ключевые слова это и есть нужный нам запрос) по отношению к остальному тексту. Заключение ключевой фразы в важные для ранжирования(распределения мест в выдаче поисковика) теги: title, H1, H2, B, strong, i. Практически обязательно присутствует редирект(т.е. сама отправка пользователя на нужный вам сайт).
Ну и как говорится со всеми вытекающими из умакса деньгами:-)
В чем плюсы и минусы?
+ быстрое поднятие в поисковиках, соответственно увеличение траффика(т.е. денег)
- нужно делать под определенные запросы
- дор может быстро попасть в бан от тех же гугли и яндекса
- придется поработать головой, чтобы вывести его хотя бы в первую 20-ку

З.Ы. Умакс привел в пример, т.к. в инете много статей (в основном переписанных с одного шаблона) чтобы читатель мог быстро найти всю статью
З.Ы.Ы. С умаксом набрался немного опыта, именно по части SEO

Попытка войти в СЕО

Вообщем я разуверился во всех...:
кликерах(геммороя много, денег мало)
хайпах (денег нету на старте, поэтому не интерестно)
пирамидах (ну немогу я впаривать какую то х..ню людям, не мое)
биржах(опять бабок нету, а мелочь исчезает, так, про между прочим)
И начал я искать инфу, как можно дествительно заработать. Даже приложив немалые усилия (ибо бесплатный сыр.... сами понимаете).
Вообщем наткнулся на одном из сайтов посвященных заработку в сети на один сайтик, который обещал платить за посещения по рефссылке (если вы прошли первый этап моих "заработков" то понимаете о чем речь). Так вот мне обещали платить по 5 центов за визит посетителя(клик). Для сравнения на САР либо почтовике Вам заплатят максимум 0,5 цента за клик... Естессна участвуя в великой куче САР и мейлеров, я быстренько прощелкал что можно купить "здесь" и сплавить "туда", при наилучших раскладах получалось чистой прибыли 400% !!!!!! при наихудших 200 :(((
Но т.к. я позно влез в попытку так заработать (нужно было лет 5 назад так сделать, а многие так и сделали) в результате за неделю получив 50$ на счет, попытался их снять на вебмани. И.... Аблом с большой буквы.... как оказалось на этом сайте работает система которая запрещает заходы с САР... Написав в саппорт, я получил ответ: Извините, ваш траффик мы не принимаем, т.к. это г..но...
Потом ВНИМАТЕЛЬНО!!! ОЧЕНЬ ВНИМАТЕЛЬНО!!!! прочитав правила "сливания траффика я понял почему меня "типа кинули".... В правилах было ясно написано что траффик с САР не принимается и ведет к блокировке аккауна...
Я расстроился и в очередной раз вернулся на нашу, грешную землю... (т.е. в оффлайн)