Пропали страницы иднексированы Яндексом? Читайте....

Честно говоря, хотел назвать этот текст «АГС-17 или великий мастурбатор Яндекса», но не рискнул. Ныне не только вебмастера, но и авторы статей должны думать об оптимизации. Неприличное слово в титле страницы могло заставить поисковки подумать, что речь идет о порнухе, со всеми вытекающими. А потому, решил я, пусть это будет звучать вполне пристойно и научно - «аутоэротическая практика».

Предварительное уведомление. Далее следует текст посвященный алгоритму выбросу сайтов из индекса Яндекса, известному в народе под названием АГС-17, который может кому-то показаться слишком большим для того, чтобы внимательно прочитать его. Если вы пришли сюда с единственной целью – найти средство избавления от АГС17 вы можете сразу перейти к соотвествующему разделу. Однако примите во внимание, что использование этих рекомендаций без понимания сути алгоритма может привести к тому, что по отношению к вашему сайту Яндексом будет применено более тяжелое орудие.

Теперь о сути дела. Сегодня, 3 октября 2009, когда я пишу эту статью, по оптимизаторским форумам интернета идет волна паники: русская поисковая машина Яндекс целыми пачками выбрасывает сайты из своего индекса. Или, для тех кто не понимает оптимизаторского птичьего языка – Яндекс отказывается производить поиск по огромному количеству сайтов.

В настоящее время по некоторым интернет-отраслям количество таких «вылетевших» сайтов составляет десятки процентов, что, согласитесь, уже явный повод задуматься и забеспокоиться. Характерный симптом заболевшего сайта: вылетает он не целиком (как это бывает когда Яндекс «банит» вредоносный с его точки зрения сайт), в индексе всегда остается от 1 до 15 страниц, что позволяет службе поддержки Яндекса отвечать на недоуменные вопросы владельцев стандартной отпиской, дескать, что вы волнуетесь, ваш сайт все же присуствует в поиске, ну а то, что присуствует не все страницы – так вы это, типа, работайте, улучшайте сайт.


На волне паники возникает куча версий. Например, Яндекс наказывает сайты, торгующие оптимизаторскими ссылками. Это было бы похоже на правду, если бы среди «вылетевших» сайтов были только торгующие. Но неторгующих тоже полно «вытелетело». Есть версия, что наказываются «некачественные сайты». Но что такого было некачественного в news2.ru или на сайте Мистерства транспорта Российской Федерации www.mintrans.ru, а они тоже пострадали. Кто-то говорит – «глюк Яндекса». Ну может быть, хотя глюк длинной в месяц – это уже за гранью экстрима.

Как бы то ни было, большая часть оптимизаторской тусовки склоняется к мысли, что произошел радикальный перелом СЕО-рынка и минувшее уже не вернется. Равно как и сами вылетевшие сайты.

Да полноте, успокойтесь господа, я вам обещаю – вернутся все ваши вылетевшие сайты, никуда не денуться. Правда потом снова вылетят. Потом правда вернуться. Потом вылетят. Потом вернутся...

Вот именно за эту тенденцию, за бесконечное сование сайтов туда-обратно в индекс Яндекса с последующим выниманием их из индекса, мы и прозвали этот процесс «Великим мастурбатором», когда столкнулись с ним год назад.

«Мы» это группа мыслителей-аналитиков, которым в августе прошлого года одно издание заказало некое исследование оптимизаторского рынка и предоставило для этой цели возможность работать аж с несколькими сотнями сайтов разного уровня и качества. Потом, по кризису, издательство сначала отказалось платить, а потом и вообще накрылось медным тазом. А раз так, то, сосласитесь, я немножко вправе, ввиду отсуствия заказчика, поделиться малой толикой полученных результатов.

Прежде всего хочу задать такой вопрос к вебмастерам, работающим с достаточно большими пулами сайтов. Скажите, а разве раньше не случалось, чтобы у вас выпадал какой-нибудь сайт именно таким образом, - чтобы оствалось 1-15 страниц? Наверняка ведь случалось. Но вы не придавали особого значения, так как не видели в этом системы из-за относительно малого количества сайтов. На 1 сайте из 20 ее просто не видно.

А на десятках из сотен – видно очень даже хорошо. Отслеживая с августа по май не одну сотню сайтов, мы эту тенденцию заметили в начале прошлой осени, твердо уверились в ее наличии к началу зимы, и поняли в общих чертах, как она работат к концу весны. Прозвана она была «Мастурбатором Яндекса», так как сайты, попавшие под нее, начинали сновать туда-обратно из индекса.

Так вот, то, что происходит сейчас – полностью соотвествует логике работы этого самого мастурбатора. В начале сентября, когда начались вылеты, я (увы, не имея уже доступа к упомянутым ранее сотням сайтов) собрал по сусекам у знакомых и клиентов информацию по их сайтам – всего около сотни – и, исходя из известной мне логики мастурбатора, составил прогноз вылета части этих сайтов. Прогноз сбылся с достаточной точностью, чтобы понять, что мы имеем дело все с тем же мастурбатором.

Но коль скоро в народе уже утвердилось другое название этого фильтра, АГС-17, я буду использовать именно его.

Итак, что такое этот самый мастурбатор - АГС-17.

1. Он представляет собой независимый процесс (робот, алгоритм, фильтр – не знаю как сказать правильно, я в терминологии не силен), работающий автономно по своим собственным правилам и – видимо – не обменивающийся или почти не обменивающийся информацией с другими процессами. АГС-17 пользуется базой страниц, который собрал робот-индексатор, но при этом не информирует индексатора, что нужно брать, а что не нужно брать в индекс. Индексатор загружает все. А АГС-17 чистит уже загруженные страницы и делает это несинхронно с индексацией. Если ваша страница попала в индекс сегодня, то АГС-17 может добраться до нее и сегодня, и завтра и через месяц. А может, кстати, при определенных условиях (например, если будете делать упомянутые ниже прививки) и вовсе не добраться.

2. АГС-17 видимо самонастраивающийся процесс, при этом не исключено, что он может корректировать свои алгоритмы и без участия человека. Например, была замечена совершенно четкая тенденция: если достаточно большое количество забракованных АГС-17 страниц на разных сайтах содержало в URI какой-то определенный шаблон, АГС-17 начинал браковать все страницы URI-которых попадал под этот шаблон. Так, например, в какой-то период времени из индекса выпадали все страницы сформированные джумловским компонентом «Аккокомент», независимо от их содержания, или страницы содержащие в URI параметр searchword.

3. АГС17 можно уподобить вирусу. Если он однажды прицепился к вашему сайту, то он будет теребить его бесконечно, поэтому тут уместно будет использовать выражение «сайт, зараженный АГС17». Как и от любого вируса, от АГС17 можно вылечиться, но об этом чуть позже.

4. Большая часть правил по которым АГС-17 выкидывает страницы – не вечна и живет ограниченный срок. Например в начале мая searchword получил реабилитацию. У некоторых моих коллег возникла версия (я не являюсь ее сторонником), что набор правил, по которым работает АГС-17, имеет ограниченный диапазон и новые «более важные» правила, вытесняют «менее важные» старые.
Теперь о самих правилах

Главное и определяющее правило по которому АГС-17 обращает внимание на ваш сайт – это (нет, не продажные ссылочки) качество контента. Правил определения качества довольно много, и в них не разберется даже самый продвинутый аналитик. Но, в современных интернет-реалиях определяющий вес тут играет то, что называется «уникальностью» текстов. Причем под уникальностью подразумевается, не только уникальность ваших текстов в границах интернета, но и в границах самого вашего сайта. Если на вашем сайте есть достаточно большое количество идентичных или очень похожих текстов расположенных по разным адресам – вы привлечете внимает АГС-17, даже если на других сайтах эти тексты не встречаются. Если же вы прибегали ко всяким хитрым способат «получения уникальных текстов из неуникальных», вроде программ-синонимизаторов или генераторов, и считаете свои тексты уникальными, не факт, что алгоритм Янлекса будет того же мнения.

Само по себе наличие плохого контента на вашем сайте – это уже повод для того, чтобы АГС-17 вычистил ваши «некачественные» страницы из индекса. Именно поэтому под раздачу попали уже упоминавшиеся ранее New2.ru и министерство транспорта.

В первом случае это произошло очевидно потому, что все материалы на news2.ru представляют собой фрагменты других материалов, опубликованных ранее в интернете. Нормативные документы Минтранса – как и любые другие публичные госбумаги, тоже, увы, неуникальны.

Сейчас же наблюдается массовый вылет фотогаллерей, что тоже понятно – текст, состоящий из одной только подписи к картинке – слишком мал, чтобы пройти проверку на качество.

Однако, плохой контент является только фактором, запускающим интерес АГС-17 к вашему сайту. Как правило, помимо основного, «контентного критерия» срабатывает множество добавочных.

Если ваш сайт попал под раздачу по контентному критерию, то будьте готовы к тому, что АГС-17 начнет шерстить его по другим критериям, коих великое множество. Но SEO-сообщество больше всего интересует прежде всего один из этих критериев – а именно – наличие продажных SEO-ссылок. Скажу смело, господа, в ходе испытаний было достоверно и однозначно установлено, что сам факт наличия на вашем сайте продажных SEO-ссылок великому АГС-17 до глубокой балды. А вот то, как влияют эти ссылки на выдачу поисковки – не до балды. Если ваши ссылочки недопустимым образом искажают выдачу поисковки с точки зрения Яндекса – АГС-17 оправит ваш сайт прямиком в предбанник – именно так остроумно оценил состояние «15 страниц в индексе» участник одного из форумов. Еще не бан, но уже и не нормальное состояние.
Самое пакостное в логике работы АГС-17 это то, что оценивается, повторюсь, не наличие «плохих» ссылок и не их количество, а исключительно их влияние. Поэтому, если ваш сайт угодил в предбанник именно из-за плохого влияния на выдачу, то просто снятие ссылок с сайта вам уже не поможет.

Вам придется дождаться когда дурное влияние на выдачу, внесенное вашим сайтом сойдет на нет, а это может занять несколько месяцев.
После этого ваш сайт гарантировано вернется в индекс, чтобы спустя время вновь попасть под раздачу АГС-17 – по какому-нибудь другому критерию – помните, однажды заразив ваш сайт АГС-17 от него уже не отвяжется.
ВАЖНОЕ Примечание: Размещение «плохих» ссылок может привести к выпаду вашего сайта из индекса и при отличном, уникальном контенте. Но в этом случае выбрасывать ваш сайт из инекса будет уже не АГС-17, а другой алгоритм. И результатом будет скорее всего уже не предбанник, а бан. АГС-17 же всегда работает по принципу – «сначала контент и, при плохом контенте (только!), все другие критерии» и результатом его работы всегда является предбанник, а не бан. Так что если у вас в индексе остался десяток, плюс-минус несколько страниц, смотрите прежде всего на качество своего контента.
Профилактика, прививки и лечение

Как и от любой другой инфекции, не приводящей к смерти пациента, от поражения АГС-17 можно излечиться. От него можно сделать прививку. И в конце концов, простейшие профилактические меры также могут здорово помочь.

Собственно говоря, профилактические меры от заражения АГС-17 – ровно те же самые, что указаны на сайте Яндекса в рекомендациях вебмастерам, так что я ничего нового не скажу. Но, тем не менее, вдруг кто-то не знает, я повторюсь, извините за банальности.

1. Следите за тем, чтобы контент вашего сайта был уникальным, грамотно написанным (это тоже учитывается), и осмысленным (это тоже учитывается). Крайне желательно, чтобы этот контент привлекал какое-то количество (пусть даже совсем-совсем небольшое) «естественных» посетителей, и чтобы эти люди действительно посещали ваш сайт. Сайт который совсем не посещается или имитирует посещаемось (а АГС-17 ведомо и то и другое) вызовет сомнения в качестве своего контента.

2. Не перебарщивайте с внутренней перелинковкой. Я понимаю, это популярная мера по «оптимизации» сайта, но если АГС-17 при наличии 100 уникальных статей, обнаружит на вашем сайте 2000 страниц с этими текстами, или шестьсот ссылок с «морды» на внутренние страницы, он может вас не понять. Не заводите облако тегов на поисковые запросы. Всегда открывайте страницу сразу с комментариями, если они есть, и никогда не делайте два отдельный варианта – с комментариями и без. А если делаете, то без перезагрузки, чтобы URL страницы не менялся... впрочем, это все уже мелкие детали, кои все не перечислишь.

3. Если уж продаете ссылки со своего сайта, лягте костьми, но не допускайте на свой сайт некачественных продажных ссылок. Критерии некачественных ссылок много раз публиковались и обсуждались. В частности, это ссылки, перенасыщенные ключевыми словами, ссылки ведущие на криминальные с точки зрения поисковки (или закона) сайты, ссылки, тематика которых не соотвествует тематике сайтов, на которые они ведут.

4. Если уж продаете ссылки со своего сайта, не перебарщивайте с их количеством. Если с вашего сайта, в котором 100 страниц, будет вести 1000 коммерческих ссылок, он исказит выдачу по любому, даже если все ссылки будут качественными. Впрочем, в этом случае ваш сайт пойдет мыться в баню еще до того, как до него доберется АГС-17 со своим гуманным предбанником.

5. Да, и еще одна банальность. Следите, чтобы ваши тексты по возможности не тырили. Понимаю, почти нереально, но надо. Иначе, если ваши тексты будут маячить на достаточном количестве других сайтов и без ссылок на ваш сайт – они уже не будут уникальными. Прискорбно... но ситуация достаточно распространена.
Прививка

Как и от любой другой заразы, от АГС-17 можно сделать прививку. Если вы поняли из вышеописанного, что ваш сайт – кандидат на вылет, надо ее сделать. Эмпирическим путем установленно, что в качестве прививки может послужить следующее шаманское действие: периодический массированный (это ключевое слово) вброс на сайт хороших порций заведомо качественного контента. Подчеркну речь не идет о традиционном регулярном обновлении сайта, а именно о массированном вбросе. Не по одной статье в день на протяжении месяца, а все тридцать статей за один раз единовременно.

Я понимаю, что это смахивает на шарлатанство, но это работает. Если вы замените регулярное обновление сайта небольшими порциями на нерегулярное и крупными порциями, шансы на попадание в поле зрения АГС17 резко уменьшаться.

Регулярность и количество вбрасываемых статей зависят от общего количества статей на сайте. Чем их меньше, тем чаще и более мелкими порциями.

Для сайта с тысячей страниц достаточно вбрасывать раз в два месяца статей 40-50. Для сайта с несколькими сотнями страниц 10-30 раз в месяц. Для совсем новых или совсем маленьких сайтов не скажу, испытаний не проводилось.

Прививка эта помогает даже если сайт приторговывает ссылками, среди которых попадается небольшое количество некачественных. А вот большом количестве некачественных ссылок – не поможет, потому что вашим сайтом займется уже не АГС-17, а другой фильтр.

Также надо заметить, что прививка помогает, только если АГС-17 еще не добрался до вашего сайта. Если добрался, то надо уже не прививать, а лечить.
Лечение

Есть три способа лечения сайтов, пораженных АГС17.

Один «мягкий» способ, совершенно безвредный и безопасный для сайта, но довольно «долгий». И два «радикальных», позволяющих быстро избавиться от этой заразы, но при этом, надо быть готовым к некоторым потерям.

Мягкий способ по характеру действия сходен с прививкой и заключается в том, чтобы дождавшись возвращения сайта в индекс (напомню, сайты, пораженные АГС17 всегда возвращаются), единовременно залить на него очень большую порцию уникального качественного контента в объеме порядка 10% от уже имеющихся на сайте статей. Можно и больше. После этого, как правило АГС17 оставляет сайт в покое, и больше не возвращается. Хочу обратить внимание, что этот метод работает только в момент возвращения сайта в индекс, и работает в течение очень ограниченного времени. Ставить эту капельницу желательно именно в тот день, когда началось возвращение сайта в индекс. Позже будет малоэффективно. Раньше тем более. Бесполезно пытаться вернуть сайт в индекс таким образом. Помните, я говорил, что робот-индексатор и робот-мастурбатор действуют независимо и несогласованно. Сколько бы не находил индексатор новых страниц на вашем сайте, фильтр уже наложенный АГС17 будет продолжать действовать, до тех пор, пока не истечет срок карантина, но об этом, чуть позже.

Радикальные способы лечения направлены на то, чтобы вернуть ваш сайт в индекс в кратчайшие сроки. Первый из этих способов заключается в том, чтобы одномоментно поменять адреса всех страниц сайта. Коль скоро ваш сайт пребывает вне инекса, эта радикальная акция никак не повредит ему в глазах Яндекса. После этого сайт практически гарантированно возвращается в индекс в течение нескольких обновлений поисковой базы (как правило это занимает около месяца). Каким образом поменять адреса всех страниц – спросите у вашего программиста. Если движок вашего сайта поддерживает SEF, вы можете, к примеру, поменять обычные адреса страниц на «дружественные» или наоборот.

Перед этим крайне важно устранить на вашем сайте все, что по вашему мнению привело его к заражению АГС17. В момент возвращения сайта в индекс – обязательно провести лечение по вышеописанному мягкому способу.

К сожалению этот способ пригоден только в том случае, если вам принципиально важна индексация сайта именно в Яндексе. Потому как у Google и Yahho! могут отреагировать на смену адресов с недоумением. Кроме того, если раньше на какие-то конкретные страницы вашего сайта вели внешние ссылки, то после этой операции они будут вести в никуда. К счастью, многие сайтовые движки позволяет открывать страницы одновремено по обычному и SEF-адресу. Если у вас такой движок – вам повезло.

Другой радикальный способ является еще более радикальным и предназначен для тех случаев, когда вам важна инексация во всех поисковых машинах или вы не можете поменять адреса ваших страниц. Он заключается в имитации технической неисправности сайта и сводится к тому, чтобы заставить ваш веб-сервер вместе со страницей отдавать браузеру не стандартный код ответа (200 OK!), а код какой-нибудь неисправности, например 404 Not Found. В силу специфики своей работы браузеры будут корректно показывать такие страницы посетителям и те даже не будут знать о том, что код ответа сервера – неправильный. А вот поисковые машины получив такой код ответа, страницу загружать не будут и зафиксируют ошибку. В итоге спустя короткое время количество загруженых страниц вашего сайта станет равным нулю (это можно увидеть в панели вебмастера), и АГС17 от вашего сайта отлипнет. После чего вы можете смело возвращать на место код 200 OK! И ваш сайт заново проиндексируется с нуля.

Этот способ более рискованный. Во-первых, он чреват тем, что ваш сайт, пусть и на короткое время, но выпадет из индекса Гугля и Яхи. Во-вторых, у Яндекса есть еще один робот, который отправляет в баню сайты по признаку их недоступности. Правда это очень медленный робот, и сайт должен очень долго быть недоступным, чтобы попасть под такой запрет, но все же риск попасть в баню вместо предбанника при таком способе будет. В-третьих, при более-менее массовом применении этого способа все поисковые машины очевидно (все же это обман, как ни крути) научатся распознавать его и скорректируют свои алгоритмы. Так что – применять в исключительных случаях.

Примечание: возможно вместо этого варварского способа сработает простой запрет индексации сайта в файле robots.txt. Или клоакинг. Такие способы не испытывались, и вы можете поэкспериментировать с ними на свой страх и риск.

Статья взята http://shipilov.com/