Парсинг сервиса wordstat:
собираем частотность без бана

Новые сайты появляются пачками каждый день. При этом подавляющее большинство фирм хочет залезть в интернет с минимальным финансовым вложением. Шаблонные дизайны, отсутствие всяких стандартов и принципов работы веб-ресурсов — то, что получает заказчик за пару тысяч деревянных. Дешевизна разработки проектов открывает весьма большую нишу для «продвижения сайтов за копейки». Как говорится «пустое место свободным не бывает» — поэтому начинающие оптимизаторы вовсю предлагают сомнительные услуги за те же самые копейки. Если заказчик умудрится воспользоваться услугами молодого псевдоспециалиста, который толком не знаком даже с основами оптимизации, то можно считать, что вся работа, деньги и время пойдут впустую. Но, это пол беды. Самое обидное то, что складывается весьма негативное мнение про SEO технологию, появляется негодование и сомнение в её целесообразности. Стоит заметить, что «оживить» проект, над которым поработал такой «мастер» стоит весьма не дешево. Вот так и рождаются всевозможные слухи и клевета про хороших оптимизаторов.
Каплю дегтя также добавляет и тот факт, что неграмотное продвижение не только затрудняет развитие интернет-ресурса, но и перегружает бесплатные сервисы. Так, популярные и на сегодня единственный общедоступный сервис подбора ключевых слов для сайта и частотностей «wordstat» постоянно изрядно шатает. Кратковременная его недоступность — уже привычное явление. Сервера яндекса просто не справляются с такой большой нагрузкой.

Бан wordstat

Злоупотребление сервисом, который изначально был создан для пользователей рекламной площадки «директ», приводит к бану по IP. На такие меры сотрудники Yandex были вынуждены пойти ещё в 2012 году, однако сейчас их злость разрослась — даже использование XML методов уже не спасает. В результате появляется следующая ошибка:

Кстати, забугорный Google также весьма ревностно относится к излишнему внимаю к своим ресурсам:

Правильный парсинг частотностей

Ситуации бывают разные — иногда нужно в короткие сроки узнать популярность довольно большого количества ключевых слов. Если делать это с стандартными настройками большинства программ — бан обеспечен. Ниже я приведу несколько способов, которые позволят дышать свободнее при работе с вордстатом.

Уменьшение количества запросов

У Яндекса существуют критерии частоты обращения, по которым он и определят реальный человек пользуется сервисом, или все же автоматическая программа. Во внимание берется промежуток в час, а также суточное время и количество секунд между самими действиями. Естественно, что максимальные планки не открыты, однако методом проб и ошибок удалось выявить более оптимальные:
Количество потоков — 1
Задержка между запросами — от 15 до 21 секунды
Такие простые на первый взгляд функции помогут весьма сэкономить ваши нервы. Если же в используемом софте этих возможностей нет, тогда предлагают почитать информацию ниже.

Получение данных в обход вордстата

Существует платный сервис APIShops, который весьма облегчит работу парсинга. Во первых — высокая скорость, во вторых — актуальность информации. Но есть одно НО — вы сможете узнать частоту слов без учета региональности. Некоторые программные скрипты также напрямую могут работать с указанной системой.

Прокси сервера

Пожалуй один из самых старейших способов обхода санкций как в SEO (белая технология и серая оптимизация сайтов), так и в спаме. Суть в том, что информация посылается со сторонних IP адресов — это делает ваше прибывание в интернете незаметным. Есть два метода взаимодействия с proxy: Бесплатный (малая скорость, небольшое время действия) и Платный (дорого, быстро, стабильно). Можно поискать услуги у фрилансеров, либо у компаний — цены разнятся в десятки раз. Способ требует наличие спец софта для взаимодействия технологии. Также существует проект seo-proxy.ru , который выполняет все автоматически (нужна синхронизация в программе), но платно и не совсем стабильно — в связи с обновлениями поисковых алгоритмов возможна неработоспособность.

Словили бан — пишем Платону

Ничего и никогда вас на 100% не застрахует от санкции. Если же вам таковую наложили, то есть верный способ — написать письмо в тех поддержку по адресу block.yandex.ru/possiblereasons.shtml . Многие советуют подождать — но лучше все же действовать, что бы не потерять время.

Содержание письма может быть следующим:
Добрый день,
Мой компьютер был заражен вирусами. Возможно, их действие как раз и вызвало многочисленные запросы к сервисам Яндекс.
На данный момент компьютер полностью проверен на вирусные угрозы, все вредоносные программы были удален.
Прошу разблокировать доступ к сервисам Яндекс.
Спасибо за программу «Касперский от Яндекса», которой и удалось избавиться более чем от 100 различных угроз.
В дальнейшем постараюсь уделить большее внимание к защите компьютера.
С уважением, TekSeo

Ответы технической поддержки Yandex

Однажды я запустил программу на сканирование более чем 500 ключевых слов в вордстате. После этого мне был вынесен бан. На вопрос о причине ограничения доступа сотрудники поисковой системы мне ответили следующее:
«С IP-адреса xx.xx.xxx.xx было зафиксировано большое количество автоматических запросов к сервисам Яндекса.
Отправка автоматических запросов противоречит Лицензии на использование поисковой системы Яндекса ( rules.yandex.ru/termsofuse.xml ). Поэтому доступ к поиску для адреса xx.xx.xxx.xx был временно заблокирован.
После устранения роботной активности доступ к поиску будет автоматически восстановлен.»

Аналогичный ответ другого сотрудника:
«С Вашего компьютера к поиску Яндекса было зафиксировано большое количество поисковых запросов служебного характера и/или с частотой, недоступной человеку.
Возможно, Вы используете программное обеспечение или дополнительные плагины к браузерам, производящие автоматические запросы к поиску, что противоречит Лицензии на использование поисковой системы Яндекса ( http://rules.yandex.ru/termsofuse.xml ). В этом случае, чтобы снова использовать поиск Яндекса, Вам необходимо отключить программное обеспечение, плагины, тулбары и т.д., которые могут задавать такого рода запросы нашему поиску, а также ограничить количество производимых вручную служебных запросов.
Если же Вы не задавали запросов такого рода, то, пожалуйста, проверьте Ваш компьютер антивирусом, поскольку они могут задаваться каким-либо плагином к браузеру или иной программой без Вашего ведома.»

XML нынче не тот

Ранее оптимизаторы справлялись с проблемами большого количества обращений при помощи сервиса XML, однако нынче он утрачивает своё влияние. Сотрудники Яндекса все чаще указывают обратить внимание на «API Директ»:
«Добрый день!
Благодарим Вас за обращение!
В настоящее время доступ к сервису «Подбор слов» для Вас восстановлен. Проверьте, пожалуйста.
Напоминаем, что в соответствии с нашей политикой, массовое использование сторонних программ автоматизации запрещено.
Мы рекомендуем использовать API Директа (методы запросов к Подбору слов).
Если у Вас возникнут дополнительные вопросы, Вы можете задать их ответным письмом или по телефонам службы поддержки. Мы будем рады Вам помочь!»

То, что ранее было бесплатно планируется монетизировать. Возможно это произойдет ещё и не скоро, но явные предпосылки к этому имеются. На вопрос и неработоспособности вордстата Яндексоид об этом пряма и сказал:
«Вы можете использовать API Яндекс.Директа (http://api.yandex.ru/direct/) для
работы со статистикой сервиса подбора слов. Объем обрабатываемой информации
ограничен только количеством баллов на Вашем логине. Количество баллов
рассчитывается автоматически исходя из бюджета заказа, количества и
эффективности фраз, а также многих других факторов.»

Подытожим

Поисковая система позволяет найти информацию в контенте миллионов сайтов. При этом, чем быстрее вы найдете реферат, фильм, музыку, фирму или другие данные, тем более качественным считается механизм алгоритма работы скриптов. Оптимизаторы же выводят в ТОП те проекты, владельцы которых выделяют бюджеты на SEO, но при этом сами ресурсы могут не соответствовать искомым фразам. Это засоряет выдачу и увеличивает время на нахождение желаемого. В этом случае оправданы действия специалистов Яндекса и Гугла по вынесению бана wordstat, которые лишний раз пытаются затруднить работу SEOшников. Помните — все изменения делаются для пользователей. Старайтесь следовать правилам белого продвижения и вы будете вознаграждены достигнутыми целями и избежите всевозможных санкций.