Как (и зачем) бесплатно парсить ключи и объявления конкурентов из Яндекс.Директ и Google Ads

Как долго живут аккаунты для Кей Коллектора?

Срок жизни обычных аккаунтов от Яндекса — пару дней, при использовании в кей коллекторе, они очень быстро умирают и могут вообще не заработать. Аккаунты с приставкой KC (то есть специальные аккаунты для Key Collector) — живут достаточно долго при должном использовании. Они 100% подходят для использования в данной программе. Срок их жизни зависит от степени нагрузки на них, чем реже вы будете их использовать — тем дольше они проживут. Также на срок службы влияет — общее количество запросов произведенных через них. Также для продления срока службы аккаунтов рекомендуем пользоваться русскоязычными приватными прокси. Это убережет ваше время и нервы — данные прокси как правило на порядок быстрее публичных, и как показывает практика Яндекс реже блокирует аккаунты. Допустимо использовать на 5 аккаунтов — 1 уникальный IP адрес. Чем больше уникальных IP адресов будет — тем будет лучше.

Процесс парсинга в Кей Коллекторе

Сам процесс достаточно прост и не является чем-то сложным и выполняется в автоматическом режиме.

Первоначально нужно сразу же выставить нужное гео для парсинга, это делается в самом низу программы:

После этого нужно создать папки, куда будут помещаться спарсенные ключевые слова, папки создаются в левой колонке программы. Конечно можно парсить все в одну папку и потом делать группировку ключей, но логичнее и удобнее заранее поделить маски ключей по смыслу и парсить маски по папкам. Например: есть две маски ключей, которые хотим спарсить — вызов такси и заказать такси, для удобства дальнейшей работы с ключами, парсим маски не в общую папку, а в соответствующие две папки, чтобы ключи уже были отсортированы.

Кроме этого, если масок не много, то можно каждую папку назвать маской и тогда программа сделает парсинг по названию папки, что является очень удобным функционалом.

Для этого заранее создаем нужные папки и нажимаем на парсинг с вордстата. По умолчанию стоит галочка «Добавить в текущую группу», но нужно поставить галочку «Распределить по группам» и нажать на красную стрелочку, как показано на картинке. Здесь можно в каждую папку поместить нужные маски (т.е. не каждую маску парсить отдельно, а чтобы в одной папке были распарсено сразу несколько масок ключей); можно убрать не нужные папки и стоит заметить, что названия папок тоже будут распарсены (если этого вам не нужно просто убираем не нужное ключевое слово). Далее нажимаем на «Начать сбор» и происходит парсинг, после которого идет следующая работа — сбор минус слов, чистка ключей и их группировка:

Антикапча

Для автономной работы программы нам необходимо будет зарегистрироваться в сервисах, которые предоставляют услуги “Антикапчи”. Бюджет на данные сервисы нужен небольшой, однако это позволит использовать КК в автономной режиме. Ниже представлен перечень поддерживаемых Кей Коллектором сервисов:

Выбираем понравившийся сервис и регистрируемся в нем. Вносим 100-500р на баланс, получаем API ключ, который нужно будет внести в настройки ниже.

В ходе парсинга, статистические источники показывают пользователю капчу (проверка на робота), чтобы убедиться, что их использует человек и чтобы ограничить автоматический парсинг.

Во вкладке Настройки -> Антикапча -> Автораспознавание необходимо выбрать сервис, который вы решили использовать и ввести предоставленный вам ключ. После ввода ключа следует перезагрузить программу, чтобы Key Collector активировал ключ.

Также, вы можете ввести ограничение капч на один сеанс, то есть если в ходе сбора данных количество капч будет превышать указанный параметр — антикапча перестает работать. После перезапуска Кей Коллектора счетчик сбрасывается. Мы рекомендуем указать значение параметра равным 5000.

Находим упущенные ключевые слова

Собрать все ключи и объявления конкурентов полезно для общего анализа и понимания ситуации. Но если у вас уже запущены рекламные кампании, важно понимать другое: какие слова используют ваши конкуренты, а вы — нет.

Как это сделать

1. Подготовьте список ключевых слов, по которым у вас запущена реклама.

2. Перейдите в инструмент «Слова и объявления конкурентов». Укажите домены конкурентов (которые хотите спарсить). В блоке профессиональных настроек вставьте ключи в поле «Минус-слова».

Все слова, добавленные в поле «Минус-слова», система исключит при парсинге. В результатах будут только те ключи, которые вы еще не использовали.

Важно! В блоке профессиональных настроек парсера также есть опция «Точное вхождение без учета морфологии». Если она включена, система не будет собирать указанные ключи в базовом виде, а также с изменением падежа.

3. Запустите парсинг и скачайте результаты. На выходе вы получите готовый набор ключей, с помощью которого можете расширить семантику.

Быстрый парсинг всех ключевых слов и объявлений для указанных доменов

Создайте аккаунт в системе PromoPult (или авторизуйтесь, если у вас уже есть аккаунт). Откройте инструмент «Слова и объявления конкурентов». В блоке «Добавить задачу» укажите домены конкурентов или загрузите их с помощью XLSX-файла.

Блок профессиональных настроек пока не трогаем (мы еще разберем его).

В блоке «Поисковые системы» можно выбрать, в какой поисковой системе проверять домены. По умолчанию это Яндекс и Google. Также по умолчанию стоит галочка на пункте «Результаты на едином листе XLS» — в таблице с результатами данные по всем доменам будут сведены на одном листе.

Если вы проверяете небольшое количество доменов (до 5), можете ничего не менять здесь. Если же доменов больше, уберите галочку с этого пункта. В результатах парсинга под каждый домен будет создан отдельный лист — это удобнее для анализа большого количества данных.

Жмем «Запустить проверку». Система начнет парсинг доменов (в нашем случае на это ушло 5 минут). Если у вас нет времени ждать, вы можете закрыть страницу с инструментом — все работы проводятся в фоновом режиме.

После окончания проверки вам на почту придет уведомление:

Раскройте блок «Список задач» и кликните по пиктограмме Excel-таблицы, чтобы скачать отчет. Также здесь можно удалить отчет или запустить повторный парсинг.

В настройках парсинга есть возможность выбрать отображение отчета: отдельный лист для каждого домена или все на одном листе.

В зависимости от этой настройки отчет будет выглядеть по-разному.

Отчет по каждому домену на разных листах

В нашем примере мы получили именно такой отчет. При скачивании загружается архив с файлами в формате CSV:

Что содержит архив:

• Файл с уникальными ключевиками для всех конкурентов. Для пяти доменов, которые мы добавляли в проверку, парсер собрал почти 32 000 ключей.

• Общие результаты — данные по количеству объявлений на поиске Google и Яндекс. Для каждого домена данные указаны в разрезе регионов.

• Технический файл, в котором указаны настройки парсинга.

• Файлы с названиями доменов. Содержат ключевые слова конкурентов, заголовки и тексты объявлений. Данные указаны в разрезе поисковых систем и регионов. Например, вы можете посмотреть, какие объявления показывает конкурент в Яндексе в Санкт-Петербурге.

Обратите внимание! При парсинге объявления собираются из результатов поисковой выдачи в таком виде, в котором они отображаются. Кроме основного текста и заголовка могут собираться уточнения, быстрые ссылки и другие расширения (если они есть в объявлении).

Данные по доменам на одном листе

При таком способе отображения отчета загружается один XLSX-файл с четырьмя листами. Даже если вы парсите 50 доменов, листов в файле все равно будет четыре. Какие это листы:

• «Результаты общие» — количество уникальных объявлений по всем доменам. Данные указаны в разрезе регионов и поисковых систем.

• «Слова и объявления». На этом листе собрана семантика по всем конкурентам и тексты объявлений. Данные указаны по каждому региону и поисковой системе. Если доменов много, работать с такой таблицей будет неудобно.
• «Слова». Собраны уникальные ключевики по всем доменам.
• «Исх. настройки». Указаны настройки парсинга.

Прокси и аккаунты Яндекс.Директ

Для работы с Key Collector мы настоятельно рекомендуем приобрести (взять в аренду на неделю или на месяц) как минимум 1 прокси-сервер. Это необходимо для того, чтобы обезопасить свой основной IP адрес от возможных блокировок, которые могут возникнуть в ходе работы Key Collector со статистическими источниками типа Яндекс.Вордстат и Яндекс.Директ.

Одного прокси будет вполне достаточно, чтобы потренироваться и понять принцип работы программы. Хорошие, индивидуальные прокси предоставляет сайт proxy-sale.com. Берем те, что для работы в Key Collector.

После покупки сервис высылает вам на почту учетные данные прокси и свежий аккаунт Яндекс.Директа, который также нам потребуется. В дальнейшем, при необходимости количество прокси можно будет увеличить, просто докупив (арендовав) столько сколько нужно. 

Сейчас нам нужно просто понять принцип настройки Key Collector, а дальнейшую докрутку можно будет сделать потом.

Переходим в настройки программы — нажимаем на иконку «шестеренки» в панели управления.

Учетки для Yandex.Direct

Переходим в раздел настроек “Yandex.Direct” (Парсинг -> Yandex.Direct).

Вводим необходимые данные: логин и пароль от аккаунта Яндекс.Директ, IP прокси, порт, логин и пароль. Эти данные должны быть в письме, которое вы получили от proxy-sale. Вы можете добавить прокси вручную построчно или добавить из буфера обмена списком. Обратите внимание на формат, который требует Key Collector при вводе данных списком. Будьте внимательны и не перепутайте логин и пароль от учетки Яндекс.Директ с логином и паролем прокси сервера.

Сейчас, мы внесли данные и, тем самым, привязали учетку Яндекс.Директ к прокси серверу. Теперь все запросы в Yandex.Wordstat, Yandex.Direct или поисковую выдачу будут идти с одного и того же IP адреса (IP адрес прокси сервера) и с одной и той же учетки.

Такая привязка значительно повышает стабильность парсинга, уменьшает количество показов капчи (проверки на робота), что в итоге приводит к более быстрому сбору данных и уменьшению общего времени, затрачиваемого на сбор.

После того, как данные внесены, нам необходимо установить количество потоков в блоке 2 равным количеству прокси, которые мы приобрели. В нашем случае устанавливаем это значение равным 1 и переходим к следующему этапу.

Вкладка «Сеть»

Сюда мы должны добавить наш(и) прокси и установить ряд дополнительных настроек.

Первым делом добавляем прокси в таблицу №1, отмеченную на скриншоте . Можно внести построчно, вручную или нажать кнопку «Добавить из буфера» и внести списком. Указываем IP сервера, порт, логин и пароль прокси сервера (не учетки Яндекс.Директа!). Берем эти данные из письма, которое прислал нам сервис, в котором мы приобрели прокси.

Обратите внимание на формат, который требует Key Collector, при внесении прокси списком! Если вы часто меняете прокси и работаете с большим объемом данных, то мы рекомендуем сделать формулу в Google Spreadsheets, которая бы приводила данные в нужный для Key Collector формат.

Основные настройки (2)

1. Использовать прокси серверы. Включаем данную опцию поставив галочку, HTTP остается без изменений. Для простоты, мы будем использовать HTTP прокси. SOCKS протокол требует большей сноровки и опыта и в некоторых случаях работает с ошибками, что может привести к невозможности продолжения работы.
2. Деактивация прокси, не прошедших проверку. Включаем, это мера предосторожности в случае, если возникли какие-то проблемы с прокси. После 360 секунд системой будет проведена повторная попытка подключения.

Проверка прокси (3)

Выставляем количество количество потоков равным количеству прокси. Т.е. если у нас 1 прокси, то ставим 1.

После этого мы отмечаем наши прокси галочкой (активируем их), чтобы каждая строка в блоке 1 была выделена зеленым цветом и запускаем проверки (одну за другой, по очереди):

1. Проверить в ПС Yandex
2. Проверить в Yandex.Wordstat

Проверки нужны для того, чтобы понять все ли в порядке с настройками, учеткой Яндекс.Директ и прокси сервером(ами). Если Key Collector заблокировал прокси (пометил строку красным цветом) в блоке 1 после проверки через ПС Яндекс, то проблема в настройке самого прокси сервера. Возможно, неверно введен логин, пароль или порт прокси сервера. Если же прокси не прошел проверку через Yandex.Wordstat, то проблема уже в настройках учетки Яндекс.Директ.

Последовательная проверка позволяет быстро локализовать ошибку и оперативно исправить причину.

Исключаем из парсинга отдельные группы товаров/услуг

Ассортимент товаров или услуг конкурентов не всегда совпадает с вашим. Например, конкуренты могут предлагать дополнительные услуги, которых нет у вас. Или охватывают более широкий ассортимент.

Соответственно, в рекламных кампаниях таких конкурентов будут ключевые слова и объявления, которые не подойдут вам.

Исключите нерелевантные ключи и объявления при парсинге, чтобы получить «чистые» результаты.

Перед запуском парсинга добавьте в поле «Минус-слова» перечень товаров или услуг, которые необходимо исключить из результатов. Также исключите сущности, которые не подходят для рекламы ваших товаров: «бесплатно», «подарок», «бу» и т. д.

Снимите галочку с пункта «Точное вхождение без учета морфологии».

В нашем примере система спарсит релевантные ключевые слова, исключив фразы типа «кухни на заказ», «офисная мебель недорого», «ремонт мебели» и т. д.

Настройка прокси для Кей Коллектора

Зачем нужны прокси? Они нужны тогда, когда идет работа с большим объемом парсинга, т.е. когда у вас не 40-100 ключевых масок, а несколько тысяч. Так используя прокси можно работать не в один — два потока, а в 5-10 потоков, и тогда парсинг при больших объемах закончиться не через неделю, а уже сегодня.

Для настройки прокси нужно: а) купить прокси; б) настроить кей коллектор под прокси.

Купить прокси можно здесь — https://proxy-sale.com/proksi-dlya-keycollector.html, но можно найти и дешевле. Вам нужно выбрать прокси, именно для кей коллектора, чтобы было четко написано, что прокси подходит для кей коллектора, если возникают вопросы, то лучше обратиться в поддержку сайта, там все подскажут.

Так же вы можете купить антикапчу, чтобы она распознавалась автоматически. Заходим на сайт — https://rucaptcha.com/, где покупаем данную услугу, всего хватит 100 рублей, которые вам прослужат не один год. После оплаты вам будет дан цифровой ключ, который помещается в специальную строку в кей коллекторе:

Далее заходим во вкладку «Яндекс Вордстат» и убираем галочку «Использовать основной IP-адрес». Здесь же можно задать количество потоков. Если вы используете один прокси сервер, то выставляете 2 потока, если два прокси сервера, то указываете 4 потока, т.е. на один прокси сервер выставляем по два потока.

Далее заходим в «Яндекс Вордстат», где прописываем новые аккаунты. Как правило, при покупке прокси, вам дается новая почта в яндексе, она регистрируется для вас бесплатно, либо вы сами можете ее зарегистрировать, главное, чтобы на одну прокси была своя отдельная почта в яндексе, т.е. сколько прокси, столько и почтовых ящиков.

Далее заходим на вкладку «Сеть», где активируем галочку «использовать прокси-серверы SOCKS 5» и добавляем непосредственна информацию о купленных прокси-серверах. после этого прокси должно работать. Если что-то не работает стучимся в поддержку кей коллектора.

Общая настройка Кей Коллектора

Для работы с вордстатом понадобиться: здесь все просто, нужно отдельно зарегистрировать яндекс почту и создать там тестовую рекламную кампанию, можно с одним объявлением, можно просто черновую (без прохождения модерации и пополнения бюджета). В программе просто прописываем логин и пароль от почты и все работает.

Для работы с гугл планером понадобиться: зарегистрировать новый аккаунт в гугл адвордс. В обязательном порядке скачать последнюю версию браузера internet explorer и зайдя исключительно через данный браузер, также создать тестовую рекламную кампанию (без бюджета и активности). Главное заполнить все настройки пользователя — указать язык и местоположение.  Фокус заключается в том, что без данных манипуляций, использовать гугл планер не получиться.

Переходим непосредственно к настройкам:

Заходим в настройки программы во вкладку Яндекс Вордстат», где выставляем следующие параметры:

— глубина парсинга — 0. Выставляя такое значение, вы будите получать обычный парсинг, но программа может автоматом парсить и в глубину, т.е. спарсив ключевые слова, она может парсить то, что уже спарсила, разбивая ключевые слова на более конкретные ключевые слова. Смысла глубокого парсинга нет, так как система будет парсить дубли, а не уникальные ключевые слова, и даже без глубокого парсинга мы все равно будем по нему показываться, так как используем основную маску. Если просто — глубокий парсинг делать не надо, выставляем значение ноль.

— парсить страницы, здесь выставляем стандартное значение — 40.

— добавлять в таблицу фразы с частотами от 1 до 99999999999. Здесь вы указываете какую частотность вы хотите видеть с парсенных ключевых слов. Есть директологи, которые не парсят все доскональна, а работают с ключевыми словами, которые имеют частотность от 10 и выше.  Я же советую вам парсить все и начинать с 1. При таком подходе у вас будет самое полное семантическое ядро, а если вы решите, что такие ключевые слова вам не нужно, то уже после парсинга, можно при помощи фильтра выделить такие ключи и удалить.

— не снимать частоты для фраз меньше или равной 0. Логика проста, нам не нужно пустые ключевые слова, которые не будут приносить трафик, поэтому такие не ищем.

— количество потоков. Если вы используете одну почту от яндекс директа, то можете смело выставлять сразу 2 потока, и таким образом программа будет работать в два раза быстрее. И если вы не используете прокси сервера, то не убираем галочку «Использовать основной IP адрес».

Далее заходим во вкладку «Яндекс Директ», где указываем адреса свои электронных почт от яндекса и пароли от них. Достаточно указать 1-2 почты.

Во вкладке «Гугл Адвордс» указываем доступы от гугл адвордс (что логично).

Собственно, это все стандартные настройки, после которых заработает кей коллектор.

Установка программы

Если вы еще не знакомы с программой Key Collector, то ее необходимо скачать здесь. Там даны указания по тому, каким образом осуществляется покупка и установка программы. После того, как программа установлена и активирована можно переходить к следующему шагу.

Важно! Key Collector — программа, которая работает под Windows и на компьютеры Mac (Macbook, Macbook Air) с OSx не установится. Обойти это ограничение можно установкой виртуальной машины Windows, к примеру посредством утилиты Parallels Desktop.

Выгружаем объявления и регионы показа для конкретных ключевых слов

Также с помощью инструмента «Слова и объявления конкурентов» можно спарсить объявления, которые показывают конкуренты по конкретным ключевым фразам.

Как это сделать:

1. Соберите список ключей, которые вас интересуют.
2. Добавьте их в поле «Фиксированный список слов».
3. Поставьте галочку на опции «Точное вхождение».
4. Запустите парсинг.

Система соберет объявления конкурентов, которые показываются по заданному списку ключевиков. Проанализируйте отчет, сравните данные по показам объявлений в разных регионах, используйте идеи для создания собственных объявлений.

Используемые источники:

• https://buy-accs.ru/read/kakie-akkaunty-nuzhny-dlya-key-collector
• https://spec-direkt.ru/nastrojka-key-collector-dlya-yandeks-direkt-google-adwords/
• http://semyadro.pro/sbor/instrukciya-po-nastroike-key-collector-dlya-effektivnogo-parsinga-11
• https://m.habr.com/ru/company/click/blog/485886/