1. Внимание! Чтобы создавать темы на форуме необходимо написать минимум 10 сообщений!
    Скрыть объявление

A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

Тема в разделе "Поисковые системы и SEO", создана пользователем A-Parser Support, 12 янв 2017.

  1. Для просмотра ссылки войдите или зарегистрируйтесь!
    7-й сборник статей. В нем мы научимся сохранять результаты в виде Excel файлов, продолжим изучение работы через API, а также ознакомимся с 5-ю способами автоматизации последовательного выполнения нескольких заданий. Поехали!

    Для просмотра ссылки войдите или зарегистрируйтесь!
    Вывод результатов в виде xlsx файлов (стандартный формат Excel) - это очень популярный вопрос среди пользователей A-Parser. Ранее такой возможности не было, но с добавлением поддержки Node.js модулей это стало возможным. Поэтому мы публикуем статью, в которой показан реальный пример парсинга с сохранением в Excel. Ознакомиться со всеми подробностями можно по ссылке выше.
    [​IMG]

    Для просмотра ссылки войдите или зарегистрируйтесь!
    Это вторая часть из цикла статей по работе с A-Parser через API. В ней на примере парсинга e-mail будет рассмотрен метод addTask. Все детали - по ссылке выше.
    [​IMG]

    Для просмотра ссылки войдите или зарегистрируйтесь!
    Очень часто возникают задачи, решение которых требует использования возможностей сразу нескольких разных парсеров и при этом результаты работы одного нужно передавать в следующий. А-Парсер - это очень гибкий инструмент, поэтому существует сразу несколько способов, как автоматизировать последовательное выполнение нескольких заданий, при этом максимально автоматизируя работу и повышая производительность. Описание всех возможных методов читайте в обзоре по ссылке выше.

    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь Для просмотра ссылки войдите или зарегистрируйтесь!.

    Подписывайтесь на Для просмотра ссылки войдите или зарегистрируйтесь! - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Для просмотра ссылки войдите или зарегистрируйтесь!.
     
  2. Для просмотра ссылки войдите или зарегистрируйтесь!
    Вторая часть из цикла уроков о работе с API A-Parser. В видео на реальных примерах показана работа с методами addTask, getTaskState, getTaskConf и getTaskResultsFile.



    В этом уроке рассмотрены:
    • методы API для постановки длительных задач, а также для просмотра информации о задании
    • составление JSON для используемых API запросов
    • функция Получить API запрос
    • демонстрация работы с API, используя Postman
    Документация по API: Для просмотра ссылки войдите или зарегистрируйтесь!

    Также рекомендуем статью с несколькими интересными кейсами использования A-Parser от руководителя оптимизаторов в «Ашманов и партнёры» Никиты Тарасова: Для просмотра ссылки войдите или зарегистрируйтесь!

    Оставляйте комментарии и Для просмотра ссылки войдите или зарегистрируйтесь!
     
  3. Для просмотра ссылки войдите или зарегистрируйтесь!
    [​IMG]
    Начиная с версии 1.2.455 мы начинаем официальную поддержку Node.JS модуля puppeteer - средства автоматизации работы с браузером Chrome(Chromium), благодаря чему возможен полноценный рендеринг DOM с поддержкой JS. В качестве примера мы выкладываем парсер, который делает скриншоты сайтов в формате PNG, доступен выбор размера скриншота. Chromium может быть запущен как на Windows, так и на Linux серверах без GUI.
    • Для просмотра ссылки войдите или зарегистрируйтесь!
    • Для просмотра ссылки войдите или зарегистрируйтесь!
    Улучшения
    • [​IMG] Для просмотра ссылки войдите или зарегистрируйтесь! полностью переписан, добавлен сбор дополнительных данных, а также в настройках добавлен выбор региона и языка интерфейса
    • В [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! добавлены все методы в настройки, а также реализована возможность переопределения через заголовок Method
    • Добавлена возможность форматирования всех цифр в интерфейсе
    • JS парсеры: в this.parser.request для override добавлена опция needData, которая определяет передавать или нет в ответе data/pages[], может использоваться для оптимизации
    • JS парсеры: добавлена поддержка модулей url и ws

    Исправления в связи с изменениями в выдаче
    • [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! - не всегда корректно обрабатывалась доменная зона com.br
    • [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!, [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!, [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!, [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!

    Исправления
    • Исправлена работа функции Bypass Cloudflare в [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!
    • Исправлена ошибка, из-за которой при определенных настройках не писался Начальный текст
    • Исправлена работа некоторых socks4 прокси
    • Исправлена ошибка в $tools.base64.encode() при работе с кириллическими символами
    • В [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! исправлена ошибка, при которой игнорировался домен
    • JS парсеры: исправлена редкая ошибка в работе сокетов в Node.js
     
  4. Для просмотра ссылки войдите или зарегистрируйтесь!
    31-й сборник рецептов. В нем будет показан способ создания скриншотов веб-страниц, парсинг подсказок Яндекс Маркета, а также проверка правописания в Google. Кроме этого, только до конца апреля доступна возможность купить XEvil со скидкой. Далее обо всем по порядку.

    Для просмотра ссылки войдите или зарегистрируйтесь!
    Для всех существующих и новых пользователей A-Parser действует скидка на покупку XEvil -50%!
    XEvil - это простая, быстрая и удобная программа для полностью автоматического распознавания и обхода подавляющего числа капч и рекапч, без необходимости подключения каких-либо сторонних сервисов. Использование XEvil в связке с A-Parser позволяет значительно удешевить парсинг ресурсов, где необходимо разгадывать капчи/рекапчи, при этом практически не теряя в скорости.
    Акция действует до конца апреля. Количество промокодов ограничено, поэтому не упустите возможность воспользоваться скидкой!
    Для получения промокода на покупку XEvil пишите в тикеты.
    [​IMG]

    Для просмотра ссылки войдите или зарегистрируйтесь!
    Возможность загружать страницы с полной обработкой всех скриптов, аналогично браузеру - это один из самых популярных фичреквестов для A-Parser. Поэтому буквально недавно была добавлена поддержка Node.js модуля puppeteer, с помощью которого теперь можно получать полностью отрендеренные страницы. И мы публикуем первый пример по работе с ним - парсер для создания скриншотов веб-страниц. Больше информации, пример работы и готовый парсер - все это доступно по ссылке выше.
    [​IMG]

    Для просмотра ссылки войдите или зарегистрируйтесь!
    Еще один парсер подсказок, на этот раз из Яндекс Маркета. Собираются подсказки, их популярность (частота), тип, а также, опционально, категория (включая полный путь родительских категорий). Готовый парсер, как обычно, доступен в нашем Каталоге по ссылке выше.
    [​IMG]

    Для просмотра ссылки войдите или зарегистрируйтесь!
    Данный парсер позволяет проверить ключевые слова через поиск Google на предмет опечаток и получить исправленные варианты. Готовый пресет доступен по ссылке выше.
    [​IMG]

    Еще больше различных рецептов в нашем Для просмотра ссылки войдите или зарегистрируйтесь!!
    Предлагайте ваши идеи для новых парсеров Для просмотра ссылки войдите или зарегистрируйтесь!, лучшие будут реализованы и опубликованы.

    Подписывайтесь на Для просмотра ссылки войдите или зарегистрируйтесь! - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Для просмотра ссылки войдите или зарегистрируйтесь!.
     
  5. Для просмотра ссылки войдите или зарегистрируйтесь!
    Видеоурок по работе с MySQL в A-Parser. В нем на реальном примере показано как работать с базами данных MySQL, используя Node.js модуль mysql2.



    В этом уроке рассмотрены:
    • Установка и подключение модулей
    • Некоторые основы языка запросов SQL
    • Создание базы данных MySQL
    • Получение и запись данных в БД, используя JS-парсеры

    Полезные ссылки:
    • Для просмотра ссылки войдите или зарегистрируйтесь!
    • Для просмотра ссылки войдите или зарегистрируйтесь!
    • Для просмотра ссылки войдите или зарегистрируйтесь!

    Оставляйте комментарии и подписывайтесь на Для просмотра ссылки войдите или зарегистрируйтесь!
     
  6. Для просмотра ссылки войдите или зарегистрируйтесь!

    32-й сборник рецептов, в котором подобраны 3 JS парсера для парсинга Yahoo Answers, оценки ключевых слов и сбора контактных данных фрилансеров.

    Для просмотра ссылки войдите или зарегистрируйтесь!
    Полноценный парсер сервиса Yahoo Answers, который по ключевым словам позволяет собирать непосредственно вопросы, ответы, а также их категории, дату создания и ссылки на страницы обсуждений.
    [​IMG]

    Для просмотра ссылки войдите или зарегистрируйтесь!
    Парсер, который ищет по ключевым словам фрилансеров и собирает их контакты. Данные собираются с сервиса fl.ru.
    [​IMG]

    Для просмотра ссылки войдите или зарегистрируйтесь!
    Парсер для сервиса seranking.com. Кейворды оцениваются по 4-м показателям: частотность, стоимость клика (CPC), стоимость трафика и KEI. Также есть возможность собирать похожие, релевантные и подсказки к начальному запросу вместе с их показателями.
    [​IMG]

    Еще больше различных рецептов в Для просмотра ссылки войдите или зарегистрируйтесь!
    Предлагайте ваши идеи для новых парсеров Для просмотра ссылки войдите или зарегистрируйтесь!, лучшие будут реализованы и опубликованы.

    Подписывайтесь на Для просмотра ссылки войдите или зарегистрируйтесь! - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Для просмотра ссылки войдите или зарегистрируйтесь!.
     
  7. Для просмотра ссылки войдите или зарегистрируйтесь!
    [​IMG]
    Улучшения
    • Новые парсеры:
      • [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! - по ключевым словам собирает различные данные об организациях в заданных координатах
      • [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! - по ключевым словам собирает различные данные об организациях в заданных координатах
      • [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! - сбор ключевых слов по домену
      • [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! - сбор ключевых слов по домену
    • Удалены 4 неактуальных парсера: Rank::SEMrush::Keyword, SE::QIP, SE::QIP::position, Rank::MegaIndex
    • Улучшена работа [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!
    • JS парсеры: для this.request добавлена опция data_as_buffer, которая определяет возвращать data как строку(String) или объект Buffer

    Исправления в связи с изменениями в выдаче
    • В [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! исправлена работа с рекаптчами, исправлен парсинг сниппетов, а также исправлен парсинг мобильной выдачи
    • [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! полностью переписан, также полностью изменился список собираемых данных, парсер возвращает только те данные, которые доступны без авторизации
    • Полностью переписан [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!
    • Исправлена работа [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!, теперь обязательно требуется установка Node.js и модуля brotli
    • В [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! удалена переменная $facebook_share в связи с прекращением поддержки со стороны FB
    • [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!, [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!, [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! , [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!, [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!

    Исправления
    • Исправлена работа с запросами, содержащими пробел в [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!
    • Исправлена проблема с декомпресией данных на некоторых сайтах
    • JS парсеры: исправлена работа setImmediate
     
  8. Для просмотра ссылки войдите или зарегистрируйтесь!
    В этом видеоуроке будет показано, как настроить периодическую проверку окончания срока регистрации доменов, и получать уведомления в телеграм, если он меньше заданного количества дней.

    В уроке рассмотрено:
    • использование tools.js для написания собственных функций
    • работа с шаблонизатором Template Toolkit
    • проверка доменов через WHOIS
    • цепочки заданий
    • отправка сообщений в Telegram с помощью бота
    Полезные ссылки:
    • Для просмотра ссылки войдите или зарегистрируйтесь! - статья о создании бота и группы для получения уведомлений в Telegram
    • Для просмотра ссылки войдите или зарегистрируйтесь! - видеоурок по созданию Телеграм канала на базе A-Parser
    • Для просмотра ссылки войдите или зарегистрируйтесь! - готовые для импорта пресеты
    • Для просмотра ссылки войдите или зарегистрируйтесь! - документация по Telegram Bot API
    Оставляйте комментарии и подписывайтесь на Для просмотра ссылки войдите или зарегистрируйтесь!

    Для просмотра ссылки войдите или зарегистрируйтесь!
     
  9. Для просмотра ссылки войдите или зарегистрируйтесь!
    [​IMG]
    Улучшения
    • Движок v8 обновлен до версии 7.5, помимо увеличения скорости есть множество улучшений в поддержке новых возможностей языка JavaScript
    • В [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! в массив $ads добавлена переменная $visiblelink, в которой содержится видимая ссылка
    • В [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! добавлена переменная $totalcount которая содержит количество результатов
    • В [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! добавлена опция Not found is error, указывающая, считать ли отсутствие результатов ошибкой

    Исправления в связи с изменениями в выдаче
    • Исправлен парсинг $title в [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!
    • В [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! исправлен парсинг видео в мобильной выдаче
    • В [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь! исправлен парсинг рейтингов
    • Исправлена проверка получаемого контента в [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!
    • [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!, [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!, [​IMG]SE:: DuckDuckGo::Images
    Исправления
    • Исправлена редкая проблема с ошибками в JS парсерах на Windows
    • В [​IMG]Для просмотра ссылки войдите или зарегистрируйтесь!исправлена работа функции Get full links для результатов без ссылок
    • Исправлена проблема с Decode JSON error в парсерах WordStat
    • Исправлен баг с перезагрузкой кода JS парсера при редактировании в сторонних приложениях, проблема возникла в одной из предыдущих версий
    Для просмотра ссылки войдите или зарегистрируйтесь!