Настройка лент WPGrabber

[itservice]

Настрою парсинг с любых сайтов, при желании возможен перевод, поиск и замена любых частей теста.
Доноров предоставляете вы - я настраиваю.

Создание автонаполняемых сайтов, настройка WordPress плагина WPGrabber, заказ настройки лент для грабера.

Настрою ленты любой сложности плагина WPGrabber для WordPress

 

[Tresh]

Перевод идет через Гугл Транслейт?
Есть возможность двойного перевода?? (к примеру, с русского ---> английский ---> португальский)

 

[itservice]

Перевод идет через Гугл Транслейт?
Есть возможность двойного перевода?? (к примеру, с русского ---> английский ---> португальский)

Яндекс

 

[itservice]

Пример импорта статей с forexlive.com для WPGrabber



1) Создаем новую ленту в настройках плагина WPGrabber для Wordpress.


В строке «Наименование ленты» можно записать любое имя нашей настройки импорта, я обычно пишу URL без протокола, например: «forexlive.com/technical-analysis».




2) Тип ленты устанавливаем html.


3) «URL индексной страницы» — адрес раздела сайта, с которого будем собирать ссылки на копируемый контент.
У нас этот URL: «Forexlive | Forex Technical Analysis Live Updates»


4) Обязательно надо установить параметр «Кодировка HTML-страницы». Кодировку страницы сайта мы ищем в исходном HTML-коде. Нажимаем сочетание клавиш Ctrl + U или кликнуть правой кнопкой мыши и выбрать пункт «Просмотр кода страницы» (для Google Chrome), или «Исследовать элемент» (для Mozilla Firefox).





Ищите в исходном html-коде страницы подобную строку:
<meta http-equiv=«Content-Type» content=«text/html; charset=«ЗДЕСЬ КОДИРОВКА» />

Пользуйтесь поиском браузера (Ctrl + F) и вводите слово charset.



У нас это: <meta charset=«UTF-8» />
Соответственно устанавливаем в поле «Кодировка HTML-страницы» кодировку UTF-8


5) Следующее поле «Шаблон ссылок», с помощью которого идет сбор ссылок на статьи для скрапинга (граббинга), для импорта на свой сайт. Для правильного заполнения параметра «Шаблон ссылок», в WPGrabber необходимо определить вид ссылок в коде страницы.
Для этого берём любой заголовок. У нас первый заголовок контента носит название
«Forex technical analysis: USDJPY moves to the red on the day.»


Жмём «Просмотреть код»




На скриншоте выше видим URL-адрес данной ссылки в теге A. Мы видим, что страница статьи под заголовком «Forex technical analysis: USDJPY moves to the red on the day.» расположена по адресу URL: //www.forexlive.com/technical-analysis/!/forex-technical-analysis-usdjpy-moves-to-the-red-on-the-day-20171116

Рассмотрим структуру этого URL-адреса:
//www.forexlive.com/technical-analysis/!/ некоторое количество букв и знаков

Важно то, что эта часть URL фиксированная:
//www.forexlive.com/technical-analysis/!/

Т.к. эта часть URL остается постоянной для всех других ссылок, идущих на странице.

Рассмотрим остальные ссылки:

• The US dollar is a little lower after the data
• The GBP is the strongest and the NZD is the weakest
• Forex technical analysis: EURUSD waffling but may be trying to base more....
• A snapshot of the winners and losers so far today
• Forex technical analysis: GBPUSD hanging between MA levels.
• Forex technical analysis: EURGBP returns back to support
• EIA natural gas storage change -18bcf
• Stocks snap back after fall over the last few day decline
• Activity has slowed down in NY afternoon trading, but there are clues in the charts...
• Forex technical analysis: GBPJPY caught in the down and up rinse cycle
• Forex technical analysis: USDJPY tests 200 bar MA on 4-hour chart
• Be aware. Key trend line tested in the AUDUSD.
• EURUSD moves below intraday MA.
• USDJPY following stocks lower.
• US major indices open lower.
• USDCAD looks toward 50% midpoint target

Все эти ссылки подходят под наше описание шаблона. Для корректного заполнения поля «шаблон ссылок» в WPGrabber необходимо изучить формат описания регулярных выражений PCRE.



Читать продолжение

Скачать эту ленту можно здесь:
forexlive_com_technical-analysis.xml

 

[itservice]

Парсинг в WPGrabber с авторизацией
Встречаются сайты, ограничивающие просмотр
для не зарегистрированых посетителей.

Типа такого: You have viewed your 1 free article


В WPGrabber для WordPress это выглядить как текст не найден!


Предлагаю простое решение: подложить cookies зарегистрированного пользователя.


Для этого используем плагин для Firefox тормозиллы


Устанавливаем Cookie Exporter, регистриремся на ресурсе,

В меню "Инструменты" -> "Export Cookies..." сохраняем под именем "cookies.txt" в папку временных файлов

Обычно это "/wp-content/wpgrabber_tmp/"


Файл cookies.txt выглядить примерно так:


Проверяем:










Страница с контентом:


Естественно, что периодически сессию придётся обновлять.
Кроме этого надо добавить в файле TGrabberCore.php
в функцию getContent

curl_setopt($ch, CURLOPT_COOKIEFILE, $this->cookieFile);
curl_setopt($ch, CURLOPT_COOKIEJAR, $this->cookieFile);

а в function __construct()

добавить
$this->tmpDir = $this->rootPath . $this->config->get('testPath');
$this->cookieFile = $this->tmpDir . 'cookies.txt';



А можите обратиться ко мне:
@servakov (Nike Johnson)или на kwork,
и я вам всё настрою.

 

[itservice]

Допилил WPGrabber , тепер может работать через прокси, с авторизацией

 

[itservice]

Импорт контента в блог со стен групп и сообществ соц. сети Вконтакте.ру

Добавлено:
Фотки с page_album_photos, background-image c видео

 

[denya090]

Здравствуйте. Заинтересовали ваши доработки плагина. А как его можно приобрести?

 

[itservice]

Здравствуйте. Заинтересовали ваши доработки плагина. А как его можно приобрести?

стукнуть в телеграм Nike Johnson

 

[itservice]

11.05.2018 вконтакте обновил разметку,
обновление плагина wpgrabber 2.1.315

 

[itservice]

Парсинг групп Цекербука

 

[warxammer]

Парсинг групп Цекербука

Почему бы не указать скайп для связи, а не заполнять твою ненужную таблицу? Зачем все усложнять?

 

[aeneas]

Почему бы не указать скайп для связи, а не заполнять твою ненужную таблицу? Зачем все усложнять?

тоже непонятно, нах все это ) контакты выложил и все

 

[itservice]

там телеграм есть, скайп не люблю

 

[itservice]

Обновил плагин wpgrabber_2.1.318,
работает "Не сохранять записи без картинок" без дополнительных фильтр слов

 

[itservice]

wpGrabber для парсинга с Яндекс.Дзен

На примере канала "Философский подход к созданию каналов Яндекс.Дзен"

 

[itservice]

Обновление плагина WPGrabber 2.1.319
Удалить первое изображение из статьи — Для тем в которых отображаются миниатюры и дублируются в статье

Задержка импорта — Используйте если у вас не успевают загружаться картинки на сервер или донор блокирует слишком частые соединения, возможно пригодится и при парсинге через бесплатные прокси (Обычно 2-10 сек. вполне достаточно)

 

[itservice]

Обновление плагина WPGrabber 2.1.320
WPGrabber 2.1.320
- Задать имена файлов картинок из заголовка поста
- Задать своё названия атрибута class для картинки
- Сгенерировать alt: из атрибута title картинки или заголовка поста
- Удалять атрибуты лишние атрибуты: itemprop,srcset,data-original,data-src,data-srcset, ит.д.

 

[itservice]

WPGrabber Статьи парсятся без картинок:
Если статьи начали парситься или отображаться миниатюр на главной
странице wordpress при переезде на https, то проблему можно решить с помощью следующего фильтра
Не создаются миниатюры при переходе wordpress на https wpgrabber

 

[itservice]

WPGrabber 2.1.4: спарсить теги - это реально.

Настрою парсинг с любых сайтов, поиск и замена любых частей теста.
Доноров предоставляете вы - я настраиваю.