Алгоритм парсинга.

Темы, не касающиеся фреймворка, но относящиеся к программированию в целом.
Ответить
trueorfalse
Сообщения: 680
Зарегистрирован: 2017.06.21, 13:50

Алгоритм парсинга.

Сообщение trueorfalse »

Пишу модуль, каркас готов.
Осталось бизнес логику прикрутить.

Задача такая, взять у донора товары.

Думаю реализовать так.
1 - Брать все категории донара и сверять, если есть в базе то записывать в массив ссылку.
2 - Прохожу по категории беру на товар ссылку и сразу же захожу туда.
3 - Сверяю товар в базе данных, если нет создать или обновить.

Использовать думаю curl и phpquery.

Как бы реализовали вы ?
Аватара пользователя
vitalik1183
Сообщения: 1675
Зарегистрирован: 2014.07.01, 08:42

Re: Алгоритм парсинга.

Сообщение vitalik1183 »

Guzzle + phpQuery
Yii2!
Аватара пользователя
Ghost_nsk
Сообщения: 825
Зарегистрирован: 2012.01.01, 00:45
Откуда: Новосибирск
Контактная информация:

Re: Алгоритм парсинга.

Сообщение Ghost_nsk »

https://github.com/yiisoft/yii2-httpclient + phpQuery позволяет в несколько потоков парсинг запустить
trueorfalse
Сообщения: 680
Зарегистрирован: 2017.06.21, 13:50

Re: Алгоритм парсинга.

Сообщение trueorfalse »

Ghost_nsk писал(а): 2017.09.02, 05:19 https://github.com/yiisoft/yii2-httpclient + phpQuery позволяет в несколько потоков парсинг запустить
Спасибо, но на другую cms.
Ответить