Создание парсера цен/скидок магазинов

[SmallCart]

Делали парсер своими силами, так как окончательно не понимал, что нужно

На данный момент сложилась ситуация не возможности развития проекта своими силами

в первом приближении вот что получилось на чистом php: http://pricegrabber.plazaua.com/simple/list.php

получение данных не только цены но и наличия по цвету и размеру
данные в магазинах хранятся преимущественно в джисоне

Хранится история цен по товару

Так же есть интерфейс админки на бутстрапе

Нужно следующее :

Первый круг - доработка


1. настроить парсер по списку магазинов (порядка 20 магазинов) которые справа, с учетом цвета и размера и наличия
2. при добавлении урл товара что бы парсилась сразу страница
3. обработка ошибок (как минимум 404) ошибка при получении данных, например изменился шаблон, при 5 ошибках высылать уведомление на почту по какому магазину ошибка
4. добавить валюту к цене
5. пересчет валюты по курсу (сайт с которого парсить курс валюты определим отдельно)
6. Проверить работу крона, что бы при изменении цены товара и/или наличия уходило письмо на е-маил (отправка письма и письмо реализовано)
7. Реализация каталога магазинов.

Второй круг:
Реализации многопользовательской системы с регистрацией/авторизацией/восстановлением пароля (+фейсбук и гугл+)


======================= Описание работы парсера парсера ====================


== Для чего: Для ситсемы мониторинга цен / скидок в итернет магазинах (от 10 до 1000) магазинов для определенных товаров.

== Что нужно: парсер страницы описания товара интернет магазинов

== Цель: получать данные по списку урл, ведущих на страницы описания товара в разных магазинах

== Что собирать: Со страницы описания товара собирать:
- название
- ссылку на изображение
- цену / цену скидки (без значка валюты)

== Куда собирать

в базу данных mySQL (структура уже готова)



== Дополнительный функционал парсера:
- прокси
- установка тайм-аута (случайная длина тайм-аута)
- под разные браузеры

== Обработка ошибок

В случае ошибки получения данных в процессе парсинга, на мыло приходит уведомление после Х-ошибок, по какому магазину ошибка
ошибкой может быть: неполучение заголовка и/или цены и/или ссылки на изображение

Обработка 404 ошибки магазина... с записью в базу по данному урлу при следующем парсинге игнорировать такие урл


== Дополнительные настройки:

работа парсера по крону
функция таймаута,
прокси и т.п. с защитой от бана
имитация браузеров, если возможно.

Технологии: php, mySql, Smarty, Yii2


=== Общие правила

0. Дизайн есть
1. миграция на yii2 с организацией шаблона на основе Smarty
2. Для всех данных которые вносятся должны быть функции Добавления - Удаления - Редактирования (как на странице позиции так и в списке)
3. На всех страницах "списков" товаров, пользователей и т.п. должны быть функции:
а) сортировки по названию - по цене и группировка по магазинам и т.д.
б) пейджинг
4. Тайтлы
5. Бредкрамсы, хлебные крошки

Предлагайте свою цену

Писать в личку или здесь

[SmallCart]

Предложение все еще актуально!

[alexundros]

Как у вас все интересно. Все чаще и чаще всем надо Yii2... а я все на Yii1 сижу
Парсеры я свои писал еще в 2009 году... Стоимость требуемой для Вас работы очень сложно оценить... Я бы сказал что все выйдет более 150 т.р... У вас есть реальный потолок который Вы осилите ?
Я думаю в такой проект надо брать разработчика на оклад, от 40 000 в месяц... а там уже все улучшать и улучшать.
Иначе это гадание, разработчик может сильно промахнутся с заявленным бюджетом.

[Faster]

смарти то зачем нужен. УГ старое
yii2 & Smarty жесть