Если кому интересно, то я переделал все как вы посоветовали (через array_diff-ы и batchInsert - ы).
Раньше полная прогрузка всех прайсов занимала около 20 минут и ело 150 мб. памяти.
Теперь - 4 минуты, 4,5 мб. памяти)))
Найдено 110 результатов
- 2015.12.04, 09:48
- Форум: Общие вопросы (Yii 2.x)
- Тема: Как быть с "тяжелым" консольным скриптом
- Ответы: 21
- Просмотры: 4000
- 2015.12.03, 16:07
- Форум: Общие вопросы (Yii 2.x)
- Тема: Как быть с "тяжелым" консольным скриптом
- Ответы: 21
- Просмотры: 4000
Re: Как быть с "тяжелым" консольным скриптом
но вам надо товары сначала отфильтровать на новые, старые с неизменившейся ценой и старые с изменившийся ценой. А собственно, зачем? Что плохого в том, что insert .. on duplicate key update перезапишет и неизменившиеся цены? Если по 1000 делать, это всё равно быстрые запросы будут довольно. Мне про...
- 2015.12.03, 13:42
- Форум: Общие вопросы (Yii 2.x)
- Тема: Как быть с "тяжелым" консольным скриптом
- Ответы: 21
- Просмотры: 4000
Re: Как быть с "тяжелым" консольным скриптом
Это само-собой... Просто возник вопрос, на который я не нашел ответ в доке...zelenin писал(а): но вам надо товары сначала отфильтровать на новые, старые с неизменившейся ценой и старые с изменившийся ценой.
- 2015.12.03, 13:31
- Форум: Общие вопросы (Yii 2.x)
- Тема: Как быть с "тяжелым" консольным скриптом
- Ответы: 21
- Просмотры: 4000
Re: Как быть с "тяжелым" консольным скриптом
Может попробовать insert ... on duplicate key update? И объединять в чанки, как советовал zelenin. Подключить к этому делу batchInsert в целом не сложно: https://github.com/yiisoft/yii2/issues/5138#issuecomment-97088457 Возник вопрос: Если я в batchInsert() накидаю 50 тысяч товаров, он их все за ра...
- 2015.12.03, 13:16
- Форум: Общие вопросы (Yii 2.x)
- Тема: Как быть с "тяжелым" консольным скриптом
- Ответы: 21
- Просмотры: 4000
Re: Как быть с "тяжелым" консольным скриптом
вы делайте 250к запросов к бд? Как по другому? ну например разбить на чанки по 1000 товаров. делаем один запрос на проверку 1000 цен, вернутся id товаров, у которых цена не поменялась. Делаем array_diff и оставшиеся цены апдейтим. Идею понял, за ней собственно и пришел сюда)))) Буду докуривать скри...
- 2015.12.03, 12:57
- Форум: Общие вопросы (Yii 2.x)
- Тема: Как быть с "тяжелым" консольным скриптом
- Ответы: 21
- Просмотры: 4000
Re: Как быть с "тяжелым" консольным скриптом
Как по другому?vitalik1183 писал(а):вы делайте 250к запросов к бд?
- 2015.12.03, 12:50
- Форум: Общие вопросы (Yii 2.x)
- Тема: Как быть с "тяжелым" консольным скриптом
- Ответы: 21
- Просмотры: 4000
Re: Как быть с "тяжелым" консольным скриптом
оптимизацию уже всю провели? что у вас за прайс лист который 20 минут формируется? сколько делал прайсов, в которых по 15 вкладок и в итоге под 180к наименований - формировалось за 3-5 секунд. а, прошу прощения, вы прогружаете. все равно что то долго. подозреваю, что нужно провести оптимизацию ваше...
- 2015.12.03, 12:24
- Форум: Общие вопросы (Yii 2.x)
- Тема: Как быть с "тяжелым" консольным скриптом
- Ответы: 21
- Просмотры: 4000
Как быть с "тяжелым" консольным скриптом
Вопрос наверное глупый, но все же... Есть консольный скрипт, прогружающий большой прайс лист (ищет новинки, удаляет старые, обновляет цены и пр.). Запускается по крону, работает около 20 минут. Проблема в том, что во время его работы сам сайт тупит, можно сказать лежит. Кстати, на моем компе все отл...
- 2015.11.02, 15:59
- Форум: Общие вопросы по программированию
- Тема: Посоветуйте виджет для Дерева каталогов
- Ответы: 5
- Просмотры: 3109
Re: Посоветуйте виджет для Дерева каталогов
и желательно с ajax подгрузкой...
- 2015.11.02, 15:53
- Форум: Общие вопросы по программированию
- Тема: Посоветуйте виджет для Дерева каталогов
- Ответы: 5
- Просмотры: 3109
Посоветуйте виджет для Дерева каталогов
На данный момент уже имеется структура таблицы в БД по системе: ************ id, (id категории) parent_id (id родительской КАТЕГОРИИ) title (название категории) *********** Думаю смысл моего дерева понятен (parent_id указывает на id). Так вот: не могу найти плагин, для построения этого дерева в адми...
- 2015.09.01, 11:34
- Форум: Общие вопросы (Yii 2.x)
- Тема: Загрузка конфига из модуля
- Ответы: 7
- Просмотры: 2510
Re: Загрузка конфига из модуля
хм... Внес ваши исправления, + в конфиге:
Все заработало!
Спасибо большое)))
Код: Выделить всё
'bootstrap' => ['log', 'app\modules\AviaServicesStat\Bootstrap'],
Спасибо большое)))
- 2015.09.01, 11:29
- Форум: Общие вопросы (Yii 2.x)
- Тема: Загрузка конфига из модуля
- Ответы: 7
- Просмотры: 2510
Re: Загрузка конфига из модуля
не... что-то не так... Не получается его даже подключить... Делаю так: в /config/main.php ... 'bootstrap' => ['log', 'ServBootstrap'], 'controllerNamespace' => 'frontend\controllers', 'modules' => [ ... 'ServBootstrap' => [ 'class' => 'frontend/module...
- 2015.09.01, 11:01
- Форум: Общие вопросы (Yii 2.x)
- Тема: Загрузка конфига из модуля
- Ответы: 7
- Просмотры: 2510
Re: Загрузка конфига из модуля
разобрался... но теперь новая ошибка: Invalid Configuration – yii\base\InvalidConfigException Unknown bootstrapping component ID: /frontend/modules/AviaServicesStat/Bootstrap код моего бутстрапа: <? use yii\base\BootstrapInterface; class Bootstrap implements BootstrapInterface { public function ...
- 2015.09.01, 10:46
- Форум: Общие вопросы (Yii 2.x)
- Тема: Загрузка конфига из модуля
- Ответы: 7
- Просмотры: 2510
Re: Загрузка конфига из модуля
Что-то не догоню...
Это нужно добавить прям в код моего модуля? или создать новый файл?
Это нужно добавить прям в код моего модуля? или создать новый файл?
- 2015.09.01, 10:29
- Форум: Общие вопросы (Yii 2.x)
- Тема: Загрузка конфига из модуля
- Ответы: 7
- Просмотры: 2510
Загрузка конфига из модуля
Хочу что-бы во время инициализации, модулю прописывались новые роуты. Делаю по инструкции - http://www.yiiframework.com/doc-2.0/guide-structure-modules.html Все рулы сначала оттестил из основного конфиг.файла ( /frontend/config/main.php ) - работают! Компаненту urlManager просто перенёс в init() мод...
- 2015.08.31, 13:21
- Форум: Общие вопросы (Yii 2.x)
- Тема: Подключение стилей в модуле
- Ответы: 12
- Просмотры: 3983
Re: Подключение стилей в модуле
Невнимательность...vitalik1183 писал(а):Ну а вы утверждали что путь явно тот.
- 2015.08.31, 11:50
- Форум: Общие вопросы (Yii 2.x)
- Тема: Подключение стилей в модуле
- Ответы: 12
- Просмотры: 3983
Re: Подключение стилей в модуле
Пля!!! нашел проблему!
класс звался - AppAsset а файл AppAssets.php
класс звался - AppAsset а файл AppAssets.php
- 2015.08.31, 10:38
- Форум: Общие вопросы (Yii 2.x)
- Тема: Подключение стилей в модуле
- Ответы: 12
- Просмотры: 3983
Re: Подключение стилей в модуле
Но путь то явно тот. Все проверил - буква в букву....vitalik1183 писал(а):Ну значит путь не тот, ошибка же явно отражает свою принадлежность.
Быть может в .htaccess ???
- 2015.08.31, 10:30
- Форум: Общие вопросы (Yii 2.x)
- Тема: Подключение стилей в модуле
- Ответы: 12
- Просмотры: 3983
Re: Подключение стилей в модуле
не помогло, даже ошибка не изменилась....((
- 2015.08.31, 10:25
- Форум: Общие вопросы (Yii 2.x)
- Тема: Подключение стилей в модуле
- Ответы: 12
- Просмотры: 3983
Re: Подключение стилей в модуле
Блин, пишу во вьюхе:
И получаю только ошибку:
PHP Fatal Error – yii\base\ErrorException
Class 'frontend\modules\MyModule\assets\AppAsset' not found
Код: Выделить всё
use frontend\modules\MyModule\assets\AppAsset;
AppAsset::register($this);
PHP Fatal Error – yii\base\ErrorException
Class 'frontend\modules\MyModule\assets\AppAsset' not found