Конвейер парсинга оптовых каталогов

Задача

Оптовому дистрибьютору требовались ежедневные снимки наличия и цен из трёх порталов поставщиков, каждый с собственной HTML-структурой, требованиями авторизации и защитой от автоматизации. Команда закупок вручную посещала каждый портал каждое утро перед размещением заказов.

Решение

Мы создали многоканальный Python-конвейер на Playwright: управление сессиями с ротацией учётных данных, интервалы запросов, похожие на человеческие, структурированная запись в PostgreSQL с историей цен и наличия, ежедневный экспорт в Google Sheets для закупок и Telegram-уведомления, если источник не удалось обработать.

Результаты

Три портала поставщиков автоматически парсятся каждое утро до начала рабочего дня команды закупок. Отслеживается более 1 200 SKU с полной историей наличия и цен с момента деплоя. Команда перестала посещать порталы вручную, принимает решения по Google Sheets и получает Telegram-сводки ночных изменений.

Связанная услуга