Pipeline de parsing pentru catalog angro

Provocare

Un distribuitor angro avea nevoie de snapshot-uri zilnice ale disponibilității și prețurilor de pe trei portaluri de furnizori, fiecare cu structură HTML, cerințe de autentificare și măsuri anti-automatizare diferite. Echipa de achiziții vizita manual fiecare portal în fiecare dimineață pentru a verifica stocul înainte de comenzi.

Soluție

Am creat un pipeline Python multi-sursă bazat pe Playwright: gestionarea sesiunilor cu rotația credențialelor, intervale de cereri asemănătoare comportamentului uman, ieșire structurată în PostgreSQL cu istoric de preț și disponibilitate, export zilnic în Google Sheets pentru achiziții și alerte Telegram când o sursă nu poate fi parsurată.

Rezultate

Trei portaluri de furnizori sunt parsate automat în fiecare dimineață înainte de începerea programului echipei de achiziții. Sunt urmărite peste 1.200 de SKU-uri cu istoric complet de disponibilitate și preț de la deployment. Echipa nu mai vizitează manual portalurile, ia decizii din Google Sheets și primește rezumate Telegram ale schimbărilor nocturne.

Serviciu asociat