Automation Flow
幼幼安需要每週更新 7,000 多所幼兒園的公開資料和裁罰紀錄。資料散在政府公開網站上,一間一間手動查不可能做完,外包又太貴、品質不穩定。
補充說明
如果以人工方式逐一查詢 7,000 多所幼兒園資料,每間查詢約需 2-3 分鐘(包含開網頁、找到資料、複製到 Excel),至少需要約 230-350 小時,等於一個人全職做 6-9 週。爬蟲在數小時內跑完全部更新,跑完後由人工抽查核對重點資料。
Python, Playwright, Parallel Processing, Supabase, Cron, Telegram
我們採用合理的爬取頻率和請求間隔,模擬正常瀏覽行為。也會根據目標網站的 robots.txt 和使用條款調整策略。
可以。預設每週執行,也可以改為每日、每月或即時監控(事件驅動)。
大部分公開網站都可以,包括政府公開資料、商業平台、社群媒體等。需要登入的網站需要額外授權處理。
存在你自己的資料庫(Supabase 或其他指定系統)。我們不保留你的資料副本。