株式会社セレンディピティ

Webサイトからの情報収集を手作業で行っていた業務を自動化するため、データ収集サービスを要件定義から開発・リリースまで一貫して担当しました。JavaScriptで表示が切り替わる動的なサイトにも対応できるよう、ブラウザ自動操作技術（Playwright）を採用。管理ダッシュボードから収集対象の設定・実行状況の確認・データ出力をまとめて行えるようにしました。

【課題】
担当者が複数のWebサイトを巡回して情報を手作業で集めており、時間がかかるうえ、転記ミスや収集漏れが発生していました。

【ご提案・対応内容】
・要件定義書を作成し、収集対象・収集頻度・出力形式などの仕様を明確化
・Python（FastAPI）でAPIとバックエンドを構築
・Playwrightによるブラウザ自動操作で、動的に表示されるページからも安定して情報を取得
・htmxを用いた軽量な管理ダッシュボードで、収集ジョブの実行・状況確認・データ出力を画面から操作可能に
・VPSとGoogle Cloud Runの両方にデプロイできる構成とし、運用コストや規模に応じて環境を選べるように設計

【工夫した点】
・アクセス間隔の調整やエラー時の再試行など、対象サイトに負荷をかけず安定して動かす仕組みを実装
・開発ルールや構成をドキュメント化し、引き継ぎや機能追加をしやすくしました

・手作業で行っていた情報収集が自動化され、担当者の作業時間を大幅に削減
・収集漏れや転記ミスがなくなり、データの正確性が向上
・ダッシュボードから誰でも操作できるようになり、業務の属人化を解消

「毎日の手作業を減らしたい」というご相談から始まった案件です。まずは最小構成で動くものを作り、実際に使っていただきながら改善を重ねました。Webからのデータ収集・社内システムへの連携は、業種を問わず効果が出やすい領域です。お気軽にご相談ください。