株式会社スキロジー

新規事業の立ち上げに伴う物件情報データ収集基盤の開発を実施しました。

収集対象が大きく、そのまま運用するとクラウドの処理費用が事業を圧迫する構造でした。データの持ち方とクエリを設計し直すことでコストを抑えつつ、事業側が求める「仕入候補として使えるデータ」を増やすことを目標に、収集ロジックと判定処理を継続的に改善しています。

・データ収集基盤の設計・開発
・クラウド環境におけるデータパイプラインの構築およびデータ蓄積
・クエリチューニングとデータ処理コストの最適化
・機械学習モデルによる事前判定を組み合わせた、処理対象を絞り込むパイプラインの設計・実装
・収集状況やデータを管理するフロントエンド機能の開発
・要件に応じたインフラ構成の検討、技術選定および提案
・インフラおよび各種処理の監視、障害対応、運用保守

・クエリおよびデータ処理方法の見直しにより、データ処理コストを80%削減
・収集基盤の改善により、抽出できる物件数を100%増加（2倍）

データ基盤は作った直後より、運用が続くほど費用が効いてきます。この案件では「安く動かす」ことと「事業として使えるデータを増やす」ことを同時に追いました。コスト削減だけなら収集量を減らせば済みますが、それでは事業が縮むので、処理の順番と絞り込み方を設計し直しています。