專案挑戰:
- 接收數億筆回傳數據
- 效能不足以運算龐大數據
- 系統難以維護及檢測
TenMax 是一家數位廣告公司,每日皆需要接收來自各大媒體平台超過 10億條的數據記錄,在還未將數據分析架構遷移至 GCP 前,主要使用 Spark 和 cron 來傳輸和處理來自多個渠道的數據,以生成報告,但往往得花費極高的時間成本,才能獲取運算結果,並且在數據傳輸過程中如有錯誤,也無法達到即時回報機制,需等到所有傳輸作業完畢後,才能得知結果的成敗,導致開發人員在除錯時耗費許多等待時間
透過 Google Cloud 高效傳輸、儲存及數據分析效能,提昇3倍數據處理效率
cacaFly Cloud AI+ Center 協助 TenMax 將Spark上的工作搬遷到 Cloud Composer 上,透過將工作拆分為數個子任務(Task),只要任務出現錯誤,工程人員能夠即時收到通知,提昇維護的效率。
在數據儲存及運算上,雲端智能中心協助 TenMax 導入 Cloud Storage 及 BigQuery,透過 Cloud Storage 集中存放數據再加載到 BigQuery 做高效能分析,經實際測試後,透過 BigQuery 做分析,整體運算時間加快了三倍的速度,讓前線廣告投放人員能即時取得最新的分析結果,有效提昇對於市場的掌握。
「 Google Cloud 擁有廣泛的雲服務以及對於建構數據倉儲的解決方案,相當契合 TenMax 在業務上 Agile BizDevOps 的精神,讓 TenMax 能夠更快、更可靠地做出廣告市場決策」
TenMax – Richard Hsiao, VP Engineering