Crescendo Lab Blog
數據整合 |

漸強推出 BigQuery 整合!快速、易用、好整合的資料倉儲分析平台

Liam Fang

分享文章

相關標籤

    BigQuery 是什麼?

    BigQuery 是 Google Cloud Platform 推出的一種雲端資料倉儲與分析服務,可取代傳統的資料倉儲、分析,甚至作為顧客資料平台 CDP 數據整合、處理、分析、應用的替代方案。

    企業導入 BigQuery 不僅不需要自己擁有與維運資料倉儲的軟硬體,更能快速處理 PB 規模的資料,還兼具成本低廉、能彈性擴充等優勢,因此是許多中大型企業的得力助手,包含 Spotify、AirBnB、The New York Times、HSBC 等國際級大企業都在用。

    BigQuery 有哪 5 大優勢?企業中的哪些角色能得利?

    企業愛用 BigQuery 的原因非常多,我們歸納出最常見的 5 大主因是:運算速度快、成本低廉、處理規模大、技術門檻低、擴充彈性大。BigQuery 帶來的好處非常多樣,能帶來企業整體運作的成本效益提升,企業中各種職能角色也皆能從中受益。

    1. 運算速度快 | 資料分析師、行銷人員

    根據 Cloud Ace 的實測,總共 1000 億筆、4TB 的資料,使用需要消耗大量資料的模糊比對語法,以及複雜的 Group By 和 Order By 語法,會發現以往大約需要兩小時的運算處理,竟然縮短到只要 23 秒就能完成!

    BigQuery 能完成即時或近乎即時的分析,主要原因有二:其一是 BigQuery 會將運算的工作分散給數千台伺服器同時處理調度查詢,其二是 BigQuery 使用利於快速搜尋的方式來儲存數據。如此快的資料處理速度,將降低等待的時間、提升對市場反應的靈活性,也能避免資料分析師陷入「下完指令、等了兩小時」,才發現指令錯誤的窘境。

    2. 成本低廉 | IT 部門、財務部門

    權威研究機構 Enterprise Strategy Group (ESG) 於 2019 年發布的 Economic Validation 報告中指出,透過 BigQuery 資料倉儲技術大規模執行數據分析作業,三年的總持有成本(Total-Cost-of-Ownership),比起使用其他三種雲端資料倉儲系統低了 26% 至 34%。

    省去建置與管理成本

    傳統資料倉儲的軟硬體建置成本經常高達幾十甚至上百萬,不只要自行購買並維護機房,使用時還可能遇到分析需求日益增加、資源不夠又需要擴充的狀況。這時,不只需要加購軟硬體設備,還可能要更新資料倉儲的架構,漫長流程耗費大量金錢、人力、與開發資源。

    但 BigQuery 做為一種雲端的平台即服務(PaaS),企業等於是將這部分所有軟硬體交由 Google 託管,不需自行採購、開發與維護。對企業來說不只能快速導入並啟用,也能節省鉅額成本。

    省去閒置與風險成本

    此外,傳統的資料倉儲方式也容易遇到買太多,而造成資源閒置浪費的問題。不過 BigQuery 主要是以使用量為收費基礎,根據每個月使用的儲存與運算資源來計費,因此比較不會有資源空轉或購買過量而浪費額度的狀況發生。

    此外,BigQuery 也擁有非常高規格的資料安全性,由顧客自管加密金鑰,將資料洩漏或被竊取的風險降至最低,也提供方便的資料複製與備份的功能,避免資料遺失。

    3. 處理規模大 | 數據使用單位

    BigQuery 的其中一大特色,是能夠處理大數據。

    一般來說,處理大量數據的資料系統在技術上與理論上並不難,但是實務上這很難實現,因為以傳統資料倉儲技術來說,處理龐大數據會耗費大量時間成本、金錢成本和人力成本。

    不過 BigQuery 便是運用新的雲端技術以及新的資料倉儲架構,來達成運算快速、成本低廉的特性,讓運算大規模數據資料成為實務上可行、也值得投資的一件事情。

    4. 技術門檻低 | 工程師、資料分析師、行銷人員

    BigQuery 的操作簡易,只需要會 SQL 語言就能夠快速上手。對原本就有資料庫相關實務經驗的工程師、資料分析師來說,可以省去學習其它語言的學習成本。此外,SQL 指令碼可以重複利用,也相對更好理解,因此沒有技術背景的行銷人員及其他數據使用者,也更能節省和工程師溝通的成本。

    5. 擴充彈性大 | 行銷人員、IT 部門

    資料來源

    BigQuery 支援多種資料匯入來源:包含從本地、Google 雲端硬碟、Cloud Storage、BigQuery Data Transfer Service (DTS)、Data Fusion 外掛程式等多種方式都能將資料上傳到 BigQuery。而 BigQuery 支援的資料格式有:Avro、CSV、JSON、ORC 和 Parquet 等格式。

    資料應用

    BigQuery 作為一種雲端資料服務,最大的優勢即是靈活性。

    以顧客資料平台 CDP 為例,傳統的 CDP 屬於「包裝好的 CDP(packaged CDP)」,而使用 BigQuery 來靈活取用、分析資料的新型態做法,則被稱為「可組裝的 CDP(composable CDP)」。Conposable CDP 的概念能幫助企業在有更多數據分析與應用需求時,可以更彈性、更方便的取用資料,並將資料匯入其它前線的數據平台與行銷工具中。

    以下就來看看漸強這次有推出哪些 BiqQuery 的服務吧!

    漸強支援的 BigQuery 資料有哪些?

    首先,漸強支援以 BigQuery 取得以下幾種全方位行銷平台 MAAC 蒐集的消費者資料:

    1. 聯絡人屬性資料
    2. 分眾標籤資料
    3. 消費事件資料
    4. 開封資料
    5. 點擊資料

    換言之,MAAC 中各式各樣消費者與品牌 LINE 官方帳號互動的紀錄,BigQuery 都能夠輕鬆取得,並做後續的運用。

    漸強推薦的 BigQuery 整合應用有哪些?

    除了 BigQuery 在 MAAC 和 LINE OA 方面的應用之外,其實任何數據相關平台如有接收來自 BigQuery 的資料,皆可用漸強的 BQ Connector 來進行迅速的串接整合,其中,不乏許多漸強實驗室的生態系夥伴開發的數據工具。

    BigQuery 常被和 BI 系統整合(如:Power BI, Tableau, Metabase 等),以做出更深入的數據分析和資料視覺化;也常被和企業原本就有在用的 CRM(如:Salesforce)、CDP 串接整合(如:Emarsys, Treasure data, Insider 等),來完成更效率、更精緻的會員分級、顧客 360 建立、跨渠道分析、自動旅程設計等進階應用

    Big Query

    誰最適合考慮使用 BigQuery ?

    因此,原本就有在使用上述的 BI、CRM、CDP 和 MA 工具的企業,特別適合考慮導入 BigQuery。不只幫助你最大化大量數據資料的效益,也讓數據整合與應用能夠走得更輕鬆、更長遠。

    也歡迎透過以下表單聯繫我們,了解更多 BigQuery 資訊

     

    訂閱漸強部落格

    不再錯過最新文章通知、產品更新快報