Skip to main content

Spark

使用 Spark

使用 Spark 的程式碼可以去達到不論聚合資料、大數據運算等邏輯。但會有以下的需求:

  1. 需要會寫 Spark 語法。以及針對每個應用場景與需求都要撰寫新的程式語法。
  2. 在 Spark 中也無法針對每個資料源作權限控管,以及虛擬的流量與操作監控。
  3. 在即時的需求都需要撰寫程式 (Script)。
  4. 需要很熟習他們的 Library 與整個生態圈
  5. 資料工程師工具

使用 CannerFlow

  1. UI/UX 以使用:在 UI 上點擊即可連結數十個數百個資料源。
  2. 易部署、自動擴張:直接下 SQL 操作,不需再做任何設定。
  3. 數據稽核與監控:虛擬層的數據與流量監控。
  4. 資料分析工程師使用工具:不需要額外熟悉系統設定與生態圈,只要會標準 ANSI SQL 即可。

主要差異 (使用 CannerFlow 後)

  1. 不需要撰寫 Script (Spark 語法)
  2. ANSI SQL 把數十個資料庫當作一個資料庫操作
  3. 不需要熟悉額外的 Library
  4. 需額外再設計做權限、流量監控等
  5. 資料分析工程師工具