跳至主要内容
版本：v1

大量檔案上傳與 Query

系統概觀圖示​

arc system diagram

Canner 主要分成四個子系統 (模塊)，分別是 SQL Engine, Web Service, Object Storage 及 SSO Service

  1. SQL Engine: 實際做 SQL 運算的分散式系統，分成 coordinator 及 worker，coordinator 負責解析 SQL 語句，切割成 tasks 後，分派給不同的 worker 處理．
  2. Web Service: 負責 render 畫面給 browser，提供 restful API 給 client 使用．
  3. Object Storage: 儲存外部上傳檔案及 Canner Enterprise 中 Query 的結果及 Materialized View 的資料．若使用 Canner Enterprise 雲端版本，此 Storage 將會使用雲端提供之服務，AWS 環境使用 S3，Azure 環境使用 Azure Blob．
  4. SSO Service: 負責處理登入/使用者驗證/權限管理 等功能．

檔案可以透過三種方式上傳​

  • Direct Query from external filesystem (S3/Blob/FTP)
  • Upload with UI
  • Upload with SDK

操作情境​

系統不斷產生資料，透過程式上傳至 Canner Enterprise

  1. Python SDK 模擬資料產生及上傳
  2. Query 上傳後的檔案