支援清單
已支援檔案格式
Files
支援的檔案格式
Cloud Data Lake
目前支援的儲存雲端 Data Lake 方式為
- AWS S3
- Azure Blob Storage
- Google Cloud Storage
- Hive
1. JSON file
2. Parquet file
- 非
hive (parquet-mr)
產生出來的 Parquet 可能會有不支援的狀況
3. CSV file
- 分隔符號支援
comma (,)
,pipe (|)
,tab (\t)
及colon (:)
- Encoding 只支援 UTF8
- Fields with embedded SEPARATOR MUST be delimited with double-quote characters.
4. Apache ORC file
目前支援版本為 ORC v1
5. Google Sheet
6. Excel
- 支援 xls, xlsx
- 支援密碼保護的 excel
- 支援 excel 中大部分的公式 (formula)
- 支援用 excel 的型別自動在 canner 中做轉型 (支援 date, number 型別)
已支援 SQL 資料庫/ 資料倉儲
1. MySQL
因小版本號間的差異不大,測試皆以大版本號的最新版為主,例如 5.5 會測試 5.5.61。
- MySQL 5.5.46 - 5.5.61
- MYSQL 5.6.34 - 5.6.46
- MySQL 5.7.16 - 5.7.28
- MySQL 8.0.11 - 8.0.17
目前不支援型別:
- 不支援 zerofill 及 unsigned int
- 不支援 time
- 不支援 Spatial Data Types
- bit type 僅支援 range = 1 (e.g, bit(1))
2. Oracle
- Oracle 10g (測試以 10.2.0.1.0 為主,部分支援)
- Oracle 11g (測試以 11.2.0.4 為主)
- Oracle 12c (測試以 12.1.0.2 為主)
- Oracle 18c (測試以 18.0.0.0 為主)
- Oracle 19c (測試以 19.0.0.0 為主)
目前不支援型別:
- 不支援 XML
- 不支援 Timestamp with local zone
- 不支援 URITYPE
- 不支援 BFILE
- 不支援 time
3. PostgreSQL
因小版本號間的差異不大,測試皆以大版本號的最新版為主,例如 9.3 會測試 9.3.25。
- PostgreSQL 9.3.12 - 9.3.25
- PostgreSQL 9.4.7 - 9.4.25
- PostgreSQL 9.5.2 - 9.5.20
- PostgreSQL 9.6.1 - 9.6.16
- PostgreSQL 10.1 - 10.11
- PostgreSQL 11.1 - 11.6
- PostgreSQL 12
- PostgreSQL 13
目前不支援型別:
- 不支援 time, timetz, interval
- 不支援 Text Search Types
- 不支援 txid_snapshot
- 不支援 xml
- 不支援 Network address types (macaddr, inet, cidr)
- 不支援 bit, varbit
- 不支援 Spatial Data Types
- 不支援 Array with timestamptz, time, json, money
4. Microsoft SQL Server
每個版本會有各自的 Service Pack,而這些 Service Pack 之間差異並不大
- SQL Server 2008 (10)
- SQL Server 2012 (11)
- SQL Server 2014
- SQL Server 2016
- SQL Server 2017
- SQL Server 2019
- Azure SQL Database
目前不支援型別:
- 不支援 tinyint
- 不支援 DatetimeOffset
- 不支援 SqlVariant
- 不支援 time
- 不支援 Spatial Data Types
5. Google BigQuery
- 不支援 BIGNUMERIC 及 BIGDECIMAL
- 不支援 GEOGRAPHY
- 不支援 Query from View
6. Teradata
7. SAP HANA
目前不支援型別:
- 不支援 smalldecimal
- 不支援 demical
- 不支援 clob
- 不支援 nclob
- 不支援 text
- 不支援 array
8. SAP ASE(Sybase)
- 不支援 Limit 語句,若需要使用需採用以下 Top 語句形式
select top 1 * from table
目前不支援型別:
- 不支援 time
- 不支援 bigdatetime
- 不支援 bigtime
已支援 NoSQL 資料庫
1. MongoDB
版本支援:
- MongoDB 3.2
- MongoDB 3.4
- MongoDB 3.6
- MongoDB 4.0
- MongoDB 4.2
- MongoDB 4.4
目前不支援型別:
- 不支援 BSON Bindata Type
- 不支援 BSON Null Type
- 不支援 BSON Timestamp Type. BSON has a special timestamp type for internal MongoDB use and is not associated with the regular Date type. 資料查看
- 不支援 BSON Decimal Type The decimal BSON type uses the IEEE 754 decimal128 decimal-based floating-point numbering format. 資料查看
2. Cassandra
版本支援:
- Cassandra 2.2.x
- Cassandra 3.x
- Cassandra 2.1.x not supported
目前不支援型別:
- 不支援 custom type
- 不支援 tuple type
- 不支援 time type
- 不支援 element type 是 custom type, tuple type, time type 的 List, Set, Map type
- 不支援 key 非 varchar type 的 map
3. ElasticSearch
- 不支援 SCALED_FLOAT
- 不支援 UNSIGNED_LONG
- 不支援 CONSTANT_KEYWORD
- 不支援 Date type with custom format