fix some mispelling (#1166)
close #722 #1034
# Versions
- [x] dev
- [x] 3.0
- [x] 2.1
- [ ] 2.0
# Languages
- [x] Chinese
- [x] English
diff --git a/common_docs_zh/gettingStarted/tutorials/building-lakehouse/doris-hudi.md b/common_docs_zh/gettingStarted/tutorials/building-lakehouse/doris-hudi.md
index e54178a..19afdf3 100644
--- a/common_docs_zh/gettingStarted/tutorials/building-lakehouse/doris-hudi.md
+++ b/common_docs_zh/gettingStarted/tutorials/building-lakehouse/doris-hudi.md
@@ -133,7 +133,7 @@
```sql
-- 已经创建，无需再次执行
-CREATE CATALOG `hive` PROPERTIES (
+CREATE CATALOG `hudi` PROPERTIES (
"type"="hms",
'hive.metastore.uris' = 'thrift://hive-metastore:9083',
"s3.access_key" = "minio",
@@ -148,7 +148,7 @@
```sql
-- ./login-doris.sh
- doris> REFRESH CATALOG hive;
+ doris> REFRESH CATALOG hudi;
```
2. 使用 Spark 操作 Hudi 中的数据，都可以在 Doris 中实时可见，不需要再次刷新 Catalog。我们通过 Spark 分别给 COW 和 MOR 表插入一行数据：
@@ -161,7 +161,7 @@
3. 通过 Doris 可以直接查询到最新插入的数据：
```sql
- doris> use hive.default;
+ doris> use hudi.default;
doris> select * from customer_cow where c_custkey = 100;
doris> select * from customer_mor where c_custkey = 100;
```
diff --git a/docs/lakehouse/datalake-building/hive-build.md b/docs/lakehouse/datalake-building/hive-build.md
index b2b461e..b3c83a3 100644
--- a/docs/lakehouse/datalake-building/hive-build.md
+++ b/docs/lakehouse/datalake-building/hive-build.md
@@ -277,10 +277,6 @@
AS SELECT col1,pt1 as col2,pt2 as pt1 FROM test_ctas.part_ctas_src WHERE col1>0;
```
-## Exception Data and Data Transformation
-
-TODO
-
## Transaction Mechanism
Write operations to Hive are placed in a separate transaction. Until the transaction is committed, the data is not visible externally. Only after committing the transaction do the table's related operations become visible to others.
@@ -372,10 +368,6 @@
## Relevant Parameters
-### FE
-
-TODO
-
### BE
| Parameter Name | Default Value | Description |
diff --git a/gettingStarted/tutorials/building-lakehouse/doris-hudi.md b/gettingStarted/tutorials/building-lakehouse/doris-hudi.md
index ee61536..eea87af 100644
--- a/gettingStarted/tutorials/building-lakehouse/doris-hudi.md
+++ b/gettingStarted/tutorials/building-lakehouse/doris-hudi.md
@@ -132,7 +132,7 @@
```
-- Already created, no need to execute again
-CREATE CATALOG `hive` PROPERTIES (
+CREATE CATALOG `hudi` PROPERTIES (
"type"="hms",
'hive.metastore.uris' = 'thrift://hive-metastore:9083',
"s3.access_key" = "minio",
@@ -147,7 +147,7 @@
```
-- ./login-doris.sh
- doris> REFRESH CATALOG hive;
+ doris> REFRESH CATALOG hudi;
```
2. Operations on data in Hudi using Spark are immediately visible in Doris without the need to refresh the Catalog. We insert a row of data into both COW and MOR tables using Spark:
@@ -160,7 +160,7 @@
3. Through Doris, you can directly query the latest inserted data:
```
- doris> use hive.default;
+ doris> use hudi.default;
doris> select * from customer_cow where c_custkey = 100;
doris> select * from customer_mor where c_custkey = 100;
```
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/datalake-building/hive-build.md b/i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/datalake-building/hive-build.md
index 23a6b20..2b76690 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/datalake-building/hive-build.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/current/lakehouse/datalake-building/hive-build.md
@@ -276,10 +276,6 @@
AS SELECT col1,pt1 as col2,pt2 as pt1 FROM test_ctas.part_ctas_src WHERE col1>0;
```
-## 异常数据和数据转换
-
-TODO
-
## 事务机制
对 Hive 的写入操作会被放在一个单独的事务里，在事务提交前，数据对外不可见。只有当提交该事务后，表的相关操作才对其他人可见。
@@ -369,16 +365,8 @@
2. 临时分区目录重命名为目标表分区目录。
3. 删除目标表临时分区目。
-### 对象存储文件操作
-
-TODO
-
## 相关参数
-### FE
-
-TODO
-
### BE
| 参数名称 | 默认值 | 描述 |
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/lakehouse/datalake-building/hive-build.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/lakehouse/datalake-building/hive-build.md
index b9ad6f9..2b76690 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/lakehouse/datalake-building/hive-build.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-2.1/lakehouse/datalake-building/hive-build.md
@@ -24,9 +24,9 @@
under the License.
-->
-自 2.1.3 版本开始，Doris 支持对 Hive 的 DDL 和 DML 操作。用户可以直接通过 Doris 在 Hive 中创建库表，并将数据写入到 Hive 表中。通过该功能，用户可以通过 Doris 对 Hive 进行完整的数据查询和写入操作，进一步帮助用户简化湖仓一体架构。
+自 2.1.3 版本开始，Apache Doris 支持对 Hive 的 DDL 和 DML 操作。用户可以直接通过 Apache Doris 在 Hive 中创建库表，并将数据写入到 Hive 表中。通过该功能，用户可以通过 Apache Doris 对 Hive 进行完整的数据查询和写入操作，进一步帮助用户简化湖仓一体架构。
-本文介绍在 Doris 中支持的 Hive 操作，语法和使用须知。
+本文介绍在 Apache Doris 中支持的 Hive 操作，语法和使用须知。
:::tip
这是一个实验功能。
@@ -56,7 +56,7 @@
);
```
- 注意，如如果需要通过 Doris 创建 Hive 表或写入数据，需要在 Catalog 属性中显式增加 `fs.defaultFS` 属性。如果创建 Catalog 仅用于查询，则该参数可以省略。
+ 注意，如果需要通过 Apache Doris 创建 Hive 表或写入数据，需要在 Catalog 属性中显式增加 `fs.defaultFS` 属性。如果创建 Catalog 仅用于查询，则该参数可以省略。
更多参数，请参阅 [Hive Catalog](../datalake-analytics/hive.md)
@@ -66,7 +66,7 @@
DROP CATALOG [IF EXISTS] hive;
```
- 删除 Catalog 并不会删除 hive 中的任何库表信息。仅仅是在 Doris 中移除了对这个 Hive 集群的映射。
+ 删除 Catalog 并不会删除 hive 中的任何库表信息。仅仅是在 Apache Doris 中移除了对这个 Hive 集群的映射。
### Database
@@ -105,13 +105,15 @@
DROP DATABASE [IF EXISTS] hive.hive_db;
```
- 注意，对于 Hive Database，必须先删除这个 Database 下的所有表后，才能删除 Database，否则会报错。这个操作会同步删除 Hive 中对应的 Database。
+ :::caution 注意
+ 对于 Hive Database，必须先删除这个 Database 下的所有表后，才能删除 Database，否则会报错。这个操作会同步删除 Hive 中对应的 Database。
+ :::
### Table
- 创建
- Doris 支持在 Hive 中创建分区或非分区表。
+ Apache Doris 支持在 Hive 中创建分区或非分区表。
```
-- Create unpartitioned hive table
@@ -149,11 +151,11 @@
创建后，可以通过 `SHOW CREATE TABLE` 命令查看 Hive 的建表语句。
- 注意，不同于 Hive 中的建表语句。在 Doris 中创建 Hive 分区表时，分区列也必须写到 Table 的 Schema 中。同时，分区列必须在所有 Schema 的最后，且顺序保持一致。
+ 注意，不同于 Hive 中的建表语句。在 Apache Doris 中创建 Hive 分区表时，分区列也必须写到 Table 的 Schema 中。同时，分区列必须在所有 Schema 的最后，且顺序保持一致。
:::tip
- 对于某些默认开启 ACID 事务特性的 Hive 集群，使用 Doris 建表后，表属性 `transactional` 会为 true。而 Doris 只支持部分 Hive 事务表的特性，因此可能会导致 Doris 创建的 Hive，Doris 本身无法读取的问题。因此，需要在建表的属性中，显式增加：`"transactional" = "false"`，来创建非事务的 Hive 表：
+ 对于某些默认开启 ACID 事务特性的 Hive 集群，使用 Apache Doris 建表后，表属性 `transactional` 会为 `true`。而 Apache Doris 只支持部分 Hive 事务表的特性，因此可能会导致 Apache Doris 创建的 Hive，Apache Doris 本身无法读取的问题。因此，需要在建表的属性中，显式增加：`"transactional" = "false"`，来创建非事务的 Hive 表：
```
CREATE TABLE non_acid_table(
@@ -173,9 +175,9 @@
- 列类型
- 在 Doris 中创建 Hive 表所使用的列类型，和 Hive 中的列类型对应关系如下
+ 在 Apache Doris 中创建 Hive 表所使用的列类型，和 Hive 中的列类型对应关系如下
- | Doris | Hive |
+ | Apache Doris | Hive |
|---|---|
| BOOLEAN | BOOLEAN |
| TINYINT | TINYINT |
@@ -194,13 +196,13 @@
| MAP | MAP |
| STRUCT | STRUCT |
- - 列类型只能为默认的 nullable，不支持 NOT NULL。
+ - 列类型只能为默认的 Nullable，不支持 NOT NULL。
- Hive 3.0 支持设置默认值。如果需要设置默认值，则需要再 Catalog 属性中显示的添加 `"hive.version" = "3.0.0"`
- 插入数据后，如果类型不能够兼容，例如 `'abc'` 插入到数值类型，则会转为 null 值后插入。
- 分区
- Hive 中的分区类型对应 Doris 中的 List 分区。因此，在 Doris 中 创建 Hive 分区表，需使用 List 分区的建表语句，但无需显式的枚举各个分区。在写入数据时，Doris 会根据数据的值，自动创建对应的 Hive 分区。
+ Hive 中的分区类型对应 Apache Doris 中的 List 分区。因此，在 Apache Doris 中 创建 Hive 分区表，需使用 List 分区的建表语句，但无需显式的枚举各个分区。在写入数据时，Apache Doris 会根据数据的值，自动创建对应的 Hive 分区。
支持创建单列或多列分区表。
@@ -211,8 +213,8 @@
- 压缩格式
- - Parquet：snappy（默认），zlib，zstd
- - ORC：snappy，zlib（默认），zstd
+ - Parquet：snappy（默认），zstd，plain。（Plain 就是不采用压缩）
+ - ORC：snappy，zlib（默认），zstd，plain。（Plain 就是不采用压缩）
- 存储介质
@@ -223,7 +225,7 @@
可以通过 INSERT 语句将数据写入到 Hive 表中。
-支持写入到由 Doris 创建的 Hive 表，或者 Hive 中已存在的且格式支持的表。
+支持写入到由 Apache Doris 创建的 Hive 表，或者 Hive 中已存在的且格式支持的表。
对于分区表，会根据数据，自动写入到对应分区，或者创建新的分区。
@@ -269,15 +271,11 @@
PARTITION BY LIST (pt1) ()
PROPERTIES (
"file_format"="parquet",
- "parquet.compression"="zstd"
+ "compression"="zstd"
)
AS SELECT col1,pt1 as col2,pt2 as pt1 FROM test_ctas.part_ctas_src WHERE col1>0;
```
-## 异常数据和数据转换
-
-TODO
-
## 事务机制
对 Hive 的写入操作会被放在一个单独的事务里，在事务提交前，数据对外不可见。只有当提交该事务后，表的相关操作才对其他人可见。
@@ -292,9 +290,9 @@
### 并发写入机制
-当前 Doris 支持使用多个插入语句进行并发写入。不过需要注意的是，用户需要控制并发写入不产生可能冲突的情况。
+当前 Apache Doris 支持使用多个插入语句进行并发写入。不过需要注意的是，用户需要控制并发写入不产生可能冲突的情况。
-因为普通非事务 Hive 表缺少完备的事务机制。通过上文介绍的 Doris 事务机制我们知道目前 Doris 中的实现只能是尽力而为地减少可能不一致的时间窗口，而无法保证真正的 ACID。因此在 Doris 中进行并发写入Hive 表可能会导致数据一致性问题。
+因为普通非事务 Hive 表缺少完备的事务机制。通过上文介绍的 Apache Doris 事务机制我们知道目前 Apache Doris 中的实现只能是尽力而为地减少可能不一致的时间窗口，而无法保证真正的 ACID。因此在 Apache Doris 中进行并发写入Hive 表可能会导致数据一致性问题。
1. `INSERT` 并发操作
@@ -367,16 +365,8 @@
2. 临时分区目录重命名为目标表分区目录。
3. 删除目标表临时分区目。
-### 对象存储文件操作
-
-TODO
-
## 相关参数
-### FE
-
-TODO
-
### BE
| 参数名称 | 默认值 | 描述 |
@@ -387,9 +377,3 @@
| `table_sink_partition_write_min_data_processed_rebalance_threshold` | 分区表开始触发重平衡的最少数据量阈值。如果 `当前累积的数据量` - `自从上次触发重平衡或者最开始累积的数据量` >= `table_sink_partition_write_min_data_processed_rebalance_threshold`，就开始触发重平衡机制。如果发现最终生成的文件大小差异过大，可以调小改阈值来增加均衡度。当然过小的阈值会导致重平衡的成本增加，可能会影响性能。 | 25MB |
| `table_sink_partition_write_min_partition_data_processed_rebalance_threshold` | 分区表开始进行重平衡时的最少的分区数据量阈值。如果 `当前分区的数据量` >= `阈值` * `当前分区已经分配的 task 数目`，就开始对该分区进行重平衡。如果发现最终生成的文件大小差异过大，可以调小改阈值来增加均衡度。当然过小的阈值会导致重平衡的成本增加，可能会影响性能。 | 15MB |
-
-
-
-
-
-
diff --git a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.0/lakehouse/datalake-building/hive-build.md b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.0/lakehouse/datalake-building/hive-build.md
index c5d732f..2b76690 100644
--- a/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.0/lakehouse/datalake-building/hive-build.md
+++ b/i18n/zh-CN/docusaurus-plugin-content-docs/version-3.0/lakehouse/datalake-building/hive-build.md
@@ -34,10 +34,10 @@
:::tip
使用前，请先设置：
-<br/>
+<br />
set global enable_nereids_planner = true;
set global enable_fallback_to_original_planner = false;
-<br/>
+<br />
从老版本升级上来的集群，这些参数可能有变化。
:::
@@ -276,10 +276,6 @@
AS SELECT col1,pt1 as col2,pt2 as pt1 FROM test_ctas.part_ctas_src WHERE col1>0;
```
-## 异常数据和数据转换
-
-TODO
-
## 事务机制
对 Hive 的写入操作会被放在一个单独的事务里，在事务提交前，数据对外不可见。只有当提交该事务后，表的相关操作才对其他人可见。
@@ -369,16 +365,8 @@
2. 临时分区目录重命名为目标表分区目录。
3. 删除目标表临时分区目。
-### 对象存储文件操作
-
-TODO
-
## 相关参数
-### FE
-
-TODO
-
### BE
| 参数名称 | 默认值 | 描述 |
diff --git a/versioned_docs/version-2.1/lakehouse/datalake-building/hive-build.md b/versioned_docs/version-2.1/lakehouse/datalake-building/hive-build.md
index c33c32e..b3c83a3 100644
--- a/versioned_docs/version-2.1/lakehouse/datalake-building/hive-build.md
+++ b/versioned_docs/version-2.1/lakehouse/datalake-building/hive-build.md
@@ -154,7 +154,6 @@
:::tip
- 对于某些默认开启 ACID 事务特性的 Hive 集群，使用 Doris 建表后，表属性 `transactional` 会为 true。而 Doris 只支持部分 Hive 事务表的特性，因此可能会导致 Doris 创建的 Hive，Doris 本身无法读取的问题。因此，需要在建表的属性中，显式增加：`"transactional" = "false"`，来创建非事务的 Hive 表：
For some Hive clusters that enable ACID transaction features by default, after using Doris to create a table, the table attribute `transactional` will be true. However, Doris only supports some features of Hive transaction tables, which may cause the problem that Doris itself cannot read the Hive created by Doris. Therefore, it is necessary to explicitly add: `"transactional" = "false"` in the table creation properties to create a non-transactional Hive table:
```
@@ -215,8 +214,8 @@
- Compression Formats
- - Parquet: snappy(default), zlib, zstd
- - ORC: snappy, zlib(default), zstd
+ - Parquet: snappy(default), zstd, plain. (plain means no compression is used.)
+ - ORC: snappy, zlib(default), zstd, plain. (plain means no compression is used.)
- Storage Medium
@@ -273,15 +272,11 @@
PARTITION BY LIST (pt1) ()
PROPERTIES (
"file_format"="parquet",
-"parquet.compression"="zstd"
+"compression"="zstd"
)
AS SELECT col1,pt1 as col2,pt2 as pt1 FROM test_ctas.part_ctas_src WHERE col1>0;
```
-## Exception Data and Data Transformation
-
-TODO
-
## Transaction Mechanism
Write operations to Hive are placed in a separate transaction. Until the transaction is committed, the data is not visible externally. Only after committing the transaction do the table's related operations become visible to others.
@@ -373,10 +368,6 @@
## Relevant Parameters
-### FE
-
-TODO
-
### BE
| Parameter Name | Default Value | Description |
diff --git a/versioned_docs/version-3.0/lakehouse/datalake-building/hive-build.md b/versioned_docs/version-3.0/lakehouse/datalake-building/hive-build.md
index b2b461e..b3c83a3 100644
--- a/versioned_docs/version-3.0/lakehouse/datalake-building/hive-build.md
+++ b/versioned_docs/version-3.0/lakehouse/datalake-building/hive-build.md
@@ -277,10 +277,6 @@
AS SELECT col1,pt1 as col2,pt2 as pt1 FROM test_ctas.part_ctas_src WHERE col1>0;
```
-## Exception Data and Data Transformation
-
-TODO
-
## Transaction Mechanism
Write operations to Hive are placed in a separate transaction. Until the transaction is committed, the data is not visible externally. Only after committing the transaction do the table's related operations become visible to others.
@@ -372,10 +368,6 @@
## Relevant Parameters
-### FE
-
-TODO
-
### BE
| Parameter Name | Default Value | Description |
