blob: 16559810bda4d6b85623521007a0174aa87abe9d [file] [log] [blame]
<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
<channel>
<title>概述 on Ozone</title>
<link>/zh/</link>
<description>Recent content in 概述 on Ozone</description>
<generator>Hugo -- gohugo.io</generator>
<language>en-us</language><atom:link href="/zh/index.xml" rel="self" type="application/rss+xml" />
<item>
<title>概览</title>
<link>/zh/concept/overview.html</link>
<pubDate>Tue, 10 Oct 2017 00:00:00 +0000</pubDate>
<guid>/zh/concept/overview.html</guid>
<description>介绍 Ozone 的整体和各个组件。</description>
</item>
<item>
<title>Java API</title>
<link>/zh/interface/javaapi.html</link>
<pubDate>Thu, 14 Sep 2017 00:00:00 +0000</pubDate>
<guid>/zh/interface/javaapi.html</guid>
<description>Ozone 有一套基于原生 RPC 的 API,其它协议都由这个最底层的 API 扩展而来,它也是所有 Ozone 支持的协议中性能最好、功能最全的。</description>
</item>
<item>
<title>安全化 Ozone</title>
<link>/zh/security/secureozone.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/security/secureozone.html</guid>
<description>简要介绍 Ozone 中的安全概念以及安全化 OM 和 SCM 的步骤。</description>
</item>
<item>
<title>高可用</title>
<link>/zh/feature/ha.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/feature/ha.html</guid>
<description>Ozone 用于避免单点故障的高可用设置</description>
</item>
<item>
<title>Ozone Manager</title>
<link>/zh/concept/ozonemanager.html</link>
<pubDate>Thu, 14 Sep 2017 00:00:00 +0000</pubDate>
<guid>/zh/concept/ozonemanager.html</guid>
<description>Ozone Manager 是 Ozone 主要的命名空间服务,它管理了卷、桶和键的生命周期。</description>
</item>
<item>
<title>Ozone 文件系统</title>
<link>/zh/interface/o3fs.html</link>
<pubDate>Thu, 14 Sep 2017 00:00:00 +0000</pubDate>
<guid>/zh/interface/o3fs.html</guid>
<description>Hadoop 文件系统兼容使得任何使用类 HDFS 接口的应用无需任何修改就可以在 Ozone 上工作,比如基于 Apache Spark、YARN 和 Hive 等框架的应用。</description>
</item>
<item>
<title>安全化 Datanode</title>
<link>/zh/security/securingdatanodes.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/security/securingdatanodes.html</guid>
<description>解释安全化 datanode 的不同模式,包括 Kerberos、证书的手动颁发和自动颁发等。</description>
</item>
<item>
<title>Storage Container Manager</title>
<link>/zh/concept/storagecontainermanager.html</link>
<pubDate>Thu, 14 Sep 2017 00:00:00 +0000</pubDate>
<guid>/zh/concept/storagecontainermanager.html</guid>
<description>Storage Container Manager(SCM)是 Ozone 的核心元数据服务,它提供了 Ozone 的分布式数据块服务层。</description>
</item>
<item>
<title>CSI 协议</title>
<link>/zh/interface/csi.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/interface/csi.html</guid>
<description>Ozone 支持 容器存储接口 (CSI) 协议。你可以通过 Ozone CSI 挂载 Ozone 桶的方式使用 Ozone。</description>
</item>
<item>
<title>Ozone 中的 GDPR</title>
<link>/zh/security/gdpr.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/security/gdpr.html</guid>
<description>Ozone 中的 GDPR</description>
</item>
<item>
<title>S3 协议接口</title>
<link>/zh/interface/s3.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/interface/s3.html</guid>
<description>Ozone 支持 Amazon 的 Simple Storage Service (S3) 协议,事实上,你不需要对基于 S3 客户端和 S3 SDK 的应用做任何修改就可以在 Ozone 上使用。</description>
</item>
<item>
<title>透明数据加密</title>
<link>/zh/security/securingtde.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/security/securingtde.html</guid>
<description>透明数据加密(Transparent Data Encryption,TDE)以密文形式在磁盘上保存数据,但可以在用户访问的时候自动进行解密。</description>
</item>
<item>
<title>数据节点</title>
<link>/zh/concept/datanodes.html</link>
<pubDate>Thu, 14 Sep 2017 00:00:00 +0000</pubDate>
<guid>/zh/concept/datanodes.html</guid>
<description>Ozone 支持 Amazon S3 协议,你可以原封不动地在 Ozone 上使用基于 S3 客户端和 S3 SDK 的应用。</description>
</item>
<item>
<title>Ozone中的配额</title>
<link>/zh/feature/quota.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/feature/quota.html</guid>
<description>Ozone中的配额</description>
</item>
<item>
<title>Recon API</title>
<link>/zh/interface/reconapi.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/interface/reconapi.html</guid>
<description>Recon 服务器支持 HTTP 端点,以帮助故障排除和监听 Ozone 集群。</description>
</item>
<item>
<title>安全化 S3</title>
<link>/zh/security/securings3.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/security/securings3.html</guid>
<description>Ozone 支持 S3 协议,并使用 AWS Signature Version 4 protocol which allows a seamless S3 experience.</description>
</item>
<item>
<title>Apache Ranger</title>
<link>/zh/security/securitywithranger.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/security/securitywithranger.html</guid>
<description>Apache Ranger 是一个用于管理和监控 Hadoop 平台复杂数据权限的框架。</description>
</item>
<item>
<title>Containers</title>
<link>/zh/concept/containers.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/concept/containers.html</guid>
<description>容器(Ozone的基本复制单元)的相关描述。</description>
</item>
<item>
<title>Ozone 访问控制列表</title>
<link>/zh/security/securityacls.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/security/securityacls.html</guid>
<description>Ozone 原生的授权模块提供了不需要集成 Ranger 的访问控制列表(ACL)支持。</description>
</item>
<item>
<title>Recon 服务器</title>
<link>/zh/feature/recon.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/feature/recon.html</guid>
<description>Recon 是 Ozone 中用于分析服务的网页用户界面(Web UI)</description>
</item>
<item>
<title>Recon</title>
<link>/zh/concept/recon.html</link>
<pubDate>Tue, 27 Oct 2020 00:00:00 +0000</pubDate>
<guid>/zh/concept/recon.html</guid>
<description>Recon 作为 Ozone 的管理和监视控制台。</description>
</item>
<item>
<title>简易 Ozone</title>
<link>/zh/start/startfromdockerhub.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/start/startfromdockerhub.html</guid>
<description>Requirements docker AWS CLI(可选) 所有 Ozone 服务在单个容器 启动一个 all-in-one 的 ozone 容器最简单的方法就是使用 Docker Hub 最新的 docker 镜像:
docker run -p 9878:9878 -p 9876:9876 apache/ozone 这个命令会从 Docker Hub 拉取 ozone 镜像并在一个容器中启动所有 ozone 服务,包括必要的元数据服务(Ozone Manager,Storage Container Manager)、一个数据节点和兼容 S3 的 REST 服务(S3 网关)。
Ozone 服务在多个独立的容器 如果你需要一个更类似生产环境的集群,使用 Ozone 发行包自带的 docker-compose 配置文件可以让 Ozone 服务组件在各自独立的容器中运行。
docker-compose 配置文件和一个 environment 文件已经包含在 Docker Hub 的镜像中。
下面的命令可以从镜像中获取到这两个文件:
docker run apache/ozone cat docker-compose.yaml &amp;gt; docker-compose.yaml docker run apache/ozone cat docker-config &amp;gt; docker-config 现在你可以用 docker-compose 命令来启动集群:</description>
</item>
<item>
<title>物理集群上 Ozone 的安装</title>
<link>/zh/start/onprem.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/start/onprem.html</guid>
<description>如果你想要有点挑战性,你可以在物理集群上安装 ozone。搭建一个 Ozone 集群需要了解它的各个组件,Ozone 既能和现有的 HDFS 集群并存运行,也可以独立运行。在这两种模式下,需要运行的 Ozone 组件是相同的。
Ozone 组件 Ozone Manager - 管理 Ozone 命名空间的服务,负责所有对卷、桶和键的操作。 Storage Container Manager - Ozone 中块的管理者,Ozone Manager 从 SCM 请求块,然后用户向块写入数据。 Datanodes - Ozone 的 Datanode 代码既可以运行在 HDFS 的 Datanode 内,也可以独立部署成单独的进程。 搭建一个独立 Ozone 集群 将 ozone-&amp;lt;version&amp;gt; 安装包解压到目标目录,因为 Ozone 的 jar 包需要部署到集群的所有机器上,所以你需要在所有机器上进行此操作。
Ozone 依赖名为 ozone-site.xml 的配置文件, 运行下面的命令可以在指定目录生成名为 ozone-site.xml 的配置文件模板,然后你可以将参数替换为合适的值。
ozone genconf &amp;lt;path&amp;gt; 我们来看看生成的文件(ozone-site.xml)中都有哪些参数,以及它们是如何影响 ozone 的。当各个参数都配置了合适的值之后,需要把该文件拷贝到 ozone directory/etc/hadoop。</description>
</item>
<item>
<title>在 Minikube 中运行 Ozone</title>
<link>/zh/start/minikube.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/start/minikube.html</guid>
<description>Requirements minikube kubectl ozone 发行包中的 kubernetes/examples 文件夹下包含了多种用途的 kubernetes 部署资源文件,这些资源文件默认使用 Docker Hub 上的 apache/ozone 镜像。
使用 minikube 资源集在 minikube 上进行部署:
cd kubernetes/examples/minikube kubectl apply -f . 使用下面的命令检查结果:
kubectl get pod 注意:kubernetes/exampls/minikube 资源集为 minikube 部署进行了如下优化:
即使你只有一个主机,也可以运行多个 Datanode(在实际的生产集群中,每个物理主机上通常只运行一个 Datanode) Ozone 通过不同的节点端口提供服务 访问服务 现在你可以访问 Ozone 的各个服务,minikube 资源集为每个 web 端点额外定义了一个 NodePort 服务,NodePort 服务可以通过指定端口从任意节点访问:
kubectl get svc NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE datanode ClusterIP None &amp;lt;none&amp;gt; &amp;lt;none&amp;gt; 27s kubernetes ClusterIP 10.</description>
</item>
<item>
<title>在 Kubernetes 集群上部署 Ozone</title>
<link>/zh/start/kubernetes.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/start/kubernetes.html</guid>
<description>Requirements 可用的 kubernetes 集群(LoadBalancer 和 PersistentVolume 非必需) kubectl 由于 apache/ozone 镜像可以从 Docker Hub 获取到,K8s 上的部署过程和 Minikube 上的部署过程十分相似,唯一的区别是我们为 K8s 部署准备了专门的配置 文件(比如,我们可以在每个 K8s 节点上部署一个 Datanode)。
ozone 安装包中的 kubernetes/examples 目录包含了为不同用例设计的 Kubernetes 部署资源文件。
使用 ozone 子目录进行部署:
cd kubernetes/examples/ozone kubectl apply -f . 用下面的命令检查结果:
kubectl get pod 访问 ozone 服务 现在你可以访问 ozone 的各个服务,默认情况下它们的端口并没有向外开放,不过你可以通过设置端口转发规则来开放外部访问:
kubectl port-forward s3g-0 9878:9878 kubectl port-forward scm-0 9876:9876 </description>
</item>
<item>
<title>伪集群部署 Ozone</title>
<link>/zh/start/runningviadocker.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/start/runningviadocker.html</guid>
<description>Requirements docker 和 docker-compose 下载 Ozone 二进制压缩包并解压。
进入 docker compose 文件所在的目录,执行 docker-compose 命令,你的机器会启动一个运行在后台的 ozone 伪集群。
cd compose/ozone/ docker-compose up -d 为了验证 Ozone 正常运行,我们可以登录到 Datanode 并运行 Ozone 的负载生成工具 freon。 exec datanode bash 命令会在 Datanode 上启动一个 bash,ozone freon 命令在 Datanode 所在的容器内执行,你随时可以通过 CTRL-C 退出 freon,命令行选项 rk 会让 freon 生成随机的键。
docker-compose exec datanode bash ozone freon rk 你可以通过 http://localhost:9874/ 访问 OzoneManager UI 来查看服务端处理 freon 负载的情况,以及浏览 ozone 的配置。</description>
</item>
<item>
<title>从源码构建 Ozone</title>
<link>/zh/start/fromsource.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/start/fromsource.html</guid>
<description>注意:本页面翻译的信息可能滞后,最新的信息请参看英文版的相关页面。
Requirements Java 1.8 Maven 本文档是关于从源码构建 Ozone 的指南,如果你不打算亲自这么做,你大可放心地跳过本页。 如果你十分了解 Hadoop,并且熟悉 Apache 之道,那你应当知道 Apache 发行包的精髓在于源代码。
从源码构建 ozone 只需要解压源码压缩包然后运行构建命令即可,下面这条命令假设你的机器上拥有构建 Hadoop 所需的所有环境,如果你需要构建 Hadoop 的指南,请查看 Apache Hadoop 网站。
mvn clean package -DskipTests=true 命令执行完成后,hadoop-ozone/dist/target 目录下会生成一个 ozone-&amp;lt;version&amp;gt;.tar.gz 文件。
你可以拷贝和使用这个压缩包来替代官方发行的二进制包。
构建结果测试 为了确保从源码构建出的二进制包可用,你可以运行 hadoop-zone 目录下的验收测试集,测试方法请参照 smoketest 目录下的 READMD.md 说明。
cd smoketest ./test.sh 你也可以只执行最基本的验收测试:
cd smoketest ./test.sh --env ozone basic 验收测试会启动一个基于 docker-compose 的小型 ozone 集群,然后验证 ozone shell 和文件系统是否完全可用。</description>
</item>
<item>
<title>配置生成</title>
<link>/zh/tools/genconf.html</link>
<pubDate>Tue, 18 Dec 2018 00:00:00 +0000</pubDate>
<guid>/zh/tools/genconf.html</guid>
<description>用于生成默认配置的工具</description>
</item>
<item>
<title>审计解析器</title>
<link>/zh/tools/auditparser.html</link>
<pubDate>Mon, 17 Dec 2018 00:00:00 +0000</pubDate>
<guid>/zh/tools/auditparser.html</guid>
<description>审计解析器工具用来查看 Ozone 的审计日志。</description>
</item>
<item>
<title>使用 Prometheus 监控</title>
<link>/zh/recipe/prometheus.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/recipe/prometheus.html</guid>
<description>使用 Prometheus 监控 Ozone 的简要说明</description>
</item>
<item>
<title>Kubernetes 上运行 Spark 和 OzoneFS</title>
<link>/zh/recipe/sparkozonefsk8s.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/recipe/sparkozonefsk8s.html</guid>
<description>如何在 K8s 上通过 Apache Spark 使用 Ozone ?</description>
</item>
<item>
<title>测试工具</title>
<link>/zh/tools/testtools.html</link>
<pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
<guid>/zh/tools/testtools.html</guid>
<description>Ozone 提供了负载生成、网络分片测试、验收测试等多种测试工具。</description>
</item>
</channel>
</rss>