Google Git
Sign in
apache / hadoop / refs/heads/branch-0.19 / . / docs / cn / hdfs_user_guide.html
blob: 06995049452cdc5fae51dbad2c58c498c2394331 [file] [log] [blame]
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<META http-equiv="Content-Type" content="text/html; charset=UTF-8">
<meta content="Apache Forrest" name="Generator">
<meta name="Forrest-version" content="0.8">
<meta name="Forrest-skin-name" content="pelt">
<title>
Hadoop分布式文件系统使用指南
</title>
<link type="text/css" href="skin/basic.css" rel="stylesheet">
<link media="screen" type="text/css" href="skin/screen.css" rel="stylesheet">
<link media="print" type="text/css" href="skin/print.css" rel="stylesheet">
<link type="text/css" href="skin/profile.css" rel="stylesheet">
<script src="skin/getBlank.js" language="javascript" type="text/javascript"></script><script src="skin/getMenu.js" language="javascript" type="text/javascript"></script><script src="skin/fontsize.js" language="javascript" type="text/javascript"></script>
<link rel="shortcut icon" href="images/favicon.ico">
</head>
<body onload="init()">
<script type="text/javascript">ndeSetTextSize();</script>
<div id="top">
<!--+
|breadtrail
+-->
<div class="breadtrail">
<a href="http://www.apache.org/">Apache</a> &gt; <a href="http://hadoop.apache.org/">Hadoop</a> &gt; <a href="http://hadoop.apache.org/core/">Core</a><script src="skin/breadcrumbs.js" language="JavaScript" type="text/javascript"></script>
</div>
<!--+
|header
+-->
<div class="header">
<!--+
|start group logo
+-->
<div class="grouplogo">
<a href="http://hadoop.apache.org/"><img class="logoImage" alt="Hadoop" src="images/hadoop-logo.jpg" title="Apache Hadoop"></a>
</div>
<!--+
|end group logo
+-->
<!--+
|start Project Logo
+-->
<div class="projectlogo">
<a href="http://hadoop.apache.org/core/"><img class="logoImage" alt="Hadoop" src="images/core-logo.gif" title="Scalable Computing Platform"></a>
</div>
<!--+
|end Project Logo
+-->
<!--+
|start Search
+-->
<div class="searchbox">
<form action="http://www.google.com/search" method="get" class="roundtopsmall">
<input value="hadoop.apache.org" name="sitesearch" type="hidden"><input onFocus="getBlank (this, 'Search the site with google');" size="25" name="q" id="query" type="text" value="Search the site with google">&nbsp;
<input name="Search" value="Search" type="submit">
</form>
</div>
<!--+
|end search
+-->
<!--+
|start Tabs
+-->
<ul id="tabs">
<li>
<a class="unselected" href="http://hadoop.apache.org/core/">项目</a>
</li>
<li>
<a class="unselected" href="http://wiki.apache.org/hadoop">维基</a>
</li>
<li class="current">
<a class="selected" href="index.html">Hadoop 0.18文档</a>
</li>
</ul>
<!--+
|end Tabs
+-->
</div>
</div>
<div id="main">
<div id="publishedStrip">
<!--+
|start Subtabs
+-->
<div id="level2tabs"></div>
<!--+
|end Endtabs
+-->
<script type="text/javascript"><!--
document.write("Last Published: " + document.lastModified);
// --></script>
</div>
<!--+
|breadtrail
+-->
<div class="breadtrail">
&nbsp;
</div>
<!--+
|start Menu, mainarea
+-->
<!--+
|start Menu
+-->
<div id="menu">
<div onclick="SwitchMenu('menu_selected_1.1', 'skin/')" id="menu_selected_1.1Title" class="menutitle" style="background-image: url('skin/images/chapter_open.gif');">文档</div>
<div id="menu_selected_1.1" class="selectedmenuitemgroup" style="display: block;">
<div class="menuitem">
<a href="index.html">概述</a>
</div>
<div class="menuitem">
<a href="quickstart.html">快速入门</a>
</div>
<div class="menuitem">
<a href="cluster_setup.html">集群搭建</a>
</div>
<div class="menuitem">
<a href="hdfs_design.html">HDFS构架设计</a>
</div>
<div class="menupage">
<div class="menupagetitle">HDFS使用指南</div>
</div>
<div class="menuitem">
<a href="hdfs_permissions_guide.html">HDFS权限指南</a>
</div>
<div class="menuitem">
<a href="hdfs_quota_admin_guide.html">HDFS配额管理指南</a>
</div>
<div class="menuitem">
<a href="commands_manual.html">命令手册</a>
</div>
<div class="menuitem">
<a href="hdfs_shell.html">FS Shell使用指南</a>
</div>
<div class="menuitem">
<a href="distcp.html">DistCp使用指南</a>
</div>
<div class="menuitem">
<a href="mapred_tutorial.html">Map-Reduce教程</a>
</div>
<div class="menuitem">
<a href="native_libraries.html">Hadoop本地库</a>
</div>
<div class="menuitem">
<a href="streaming.html">Streaming</a>
</div>
<div class="menuitem">
<a href="hadoop_archives.html">Hadoop Archives</a>
</div>
<div class="menuitem">
<a href="hod.html">Hadoop On Demand</a>
</div>
<div class="menuitem">
<a href="http://hadoop.apache.org/core/docs/r0.18.2/api/index.html">API参考</a>
</div>
<div class="menuitem">
<a href="http://hadoop.apache.org/core/docs/r0.18.2/jdiff/changes.html">API Changes</a>
</div>
<div class="menuitem">
<a href="http://wiki.apache.org/hadoop/">维基</a>
</div>
<div class="menuitem">
<a href="http://wiki.apache.org/hadoop/FAQ">常见问题</a>
</div>
<div class="menuitem">
<a href="http://hadoop.apache.org/core/mailing_lists.html">邮件列表</a>
</div>
<div class="menuitem">
<a href="http://hadoop.apache.org/core/docs/r0.18.2/releasenotes.html">发行说明</a>
</div>
<div class="menuitem">
<a href="http://hadoop.apache.org/core/docs/r0.18.2/changes.html">变更日志</a>
</div>
</div>
<div id="credit"></div>
<div id="roundbottom">
<img style="display: none" class="corner" height="15" width="15" alt="" src="skin/images/rc-b-l-15-1body-2menu-3menu.png"></div>
<!--+
|alternative credits
+-->
<div id="credit2"></div>
</div>
<!--+
|end Menu
+-->
<!--+
|start content
+-->
<div id="content">
<div title="Portable Document Format" class="pdflink">
<a class="dida" href="hdfs_user_guide.pdf"><img alt="PDF -icon" src="skin/images/pdfdoc.gif" class="skin"><br>
PDF</a>
</div>
<h1>
Hadoop分布式文件系统使用指南
</h1>
<div id="minitoc-area">
<ul class="minitoc">
<li>
<a href="#%E7%9B%AE%E7%9A%84">目的</a>
</li>
<li>
<a href="#%E6%A6%82%E8%BF%B0"> 概述 </a>
</li>
<li>
<a href="#%E5%85%88%E5%86%B3%E6%9D%A1%E4%BB%B6"> 先决条件 </a>
</li>
<li>
<a href="#Web%E6%8E%A5%E5%8F%A3"> Web接口 </a>
</li>
<li>
<a href="#Shell%E5%91%BD%E4%BB%A4">Shell命令</a>
<ul class="minitoc">
<li>
<a href="#DFSAdmin%E5%91%BD%E4%BB%A4"> DFSAdmin命令 </a>
</li>
</ul>
</li>
<li>
<a href="#Secondary+NameNode"> Secondary NameNode </a>
</li>
<li>
<a href="#Rebalancer"> Rebalancer </a>
</li>
<li>
<a href="#%E6%9C%BA%E6%9E%B6%E6%84%9F%E7%9F%A5%EF%BC%88Rack+awareness%EF%BC%89"> 机架感知（Rack awareness） </a>
</li>
<li>
<a href="#%E5%AE%89%E5%85%A8%E6%A8%A1%E5%BC%8F"> 安全模式 </a>
</li>
<li>
<a href="#fsck"> fsck </a>
</li>
<li>
<a href="#%E5%8D%87%E7%BA%A7%E5%92%8C%E5%9B%9E%E6%BB%9A"> 升级和回滚 </a>
</li>
<li>
<a href="#%E6%96%87%E4%BB%B6%E6%9D%83%E9%99%90%E5%92%8C%E5%AE%89%E5%85%A8%E6%80%A7"> 文件权限和安全性 </a>
</li>
<li>
<a href="#%E5%8F%AF%E6%89%A9%E5%B1%95%E6%80%A7"> 可扩展性 </a>
</li>
<li>
<a href="#%E7%9B%B8%E5%85%B3%E6%96%87%E6%A1%A3"> 相关文档 </a>
</li>
</ul>
</div>
<a name="N1000F"></a><a name="%E7%9B%AE%E7%9A%84"></a>
<h2 class="h3">目的</h2>
<div class="section">
<p>
本文档的目标是为Hadoop分布式文件系统（HDFS）的用户提供一个学习的起点，这里的HDFS既可以作为<a href="http://hadoop.apache.org/">Hadoop</a>集群的一部分，也可以作为一个独立的分布式文件系统。虽然HDFS在很多环境下被设计成是可正确工作的，但是了解HDFS的工作原理对在特定集群上改进HDFS的运行性能和错误诊断都有极大的帮助。
</p>
</div>
<!--DCCOMMENT:diff end
@@ -23,18 +23,18 @@
<header>
<title>
- Hadoop DFS User Guide
+ HDFS User Guide
</title>
</header>
<body>
<section> <title>Purpose</title>
<p>
- This document aims to be the starting point for users working with
+ This document is a starting point for users working with
Hadoop Distributed File System (HDFS) either as a part of a
<a href="http://hadoop.apache.org/">Hadoop</a>
cluster or as a stand-alone general purpose distributed file system.
- While HDFS is designed to "just-work" in many environments, a working
+ While HDFS is designed to "just work" in many environments, a working
knowledge of HDFS helps greatly with configuration improvements and
diagnostics on a specific cluster.
</p>
-->
<!--DCCOMMENT:begin-->
<a name="N10021"></a><a name="%E6%A6%82%E8%BF%B0"></a>
<h2 class="h3"> 概述 </h2>
<div class="section">
<p>
HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成：Namenode管理文件系统的元数据，而Datanode存储了实际的数据。HDFS的体系结构在<a href="hdfs_design.html">这里</a>有详细的描述。本文档主要关注用户以及管理员怎样和HDFS进行交互。<a href="hdfs_design.html">HDFS架构设计</a>中的<a href="images/hdfsarchitecture.gif">图解</a>描述了Namenode、Datanode和客户端之间的基本的交互操作。基本上，客户端联系Namenode以获取文件的元数据或修饰属性，而真正的文件I/O操作是直接和Datanode进行交互的。
</p>
<p>
下面列出了一些多数用户都比较感兴趣的重要特性。
</p>
<ul>
<li>
<!--DCCOMMENT:end
note:all tag "<em>" has been deleted in this doc.
@@ -43,21 +43,20 @@
<section> <title> Overview </title>
<p>
HDFS is the primary distributed storage used by Hadoop applications. A
- HDFS cluster primarily consists of a <em>NameNode</em> that manages the
- filesystem metadata and Datanodes that store the actual data. The
+ HDFS cluster primarily consists of a NameNode that manages the
+ file system metadata and DataNodes that store the actual data. The
architecture of HDFS is described in detail
<a href="hdfs_design.html">here</a>. This user guide primarily deals with
interaction of users and administrators with HDFS clusters.
The <a href="images/hdfsarchitecture.gif">diagram</a> from
<a href="hdfs_design.html">HDFS architecture</a> depicts
- basic interactions among Namenode, Datanodes, and the clients. Eseentially,
- clients contact Namenode for file metadata or file modifications and perform
- actual file I/O directly with the datanodes.
+ basic interactions among NameNode, the DataNodes, and the clients.
+ Clients contact NameNode for file metadata or file modifications and perform
+ actual file I/O directly with the DataNodes.
</p>
<p>
The following are some of the salient features that could be of
- interest to many users. The terms in <em>italics</em>
- are described in later sections.
+ interest to many users.
</p>
<ul>
<li>
-->
Hadoop（包括HDFS）非常适合在商用硬件（commodity hardware）上做分布式存储和计算，因为它不仅具有容错性和可扩展性，而且非常易于扩展。<a href="mapred_tutorial.html">Map-Reduce</a>框架以其在大型分布式系统应用上的简单性和可用性而著称，这个框架已经被集成进Hadoop中。
</li>
<li>
HDFS的可配置性极高，同时，它的默认配置能够满足很多的安装环境。多数情况下，这些参数只在非常大规模的集群环境下才需要调整。
</li>
<!--DCCOMMENT:diff begin-->
<li>
用Java语言开发，支持所有的主流平台。
</li>
<li>
支持类Shell命令，可直接和HDFS进行交互。
</li>
<li>
NameNode和DataNode有内置的Web服务器，方便用户检查集群的当前状态。
</li>
<!--DCCOMMENT:diff end
@@ -74,13 +73,13 @@
needs to be tuned only for very large clusters.
</li>
<li>
- It is written in Java and is supported on all major platforms.
+ Hadoop is written in Java and is supported on all major platforms.
</li>
<li>
- Supports <em>shell like commands</em> to interact with HDFS directly.
+ Hadoop supports shell-like commands to interact with HDFS directly.
</li>
<li>
- Namenode and Datanodes have built in web servers that makes it
+ The NameNode and Datanodes have built in web servers that makes it
easy to check current status of the cluster.
</li>
<li>
-->
<li>
新特性和改进会定期加入HDFS的实现中。下面列出的是HDFS中常用特性的一部分：
<ul>
<li>
文件权限和授权。
</li>
<li>
机架感知（Rack awareness）：在调度任务和分配存储空间时考虑节点的物理位置。
</li>
<li>
安全模式：一种维护需要的管理模式。
</li>
<li>
fsck：一个诊断文件系统健康状况的工具，能够发现丢失的文件或数据块。
</li>
<li>
Rebalancer：当datanode之间数据不均衡时，平衡集群上的数据负载。
</li>
<li>
升级和回滚：在软件更新后有异常发生的情形下，能够回滚到HDFS升级之前的状态。
</li>
<li>
Secondary Namenode：对文件系统名字空间执行周期性的检查点，将Namenode上HDFS改动日志文件的大小控制在某个特定的限度下。
</li>
</ul>
</li>
</ul>
</div>
<a name="N10071"></a><a name="%E5%85%88%E5%86%B3%E6%9D%A1%E4%BB%B6"></a>
<h2 class="h3"> 先决条件 </h2>
<div class="section">
<p>
下面的文档描述了如何安装和搭建Hadoop集群：
</p>
<ul>
<li>
<a href="quickstart.html">Hadoop快速入门</a>
针对初次使用者。
</li>
<li>
<a href="cluster_setup.html">Hadoop集群搭建</a>
针对大规模分布式集群的搭建。
</li>
</ul>
<p>
文档余下部分假设用户已经安装并运行了至少包含一个Datanode节点的HDFS。就本文目的来说，Namenode和Datanode可以运行在同一个物理主机上。
</p>
</div>
<a name="N1008F"></a><a name="Web%E6%8E%A5%E5%8F%A3"></a>
<h2 class="h3"> Web接口 </h2>
<div class="section">
<p>
NameNode和DataNode各自启动了一个内置的Web服务器，显示了集群当前的基本状态和信息。在默认配置下NameNode的首页地址是<span class="codefrag">http://namenode-name:50070/</span>。这个页面列出了集群里的所有DataNode和集群的基本状态。这个Web接口也可以用来浏览整个文件系统（使用NameNode首页上的"Browse the file system"链接）。
</p>
</div>
<a name="N100A2"></a><a name="Shell%E5%91%BD%E4%BB%A4"></a>
<h2 class="h3">Shell命令</h2>
<div class="section">
<p>Hadoop包括一系列的类shell的命令，可直接和HDFS以及其他Hadoop支持的文件系统进行交互。<span class="codefrag">bin/hadoop fs -help</span> 命令列出所有Hadoop Shell支持的命令。而 <span class="codefrag">bin/hadoop fs -help command-name</span> 命令能显示关于某个命令的详细信息。这些命令支持大多数普通文件系统的操作，比如复制文件、改变文件权限等。它还支持一些HDFS特有的操作，比如改变文件副本数目。
</p>
<a name="N100B3"></a><a name="DFSAdmin%E5%91%BD%E4%BB%A4"></a>
<h3 class="h4"> DFSAdmin命令 </h3>
<p>
<span class="codefrag">'bin/hadoop dfsadmin'</span> 命令支持一些和HDFS管理相关的操作。<span class="codefrag">bin/hadoop dfsadmin -help</span> 命令能列出所有当前支持的命令。比如：
</p>
<ul>
<li>
<!--DCCOMMENT:diff begin-->
<span class="codefrag">-report</span>：报告HDFS的基本统计信息。有些信息也可以在NameNode Web服务首页看到。
<!--DCCOMMENT:diff end
note: "Namenode" is replaced by "NameNode" in this doc
<li>
<code>-report</code>
- : reports basic stats of HDFS. Some of this information is
- also available on the Namenode front page.
+ : reports basic statistics of HDFS. Some of this information is
+ also available on the NameNode front page.
</li>
-->
</li>
<li>
<span class="codefrag">-safemode</span>：虽然通常并不需要，但是管理员的确可以手动让NameNode进入或离开安全模式。
</li>
<li>
<span class="codefrag">-finalizeUpgrade</span>：删除上一次升级时制作的集群备份。
</li>
</ul>
</div>
<a name="N100DD"></a><a name="Secondary+NameNode"></a>
<h2 class="h3"> Secondary NameNode </h2>
<div class="section">
<p>NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（<span class="codefrag">edits</span>）。当一个NameNode启动时，它首先从一个映像文件（<span class="codefrag">fsimage</span>）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（<span class="codefrag">fsimage</span>）中，并使用一个空的edits文件开始正常操作。因为NameNode只有在启动阶段才合并<span class="codefrag">fsimage</span>和<span class="codefrag">edits</span>，所以久而久之日志文件可能会变得非常庞大，特别是对大型的集群。日志文件太大的另一个副作用是下一次NameNode启动会花很长时间。
</p>
<p>
Secondary NameNode定期合并fsimage和edits日志，将edits日志文件大小控制在一个限度下。因为内存需求和NameNode在一个数量级上，所以通常secondary NameNode和NameNode运行在不同的机器上。Secondary NameNode通过<span class="codefrag">bin/start-dfs.sh</span>在<span class="codefrag">conf/masters</span>中指定的节点上启动。
</p>
<p>
Secondary NameNode的检查点进程启动，是由两个配置参数控制的：
</p>
<ul>
<li>
<span class="codefrag">fs.checkpoint.period</span>，指定连续两次检查点的最大时间间隔，
默认值是1小时。
</li>
<li>
<span class="codefrag">fs.checkpoint.size</span>定义了edits日志文件的最大值，一旦超过这个值会导致强制执行检查点（即使没到检查点的最大时间间隔）。默认值是64MB。
</li>
</ul>
<p>
Secondary NameNode保存最新检查点的目录与NameNode的目录结构相同。
所以NameNode可以在需要的时候读取Secondary NameNode上的检查点镜像。
</p>
<p>
如果NameNode上除了最新的检查点以外，所有的其他的历史镜像和edits文件都丢失了，
NameNode可以引入这个最新的检查点。以下操作可以实现这个功能：
</p>
<ul>
<li>
在配置参数<span class="codefrag">dfs.name.dir</span>指定的位置建立一个空文件夹；
</li>
<li>
把检查点目录的位置赋值给配置参数<span class="codefrag">fs.checkpoint.dir</span>；
</li>
<li>
启动NameNode，并加上<span class="codefrag">-importCheckpoint</span>。
</li>
</ul>
<p>
NameNode会从<span class="codefrag">fs.checkpoint.dir</span>目录读取检查点，
并把它保存在<span class="codefrag">dfs.name.dir</span>目录下。
如果<span class="codefrag">dfs.name.dir</span>目录下有合法的镜像文件，NameNode会启动失败。
NameNode会检查<span class="codefrag">fs.checkpoint.dir</span>目录下镜像文件的一致性，但是不会去改动它。
</p>
<p>
命令的使用方法请参考<a href="commands_manual.html#secondarynamenode"><span class="codefrag">secondarynamenode</span> 命令</a>.
</p>
</div>
<a name="N10148"></a><a name="Rebalancer"></a>
<h2 class="h3"> Rebalancer </h2>
<div class="section">
<p>
HDFS的数据也许并不是非常均匀的分布在各个DataNode中。一个常见的原因是在现有的集群上经常会增添新的DataNode节点。当新增一个数据块（一个文件的数据被保存在一系列的块中）时，NameNode在选择DataNode接收这个数据块之前，会考虑到很多因素。其中的一些考虑的是：
</p>
<ul>
<li>
将数据块的一个副本放在正在写这个数据块的节点上。
</li>
<li>
尽量将数据块的不同副本分布在不同的机架上，这样集群可在完全失去某一机架的情况下还能存活。
</li>
<li>
一个副本通常被放置在和写文件的节点同一机架的某个节点上，这样可以减少跨越机架的网络I/O。
</li>
<li>
尽量均匀地将HDFS数据分布在集群的DataNode中。
</li>
</ul>
<p>
由于上述多种考虑需要取舍，数据可能并不会均匀分布在DataNode中。HDFS为管理员提供了一个工具，用于分析数据块分布和重新平衡DataNode上的数据分布。<a href="http://issues.apache.org/jira/browse/HADOOP-1652">HADOOP-1652</a>的附件中的一个<a href="http://issues.apache.org/jira/secure/attachment/12368261/RebalanceDesign6.pdf">PDF</a>是一个简要的rebalancer管理员指南。
</p>
<p>
使用方法请参考<a href="commands_manual.html#balancer">balancer 命令</a>.
</p>
</div>
<a name="N1017B"></a><a name="%E6%9C%BA%E6%9E%B6%E6%84%9F%E7%9F%A5%EF%BC%88Rack+awareness%EF%BC%89"></a>
<h2 class="h3"> 机架感知（Rack awareness） </h2>
<div class="section">
<p>
通常，大型Hadoop集群是以机架的形式来组织的，同一个机架上不同节点间的网络状况比不同机架之间的更为理想。另外，NameNode设法将数据块副本保存在不同的机架上以提高容错性。Hadoop允许集群的管理员通过配置<span class="codefrag">dfs.network.script</span>参数来确定节点所处的机架。当这个脚本配置完毕，每个节点都会运行这个脚本来获取它的机架ID。默认的安装假定所有的节点属于同一个机架。这个特性及其配置参数在<a href="http://issues.apache.org/jira/browse/HADOOP-692">HADOOP-692</a>所附的<a href="http://issues.apache.org/jira/secure/attachment/12345251/Rack_aware_HDFS_proposal.pdf">PDF</a>上有更详细的描述。
</p>
</div>
<a name="N10190"></a><a name="%E5%AE%89%E5%85%A8%E6%A8%A1%E5%BC%8F"></a>
<h2 class="h3"> 安全模式 </h2>
<div class="section">
<p>
NameNode启动时会从fsimage和edits日志文件中装载文件系统的状态信息，接着它等待各个DataNode向它报告它们各自的数据块状态，这样，NameNode就不会过早地开始复制数据块，即使在副本充足的情况下。这个阶段，NameNode处于安全模式下。NameNode的安全模式本质上是HDFS集群的一种只读模式，此时集群不允许任何对文件系统或者数据块修改的操作。通常NameNode会在开始阶段自动地退出安全模式。如果需要，你也可以通过<span class="codefrag">'bin/hadoop dfsadmin -safemode'</span>命令显式地将HDFS置于安全模式。NameNode首页会显示当前是否处于安全模式。关于安全模式的更多介绍和配置信息请参考JavaDoc：<a href="http://hadoop.apache.org/core/docs/current/api/org/apache/hadoop/dfs/NameNode.html#setSafeMode(org.apache.hadoop.dfs.FSConstants.SafeModeAction)"><span class="codefrag">setSafeMode()</span></a>。
</p>
</div>
<a name="N101A2"></a><a name="fsck"></a>
<h2 class="h3"> fsck </h2>
<div class="section">
<p>
HDFS支持<span class="codefrag">fsck</span>命令来检查系统中的各种不一致状况。这个命令被设计来报告各种文件存在的问题，比如文件缺少数据块或者副本数目不够。不同于在本地文件系统上传统的fsck工具，这个命令并不会修正它检测到的错误。一般来说，NameNode会自动修正大多数可恢复的错误。HDFS的fsck不是一个Hadoop shell命令。它通过'<span class="codefrag">bin/hadoop fsck</span>'执行。
<!--DCCOMMENT:diff begin-->
命令的使用方法请参考<a href="commands_manual.html#fsck"><span class="codefrag">fsck</span>命令</a>
<span class="codefrag">fsck</span>可用来检查整个文件系统，也可以只检查部分文件。
<!--DCCOMMENT:diff end
Hadoop shell command. It can be run as '<code>bin/hadoop fsck</code>'.
- Fsck can be run on the whole filesystem or on a subset of files.
+ For command usage, see <a href="commands_manual.html#fsck"><code>fsck</code> command</a>.
+ <code>fsck</code> can be run on the whole file system or on a subset of files.
</p>
-->
</p>
</div>
<a name="N101BF"></a><a name="%E5%8D%87%E7%BA%A7%E5%92%8C%E5%9B%9E%E6%BB%9A"></a>
<h2 class="h3"> 升级和回滚 </h2>
<div class="section">
<p>当在一个已有集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响到现有应用的非兼容性变更出现。在任何有实际意义的HDSF系统上，丢失数据是不被允许的，更不用说重新搭建启动HDFS了。HDFS允许管理员退回到之前的Hadoop版本，并将集群的状态回滚到升级之前。更多关于HDFS升级的细节在<a href="http://wiki.apache.org/hadoop/Hadoop%20Upgrade">升级wiki</a>上可以找到。HDFS在一个时间可以有一个这样的备份。在升级之前，管理员需要用<span class="codefrag">bin/hadoop dfsadmin -finalizeUpgrade</span>（升级终结操作）命令删除存在的备份文件。下面简单介绍一下一般的升级过程：
</p>
<ul>
<li>升级 Hadoop 软件之前，请检查是否已经存在一个备份，如果存在，可执行升级终结操作删除这个备份。通过<span class="codefrag">dfsadmin -upgradeProgress status</span>命令能够知道是否需要对一个集群执行升级终结操作。</li>
<li>停止集群并部署新版本的Hadoop。</li>
<li>使用<span class="codefrag">-upgrade</span>选项运行新的版本（<span class="codefrag">bin/start-dfs.sh -upgrade</span>）。
</li>
<li>在大多数情况下，集群都能够正常运行。一旦我们认为新的HDFS运行正常（也许经过几天的操作之后），就可以对之执行升级终结操作。注意，在对一个集群执行升级终结操作之前，删除那些升级前就已经存在的文件并不会真正地释放DataNodes上的磁盘空间。</li>
<li>如果需要退回到老版本，
<ul>
<li>停止集群并且部署老版本的Hadoop。</li>
<li>用回滚选项启动集群（<span class="codefrag">bin/start-dfs.h -rollback</span>）。</li>
</ul>
</li>
</ul>
</div>
<a name="N101F7"></a><a name="%E6%96%87%E4%BB%B6%E6%9D%83%E9%99%90%E5%92%8C%E5%AE%89%E5%85%A8%E6%80%A7"></a>
<h2 class="h3"> 文件权限和安全性 </h2>
<div class="section">
<p>
这里的文件权限和其他常见平台如Linux的文件权限类似。目前，安全性仅限于简单的文件权限。启动NameNode的用户被视为HDFS的超级用户。HDFS以后的版本将会支持网络验证协议（比如Kerberos）来对用户身份进行验证和对数据进行加密传输。具体的细节请参考<a href="hdfs_permissions_guide.html">权限使用管理指南</a>。
</p>
</div>
<a name="N10205"></a><a name="%E5%8F%AF%E6%89%A9%E5%B1%95%E6%80%A7"></a>
<h2 class="h3"> 可扩展性 </h2>
<div class="section">
<p>
现在，Hadoop已经运行在上千个节点的集群上。<a href="http://wiki.apache.org/hadoop/PoweredBy">Powered By Hadoop</a>页面列出了一些已将Hadoop部署在他们的大型集群上的组织。HDFS集群只有一个NameNode节点。目前，NameNode上可用内存大小是一个主要的扩展限制。在超大型的集群中，增大HDFS存储文件的平均大小能够增大集群的规模，而不需要增加NameNode的内存。默认配置也许并不适合超大规模的集群。<a href="http://wiki.apache.org/hadoop/FAQ">Hadoop FAQ</a>页面列举了针对大型Hadoop集群的配置改进。</p>
</div>
<a name="N10217"></a><a name="%E7%9B%B8%E5%85%B3%E6%96%87%E6%A1%A3"></a>
<h2 class="h3"> 相关文档 </h2>
<div class="section">
<p>
这个用户手册给用户提供了一个学习和使用HDSF文件系统的起点。本文档会不断地进行改进，同时，用户也可以参考更多的Hadoop和HDFS文档。下面的列表是用户继续学习的起点：
</p>
<ul>
<li>
<a href="http://hadoop.apache.org/">Hadoop官方主页</a>：所有Hadoop相关的起始页。
</li>
<li>
<a href="http://wiki.apache.org/hadoop/FrontPage">Hadoop Wiki</a>：Hadoop Wiki文档首页。这个指南是Hadoop代码树中的一部分，与此不同，Hadoop Wiki是由Hadoop社区定期编辑的。
</li>
<li>Hadoop Wiki上的<a href="http://wiki.apache.org/hadoop/FAQ">FAQ</a>。
</li>
<li>Hadoop <a href="http://hadoop.apache.org/core/docs/current/api/">JavaDoc API</a>。</li>
<li>Hadoop用户邮件列表：<a href="mailto:core-user@hadoop.apache.org">core-user[at]hadoop.apache.org</a>。</li>
<li>查看<span class="codefrag">conf/hadoop-default.xml</span>文件。这里包括了大多数配置参数的简要描述。</li>
<li>
<a href="commands_manual.html">命令手册</a>：命令使用说明。
</li>
<!--DCCOMMENT:diff begin-->
<!--DCCOMMENT:diff end
@@ -411,6 +469,10 @@
It includes brief
description of most of the configuration variables available.
</li>
+ <li>
+ <a href="commands_manual.html">Commands Manual</a>
+ : commands usage.
+ </li>
</ul>
</section>
-->
</ul>
</div>
</div>
<!--+
|end content
+-->
<div class="clearboth">&nbsp;</div>
</div>
<div id="footer">
<!--+
|start bottomstrip
+-->
<div class="lastmodified">
<script type="text/javascript"><!--
document.write("Last Published: " + document.lastModified);
// --></script>
</div>
<div class="copyright">
Copyright &copy;
2007 <a href="http://www.apache.org/licenses/">The Apache Software Foundation.</a>
</div>
<!--+
|end bottomstrip
+-->
</div>
</body>
</html>