| <?xml version="1.0"?> |
| <!-- |
| Licensed to the Apache Software Foundation (ASF) under one or more |
| contributor license agreements. See the NOTICE file distributed with |
| this work for additional information regarding copyright ownership. |
| The ASF licenses this file to You under the Apache License, Version 2.0 |
| (the "License"); you may not use this file except in compliance with |
| the License. You may obtain a copy of the License at |
| |
| http://www.apache.org/licenses/LICENSE-2.0 |
| |
| Unless required by applicable law or agreed to in writing, software |
| distributed under the License is distributed on an "AS IS" BASIS, |
| WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. |
| See the License for the specific language governing permissions and |
| limitations under the License. |
| --> |
| |
| <!DOCTYPE document PUBLIC "-//APACHE//DTD Documentation V2.0//EN" "http://forrest.apache.org/dtd/document-v20.dtd"> |
| <document> |
| <header> |
| <title>命令手册</title> |
| </header> |
| |
| <body> |
| <section> |
| <title>概述</title> |
| <p> |
| 所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 |
| </p> |
| <p> |
| <code>用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]</code> |
| </p> |
| <p> |
| Hadoop有一个选项解析框架用于解析一般的选项和运行类。 |
| </p> |
| <table> |
| <tr><th> 命令选项 </th><th> 描述 </th></tr> |
| |
| <tr> |
| <td><code>--config confdir</code></td> |
| <td>覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。</td> |
| </tr> |
| <tr> |
| <td><code>GENERIC_OPTIONS</code></td> |
| <td>多个命令都支持的通用选项。</td> |
| </tr> |
| <tr> |
| <td><code>COMMAND</code><br/><code>命令选项S</code></td> |
| <td>各种各样的命令和它们的选项会在下面提到。这些命令被分为 |
| <a href="commands_manual.html#用户命令">用户命令</a> |
| <a href="commands_manual.html#管理命令">管理命令</a>两组。</td> |
| </tr> |
| </table> |
| <section> |
| <title>常规选项</title> |
| <p> |
| 下面的选项被 |
| <a href="commands_manual.html#dfsadmin">dfsadmin</a>, |
| <a href="commands_manual.html#fs">fs</a>, <a href="commands_manual.html#fsck">fsck</a>和 |
| <a href="commands_manual.html#job">job</a>支持。 |
| 应用程序要实现 |
| <a href="ext:api/org/apache/hadoop/util/tool">Tool</a>来支持 |
| <a href="ext:api/org/apache/hadoop/util/genericoptionsparser"> |
| 常规选项</a>。 |
| </p> |
| <table> |
| <tr><th> GENERIC_OPTION </th><th> 描述 </th></tr> |
| |
| <tr> |
| <td><code>-conf <configuration file></code></td> |
| <td>指定应用程序的配置文件。</td> |
| </tr> |
| <tr> |
| <td><code>-D <property=value></code></td> |
| <td>为指定property指定值value。</td> |
| </tr> |
| <tr> |
| <td><code>-fs <local|namenode:port></code></td> |
| <td>指定namenode。</td> |
| </tr> |
| <tr> |
| <td><code>-jt <local|jobtracker:port></code></td> |
| <td>指定job tracker。只适用于<a href="commands_manual.html#job">job</a>。</td> |
| </tr> |
| <tr> |
| <td><code>-files <逗号分隔的文件列表></code></td> |
| <td>指定要拷贝到map reduce集群的文件的逗号分隔的列表。 |
| 只适用于<a href="commands_manual.html#job">job</a>。</td> |
| </tr> |
| <tr> |
| <td><code>-libjars <逗号分隔的jar列表></code></td> |
| <td>指定要包含到classpath中的jar文件的逗号分隔的列表。 |
| 只适用于<a href="commands_manual.html#job">job</a>。</td> |
| </tr> |
| <tr> |
| <td><code>-archives <逗号分隔的archive列表></code></td> |
| <td>指定要被解压到计算节点上的档案文件的逗号分割的列表。 |
| 只适用于<a href="commands_manual.html#job">job</a>。</td> |
| </tr> |
| </table> |
| </section> |
| </section> |
| |
| <section> |
| <title> 用户命令 </title> |
| <p>hadoop集群用户的常用命令。</p> |
| <section> |
| <title> archive </title> |
| <p> |
| 创建一个hadoop档案文件。参考 <a href="hadoop_archives.html">Hadoop Archives</a>. |
| </p> |
| <p> |
| <code>用法：hadoop archive -archiveName NAME <src>* <dest></code> |
| </p> |
| <table> |
| <tr><th> 命令选项 </th><th> 描述</th></tr> |
| <tr> |
| <td><code>-archiveName NAME</code></td> |
| <td>要创建的档案的名字。</td> |
| </tr> |
| <tr> |
| <td><code>src</code></td> |
| <td>文件系统的路径名，和通常含正则表达的一样。</td> |
| </tr> |
| <tr> |
| <td><code>dest</code></td> |
| <td>保存档案文件的目标目录。</td> |
| </tr> |
| </table> |
| </section> |
| |
| <section> |
| <title> distcp </title> |
| <p> |
| 递归地拷贝文件或目录。参考<a href="distcp.html">DistCp指南</a>以获取等多信息。 |
| </p> |
| <p> |
| <code>用法：hadoop distcp <srcurl> <desturl></code> |
| </p> |
| <table> |
| <tr><th> 命令选项 </th><th> 描述</th></tr> |
| |
| <tr> |
| <td><code>srcurl</code></td> |
| <td>源Url</td> |
| </tr> |
| <tr> |
| <td><code>desturl</code></td> |
| <td>目标Url</td> |
| </tr> |
| </table> |
| </section> |
| |
| <section> |
| <title> fs </title> |
| <p> |
| <code>用法：hadoop fs [</code><a href="commands_manual.html#常规选项">GENERIC_OPTIONS</a><code>] |
| [COMMAND_OPTIONS]</code> |
| </p> |
| <p> |
| 运行一个常规的文件系统客户端。 |
| </p> |
| <p> |
| 各种命令选项可以参考<a href="hdfs_shell.html">HDFS Shell指南</a>。 |
| </p> |
| </section> |
| |
| <section> |
| <title> fsck </title> |
| <p> |
| 运行HDFS文件系统检查工具。参考<a href="hdfs_user_guide.html#fsck">Fsck</a>了解更多。 |
| </p> |
| <p><code>用法：hadoop fsck [</code><a href="commands_manual.html#常规选项">GENERIC_OPTIONS</a><code>] |
| <path> [-move | -delete | -openforwrite] [-files [-blocks |
| [-locations | -racks]]]</code></p> |
| <table> |
| <tr><th> 命令选项 </th><th> 描述 </th></tr> |
| <tr> |
| <td><code><path></code></td> |
| <td>检查的起始目录。</td> |
| </tr> |
| <tr> |
| <td><code>-move</code></td> |
| <td>移动受损文件到/lost+found</td> |
| </tr> |
| <tr> |
| <td><code>-delete</code></td> |
| <td>删除受损文件。</td> |
| </tr> |
| <tr> |
| <td><code>-openforwrite</code></td> |
| <td>打印出写打开的文件。</td> |
| </tr> |
| <tr> |
| <td><code>-files</code></td> |
| <td>打印出正被检查的文件。</td> |
| </tr> |
| <tr> |
| <td><code>-blocks</code></td> |
| <td>打印出块信息报告。</td> |
| </tr> |
| <tr> |
| <td><code>-locations</code></td> |
| <td>打印出每个块的位置信息。</td> |
| </tr> |
| <tr> |
| <td><code>-racks</code></td> |
| <td>打印出data-node的网络拓扑结构。</td> |
| </tr> |
| </table> |
| </section> |
| |
| <section> |
| <title> jar </title> |
| <p> |
| 运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，使用这个命令执行。 |
| </p> |
| <p> |
| <code>用法：hadoop jar <jar> [mainClass] args...</code> |
| </p> |
| <p> |
| streaming作业是通过这个命令执行的。参考<a href="streaming.html#其他例子">Streaming examples</a>中的例子。 |
| </p> |
| <p> |
| Word count例子也是通过jar命令运行的。参考<a href="mapred_tutorial.html#用法">Wordcount example</a>。 |
| </p> |
| </section> |
| |
| <section> |
| <title> job </title> |
| <p> |
| 用于和Map Reduce作业交互和命令。 |
| </p> |
| <p> |
| <code>用法：hadoop job [</code><a href="commands_manual.html#常规选项">GENERIC_OPTIONS</a><code>] |
| [-submit <job-file>] | [-status <job-id>] | |
| [-counter <job-id> <group-name> <counter-name>] | [-kill <job-id>] | |
| [-events <job-id> <from-event-#> <#-of-events>] | [-history [all] <jobOutputDir>] | |
| [-list [all]] | [-kill-task <task-id>] | [-fail-task <task-id>]</code> |
| </p> |
| <table> |
| <tr><th> 命令选项 </th><th> 描述</th></tr> |
| |
| <tr> |
| <td><code>-submit <job-file></code></td> |
| <td>提交作业</td> |
| </tr> |
| <tr> |
| <td><code>-status <job-id></code></td> |
| <td>打印map和reduce完成百分比和所有计数器。</td> |
| </tr> |
| <tr> |
| <td><code>-counter <job-id> <group-name> <counter-name></code></td> |
| <td>打印计数器的值。</td> |
| </tr> |
| <tr> |
| <td><code>-kill <job-id></code></td> |
| <td>杀死指定作业。</td> |
| </tr> |
| <tr> |
| <td><code>-events <job-id> <from-event-#> <#-of-events></code></td> |
| <td>打印给定范围内jobtracker接收到的事件细节。</td> |
| </tr> |
| <tr> |
| <td><code>-history [all] <jobOutputDir></code></td> |
| <td>-history <jobOutputDir> 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看。 |
| </td> |
| </tr> |
| <tr> |
| <td><code>-list [all]</code></td> |
| <td>-list all显示所有作业。-list只显示将要完成的作业。</td> |
| </tr> |
| <tr> |
| <td><code>-kill-task <task-id></code></td> |
| <td>杀死任务。被杀死的任务不会不利于失败尝试。</td> |
| </tr> |
| <tr> |
| <td><code>-fail-task <task-id></code></td> |
| <td>使任务失败。被失败的任务会对失败尝试不利。</td> |
| </tr> |
| </table> |
| </section> |
| |
| <section> |
| <title> pipes </title> |
| <p> |
| 运行pipes作业。 |
| </p> |
| <p> |
| <code>用法：hadoop pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...] |
| [-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>] |
| [-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>] |
| [-program <executable>] [-reduces <num>] </code> |
| </p> |
| <table> |
| <tr><th> 命令选项 </th><th> 描述</th></tr> |
| |
| <tr> |
| <td><code>-conf <path></code></td> |
| <td>作业的配置</td> |
| </tr> |
| <tr> |
| <td><code>-jobconf <key=value>, <key=value>, ...</code></td> |
| <td>增加/覆盖作业的配置项</td> |
| </tr> |
| <tr> |
| <td><code>-input <path></code></td> |
| <td>输入目录</td> |
| </tr> |
| <tr> |
| <td><code>-output <path></code></td> |
| <td>输出目录</td> |
| </tr> |
| <tr> |
| <td><code>-jar <jar file></code></td> |
| <td>Jar文件名</td> |
| </tr> |
| <tr> |
| <td><code>-inputformat <class></code></td> |
| <td>InputFormat类</td> |
| </tr> |
| <tr> |
| <td><code>-map <class></code></td> |
| <td>Java Map类</td> |
| </tr> |
| <tr> |
| <td><code>-partitioner <class></code></td> |
| <td>Java Partitioner</td> |
| </tr> |
| <tr> |
| <td><code>-reduce <class></code></td> |
| <td>Java Reduce类</td> |
| </tr> |
| <tr> |
| <td><code>-writer <class></code></td> |
| <td>Java RecordWriter</td> |
| </tr> |
| <tr> |
| <td><code>-program <executable></code></td> |
| <td>可执行程序的URI</td> |
| </tr> |
| <tr> |
| <td><code>-reduces <num></code></td> |
| <td>reduce个数</td> |
| </tr> |
| </table> |
| </section> |
| |
| <section> |
| <title> version </title> |
| <p> |
| 打印版本信息。 |
| </p> |
| <p> |
| <code>用法：hadoop version</code> |
| </p> |
| </section> |
| |
| <section> |
| <title> CLASSNAME </title> |
| <p> |
| hadoop脚本可用于调调用任何类。 |
| </p> |
| <p> |
| <code>用法：hadoop CLASSNAME</code> |
| </p> |
| <p> |
| 运行名字为CLASSNAME的类。 |
| </p> |
| </section> |
| |
| </section> |
| |
| <section> |
| <title>管理命令</title> |
| <p>hadoop集群管理员常用的命令。</p> |
| <section> |
| <title> balancer </title> |
| <p> |
| 运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程。参考<a href="hdfs_user_guide.html#Rebalancer">Rebalancer</a>了解更多。 |
| </p> |
| <p> |
| <code>用法：hadoop balancer [-threshold <threshold>]</code> |
| </p> |
| <table> |
| <tr><th> 命令选项 </th><th> 描述</th></tr> |
| |
| <tr> |
| <td><code>-threshold <threshold></code></td> |
| <td>磁盘容量的百分比。这会覆盖缺省的阀值。</td> |
| </tr> |
| </table> |
| </section> |
| |
| <section> |
| <title> daemonlog </title> |
| <p> |
| 获取或设置每个守护进程的日志级别。 |
| </p> |
| <p> |
| <code>用法：hadoop daemonlog -getlevel <host:port> <name></code><br/> |
| <code>用法：hadoop daemonlog -setlevel <host:port> <name> <level></code> |
| </p> |
| <table> |
| <tr><th> 命令选项 </th><th> 描述</th></tr> |
| |
| <tr> |
| <td><code>-getlevel <host:port> <name></code></td> |
| <td>打印运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name></td> |
| </tr> |
| <tr> |
| <td><code>-setlevel <host:port> <name> <level></code></td> |
| <td>设置运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name></td> |
| </tr> |
| </table> |
| </section> |
| |
| <section> |
| <title> datanode</title> |
| <p> |
| 运行一个HDFS的datanode。 |
| </p> |
| <p> |
| <code>用法：hadoop datanode [-rollback]</code> |
| </p> |
| <table> |
| <tr><th> 命令选项 </th><th> 描述</th></tr> |
| |
| <tr> |
| <td><code>-rollback</code></td> |
| <td>将datanode回滚到前一个版本。这需要在停止datanode，分发老的hadoop版本之后使用。 |
| </td> |
| </tr> |
| </table> |
| </section> |
| |
| <section> |
| <title> dfsadmin </title> |
| <p> |
| 运行一个HDFS的dfsadmin客户端。 |
| </p> |
| <p> |
| <code>用法：hadoop dfsadmin [</code><a href="commands_manual.html#常规选项">GENERIC_OPTIONS</a><code>] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] |
| [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] |
| [-setQuota <quota> <dirname>...<dirname>] [-clrQuota <dirname>...<dirname>] |
| [-help [cmd]]</code> |
| </p> |
| <table> |
| <tr><th> 命令选项 </th><th> 描述</th></tr> |
| |
| <tr> |
| <td><code>-report</code></td> |
| <td>报告文件系统的基本信息和统计信息。</td> |
| </tr> |
| <tr> |
| <td><code>-safemode enter | leave | get | wait</code></td> |
| <td>安全模式维护命令。安全模式是Namenode的一个状态，这种状态下，Namenode <br/> |
| 1. 不接受对名字空间的更改(只读)<br/> |
| 2. 不复制或删除块<br/> |
| Namenode会在启动时自动进入安全模式，当配置的块最小百分比数满足最小的副本数条件时，会自动离开安全模式。安全模式可以手动进入，但是这样的话也必须手动关闭安全模式。 |
| </td> |
| </tr> |
| <tr> |
| <td><code>-refreshNodes</code></td> |
| <td>重新读取hosts和exclude文件，更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。 |
| </td> |
| </tr> |
| <tr> |
| <td><code>-finalizeUpgrade</code></td> |
| <td>终结HDFS的升级操作。Datanode删除前一个版本的工作目录，之后Namenode也这样做。这个操作完结整个升级过程。 |
| </td> |
| </tr> |
| <tr> |
| <td><code>-upgradeProgress status | details | force</code></td> |
| <td>请求当前系统的升级状态，状态的细节，或者强制升级操作进行。 |
| </td> |
| </tr> |
| <tr> |
| <td><code>-metasave filename</code></td> |
| <td>保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的<filename>文件。对于下面的每一项，<filename>中都会一行内容与之对应<br/> |
| 1. Namenode收到的Datanode的心跳信号<br/> |
| 2. 等待被复制的块<br/> |
| 3. 正在被复制的块<br/> |
| 4. 等待被删除的块</td> |
| </tr> |
| <tr> |
| <td><code>-setQuota <quota> <dirname>...<dirname></code></td> |
| <td>为每个目录 <dirname>设定配额<quota>。目录配额是一个长整型整数，强制限定了目录树下的名字个数。<br/> |
| 命令会在这个目录上工作良好，以下情况会报错：<br/> |
| 1. N不是一个正整数，或者<br/> |
| 2. 用户不是管理员，或者<br/> |
| 3. 这个目录不存在或是文件，或者<br/> |
| 4. 目录会马上超出新设定的配额。</td> |
| </tr> |
| <tr> |
| <td><code>-clrQuota <dirname>...<dirname></code></td> |
| <td>为每一个目录<dirname>清除配额设定。<br/> |
| 命令会在这个目录上工作良好，以下情况会报错：<br/> |
| 1. 这个目录不存在或是文件，或者<br/> |
| 2. 用户不是管理员。<br/> |
| 如果目录原来没有配额不会报错。</td> |
| </tr> |
| <tr> |
| <td><code>-help [cmd]</code></td> |
| <td>显示给定命令的帮助信息，如果没有给定命令，则显示所有命令的帮助信息。</td> |
| </tr> |
| </table> |
| </section> |
| |
| <section> |
| <title> jobtracker </title> |
| <p> |
| 运行MapReduce job Tracker节点。 |
| </p> |
| <p> |
| <code>用法：hadoop jobtracker</code> |
| </p> |
| </section> |
| |
| <section> |
| <title> namenode </title> |
| <p> |
| 运行namenode。有关升级，回滚，升级终结的更多信息请参考<a href="hdfs_user_guide.html#升级和回滚">升级和回滚</a>。 |
| </p> |
| <p> |
| <code>用法：hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]</code> |
| </p> |
| <table> |
| <tr><th> 命令选项 </th><th> 描述</th></tr> |
| |
| <tr> |
| <td><code>-format</code></td> |
| <td>格式化namenode。它启动namenode，格式化namenode，之后关闭namenode。</td> |
| </tr> |
| <tr> |
| <td><code>-upgrade</code></td> |
| <td>分发新版本的hadoop后，namenode应以upgrade选项启动。</td> |
| </tr> |
| <tr> |
| <td><code>-rollback</code></td> |
| <td>将namenode回滚到前一版本。这个选项要在停止集群，分发老的hadoop版本后使用。 |
| </td> |
| </tr> |
| <tr> |
| <td><code>-finalize</code></td> |
| <td>finalize会删除文件系统的前一状态。最近的升级会被持久化，rollback选项将再不可用，升级终结操作之后，它会停掉namenode。</td> |
| </tr> |
| <tr> |
| <td><code>-importCheckpoint</code></td> |
| <td>从检查点目录装载镜像并保存到当前检查点目录，检查点目录由fs.checkpoint.dir指定。 |
| </td> |
| </tr> |
| </table> |
| </section> |
| |
| <section> |
| <title> secondarynamenode </title> |
| <p> |
| 运行HDFS的secondary namenode。参考<a href="hdfs_user_guide.html#Secondary+NameNode">Secondary Namenode</a>了解更多。 |
| </p> |
| <p> |
| <code>用法：hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]</code> |
| </p> |
| <table> |
| <tr><th> 命令选项 </th><th> 描述</th></tr> |
| |
| <tr> |
| <td><code>-checkpoint [force]</code></td> |
| <td>如果EditLog的大小 >= fs.checkpoint.size，启动Secondary namenode的检查点过程。 |
| 如果使用了-force，将不考虑EditLog的大小。</td> |
| </tr> |
| <tr> |
| <td><code>-geteditsize</code></td> |
| <td>打印EditLog大小。</td> |
| </tr> |
| </table> |
| </section> |
| |
| <section> |
| <title> tasktracker </title> |
| <p> |
| 运行MapReduce的task Tracker节点。 |
| </p> |
| <p> |
| <code>用法：hadoop tasktracker</code> |
| </p> |
| </section> |
| |
| </section> |
| |
| |
| |
| |
| </body> |
| </document> |
