概述
文件系统shell包括各种跟shell类似的命令来跟hdfs交互,同时也支持其他的hadoop支持的文件系统如:本地FS, HFTP FS, S3 FS等,shell命令调用方式如下:
bin/hadoop fs <args>
所有的命令文件路径都作为参数传入,文件路径的格式如 scheme://authority/path。对于hdfs而言scheme为hdfs,对于本地系统scheme 为 file。scheme 和authority 都是可选的,如果不指定那么默认采用系统配置的参数。hdfs的文件或者目录如/parent/child 写全了就是hdfs://namenodehost/parent/child ,简短即 /parent/child(配置文件指向了hdfs://namenodehost)。
大部分的文件系统shell命令类unix命令。每个命令的不同支持都会描述清楚。执行错误信息执行stderr ,其他输出执行stdout。
appendToFile
用法:
hdfs dfs -appendToFile <localsrc> ... <dst>
追加本地文件一个或者多个到目标系统上,同时也可以从命令行输入信息追加到目标文件系统文件上去,如:
hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile hdfs dfs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile hdfs dfs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile hdfs dfs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile 命令行输入.
成功返回0,错误返回1
cat
用法:
hdfs dfs -cat URI [URI ...]
展示目标文件内容到屏幕,如:
hdfs dfs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2 hdfs dfs -cat file:///file3 /user/hadoop/file4
成功返回0,失败返回-1
chgrp
用法:
hdfs dfs -chgrp [-R] GROUP URI [URI ...]
修改文件的用户组。执行操作人必须拥有此文件或者是超级用户,更多信息参考权限指南。
选项:
-R 会递归修改文件用户组权限。
chmod
用法:
hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
修改文件权限,-R参数会递归修改子目录及文件,操作者必须拥有此文件或者是超级用户,更多信息参见权限指南。
chown
用法:
hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
修改文件拥有者,-R参数会递归修改子目录及文件,用户必须为超级用户,更多信息参见权限指南。
copyFromLocal
用法:
hdfs dfs -copyFromLocal <localsrc> URI
跟put命令类似,目标文件不能是一个引用。-f选项是当目标文件存在的时候会覆盖目标文件。
copyToLocal
用法:
hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
同get命令,目标文件不能是一个文件引用。
count
用法:
hdfs dfs -count [-q] <paths>
统计其子路径目录数,文件数,内容大小,其列分别为: DIR_COUNT, FILE_COUNT, CONTENT_SIZE FILE_NAME,选项-q那么他的列为: QUOTA, REMAINING_QUATA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, DIR_COUNT, FILE_COUNT, CONTENT_SIZE, FILE_NAME
如:
hdfs dfs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2 hdfs dfs -count -q hdfs://nn1.example.com/file1
成功返回0,失败返回-1.
count
用法:
hdfs dfs -cp [-f] URI [URI ...] <dest>
拷贝源文件到目标文件,支持多源文件,不过目标文件需要是一个目录,-f选项为当存在的时候会覆盖,如:
hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
成功返回0,失败返回-1.
相关推荐
Hadoop 2.2.0 配置文件 在4台CentOs 6.4版本下运行成功
Hadoop 2.2.0版本中在64为linux系统上运行所需要的native库文件。需要时用此native文件夹覆盖Hadoop 2.2.0中native文件夹即可。
自己配了一遍hadoop2.2.0,写给新手,绝对详细,后面还有一个配好了的测试文档,在我的资源里找
Hadoop2.2.0安装配置手册,新手安装和配置
Hadoop官网上下载的hadoop-2.2.0安装包是32位的,直接运行在64位的linux系统上会有问题,所以需要自己将hadoop-2.2.0安装包编译为64位。
hadoop2.2.0/2.6.0/2.7.0/2.7.1 64位安装包。
资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x... Hadoop是一个由Apache基金会所开发的分布式系统基础架构 资源太大,传百度网盘了,链接在附件中,有需要的同学自取。
此hadoop是hadoop-2.2.0是32位的编译出来的,亲测可用
WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 在网上查了一下发现Apache官网提供的是32位编译的,在64...
Hadoop2.2.0完全分布式集群平台安装设置 HDFS HA架构: 1、先设定电脑的IP为静态地址: 2、设置各个主机的hostname 3、在所有电脑的/etc/hosts添加以下配置: 4、设置SSH无密码登陆 5、下载解压hadoop-2.2.0.tar.gz...
hadoop2.2.0 eclipse插件-重新编译过。hadoop用的是hadoop2.2.0版本,eclipse用的是 eclipse-kepler。 插件 eclipse-kepler
Apache Hadoop 2.2.0 is the GA release of Apache Hadoop 2.x. Users are encouraged to immediately move to 2.2.0 since this release is significantly more stable and is guaranteed to remain compatible in...
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
hadoop2.2.0 在window下进行MapReduce 测试时需要的工具,使用时需要修改 源码org.apache.hadoop.util.Shell.java 的277行fullName的路径如: String fullExeName = "d:/hadoop" + File.separator + executable; ...
hadoop Eclipse插件Linux版本,编译环境hadoop2.2.0
hadoop2.2.0安装指南
Hadoop 2.2.0 分布式安装指导
Hadoop 分布式文件系统 shell命令1
Hadoop分布式文件系统翻译