上接:hadoop3.x 文件系统常用命令(hadoop fs、hdfs dfs)
从 本地 到 HDFS 操作
从本地移动到HDFS(moveFromLocal)
hadoop fs -moveFromLocal ./1.txt /top/malaoshi/data
追加(appendToFile)
hadoop fs -appendToFile ./2.txt /top/malaoshi/data/1.txt
从本地拷贝文件到HDFS(copyFromLocal)
类似 hadoop fs -put 命令,详见 链接
hadoop fs -copyFromLocal 1.txt /top/malaoshi/data/
从 HDFS 到 本地 操作
从HDFS拷贝到本地(copyToLocal)
类似 hadoop fs -get 命令,详见 链接
hadoop fs -copyToLocal /top/malaoshi/data/1.txt ./
合并多个文件下载(getmerge)
将 HDFS 目录中多个文件合并,然后下载
hadoop fs -getmerge /top/malaoshi/data/*.txt ./all.txt
HDFS 内操作
在HDFS中拷贝文件(cp)
hadoop fs -cp /top/malaoshi/data/1.txt /1.txt
在HDFS中移动文件(mv)
hadoop fs -mv /1.txt /top/malaoshi/data/1.txt
修改文件名(mv)
hadoop fs -mv /1.txt /2.txt
统计目录的大小(du)
显示该目录内文件的大小
hadoop fs -du -h /top/malaoshi/data/
命令解释:
-h:人类可读的方式格式化文件大小(例如64.0m而不是67108864)
显示结果如下:
70 70 /top/malaoshi/data/data.txt
结果解释:
第一列是该目录下总文件大小
第二列是该目录下所有文件在集群上的总存储大小。与副本数有关,如果副本数是3 ,那么第二列是第一列的3倍
第三列标示你查询的目录
显示该目录的大小
hadoop fs -du -s -h /top/malaoshi/data
设置文件副本数量
hadoop fs -setrep 10 /top/malaoshi/data/data.txt
注意: 此处设置的副本数只是 记录在 NameNode 的元数据 中,是否生效 取决于 DataNode 数量。只有 DataNode 数量增加到10台时,副本数才能达到10
权限
修改文件权限(chgrp 、chmod、chown)
hadoop fs -chmod 666 /top/malaoshi/data/1.txt
hadoop fs -chown root:root /top/malaoshi/data/1.txt