hadoop3.x rsync命令将hadoop1文件同步给其他虚拟机

rsync命令

linux rsync同步文件

安装

在 hadoop1、hadoop2、hadoop3 安装 rsync,执行下面命令:

yum install -y rsync

注意: 3台服务器都要安装

删除 program 文件夹(可略)

注意: 如果 hadoop2 、hadoop3 的 /program 文件夹内,没有乱七八糟的文件,则不用操作此步骤

将 hadoop2 虚拟机、hadoop3 虚拟机 的 /program 文件夹删除

登录 hadoop2 虚拟机,删除 /program 文件夹

rm -rf /program

登录 hadoop3 虚拟机,删除 /program 文件夹

rm -rf /program

同步到 /program 到 hadoop2

注意: 将 jdk、hadoop压缩包删除,压缩包不需要发送到 hadoop2

登录 hadoop1 虚拟机,执行下面命令:

rsync -av /program/* root@hadoop2:/program/

注意

  • rsync 命令不需要事先在 hadoop2 创建 /program 文件夹

  • 由于配置了 ssh免密,所以不需要输入密码

查看

登录 hadoop2 虚拟机,查看 /program 文件夹

cd /program
ll

可以看到 jdk1.8.0_202、hadoop-3.0.3 目录

同步 /program 到 hadoop3

登录 hadoop1 虚拟机,执行下面命令:

rsync -av /program/* root@hadoop3:/program/

查看

登录 hadoop3 虚拟机,查看 /program 文件夹

cd /program
ll

可以看到 jdk1.8.0_202、hadoop-3.0.3 目录

测试同步差异文件

登录 hadoop3 虚拟机,删除 /program/jdk1.8.0_202/bin 目录

rm -rf /program/jdk1.8.0_202/bin

再次同步

登录 hadoop1 虚拟机,执行下面命令:

rsync -av /program/* root@hadoop3:/program/

只同步 bin 目录下的文件

同步环境变量

同步到 hadoop2

登录 hadoop1,执行下面命令:

rsync -av /etc/profile.d/bigdata_env.sh root@hadoop2:/etc/profile.d/

登录 hadoop2,执行下面命令,立即生效

source /etc/profile

测试:

java -version

显示如下信息,表示成功:

java version "1.8.0_202"
Java(TM) SE Runtime Environment (build 1.8.0_202-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode)

同步到 hadoop3

登录 hadoop1,执行下面命令:

rsync -av /etc/profile.d/bigdata_env.sh root@hadoop3:/etc/profile.d/

登录 hadoop3,执行下面命令,立即生效

source /etc/profile

测试:

java -version

显示如下信息,表示成功:

java version "1.8.0_202"
Java(TM) SE Runtime Environment (build 1.8.0_202-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode)

原文出处:/show_1IX1thSs9yBI.html