spark3.0教程:创建启动脚本,启动metastore(元数据)服务,启动thriftserver服务

说明

创建脚本,直接启动 hive 的 metastore(元数据)服务,spark 的 thriftserver 服务

创建脚本

在 /program/bin/ 目录下创建 spark-on-hive.sh 脚本,执行下面命令:

vim /program/bin/spark-on-hive.sh

内容如下:

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
mkdir -p $HIVE_LOG_DIR
#检查进程是否运行正常,参数1为进程名,参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}
function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    /program/spark-3.0.0/sbin/start-thriftserver.sh
    /program/spark-3.0.0/sbin/start-history-server.sh
}
function hive_stop()
{
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    /program/spark-3.0.0/sbin/stop-thriftserver.sh
    /program/spark-3.0.0/sbin/stop-history-server.sh
}
case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process SparkSubmit 10000 >/dev/null && echo "thriftserve服务运行正常" || echo "thriftserve服务运行异常"
    check_process HistoryServer 18080 >/dev/null && echo "spark history服务运行正常" || echo "spark history服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

修改权限

chmod 777 spark-on-hive.sh

测试

启动服务:

./spark-on-hive.sh start

查看服务状态:

./spark-on-hive.sh status

停止服务:

./spark-on-hive.sh stop

原文出处:/show_1IX4RqzhqTPn.html