dss启动脚本

该脚本是一个用于管理DSS集群的bash脚本,包括启动和停止DSS组件如HiveMetastore、HiveServer2,以及其他相关服务如Spark、Zookeeper、DolphinSchedule等。它首先检查命令行参数,然后执行相应的操作,如启动或停止服务,并检查服务状态。

dss启动脚本

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "请正确输入:my_dss.sh {start|stop}"
    exit
fi
HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
	mkdir -p $HIVE_LOG_DIR
fi
#检查进程是否运行正常,参数1为进程名,参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}
function hive_stop()
{
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}
case $1 in
"start")
		echo " =================== 启动 dss-alone ==================="
		
		echo " =================== 启动 hadoop集群 ==================="
		echo " --------------- 启动 hdfs ---------------"
        ssh dss-alone "/opt/module/hadoop-2.7.2/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh dss-alone "/opt/module/hadoop-2.7.2/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh dss-alone "/opt/module/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh start historyserver"
		
		echo " ------------------- 启动 Metastroe和HiveServer2-------"
		hive_start
      	echo " ------------------- 启动 spark -----------------------"
       	"/opt/module/spark-2.4.3/sbin/start-all.sh"
		sleep 1
		"/opt/module/spark-2.4.3/sbin/start-history-server.sh"
		echo " ------------------- 启动 dss-alone -------------------"
 	    "/opt/module/dss/bin/start-all.sh"
		echo " ------------------- 启动 schedulis_0.7.0_exec --------"
		cd /opt/module/schedulis-0.7.0/schedulis_0.7.0_exec/
		sleep 1
		./bin/start-exec.sh
		echo " ------------------- 启动 schedulis_0.7.0_web ---------"
		cd /opt/module/schedulis-0.7.0/schedulis_0.7.0_web/
		sleep 1
		./bin/start-web.sh 
		echo " ------------------- 启动 visualis --------------------"
	    cd /opt/module/visualis-server/
		sleep 1
		./bin/start-visualis-server.sh
		echo " ------------------- 启动 exchangis -------------------"
		cd /opt/module/exchangis/sbin/
		sleep 1
		./daemon.sh start server
		echo " ------------------- 启动 zookeeper --------------------"
		ssh dss-alone /opt/module/zookeeper-3.5.7/bin/zkServer.sh $1
		sleep 3
		echo " ------------------- 启动 dolphinschedule --------------"
		"/opt/module/ds-1.3.9/bin/start-all.sh"
		sleep 1
		echo " ------------------- 启动 streamis-0.2.0 ---------------"
		"/opt/module/streamis-0.2.0/streamis-server/bin/start-streamis-server.sh"
		echo " ------------------- 启动 qualitis-0.9.2 ---------------"
		"/opt/module/qualitis-0.9.2/bin/start.sh"
		#echo " ------------------- 启动 dataease --------------------"
		#cd /deployments/
		#sleep 1
		#./my_dataease.sh start
		#echo " ------------------- 启动 dataX------------------------"
		#cd /opt/module/datax/datax-web-2.1.2
		#sleep 1
		#./bin/start-all.sh
;;
"stop")
        echo " ===================关闭 dss-alone ==================="
		echo " ------------------- 关闭 qualitis-0.9.2 ---------------"
		"/opt/module/qualitis-0.9.2/bin/stop.sh"
		echo " ------------------- 关闭 visualis -------------------"
		"/opt/module/visualis-server/bin/stop-visualis-server.sh"
		echo " ------------------- 关闭 dolphinschedule --------------"
		"/opt/module/ds-1.3.9/bin/stop-all.sh"
		echo " ------------------- 关闭 streamis-0.2.0 ---------------"
		"/opt/module/streamis-0.2.0/streamis-server/bin/stop-streamis-server.sh"
		echo " ------------------- 关闭 schedulis_0.7.0_exec -------"
		aa=$(check_process AzkabanExecutorServer)
		[ "$aa" ] && kill $aa || echo "AzkabanExecutorServer服务未启动"
		echo " ------------------- 关闭 schedulis_0.7.0_web --------"
		bb=$(check_process AzkabanWebServer)
		[ "$bb" ] && kill $bb || echo "AzkabanWebServer服务未启动"
		echo " ------------------- 关闭 exchangis ------------------"
		cc=$(check_process ExchangisServerApplication)
		[ "$cc" ] && kill $cc || echo "ExchangisServerApplication服务未启动"
		echo " -------------------关闭 dss-alone -------------------"
	    "/opt/module/dss/bin/stop-all.sh"
		echo " --------- 关闭 Metastroe和HiveServer2----------------"
		 hive_stop
       	echo " ------------------ 关闭 spark -------------------"
       	"/opt/module/spark-2.4.3/sbin/stop-all.sh"
		sleep 1
		"/opt/module/spark-2.4.3/sbin/stop-history-server.sh"
		echo " ------------------- 关闭 zookeeper --------------------"
		 ssh dss-alone /opt/module/zookeeper-3.5.7/bin/zkServer.sh $1
		echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh dss-alone "/opt/module/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh dss-alone "/opt/module/hadoop-2.7.2/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh dss-alone "/opt/module/hadoop-2.7.2/sbin/stop-dfs.sh"
		
		#echo " ------------------- 关闭 dataease -------------------"
		#cd /deployments/
		#sleep 1
		#./my_dataease.sh stop
		#echo " ------------------- 关闭dataX------------------------"
		#cd /opt/module/datax/datax-web-2.1.2
		#sleep 1
		#./bin/stop-all.sh
;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo "输入参数有误!"
;;
esac

内容概要:本文详细介绍了一个基于Java和Vue的联邦学习隐私保护推荐系统的设计与实现。系统采用联邦学习架构,使用户数据在本地完成模型训练,仅上传加密后的模型参数或梯度,通过中心服务器进行联邦平均聚合,从而实现数据隐私保护与协同建模的双重目标。项目涵盖完整的系统架构设计,包括本地模型训练、中心参数聚合、安全通信、前后端解耦、推荐算法插件化等模块,并结合差分隐私与同态加密等技术强化安全性。同时,系统通过Vue前端实现用户行为采集与个性化推荐展示,Java后端支撑高并发服务与日志处理,形成“本地训练—参数上传—全局聚合—模型下发—个性化微调”的完整闭环。文中还提供了关键模块的代码示例,如特征提取、模型聚合、加密上传等,增强了项目的可实施性与工程参考价值。 适合人群:具备一定Java和Vue开发基础,熟悉Spring Boot、RESTful API、分布式系统或机器学习相关技术,从事推荐系统、隐私计算或全栈开发方向的研发人员。 使用场景及目标:①学习联邦学习在推荐系统中的工程落地方法;②掌握隐私保护机制(如加密传输、差分隐私)与模型聚合技术的集成;③构建高安全、可扩展的分布式推荐系统原型;④实现前后端协同的个性化推荐闭环系统。 阅读建议:建议结合代码示例深入理解联邦学习流程,重点关注本地训练与全局聚合的协同逻辑,同时可基于项目架构进行算法替换与功能扩展,适用于科研验证与工业级系统原型开发。
源码来自:https://pan.quark.cn/s/a4b39357ea24 遗传算法 - 简书 遗传算法的理论是根据达尔文进化论而设计出来的算法: 人类是朝着好的方向(最优解)进化,进化过程中,会自动选择优良基因,淘汰劣等基因。 遗传算法(英语:genetic algorithm (GA) )是计算数学中用于解决最佳化的搜索算法,是进化算法的一种。 进化算法最初是借鉴了进化生物学中的一些现象而发展起来的,这些现象包括遗传、突变、自然选择、杂交等。 搜索算法的共同特征为: 首先组成一组候选解 依据某些适应性条件测算这些候选解的适应度 根据适应度保留某些候选解,放弃其他候选解 对保留的候选解进行某些操作,生成新的候选解 遗传算法流程 遗传算法的一般步骤 my_fitness函数 评估每条染色体所对应个体的适应度 升序排列适应度评估值,选出 前 parent_number 个 个体作为 待选 parent 种群(适应度函数的值越小越好) 从 待选 parent 种群 中随机选择 2 个个体作为父方和母方。 抽取父母双方的染色体,进行交叉,产生 2 个子代。 (交叉概率) 对子代(parent + 生成的 child)的染色体进行变异。 (变异概率) 重复3,4,5步骤,直到新种群(parentnumber + childnumber)的产生。 循环以上步骤直至找到满意的解。 名词解释 交叉概率:两个个体进行交配的概率。 例如,交配概率为0.8,则80%的“夫妻”会生育后代。 变异概率:所有的基因中发生变异的占总体的比例。 GA函数 适应度函数 适应度函数由解决的问题决定。 举一个平方和的例子。 简单的平方和问题 求函数的最小值,其中每个变量的取值区间都是 [-1, ...
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是刘望舒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值