深度 Clone

关注

原创最新推荐文章于 2026-04-19 05:36:28 发布 297 阅读 AI 写同款· GEO 优化 ›

强化学习代码实现PPO 梯度更新：通过截断（clipping）限制策略更新幅度，避免策略变化过大影响稳定性。首先是数据预处理，将相关数据（状态、采取的动作、状态奖励、下一个状态）放到gpu上。根据当前状态 state，利用策略网络生成每个动作的概率分布 probs。2. 修改了策略模型的输出，从每个动作的概率分布变成了动作的均值和方差。1. 修改了动作空间，离散空间变成了连续空间，使用正太分布来采样。3. 修改了动作的ratio的计算，从离散分布变成了正太分布计算。Update函数：通过经验缓冲数据来优化策略模型和价值模型。阅读详情

深度克隆就是为了解决浅度克隆的问题，深度克隆后的对象不会影响到被克隆对象的属性，与被克隆对象完全独立。

浅克隆：

在这里插入图片描述

深克隆：

	function getType(target){
		return Object.prototype.toString.call(target).slice(8, -1);
	}
	function clone(target){
	var res;
	var targetType = getType(target);
	if(targetType == "Object"){
		res = {};
	} else if(targetType == "Array"){
		res = [];
	} else {
		return target;
	}
	for(var i in target){
		let value = target[i];
		if(getType(value) == "Array" || getType(value) == "Object"){
			res[i] = clone(value);
		} else {
			res[i] = value;
		}
	}
	return res;
	}