ThreeS_tones的博客

actor-critic框架：策略网络（选动作）和价值网络（评价值）协同工作。截断损失：限制新策略与旧策略的差异（ratio在），避免更新不稳定。GAE优势估计：更准确地衡量动作价值，平衡偏差和方差。多轮迭代：同一批数据训练多轮，提高数据利用率。代码完整实现了PPO的核心逻辑，并在MountainCar环境中验证，通过自定义奖励函数（如根据动作与速度方向是否一致调整奖励）加速了训练过程。

通过以上原则，可以确保在不同代码版本、甚至不同编程语言中，只要遵循相同的种子管理策略，即可实现随机变量生成的高度一致性。这是可重复科学研究与工程部署的基石。：给定相同的初始状态（种子），它会生成完全相同的伪随机数序列。），即使种子相同，后续生成的变量也会不同。这是因为RNG的状态被中间操作改变了。使用独立的RNG实例，避免全局状态污染（适用于复杂项目）。将随机生成过程抽象为函数，控制种子调用。随机数生成器（RNG）本质是一个。在需要生成相同功能的变量前，这是最直接的解决方案。），需分别设置种子。

1. 找到你创建的环境中activate.bat的文件路径（如D:\Python\Python39\env\test\Scripts\activate.bat）；3. 将文件路径复制到cmd中，执行；4. 可观察到cmd中已激活该环境。

【代码】matplotlib多张图共享一个图例。

如果你的目的是生成一个图形并保存为文件，而不是在屏幕上显示，可以使用。参数来去除多余的空白边缘。来进一步减少边缘空白。

假设你的虚拟环境中python.exe所在目录为：D:\python39\env\pyans_ui\Scripts\python.exe。只需在cmd中输入：D:\python39\env\pyans_ui\Scripts\activate。即可激活改虚拟环境。

在 PyQt5 中，当QLineEdit的信号连接到一个槽函数，该槽函数弹出时，可能会出现对话框弹出两次的情况。这通常是由于会在弹出时改变焦点，触发信号，再次调用槽函数。

用qtdesigner创建两个窗口，在主窗口里面放置一个按钮，用pyuic解析为py文件。主窗口文件名one.py，二级窗口文件名main_window_v1.py。

【代码】matplotlib将 x 轴的标签从 0 开始改为从 1 开始。

未指定存储格式，会默认使用。

当你修改了一个子列表的元素时，所有的子列表都会随之改变。因为他们实际上都是同一个子列表的引用。输出如下，可以看到每个子列表中的第5个元素相同，并没有实现从0.8-1.2分布。先看一个例子，我想改变load的子列表中第五个元素，从0.8-1.2分布。的时候，Python实际上。

的所有元素从[-1,1]的范围等效转换到[-10000,10000]的范围。这样做可以保证数据的最大值和最小值分别映射到目标范围的最大值和最小值。的方法，它把数据从一个范围转换到另一个范围。的元素经过这种线性转换处理后的结果。x_iter的取值范围为。这段代码的目的是将矩阵。这是一种线性转换，它。这个公式进行的变换是。

python项目中某个文件名与需要引入的module中的文件名相同时，可能出现循环引用的情况，此时会报错ImportError: cannot import name ‘xxx‘ from partially initialized module xxx。如我的python文件命名为copy.py，需要引入的库恰好包含这个名称，把python文件改了就行。所以把项目文件中涉及 报错内容的python文件名 修改即可。

x方向范围是（0,60）有21个点，y方向范围是（-3,3）有3个点，load的形状为（21,3），每个load的值为这些位置上的载荷值，并且载荷值跟x有函数关系f=10+x^2，做出载荷谱。

在Python的NumPy库中，有多种方式可以把两个数组融合（合并）在一起。

上面输入原项目名，下面输入修改后项目名，replace all，完成。此时选中项目文件夹，右键，选择replace in files。选中项目文件夹，右键，选择refactor-rename。此时进入资源管理器，修改项目文件夹的名字，完成。第1步做完之后，代码中的名称仍然是原来的项目名。然后输入新的项目名称。

在搭建pyansys环境的时候，安装grpcio-tools和protobuf两个库的版本不能对应。Python环境，pip的使用，版本对应等回答总结。

Python，改变当前文件操作指针的位置

pyinstaller打包为.exe过程的问题与解决方法