<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Achang的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/weixin_37726222</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; weixin_37726222]]></copyright><item><title><![CDATA[季节性ARIMA模型进行时间序列预测]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/135048514</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/135048514</guid><author>weixin_37726222</author><pubDate>Mon, 18 Dec 2023 00:20:37 +0800</pubDate><description><![CDATA[总结：季节 SARIMAX 不适合把周期指定的很大，这里指定为144，拟合的速度非常慢， 并且吃内存。首先对于模型： SARIMA(p,d,q)x(P,D,Q)。这里的检查主要是考虑了季节拟合之后的残差的检查。利用mape指标对拟合的效果进行评估。差分之后的绿色线条显示序列比较平稳。下面检查是否需要季节差分。]]></description><category></category></item><item><title><![CDATA[明明有很多事情做，但是不愿开始]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/135045988</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/135045988</guid><author>weixin_37726222</author><pubDate>Sun, 17 Dec 2023 16:04:58 +0800</pubDate><description><![CDATA[可以休息，不要害怕休息，发呆是有益处的，但是不要去追逐信息流，不要用熵增的方式休息，这样越休息越累。不如好好闭上眼睛，冥想，休息。要成功，就必须让自己尽可能多地保持在汇聚的状态和学习的状态中。这就是做反自己的意思。发散状态是自发的，是熵增的，是不利于自己克服阻力和增加势能的。人的大脑有发散状态和汇聚状态。]]></description><category></category></item><item><title><![CDATA[面对未来的不确定性下的人生最优解]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/135032470</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/135032470</guid><author>weixin_37726222</author><pubDate>Sat, 16 Dec 2023 14:38:17 +0800</pubDate><description><![CDATA[再比如、大部份人年纪轻轻的时候打扮的花枝招展，谈了这个谈那个，天天为找对象而忧愁烦恼，你安于孑然一身，你能在下班之后的时光里静静享受孤独，给自己充电，学习论文里的先进知识。再比如，你高度重视睡眠，天天都让自己睡个好觉，那么你的生命力和大脑的敏锐度就得到了保障，你的硬件基础就比别人更加领先。你如果拥有伟大的梦想，如果你想要实现一个超越你周围人、超越一个平常人类的伟大的目标，你必须要付出非凡的、艰苦卓绝的努力。总之就是，你想一个失败的平庸之人会怎么做，会如何生活，反着来，不让自己成为和他一样的人。]]></description><category></category></item><item><title><![CDATA[焦虑，其实是你自愿选择的]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/135031984</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/135031984</guid><author>weixin_37726222</author><pubDate>Sat, 16 Dec 2023 14:13:15 +0800</pubDate><description><![CDATA[无数人，包括那些高学历高智商的人，在这个平台上刷新一遍又一遍，疯狂的想要知道别人身上发生了什么事情，得到了什么更好的东西。自己已经有一碗了，吃的也已经很开心了，但是总是看着锅里还有肉，贪婪的本性趋势我们去探求得到更好的，更多的。从上学，到找工作，从买房到结婚生娃，他总是可以选择用自己的头脑去过度思考未来还没有发生的事情，从而让自己无限焦虑下去，直到生命终结。我们的生命是存在于当下的时刻的，对未来的过度思考会让我们失去当下，失去生命存在的基础，其实也就是在消耗和毁灭自己的生命。他距离他想要的东西更近了吗？]]></description><category></category></item><item><title><![CDATA[jupyter local module not found error]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/132363624</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/132363624</guid><author>weixin_37726222</author><pubDate>Fri, 18 Aug 2023 15:54:58 +0800</pubDate><description><![CDATA[检查了很多遍发现是sys.path的不同的路径存在同名的包的冲突，然后python以第一个包为准，所以就报错了。]]></description><category></category></item><item><title><![CDATA[vs code 环境变量的配置]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/132344727</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/132344727</guid><author>weixin_37726222</author><pubDate>Thu, 17 Aug 2023 17:03:39 +0800</pubDate><description><![CDATA[这造成了一些环境污染，因为/home/xxx/.local/bin 这个环境变量放在前面，文件夹里面的可执行的文件会比conda环境更加优先地执行。先说结论，把vscode中的配置项，下面这个，取消打勾，环境变量就正常了。环境变量中重复出现下面这两项。]]></description><category></category></item><item><title><![CDATA[Qlib RL framework 强化学习在量化交易中的应用]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/132270998</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/132270998</guid><author>weixin_37726222</author><pubDate>Mon, 14 Aug 2023 10:32:50 +0800</pubDate><description><![CDATA[资源文档：]]></description><category></category></item><item><title><![CDATA[自然策略优化的解释 Natural Policy Optimization]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/132254111</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/132254111</guid><author>weixin_37726222</author><pubDate>Sat, 12 Aug 2023 22:54:44 +0800</pubDate><description><![CDATA[总而言之，Natural Policy Optimization 是一种通过利用自然梯度来优化策略梯度算法的方法，旨在提高强化学习算法的收敛性和稳定性。Natural Policy Optimization 则通过利用策略参数空间的几何结构，以及对策略分布的自然梯度进行优化，来克服传统方法的局限性。计算自然梯度：根据收集的样本和估计的优势值，计算策略分布的自然梯度。传统的策略梯度算法通常使用梯度上升法来更新策略参数，但这种方法可能受到梯度估计的方差问题以及参数更新的不稳定性等挑战。]]></description><category></category></item><item><title><![CDATA[MAPPO 算法的深度解析与应用和实现]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/132194697</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/132194697</guid><author>weixin_37726222</author><pubDate>Wed, 09 Aug 2023 21:02:58 +0800</pubDate><description><![CDATA[PPO 属于 on-policy 的算法，所以被认为它的样本效率比较低。在多智能体的环境下，off-policy的策略被广泛使用。在这项工作中，我们仔细研究了PPO在合作多智能体设置下的性能。我们展示了基于ppo的多智能体算法在四种流行的多智能体测试平台(粒子世界环境、星际争霸多智能体挑战、Google Research Football和Hanabi挑战)中实现了惊人的强大性能，只需要最小的超参数调整，并且没有任何特定领域的算法修改或架构。]]></description><category></category></item><item><title><![CDATA[论年轻人拥有的资源和对时间的合理估值]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/132194772</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/132194772</guid><author>weixin_37726222</author><pubDate>Wed, 09 Aug 2023 19:15:17 +0800</pubDate><description><![CDATA[我们假设他除了吃饭，睡觉，洗漱，拉屎之外，每天可以自主支配利用的时间是10个小时，所以用小时来计，他拥有600个小时的可利用时间，以及1万元用于生活费用和学习费用。回到前面的看病的例子上，如果打车可以节省半个小时的时间，那就是5万人民币，他付出的30块钱牛毛都不如，他绝对应该果断打车，如果他是一个眼光长远的人。他可以把时间花在：抖音小红书，跑步健身，打乒乓球，交友软件，打游戏，出去吃好吃的玩好玩的，科研，备考…很显然的是，最优解必然是最大化备考的时间，提高科研的效率，适当健身，最小化其他事情上面的时间了。]]></description><category></category></item><item><title><![CDATA[【论文研读】MARLlib 的架构分析]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/132190716</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/132190716</guid><author>weixin_37726222</author><pubDate>Wed, 09 Aug 2023 17:20:23 +0800</pubDate><description><![CDATA[和尚念经多智能体强化学习框架研究。多智能体强化学习库。多智能体强化学习算法实现。多智能体强化学习环境的统一化，标准化。多智能体强化学习算法解析。多智能体强化学习 算法性能比较。]]></description><category></category></item><item><title><![CDATA[安装ubuntu 18.04 系统（1）——制作系统安装U盘]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/132178019</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/132178019</guid><author>weixin_37726222</author><pubDate>Tue, 08 Aug 2023 23:41:11 +0800</pubDate><description><![CDATA[step 2: 选择持久分区的大小，也就是这个U盘中多大的容量还可以用于存储文件和数据。由于我的U盘比较大，所以我选择了8G。剩下8G给系统镜像，绰绰有余。（纠正，下面文件系统选项要选择 NTFS。step 1: 清空自己的U盘中的内容，点击选择按钮，选择一个自己已经下载好的 iso文件。step 3，点击开始，安装镜像。]]></description><category></category></item><item><title><![CDATA[论文开题如何写研究内容和研究方法]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/131671498</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/131671498</guid><author>weixin_37726222</author><pubDate>Tue, 11 Jul 2023 23:50:00 +0800</pubDate><description><![CDATA[你需要使你的读者（如你的指导老师，评审委员会等）能够理解你的研究的目的和方法，以及你的研究将会如何帮助学术界或社会更好的理解你的研究主题。研究内容是你计划研究的主题，包括你想要解答的问题，研究的目标，以及可能的假设。研究内容应该清晰明确，有指向性，能够明确告诉读者你的研究主题、目的和研究的重要性。研究方法是你将如何去实现你的研究目标，包括你将使用什么样的数据收集方式，分析方法，实验设计等。研究方法应该详细清晰，逻辑连贯，使得其他研究者可以复制你的研究。在开题报告中，研究内容和研究方法是两个核心部分。]]></description><category></category></item><item><title><![CDATA[RL4RS，离线强化学习，无模型强化学习等等资源汇总]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/130120316</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/130120316</guid><author>weixin_37726222</author><pubDate>Thu, 13 Apr 2023 01:22:52 +0800</pubDate><description><![CDATA[我们介绍了无动作指南（AF-Guide），一种通过从无动作离线数据集中提取知识来指导在线培训的方法。流行的离线强化学习（RL）方法将策略限制在离线数据集支持的区域内，以避免分布偏移问题。结果，我们的价值函数在动作空间上达到了更好的泛化，并进一步缓解了高估 OOD 动作引起的分布偏移。在 D4RL 上的实验表明，与以前的离线 RL 方法相比，我们的模型提高了性能，尤其是当离线数据集的体验良好时。我们进行了进一步的研究并验证了价值函数对 OOD 动作的泛化得到了改进，这增强了我们提出的动作嵌入模型的有效性。]]></description><category></category></item><item><title><![CDATA[多智能体深度强化学习在移动边缘计算的联合多通道访问和任务卸载中的应用]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/130030664</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/130030664</guid><author>weixin_37726222</author><pubDate>Sun, 09 Apr 2023 16:30:11 +0800</pubDate><description><![CDATA[对于每个MTA，actor网络的输入是它的状态，表示为si(t)，然后通过带有ReLU激活层的两层全连接网络。最终的输出动作是根据输出概率随机选择的，输出动作用长度为K+1的one-hot向量表示。最重要的原因是在训练过程中，对于每一个agent来说，其他agent都是环境的一部分，其他agent的变化会使环境变得不稳定，这就打破了Q-learning算法所需要的马尔可夫假设。然后，我们提出了一种基于 MADDPG 的算法，如算法 1 所示，应用于我们的问题，以便 MTA 可以学习合作策略并提高系统效率。]]></description><category></category></item><item><title><![CDATA[PerfEnforce Demonstration: Data Analytics with Performance Guarantees]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/129932975</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/129932975</guid><author>weixin_37726222</author><pubDate>Mon, 03 Apr 2023 17:30:15 +0800</pubDate><description><![CDATA[In RL, every time the system transitions to a state s, it updates the reward function for that state. In our setting, we use the following equation, where R(s′) denotes the updated reward for state s: 下面公式展示的是，发生了状态转移的时候，奖励值的更新过程。越是右边，节省的钱越多，成本也就越低。]]></description><category></category></item><item><title><![CDATA[很好的英文教程网站]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/129442352</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/129442352</guid><author>weixin_37726222</author><pubDate>Fri, 10 Mar 2023 14:37:19 +0800</pubDate><description><![CDATA[下面这个nbviewer可以在线打开github上的jupyter notebooks方便查看。]]></description><category></category></item><item><title><![CDATA[Linux find 命令的使用方法]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/129441183</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/129441183</guid><author>weixin_37726222</author><pubDate>Fri, 10 Mar 2023 13:47:28 +0800</pubDate><description><![CDATA[这篇文章写的很好了。]]></description><category></category></item><item><title><![CDATA[Off-policy vs on-policy（大师级解释，推荐）]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/129338978</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/129338978</guid><author>weixin_37726222</author><pubDate>Mon, 06 Mar 2023 00:45:00 +0800</pubDate><description><![CDATA[It can either update the value and policy upon receiving an experience sample or update after collecting all experience samples.（注意了，虽然online learning版本的Q-learning 可以实时地更新策略，但是它的新策略并不用来生成样本。简单滴说，behavior policy and target policy 一样的，那就是on policy。]]></description><category></category></item><item><title><![CDATA[TD算法超详细解释，一篇文章看透彻！]]></title><link>https://blog.youkuaiyun.com/weixin_37726222/article/details/129338891</link><guid>https://blog.youkuaiyun.com/weixin_37726222/article/details/129338891</guid><author>weixin_37726222</author><pubDate>Sat, 04 Mar 2023 20:33:52 +0800</pubDate><description><![CDATA[上一节我们讲到，Robbins-Monro Algorithm算法解决了下面的这个求期望的问题，本节我们把问题稍微复杂化一点。看下边这个期望的计算：假设我们可以获得随机变量R,XR,XR,X的样本那么可以定义下面的函数：其实，也就是是把之前的一个随机变量变成了一个多元随机变量的函数。下面我们展示，这个例子其实和TD算法的表达很相似了。本节所指的TD算法特指用于估测状态价值的经典TD算法。这个状态价值的期望形式的表示，有时候被称为贝尔曼期望等式，其实是贝尔曼方程的另一种表达，它是设计和分析TD算法的重要工具。]]></description><category></category></item></channel></rss>