赫凯的博客

原创 Pytorch 深度学习运行代码简单教程

Pytorch 是一个机器深度学习框架，易于上手，个人感觉比tensorboard要友好。Pytorch的深度学习程序分三个模块，实现三个功能，分别是取数据、建模型、运行程序。一般是分三个.py文件写，当然也可以写在一个文件里。我喜欢写成三个文件，这样看着比较方便点，而且Pytorch把这三个功能都写的挺好的，自己用的时候继承稍微改一下就好了。其实深度学习的最终目标，就像求 y=f(x)y = f(x)y=f(x) 这个公式中 f(x)f(x)f(x) 的最佳参数一样：首先我们会有很多很多的 (x,

原创 【强化学习】第五章 时序差分算法

前面所说的都是知道环境怎样的，如果完全陌生的环境呢？

原创 【强化学习】第四章 动态规划算法

本文介绍了动态规划在强化学习中的应用，重点分析了策略迭代和价值迭代两种算法。策略迭代通过策略评估（计算状态价值函数）和策略提升（贪心选择最优动作）的循环过程优化策略，而价值迭代直接基于贝尔曼最优方程更新状态价值函数。文章以悬崖漫步环境为例，构建了一个4×12网格世界的马尔可夫决策过程，并提供了Python实现代码。策略评估使用贝尔曼期望方程迭代计算状态价值，策略提升则通过动作价值函数选择更优动作，最终收敛到最优策略。算法通过设置阈值控制迭代精度，交替执行评估和提升直至策略稳定。

原创 【强化学习】第三章 马尔可夫决策过程

来一个马尔可夫链，以前学过，再来温习。马尔可夫决策包含信息以及状态之间的转移机制，要用强化学习解决一个实际问题，首先要做的就是把实际问题抽象为一个马尔可夫决策过程，明确马尔可夫决策过程的各个组成要素。

原创 【强化学习】第二章 多臂老虎机

有一排老虎机（老虎机就是有个拉杆，拉一下出现几个图片，当都是777奖励最高，本质就是一种概率游戏，拉一下触发，等结果），假设有K个。每个老虎机的奖励概率都不一样，一共拉T次，怎么弄才能让奖励累积最多。多臂老虎机问题与强化学习的一大区别在于其与环境的交互并不会改变环境，即多臂老虎机的每次交互的结果和以往的动作无关，所以可看作无状态的强化学习。

原创 【强化学习】第一章 强化学习初探

本文介绍了强化学习的基本概念与特点。强化学习是一种通过智能体与环境交互来实现目标的机器学习方法，其核心是序贯决策过程。智能体通过感知环境状态、做出决策动作并接收奖励反馈来不断优化策略。与监督学习不同，强化学习的数据分布会随策略变化而变化，具有动态随机性和双重随机性特点。其目标是最大化累积奖励期望，关注长期回报而非即时奖励。强化学习的难点在于策略改变会引发数据分布变化，且具有"混沌效应"。该学习方法强调决策的长远影响、环境的动态性以及数据的生成性等特点。

原创 Web 熵的若干计算

原创 使用 spark-submit 运行依赖第三方库的 Python 文件

python文件在spark集群运行真的麻烦，烦冗spark运行分为了三个模式，本地模式/client模式/cluster模式。

原创 Python 数组里找出子超集

大数组里面有好多小的数组，观察发现，小的数组其实有挺多别的小数组的子集，现在问题来了，想看下这里的有多少个能把小数组代表的出来的并集组合。翻译起来就是，上面的数组我想要出来[[1, 2, 3, 4, 5],[6, 7, 8]]。其实就是排序整理一下就可以了。

原创 Python 装饰器

Python装饰器好呀，就在方法前面加个 @装饰名称 就可以在我们方法外面套用一整套流程，特别方便。就比如写了几个函数，突然发现这几个函数要增加一个运行时间，那么采用装饰器的方式就再方便不过了。装饰器可以在不修改原函数代码的情况下，动态地添加新的功能。再次调用say_hello()，就输出下面样子。调用say_hello()，输出Hello!我想看下这个函数运行用了多久。

原创 内容搬迁至 SegmentFault #3df07d

后续一块写。

原创 Python AI后台服务器

数据下下来后，还有并行处理的需求，比如对每一列数据进行归一化，或者更复杂的处理，分别试了下面的并行库。把数据训练放在后台，首先碰到的一个问题是如何高效地从数据库把数据请求下来。其他的dash，ray就没试过了。

原创 Python plt支持中文的字体

【代码】Python plt支持中文的字体。

原创 python FastAPI 后台运行

最近需要用python把AI的能力封装起来，通过暴露API的方式供别的服务来调用。整体的想法是，选择对应接口，接口读取传入的sql语句，自动去数据库读取数据，运算后将结果在存放在数据库中。搭建FastAPI框架，由于AI训练时间比较久，所以采用了fastapi的后台运行方式。如下，这样就可以了，而且也可以在后台执行程序中，利用多进程写代码。

原创 Fastapi做成docker启动失败，需要启动线程。

但在我的机器上没起作用，后来在docker run 命令中加入了。没启动起来，进入容器看了下，报下面的错。网上百度了下说这样可以。

原创 Docker重启空间不够

docker 重启代码。docker 清除缓存。

原创 Python 多进程处理大Pandas

其实基本的思想就是把大的DataFrame拆分为若干小块，再分批处理。多进程，那就真是多个cpu核，每个核领自己的任务来跑，跑完结果再汇总。多线程，其实还是一个cpu核，边执行边切换，对于密集的计算不太适合。那我们就选用多进程，Python封装的还可以，也可以方便地跨平台。

原创 Python 用pandas连接Postgresql库

pandas确实蛮强的，记录使用的代码。

原创 Python Linux环境（Centos8）安装minicoda3+jupyterlab

最近服务器检查，我下面的服务器有漏洞，不得已重装了，正好记录下怎么从零到python写代码。

原创 Python 在windows环境下加密文件成.pyd格式

最后会在目录下看见有个.pyd的文件，只保留这个文件，剩下的都删了，其他引用该文件的python文件该咋用咋用。多了好多文件，我们只需要一个pyd文件即可，剩下的可以删除了。然后打开在要加密的文件同一目录下cmd命令框，命令行里键入。现在我们尝试加密fff.py文件。比如我的工程下有下面这两个文件。main.py的代码如下所示。fff.py的代码如下所示。运行main就会打印出。

原创 tigramite教程（八）Tigramite 异方差偏相关加权最小二乘法教程

Tigramite 是一个用于时间序列分析的 Python 模块。它允许根据 PCMCI框架从离散或连续值的时间序列重构图形模型（条件独立图），并创建结果的高质量图形。PCMCI 在这里有所描述：J. Runge, P. Nowack, M. Kretschmer, S. Flaxman, D.对于 PCMCI 的进一步版本（例如，PCMCI+, LPCMCI 等），请参见相应的教程。本教程解释了如何应用偏相关条件独立性检验的加权最小二乘变体（ParCorrWLS）。

原创 tigramite教程（七）使用TIGRAMITE 进行条件独立性测试

这个表格概述了X⊥Y∣ZX⊥Y∣Z的测试及其相关的假设条件独立性检验假设条件ParCorr连续变量XYZX,Y,ZXYZ，具有线性依赖关系和高斯噪声；XYX,YXY必须是单变量连续变量XYZX,Y,ZXYZ，具有线性依赖关系，对不同边缘分布具有鲁棒性；XYX,YXY必须是单变量ParCorrWLS连续变量XYZX,Y,ZXYZ，具有线性依赖关系，可以处理异方差依赖关系；XYX,YXY必须是单变量连续变量XYZX,Y,Z。

原创 Python 用pygame简简单单实现一个打砖块

【代码】Python 用pygame简简单单实现一个打砖块。

原创 tigramite教程（六）使用TIGRAMITE 进行因果发现

TIGRAMITE 是一个时间序列数据分析的python包，它基于PCMCI框架，可以从离散或连续值的时间序列中重建图形模型（条件独立性图），并创建高质量的结果图。本教程通过演示示例来解释主要功能。最后，以下的《

原创 tigramite教程（五）使用TIGRAMITE 进行自助聚合和链接置信度量化

TIGRAMITE是一个用于时间序列分析的Python模块。它基于PCMCI框架，允许从离散或连续值时间序列中重建因果图模型，并创建结果的高质量图表。本教程解释了时间序列因果发现的自助聚合（Bagging），该方法在函数中实现。自助聚合是一种通用的元算法，可与TIGRAMITE的大多数因果发现方法结合使用，例如run_pcmcirun_lpcmci等，包括整个条件独立性检验范围。您可以参考以下预印本获取更多信息。

原创 tigramite教程（四）TIGRAMITE的假设

TIGRAMITE 是一个针对时间序列的python 包，它可以从时间序列数据之间高效地发现关系。PCMCI 的 论文在这，之后的进阶版本，也会推出，这个教程解释因果假设，逐步给出了一个例子。

原创 Python 泰森多边形后进行莫兰指数

一般用莫兰指数的时候需要城市的边界特别清楚，但是在实际业务里，没有那么详细的地图边界。当然数值维度可以自己定，那每个人的边界怎么去确定？用泰森多边形即可，用泰森多边形近似出每个人的气场领域就可。莫兰指数就是看地理周边之间的关系，比如在地图上，看到北京的经济指数很高，但是北京周围一圈的城市经济指数特别低，这个有趣的现象就能用莫兰指数发现。有点意思了，但我们的目标还是要找到每个点所在区域的形状，这个形状怎么弄出来。这个图疏密有致，但每个人的气场怎么画出来？这个信息有了就可以做了，做。就是第k个点的坐标，

原创 Pyinstaller 版本改变

Pyinstaller 版本升级到最新6.0.0以上，按照目录打包，会把依赖文件放在一个_internal 文件夹内，如果还想要之前的全铺开的话，只需要在spec文件的EXE选项里加上。在之前的5.12版本中，打包总是碰见奇奇怪怪的问题，少了lib依赖库等等，所以给它升级到最新就好了。

原创 tigramite教程（三）气候案例研究

此文件夹中的两个案例研究来自气候科学和生物地球科学，遵循以下综述论文中的QAD-问卷和方法选择流程图（包含在tigramite github教程文件夹中）：综述论文的末尾列出了一些解决选定QAD问题的方法和软件。此案例研究以沃克环流为例，其中因果物理机制在所谓的气候遥相关方面有相当好的理解。请参阅论文中的更详细讨论。重点是沃克环流的赤道西部-中央太平洋分支。

原创 tigramite教程（二）生物地球科学案例研究

这个文件夹中的两个案例研究来自气候科学和生物地球科学，遵循以下审查论文中的 QAD-问卷和方法选择流程图（包含在 tigramite github 教程文件夹中）：该审查论文的末尾列出了一些用于解决选定 QAD 问题的软件和方法。这个例子将演示使用基于因果推断的技术来调查空气温度（Tair）对生态系统呼吸（Reco）的因果效应，数据还包括总初级生产力（GPP）和短波辐射（Rg）。

原创 tigramite教程（一）解释与假定或发现的因果模型相关的关联

在因果发现中的一个常见任务是证明和验证为什么一个假设或重建的因果网络是合理的。在这里，我们展示如何利用估计的图来构建一个模型，解释数据集的滞后相关结构。具体步骤如下：1、估计（马尔可夫等价类的）因果图2、如果马尔可夫等价类有多个成员（存在未定向的边），选择类的一个成员，这可以自动完成3、对从图中提取的因果父节点进行线性结构因果模型拟合4、估计残差的噪声协方差矩阵5、利用这种噪声结构构建线性高斯结构因果模型，并使用与数据相同的样本大小生成许多实现。

原创 熵 的理解

这里谈到的熵就是信息熵，信息熵是衡量一个事物系统不确定性的期望。说人话就是，在用到信息熵场景中，一定是有若干个0~1的数字。就去衡量一下它们的大小是否相差无几，如果都差不多大，熵值就大，若果有一个拔尖的很高，那么熵值就小。

原创 Web 上升的圆心

/ 使用requestAnimationFrame方法进行递归调用。/* 设置文字容器的 z-index 值 *//* 设置画布的 z-index 值 */// 50% 的概率设置为不透明。// 计算粒子与垂直中心线的距离。// 每隔一段时间创建一个粒子。

原创 Web 鼠标滑过有粒子掉落

最近在写接口，反正环境也有了，无聊写点代码。// 根据粒子的大小确定速度。// 根据粒子的大小确定亮度。// 随机给粒子大小。

原创 系统架构设计师教程（二十）系统架构设计师论文写作要点

摘要应控制在300~400字之间，否则可能会被扣分。摘要需要概括论文的主要内容，反映正文的全貌，并引人入胜。介绍论文主题、项目背景、作者角色以及技术、方法、工具、措施、手段。讨论项目背景、作者角色、技术、方法、工具、措施、手段，以及不足之处或改进建议。概述项目背景、作者角色、技术、方法、工具、措施、手段，并以具体项目为例。强调论文主题的重要性，并以具体项目为例，讨论技术、方法、工具、措施、手段。摘要中应避免只谈大道理而不涉及具体内容，确保摘要具有实质性内容。

原创 系统架构设计师教程（十九）大数据架构设计理论与实践

探讨了大数据架构设计理论与实践，分析了大数据系统设计的关键要素和常见架构。文章首先介绍了Lambda架构和Kappa架构，以及它们在处理大数据时的优势和局限性。Lambda架构将数据处理分为批处理和实时处理两层，适用于需要离线和实时数据处理相结合的场景。而Kappa架构则在同一层内进行实时处理和离线处理，更适用于实时性要求较高的场景。

原创 系统架构设计师教程（十八）安全架构设计理论与实践

在当今社会，信息化技术发展已经深入到各行各业，从个人事务处理到企业自动化、从政 府办公到电子商务，人们工作、生活方方面面几乎都离不开以计算机、网络和软件为载体的数 字化信息服务，因此，信息安全已成为当前亟待解决的重要问题。安全架构是架构面向安全性 方向上的一种细分，可关注三个安全方面，即产品安全架构、安全技术体系架构和审计架构， 这三个方面可组成三道安全防线。本章主要分析安全威胁、介绍安全模型，在此基础上，就系统、信息、网络和数据库的安全框架及设计进行介绍。最后，简要说明系统架构的脆弱性问题。

原创 系统架构设计师教程（十七）通信系统架构设计理论与实践

通信系统(也称为通信网络)是利用各种通信线路将地理上分散的、具有独立功能的计算 机系统和通信设备按不同的形式连接起来，依靠网络软件及通信协议实现资源共享和信息传递 的系统。本章主要介绍通信系统的5种常用的网络架构和构建网络的相关技术，以及网络构建的分析和设计方法。

原创 系统架构设计师教程（十六）嵌入式系统架构设计理论与实践

嵌入式系统 (Embedded System) 是为了特定应用而专门构建的计算机系统，其架构是随着 嵌入式系统的逐步应用而发展形成的。嵌入式软件架构的设计与嵌入式系统的体系架构是密不 可分的。因此，本章首先介绍嵌入式系统硬件相关知识(系统特征、硬件组成和分类等)。其次，就嵌入式软件的架构设计原理、嵌入式的基础软件、嵌入式架构设计方法等进行详细论述。 本章介绍内容对设计嵌入式软件架构非常有益。

原创 Rust 安装retrying renaming 问题

或者 打开安装的Visual Studio 20XX。