- 博客(395)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 Pytorch 深度学习运行代码简单教程
Pytorch 是一个机器深度学习框架，易于上手，个人感觉比tensorboard要友好。Pytorch的深度学习程序分三个模块，实现三个功能，分别是取数据、建模型、运行程序。一般是分三个.py文件写，当然也可以写在一个文件里。我喜欢写成三个文件，这样看着比较方便点，而且Pytorch把这三个功能都写的挺好的，自己用的时候继承稍微改一下就好了。其实深度学习的最终目标，就像求 y=f(x)y = f(x)y=f(x) 这个公式中 f(x)f(x)f(x) 的最佳参数一样：首先我们会有很多很多的 (x,
2021-10-09 15:45:47
5508
3
原创 Python 装饰器
Python装饰器好呀，就在方法前面加个 @装饰名称 就可以在我们方法外面套用一整套流程，特别方便。就比如写了几个函数，突然发现这几个函数要增加一个运行时间，那么采用装饰器的方式就再方便不过了。装饰器可以在不修改原函数代码的情况下，动态地添加新的功能。再次调用say_hello()，就输出下面样子。调用say_hello()，输出Hello!我想看下这个函数运行用了多久。
2025-01-15 09:41:19
131
原创 Python AI后台服务器
数据下下来后，还有并行处理的需求，比如对每一列数据进行归一化，或者更复杂的处理，分别试了下面的并行库。把数据训练放在后台，首先碰到的一个问题是如何高效地从数据库把数据请求下来。其他的dash，ray就没试过了。
2024-12-18 17:24:29
266
原创 python FastAPI 后台运行
最近需要用python把AI的能力封装起来，通过暴露API的方式供别的服务来调用。整体的想法是，选择对应接口，接口读取传入的sql语句，自动去数据库读取数据，运算后将结果在存放在数据库中。搭建FastAPI框架，由于AI训练时间比较久，所以采用了fastapi的后台运行方式。如下，这样就可以了，而且也可以在后台执行程序中，利用多进程写代码。
2024-11-21 13:46:00
715
1
原创 Fastapi做成docker启动失败，需要启动线程。
但在我的机器上没起作用，后来在docker run 命令中加入了。没启动起来，进入容器看了下，报下面的错。网上百度了下说这样可以。
2024-09-23 18:57:41
334
原创 Python 多进程处理大Pandas
其实基本的思想就是把大的DataFrame拆分为若干小块，再分批处理。多进程，那就真是多个cpu核，每个核领自己的任务来跑，跑完结果再汇总。多线程，其实还是一个cpu核，边执行边切换，对于密集的计算不太适合。那我们就选用多进程，Python封装的还可以，也可以方便地跨平台。
2024-09-20 09:52:37
398
原创 Python Linux环境（Centos8）安装minicoda3+jupyterlab
最近服务器检查，我下面的服务器有漏洞，不得已重装了，正好记录下怎么从零到python写代码。
2024-07-15 14:04:58
832
原创 Python 在windows环境下加密文件成.pyd格式
最后会在目录下看见有个.pyd的文件，只保留这个文件，剩下的都删了，其他引用该文件的python文件该咋用咋用。多了好多文件，我们只需要一个pyd文件即可，剩下的可以删除了。然后打开在要加密的文件同一目录下cmd命令框，命令行里键入。现在我们尝试加密fff.py文件。比如我的工程下有下面这两个文件。main.py的代码如下所示。fff.py的代码如下所示。运行main就会打印出。
2024-04-25 10:13:20
532
1
原创 tigramite教程（八）Tigramite 异方差偏相关加权最小二乘法教程
Tigramite 是一个用于时间序列分析的 Python 模块。它允许根据 PCMCI框架从离散或连续值的时间序列重构图形模型（条件独立图），并创建结果的高质量图形。PCMCI 在这里有所描述：J. Runge, P. Nowack, M. Kretschmer, S. Flaxman, D.对于 PCMCI 的进一步版本（例如，PCMCI+, LPCMCI 等），请参见相应的教程。本教程解释了如何应用偏相关条件独立性检验的加权最小二乘变体（ParCorrWLS）。
2024-04-21 17:42:39
1330
原创 tigramite教程（七）使用TIGRAMITE 进行条件独立性测试
这个表格概述了X⊥Y∣ZX⊥Y∣Z的测试及其相关的假设条件独立性检验假设条件ParCorr连续变量XYZX,Y,ZXYZ，具有线性依赖关系和高斯噪声；XYX,YXY必须是单变量连续变量XYZX,Y,ZXYZ，具有线性依赖关系，对不同边缘分布具有鲁棒性；XYX,YXY必须是单变量ParCorrWLS连续变量XYZX,Y,ZXYZ，具有线性依赖关系，可以处理异方差依赖关系；XYX,YXY必须是单变量连续变量XYZX,Y,Z。
2024-04-04 17:58:46
1403
原创 tigramite教程（六）使用TIGRAMITE 进行因果发现
TIGRAMITE 是一个时间序列数据分析的python包，它基于PCMCI框架，可以从离散或连续值的时间序列中重建图形模型（条件独立性图），并创建高质量的结果图。本教程通过演示示例来解释主要功能。最后，以下的《
2024-03-13 18:33:07
2748
7
原创 tigramite教程（五）使用TIGRAMITE 进行自助聚合和链接置信度量化
TIGRAMITE是一个用于时间序列分析的Python模块。它基于PCMCI框架，允许从离散或连续值时间序列中重建因果图模型，并创建结果的高质量图表。本教程解释了时间序列因果发现的自助聚合（Bagging），该方法在函数中实现。自助聚合是一种通用的元算法，可与TIGRAMITE的大多数因果发现方法结合使用，例如run_pcmcirun_lpcmci等，包括整个条件独立性检验范围。您可以参考以下预印本获取更多信息。
2024-03-13 16:36:57
1269
原创 tigramite教程（四）TIGRAMITE的假设
TIGRAMITE 是一个针对时间序列的python 包，它可以从时间序列数据之间高效地发现关系。PCMCI 的 论文在这，之后的进阶版本，也会推出，这个教程解释因果假设，逐步给出了一个例子。
2024-03-13 14:56:39
1434
原创 Python 泰森多边形后进行莫兰指数
一般用莫兰指数的时候需要城市的边界特别清楚，但是在实际业务里，没有那么详细的地图边界。当然数值维度可以自己定，那每个人的边界怎么去确定？用泰森多边形即可，用泰森多边形近似出每个人的气场领域就可。莫兰指数就是看地理周边之间的关系，比如在地图上，看到北京的经济指数很高，但是北京周围一圈的城市经济指数特别低，这个有趣的现象就能用莫兰指数发现。有点意思了，但我们的目标还是要找到每个点所在区域的形状，这个形状怎么弄出来。这个图疏密有致，但每个人的气场怎么画出来？这个信息有了就可以做了，做。就是第k个点的坐标，
2024-03-07 12:39:33
469
原创 Pyinstaller 版本改变
Pyinstaller 版本升级到最新6.0.0以上，按照目录打包，会把依赖文件放在一个_internal 文件夹内，如果还想要之前的全铺开的话，只需要在spec文件的EXE选项里加上。在之前的5.12版本中，打包总是碰见奇奇怪怪的问题，少了lib依赖库等等，所以给它升级到最新就好了。
2024-03-01 17:15:18
575
原创 tigramite教程（三）气候案例研究
此文件夹中的两个案例研究来自气候科学和生物地球科学，遵循以下综述论文中的QAD-问卷和方法选择流程图（包含在tigramite github教程文件夹中）：综述论文的末尾列出了一些解决选定QAD问题的方法和软件。此案例研究以沃克环流为例，其中因果物理机制在所谓的气候遥相关方面有相当好的理解。请参阅论文中的更详细讨论。重点是沃克环流的赤道西部-中央太平洋分支。
2024-02-27 11:30:16
1269
3
原创 tigramite教程（二）生物地球科学案例研究
这个文件夹中的两个案例研究来自气候科学和生物地球科学，遵循以下审查论文中的 QAD-问卷和方法选择流程图（包含在 tigramite github 教程文件夹中）：该审查论文的末尾列出了一些用于解决选定 QAD 问题的软件和方法。这个例子将演示使用基于因果推断的技术来调查空气温度（Tair）对生态系统呼吸（Reco）的因果效应，数据还包括总初级生产力（GPP）和短波辐射（Rg）。
2024-02-26 17:36:17
1326
原创 tigramite教程（一）解释与假定或发现的因果模型相关的关联
在因果发现中的一个常见任务是证明和验证为什么一个假设或重建的因果网络是合理的。在这里，我们展示如何利用估计的图来构建一个模型，解释数据集的滞后相关结构。具体步骤如下：1、估计（马尔可夫等价类的）因果图2、如果马尔可夫等价类有多个成员（存在未定向的边），选择类的一个成员，这可以自动完成3、对从图中提取的因果父节点进行线性结构因果模型拟合4、估计残差的噪声协方差矩阵5、利用这种噪声结构构建线性高斯结构因果模型，并使用与数据相同的样本大小生成许多实现。
2024-02-26 15:44:59
1444
原创 熵 的理解
这里谈到的熵就是信息熵，信息熵是衡量一个事物系统不确定性的期望。说人话就是，在用到信息熵场景中，一定是有若干个0~1的数字。就去衡量一下它们的大小是否相差无几，如果都差不多大，熵值就大，若果有一个拔尖的很高，那么熵值就小。
2024-01-30 15:41:21
286
原创 Web 上升的圆心
/ 使用requestAnimationFrame方法进行递归调用。/* 设置文字容器的 z-index 值 *//* 设置画布的 z-index 值 */// 50% 的概率设置为不透明。// 计算粒子与垂直中心线的距离。// 每隔一段时间创建一个粒子。
2024-01-28 21:59:08
903
原创 Web 鼠标滑过有粒子掉落
最近在写接口，反正环境也有了，无聊写点代码。// 根据粒子的大小确定速度。// 根据粒子的大小确定亮度。// 随机给粒子大小。
2024-01-28 20:54:43
687
原创 系统架构设计师教程（二十）系统架构设计师论文写作要点
摘要应控制在300~400字之间，否则可能会被扣分。摘要需要概括论文的主要内容，反映正文的全貌，并引人入胜。介绍论文主题、项目背景、作者角色以及技术、方法、工具、措施、手段。讨论项目背景、作者角色、技术、方法、工具、措施、手段，以及不足之处或改进建议。概述项目背景、作者角色、技术、方法、工具、措施、手段，并以具体项目为例。强调论文主题的重要性，并以具体项目为例，讨论技术、方法、工具、措施、手段。摘要中应避免只谈大道理而不涉及具体内容，确保摘要具有实质性内容。
2024-01-28 13:11:40
1264
原创 系统架构设计师教程（十九）大数据架构设计理论与实践
探讨了大数据架构设计理论与实践，分析了大数据系统设计的关键要素和常见架构。文章首先介绍了Lambda架构和Kappa架构，以及它们在处理大数据时的优势和局限性。Lambda架构将数据处理分为批处理和实时处理两层，适用于需要离线和实时数据处理相结合的场景。而Kappa架构则在同一层内进行实时处理和离线处理，更适用于实时性要求较高的场景。
2024-01-28 12:57:24
1423
原创 系统架构设计师教程（十八）安全架构设计理论与实践
在当今社会，信息化技术发展已经深入到各行各业，从个人事务处理到企业自动化、从政 府办公到电子商务，人们工作、生活方方面面几乎都离不开以计算机、网络和软件为载体的数 字化信息服务，因此，信息安全已成为当前亟待解决的重要问题。安全架构是架构面向安全性 方向上的一种细分，可关注三个安全方面，即产品安全架构、安全技术体系架构和审计架构， 这三个方面可组成三道安全防线。本章主要分析安全威胁、介绍安全模型，在此基础上，就系统、信息、网络和数据库的安全框架及设计进行介绍。最后，简要说明系统架构的脆弱性问题。
2024-01-27 22:02:52
1707
原创 系统架构设计师教程（十七）通信系统架构设计理论与实践
通信系统(也称为通信网络)是利用各种通信线路将地理上分散的、具有独立功能的计算 机系统和通信设备按不同的形式连接起来，依靠网络软件及通信协议实现资源共享和信息传递 的系统。本章主要介绍通信系统的5种常用的网络架构和构建网络的相关技术，以及网络构建的分析和设计方法。
2024-01-27 21:06:47
1647
原创 系统架构设计师教程（十六）嵌入式系统架构设计理论与实践
嵌入式系统 (Embedded System) 是为了特定应用而专门构建的计算机系统，其架构是随着 嵌入式系统的逐步应用而发展形成的。嵌入式软件架构的设计与嵌入式系统的体系架构是密不 可分的。因此，本章首先介绍嵌入式系统硬件相关知识(系统特征、硬件组成和分类等)。其次，就嵌入式软件的架构设计原理、嵌入式的基础软件、嵌入式架构设计方法等进行详细论述。 本章介绍内容对设计嵌入式软件架构非常有益。
2024-01-25 21:54:13
1130
原创 系统架构设计师教程（十五）面向服务架构设计理论与实践
Massimo Pezzini,Gartner Group说过，“当有一天，所有的应用都写成Web服务，集成也许 可以变得更容易”。服务是一个由服务提供者提供的，用于满足使用者请求的业务单元。服务的提供者和使用 者都是软件代理为了各自的利益而产生的角色。在面向服务的体系结构 (Service-Oriented Architecture,SOA) 中，服务的概念有了延伸，泛指系统对外提供的功能集。
2024-01-24 22:35:13
1196
原创 系统架构设计师教程（十四）云原生架构设计理论与实践
云原生 (Cloud Native) 是近几年云计算领域炙手可热的话题，云原生技术已成为驱动业务 增长的重要引擎。同时，作为新型基础设施的重要支撑技术，云原生也逐渐在人工智能、大数据、边缘计算、5G 等新兴领域崭露头角。伴随各行业上云的逐步深化，云原生化转型进程将进一步加速。本章主要介绍了云原生背景、定义、架构以及相关云原生技术等方面知识。
2024-01-24 21:12:40
3074
原创 系统架构设计师教程（十三）层次式架构设计理论与实践
层次式架构是软件体系结构设计中最为常用的一种架构形式，它为软件系统提供了一种在 结构、行为和属性方面的高级抽象，其核心思想是将系统组成为一种层次结构，每一层为上层 服务，并作为下层客户。本章重点介绍了层次式架构中的表现层、中间层、访问层和数据层的 体系结构设计技术，给出了层次式架构的案例分析。
2024-01-21 22:21:52
1560
原创 系统架构设计师教程（十二）信息系统架构设计理论与实践
信息系统架构 (Information System Architecture,ISA) 是一种体系结构，它反映了一个政府、企业或事业单位信息系统的各个组成部分之间的关系，以及信息系统与相关业务，信息系统与相关技术之间的关系。本章主要介绍信息系统架构的基本概念及其发展历程，阐述信息系统架构的基本原理、分类、常用架构风格和架构模型，以及企业信息系统架构框架。重点分两部分讲解架构开发方法论 (ADM) 和信息化工程的相关知识。最后给出了信息系统架构案例分析。
2024-01-21 19:14:00
1365
原创 Web 基尼系数的计算
<!DOCTYPE html><html><head> <title>计算基尼系数</title> <script src="https://cdn.staticfile.org/Chart.js/3.9.1/chart.js"></script> <script> var myChart; function giniCoefficient(data) { var c
2024-01-11 17:42:34
1029
原创 系统架构设计师教程（十一）未来信息综合技术
未来信息综合技术是指近年来新技术发展而提出的一些新概念、新知识、新产品，本章将综合概述这些新技术的相关知识、定义和应用。本章主要包括信息物理系统 (CPS)、 人工智能(AI)、 机器人、边缘计算、数字孪生、云计算和大数据等技术。这些技术涉及多学科、多领域，具有很强的技术综合性，但是，其核心是计算机信息技术的延伸，也是当前应用技术发展的前沿。
2024-01-11 17:41:11
1337
原创 系统架构设计师教程（十）软件可靠性基础知识
软件架构一般会经历初始设计、实际使用、修改完善和退化弃用的过程，其中修改完善的过程实际上就是软件架构的演化和维护过程，演化和维护的目的就是为了使软件能够适应环境的变化而进行的纠错性修改和完善性修改等。软件架构的演化和维护过程是一个不断迭代的过程，通过演化和维护，软件架构逐步得到完善，以满足用户需求。本章详细讨论软件架构的演化和维护问题，包括基本概念、演化类型和维护手段，还介绍了一些实际有用的软件架构演化原则。
2024-01-08 22:13:10
1249
原创 Python 用tqdm不换行
原来是把行按照数组格式输出了，需要将数组换成字符串，就不会换行了。用tqdm打印pandas的行的时候，莫名其妙地有时候会换行。
2023-12-25 11:30:14
823
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人