- 博客(28)
- 收藏
- 关注
RSS订阅原创 数学要素：笔记3 统计入门 矩阵面积角度的协方差
以鸢尾花数据集为例，x1如果为花萼长度，x2为花萼宽度，μ1μ2分别为各自的均值，两者各自相减后为偏离均值的长度（去均值，也称为中心化），可以看作是一个矩形的两条边，相乘后可以看作是矩形面积。本篇文章为学习鸢尾花书的第三本《数学要素》第21章的笔记，pdf及对应代码作者在Github都有发布，书中最精彩的是可视化部分，非常直观。若两个值均为正或均为负，同大同小，则位于第一和第三象限（红色表示），反之如果两者负向变化，则位于第二四象限（蓝色表示）。红蓝矩形越多，面积越大，则表明联合变化程度越强，否则越弱。
2025-03-13 21:33:52
129
原创 神经网络基础：前向传播和反向传播
以一个简单的神经网络模型为例：向前传播即是按顺序输入-->输出-->输入-->输出Output的过程，所构建的SimpleNet模型可以看成是一个有多层嵌套的复合函数：Output = fc2(ReLU(fc1(x)))反向传播通过loss函数计算预测值和真实值的差异，通过，对W1和W2求梯度（偏导），然后更新W1，W2，如果模型更加复杂，节点更多，那么所有的权重都会通过此方法进行更新：通过前向和反向的循环，最终达成梯度最小化状态，预测值最接近真实值的状态，获得最终的W1，W2。
2025-03-11 21:48:57
199
原创 机器学习基础：梯度下降（以线性回归为例）
梯度下降：通过让损失函数最小（即理想状态是其导数为0），来找到最佳权重等参数的方法。即该状态下获得的自变量x的权重w及截距b所构成的公式（见代码），能够输出最接近真实值的预测值。
2025-03-03 21:14:47
207
原创 数学要素：笔记1 从向量乘法到矩阵乘法
本篇文章为学习鸢尾花书的第三本《数学要素》第2章的笔记，pdf及对应代码作者在Github都有发布，书中最精彩的是可视化部分，非常直观。
2025-01-26 11:45:12
186
原创 基础类结构
一直对类的调用比较迷惑，近期学习了一个用pygame实现的小游戏，里面都是函数和类的交互，通过此来突破类的知识。不得不说豆包真是好用，都不用打开浏览器检索，在vscode里直接就实现问题搜索和代码完善。在尝试问了N个问题之后，终于获得了我想要的回答，我的问题是：“请介绍基础的类结构”。PS: 豆包输出的代码未必都是正确的，矫正错误的过程刚好用来练习了，后文的代码都是可以顺利运行的。
2025-01-20 16:51:24
324
原创 4-时序数据预测-长短期记忆网络
课程网址（可选择旁听）对应代码（在Github找的）课程比较简单，重在教会学习者如何实践，使用Tensorflow的keras从简单的单层网络到LSTM复杂网络的构建，而不涉及具体的理论公式细节。本篇笔记对应的是第三四周的课程，代码学习材料为C4_W3_Lab_2_LSTM（长短期记忆网络），C4_W4_Lab_1_LSTM，时序数据为自定义生成的含有趋势、季节性的数据。
2024-11-25 21:45:56
405
原创 3-时序数据预测-循环神经网络
本篇笔记对应的是第二周的课程，代码学习材料为C4_W3_Lab_1_RNN（循环神经网络），时序数据为自定义生成的含有趋势、季节性的数据。课程比较简单，重在教会学习者如何实践，使用Tensorflow的keras从简单的单层网络到LSTM复杂网络的构建，而不涉及具体的理论公式细节。对应代码（在Github找的）课程网址（可选择旁听）
2024-11-24 10:53:04
782
原创 2-时序数据预测-多层神经网络
本篇笔记对应的是第二周的课程，代码学习材料为C4_W2_Lab_3_deep_NN（多层神经网络），时序数据为自定义生成的含有趋势、季节性的数据。课程比较简单，重在教会学习者如何实践，使用Tensorflow的keras从简单的单层网络到LSTM复杂网络的构建，而不涉及具体的理论公式细节。是为了通过提高模型的复杂度更好地识别复杂数据的特征，同时也需要注意避免过于复杂出现过拟合（都是试出来的，要根据自己的数据特点来尝试）。课程使用的方法是尝试不同的学习率，绘制学习率与模型损失函数的图。课程网址（可选择旁听）
2024-11-23 16:49:19
644
原创 1-时序数据预测-单层神经网络
本篇笔记对应的是第二周的课程，代码学习材料为C4_W2_Lab_2_single_layer_NN，时序数据为自定义生成的含有趋势、季节性的数据。课程比较简单，重在教会学习者如何实践，使用Tensorflow的keras从简单的单层网络到LSTM复杂网络的构建，而不涉及具体的理论公式细节。模型以前20个数作为第一个window开始预测第21个直至最后一个值，然后截取了实际想要预测的部分。对应代码（在Github找的）
2024-11-22 17:09:10
746
原创 单纯使用快捷键操作jupyter lab
本文主要讲以cell为单位的常用快捷键操作，大家跟着顺序串起来操作几遍就熟悉了，会好于独立地学习单个快捷键。
2024-11-13 13:41:55
264
原创 Python+SQL：将Dataframe上传到数据库
上传数据前需确认清楚自己是否有权限访问host，以及确认清楚具体的上传路径（hdfs_path）
2024-07-19 10:25:55
274
1
原创 Python+SQL：在python中调用sql文件并运行转化为Datafarme
因为需要从数据库中取数并且在python中进行排版、分析等操作，每次都需要从dbeaver运行sql导出excel，然后再导入python进行后续操作，而直接在python中调用sql文件就免去了这个中间环节，更加简便。
2024-07-18 10:28:34
483
原创 SQL：多字段数据报表取数思路总结-化整为零
DBeaver中如果使用create temporary table创建临时表，在最后导出数据的时候会失败，我直接使用的是复制粘贴结果。在给字段进行分类，或者说划定子表包含的字段的时候可以使用MECE法则，穷尽且不重复，这样能够使整个SQL框架更加清晰。而多层次的嵌套较适用于一些简单的取数任务。
2024-05-08 16:46:33
280
1
原创 Python：使用openpyxl创建新工作簿（xlsx）并创建多个工作表（sheet）
【代码】Python：使用openpyxl创建新工作簿（xlsx）并创建多个工作表（sheet）
2024-04-30 14:53:24
1377
原创 Python：openpyxl在excel中读取url并下载、插入图片
本文展示了如何使用openpyxl等一系列包创建新工作表或在已有工作表中插入图片的方法。
2024-04-23 10:24:19
1204
2
原创 Python: 利用pandas包完成多层次表头excel数据的转置操作
需要注意的是pandas导入xlsx使用的是xlrd包，而只有旧版本的xlrd(1.2.0) 包支持导入xlsx文件，最新版本的xlrd包不支持xlsx而支持xls。使用的关键函数为：fillna()，MultiIndex.from_product()，stack()，reset_index()PS：这么一通操作总算是对dataframe的索引有了更深的了解了，iloc，loc什么的概念也都清楚了。导入数据之后，需要根据数据呈现出的格式进行相应的操作。导入xlsx使用的是pd.read_excel()
2023-10-24 17:29:37
1751
1
原创 jupyter notebook中rise插件的安装
背景：Anaconda powershell prompt（miniconda）中我已经构建好了虚拟环境，安装了jupyter，当我直接运行如下命令：发生了报错，结果发现是需要先安装 jupyter_contrib_nbextensions（jupyter的插件管理器），但是也安装失败，通过检索和GPT给的方法最后成功安装。（全程是在Anaconda powershell prompt 我的虚拟环境里，可按需在自己的环境安装）
2023-08-09 17:02:10
1973
3
原创 Python基础：代码异常处理之exit()和try-expect结构
接收一个整数作为退出状态码，exit(0)表示程序正常退出，exit(非零值)表示程序异常退出或出现错误。可以在代码运行的过程中捕捉异常，并按照设定好的流程处理，以增加代码稳健性，确保代码能够在出现异常时继续运行或者提供有意义的报错信息。使用exit()函数会终止程序执行，立即退出。注：Python中有许多内置异常类可和expect叠加使用，具体的异常类可见。但在特定情况下，如果需要显式地结束程序的执行，可以考虑使用。结构可以处理异常并控制程序的执行流程，而不需要额外使用。
2023-06-25 18:36:13
765
原创 Python基础：如何写出优美的代码？
模块并调用其中的函数来计算一组分数的平均值。通过模块化的设计，代码被分成可重用的功能块，可以按需分别调用对应的模块，提高了代码的重用和维护。虽然代码功能正常，但是没有进行模块化的拆分。这样的设计不利于代码的重用和维护。模块包含一个用于计算平均值的函数。所有的代码都包含在一个文件。
2023-06-25 11:38:40
196
原创 Python基础：print() 与格式化输出
操作符可以将变量的值插入到格式化字符串中的特定位置。使用不同的格式化占位符来表示不同类型的值，例如。print()可以同时输出多种数据类型的数据，默认各个部分以空格隔开。'参数用于指定输出中各个参数之间的分隔符，默认为一个空格字符。在字符串中使用转义字符实现对应功能，例如换行符。参数来指定输出结束时的字符，默认为换行符。更细致地定制输出格式。
2023-06-18 18:34:45
554
1
原创 Arcpy 批量操作常见报错及处理
使用Arcpy进行循环批量操作时的常见问题：文件已存在栅格转矢量失败原因1：栅格的数值类型非整型原因2：输入的栅格为空Intersect相交之后显示结果不存在Dissolve要素融合，图层已存在字段相关问题问题1：同名字段已存在问题2：自带的arcpy.JoinField_management() 功能耗时离谱..................
2022-06-18 10:20:52
2461
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人