天天向上的专栏

的流程，核心是通过统计模型验证经济理论或政策效果。检验美国各州最低工资上调是否导致青少年（16-19岁）就业率下降。让 deepseek 帮我总结了下，供以后参考。，方法选择需紧密围绕研究问题和数据特性。双向固定效应面板模型有几个参数，与。计量经济学论文的研究方法通常遵循。

以下是一个完整的的市场营销研究案例，包含和。

最近尝试用 gurobi 进行并行计算，即同时用多个 cpu 核计算 gurobi 的 model，但是发现了不少问题。目前看到的一些 gurobi 或 cplex 正确运行并行计算的例子，基本都是在目标函数中重新新建模型，或者将原模型的一些参数文件传递到目标函数中，仍然新建模型。真要实现规划模型的并行计算，估计要深入修改求解器模型的源代码。官方没有意愿将模型对象支持 pickle，估计是因为可能会损失模型的其他功能吧。对于求解器的并行计算，目前来看，没有看出相比串行计算有太大优势。

经过实际上手测试，综合看来，还是 c++最快，尤其是在普通的循环与计算上，比 java 还快不少但是，若对于更复杂的数据结构，c++ 与 java 相比优势没那么大了，而且 c++ 还要注意开启优化或者对数据结构进行调整优化python 一些库，由于底层基于 c 语言运行，速度可以达到非常快但是，经过一天的探索，发现 c++ 真是比较繁琐的编程语言，很多类、函数或特殊变量的注释都不像 java 或 python 那么清晰易懂，而且程序、库的调用以及运行，要麻烦非常多。

字段说明时间日志级别日志内容记录日志的文件%(lineno)d行号logging。

例如，在 Pycharm 中，对于目录结构2，可以直接按下面代码导入模块，而不用通过 sys.path 添加父文件夹路径。Python 编程中，每个以 .py 为后缀的文件被称作模块（module）。很多时候，我们需要导入其他模块中的函数，在 Python 中导入其他文件夹中的模块时，有几个规则和方法可供使用。，其中，“other_folder” 为文件夹在电脑硬盘中的详细地址。若具体想导入 my_module.py 模块中的某个函数或类 foo()，可以。添加导入模块的具体路径。

我花了将近一个月的时间，基本弄懂了大部分源代码，也基本搞清楚了这个随机规划算法的大体思路，我还在源代码中添加了许多注释。但是，但这个源代码中并行计算的部分总是运行错误。总体上，这个源代码体现了开发者对 python 以及 gurobi 的应用相当娴熟与专业，不愧是美国 top 名校的博士。我查了查，作者博士毕业后去了工业界，稍微有点可惜。前段时间无意中从网上找到一个随机规划方法的源代码，这个方法我一直在学，自己也编程实现了。但是看到别人更专业的代码后，发现差距还是不小的。

使用 python 编写了多阶段报童模型的动态规划算法。

在一些 python 的高级代码中经常见到并行计算的使用，稍微接触了下，还是挺有趣的。

Python 中的三重引号，我之前以为只有长注释的作用，仔细查了下，原来还有给函数、类添加说明的作用。这个功能太好了，大大增加了代码的可读性。具体的作用，总计如下。其实三重引号的最直接作用是用来定义跨行字符串，例如：显示的为：2. 给代码添加文档说明 （docstring）如果三重引号没有赋值给一个变量，则它的作用是给 python 的代码文件、类或方法添加说明。例如，下面这么函数：在一些 python 编译器中，例如 spyder，当鼠标停留在函数名时，会自动显示该函数的说明。如下图所示：

我们想获取豆瓣高分评价的 250 部电影的信息：电影名字，导演，上映年代，评分，评分人数等。start= ，发现每个网页显示 25 部电影，一共有 10 个挖网页，网页地址与链接中的 start = 后面的数字有关。是一个访问网页源代码的库。一般通过 get 函数访问网页，另外一个常用来访问网页的函数是 post，与 get 函数的区别在于 post 能够传递表格或文件到网页所在服务器上。导演，主演，上映年代，电影产地，电影类型信息在标签 里。网页中的很多信息都在源代码里面，

【代码】Python 实现动态动画心形图。

Python 提供了许多内建函数，比如 print()，但也可以自己创建函数，这被叫做用户自定义函数。掌握了自定义函数后，就能用 Python 实现很多自己想要的功能了。Python 自定义函数使用defdef 自定义函数的一般用法def 函数名(参数列表):statementsreturn zdef关键字 def 开头add函数的名字，可以自命名(x1, x2)小括号里面是函数的输入参数冒号，换行写函数内容；若不换行，整个函数只能有一行代码return。

除了结合 matplotlib 与 seaborn 画图外，Pandas 也有自己的画图函数。从上图可以看出，Pandas 的。默认对每一列数据，画一个线图。

Python 可以自己判断数字类型，例如在上面的代码中，由于 a 没有小数点，Python 认为 a 是整数型，b 带了小数点，Python 认为 b 是浮点型。注意：键必须不可变，所以可以用数字，字符串或元组充当，但用列表就不行。与字符串的索引一样，列表索引从 0 开始，第一个值的索引是位置 0，第二个索引是 1，依此类推。，但值（value）可以取任何数据类型，也可以改变，key，value 之间用冒号 ：分割。创建，并使用逗号隔开。Python 的常用数据类型有：数字，字符串，列表，元组，字典。

引号里面的百分号 % 定义了输出数据的格式，%d 表示按整数类型输出， %.2f 表示按浮点型输出，其中小数点后的数字表示保留几位小数，小数点前的数字表示输出变量所占的字符宽度，%s 表示按字符串输出,%.1f%% 表示按百分比输出，并保留一位小数。format 还可使实现不同的对齐格式，进制转换，数字填充等，本书不再赘述，感兴趣的读者可以进一步查阅官方文档。若要格式化输出，要用到百分号 %，语法规则类似 c 语言，具体参考下面的例子。等，本书不再赘述，感兴趣的读者可以在网上查阅相关资料。

可以看出，tips 数据集载入后，是 Pandas 的 DataFrame 类型，seaborn 可以方便地针对 DataFrame 数据集画图。seanborn 是 Python 的另外一个常用工具包，它基于 matplotlib，但画出的图形更加美观些，并且与 Pandas 的数据类型结合地较好。可以看出，应用 seaborn 的主题后，图形的配色变化了些。生成小提琴图，限于篇幅，本文不再赘述，有兴趣的读者可以查阅官方文档。seaborn 自带一些函数生成常见的图形，例如。

两个函数比较接近但略有区别，限于篇幅，我们只介绍。下面举例说明如何生成3个子图，并且其中一个子图横跨2列。若要 pyplot 一次生成多个图形，一般要用到。

饼图（pie char）是一个划分为几个扇形的圆形统计图表，一般用于描述频率或百分比之间的相对关系。在饼图中，每个扇区的弧长（以及圆心角和面积）的大小与其所表示的数量呈固定比例。画饼图使用 pyplot 中的pie。

这些时间序列的原始数据一般为文本格式，我们需要将它转化为时间日期格式。对于很多时间序列数据，有时候经常需要对它们按一定周期进行数据聚合，可以用 Pandas 提供的。函数中的参数为一个字典形式：替换前的名字为字典的 key，替换后的名字为字典的 value。函数第一项为原数据中的值，第二项为需要替换的值。的其他参数中， ‘T’ 表示分钟，‘H’ 表示小时，除了跟。在数据量比较大时，经常会遇到重复数据的问题，可以使用函数。将其中的分数 90 替换为缺失值 NaN，注意，函数批量替换数据表中的缺失值 NaN。

Pandas 可以使用到apply调用自定义函数。df['统计学'].apply(np.sqrt) # 调用 Numpy 中的求平方根函数对统计学成绩每个元素求平方根0 9.2195441 8.2462112 9.486833Name: 统计学, dtype: float64我们可以使用lambda定义一个匿名函数在applydf['高数'].apply(lambda x : x - 10) # 对每一个高数成绩都减去 10 分0 721 532 78。

在合并数据表时，若某些字段没有对应数据，Pandas 会自动用 NaN 替代，下面的例子展示了不同连接方式的效果。df1 与 df3 的姓名相同，但列名不完全相同。函数合并多个 DataFrame 的方式，增加多列或多行数据也可以使用。若要在指定位置插入行，目前 Pandas 还没有专门的函数，一般采用。在上面的代码中，匹配的字段为所有的列，连接方式为外连接，实现结果与。在原数据末尾增加一行数据时，比较简单的方式是用 loc 函数，，原始的 DataFrame 数据不变。函数，具体参看后面的合并数据章节。

pandas 是 Python 做统计分析时最重要的数据分析工具之一，它基于 numpy 开发，提供了许多处理大型数据集所需的函数，可以灵活高效的处理各种数据集。在修改 pandas 的 DataFrame 数据时，将 pandas 的索引位置赋值为新的值。里面跟着相邻两个行索引的方式，例如 df[0:1] 显示第 1 行的数据，而 df[1:2] 显示第 2 行的数据。，它不仅能查看多行多列数据，也能查看单行、单列或某个单元格数据。上面的图形中，第一行是列标题，第一列是行标题，可以分别通过。

幂函数1xα可以近似为指数函数eαx，甚至可以进一步近似为1αx。在一本书中指数平滑方法的介绍中见到了这个近似，总结一下。

二项分布可以在一定条件下近似为泊松分布、正态分布。

克隆巴赫系数 Cronbach’s alpha 是度量问卷信度（Reliability）的一个指标，一般大于 0.7 表示问卷的信度可以接受，大于 0.8 表示问卷的信度良好，大于 0.9 表示问卷的信度优秀。信度即测量的一致性，表示若问卷中的问题重复很多次问同一个人，这个人的回答总是一致的。效度是衡量问卷中的问题能否测量出它应该测量的事物的成都，例如网上的一些 IQ 测试问题真的能反映一个人的真实智力吗？这个就属于效度要衡量的东西。信度的标准定义为真值方差与测量值的方差之比。测量值 xxx 与真值 τ

将 benders 分解与 SAA 方法结合在一起，就产生了随机对偶动态规划方法。这两年在论文里看到了这个方法，一般用在运输或能源规划问题中，在库存管理问题中还没见别人用过。

听说过 benders 分解几年了，一直没有细看，最近论文里面也见到，还是有必要了解一下它的基本思想与用法的。

我发现 Numpy 中的一维数组既可以是行向量也可以是列向量：import numpy as npa = np.array([1, 2, 3, 4])In [18]: a.shape(4,)IPdb [19]: a.T.shape(4,)可以发现，一维数组的转置就是它自身。若在定义数组时，里面有两个中括号，就是一个行向量了。b = np.array([[1, 2, 3 ,4]])In [24]: b.shape(1, 4)但若 numpy 的二维数组与一维数组做矩阵乘法，一维

使用 python 做线性回归分析有好几种方式，主要的分别是 scipy 包，statsmodels 包，以及 sklearn 包。但是，这些包目前都不能处理共线性，即自动剔除部分共线性的变量，需要自己去编函数，这一点不如 spss 或 r 语言。1. 用 scipy 包做线性回归...

《多元统计分析》课程中的判别分析章节，一般会讲线性判别、贝叶斯判别与 Fisher 判别。但在 python 中的 sklearn 包里，只有线性判别（Linear Discriminant Analysis，LDA）与二次判别（Quadratic Discriminant Analysis）两类。...

python 提供金融股票数据的包，国外的包有 yfinance， 国内的包有 tushare。都是免费的，因此这两个包维护更新不快，有部分功能可能待修复。1. yfinance之前的名字叫 fix-yahoofinance，官方说明：https://pypi.org/project/yfinance/可以抓取雅虎财经网站上的股票信息，似乎全是美股。这几天国内不能用，可能雅虎财经的网...

Python 的诞生时间非常早，第一版 Python 发行于 1991 年，甚至比 Java 的历史都早。在大部分时间内，Python 一直作为一个小众的编程语言，并没有大规模流行起来。近些年来，随着大数据技术、人工智能技术的发展和普及，“简洁、具有良好扩展性”的 Python 非常契合大数据与人工智能技术对编程语言的要求，超越其他编程语言迅速崛起。Python 分别在2010年，2018年被全球知名的编程语言流行度排行榜网站 TIOBE 评为“年度最佳编程语言”，并长期位于各年或各月流行编程语言排行榜的

偶尔在机器学习的论文中了解到了分位数回归，发现这个方法应用也满广的。一般的回归方法是最小二乘法，即最小化误差的平方和：min⁡∑(yi−y^i)2\min\quad \sum(y_i-\hat{y}_i)^2min∑(yi​−y^​i​)2其中，yiy_iyi​ 是真实值，而 y^i\hat{y}_iy^​i​ 是预测值。而分位数的目标是最小化加权的误差绝对值和：min⁡y^i∑yi≥y^iτ∣yi−y^i∣+∑yi<y^i(1−τ)∣yi−y^i∣\min_{\hat{y}_i}\quad

1. 引言Logistic 逻辑回归比较适合分类型因变量的回归，这种问题在现实中很多，因此 Logistic 回归的应用还挺广泛的

用 cplex 或 gurobi 构建数学规划模型时，要是求解变量或约束条件比较多，刚开始总是不成功的，经常会遇到模型非可行的情况。一般是由于约束条件输入错误导致的，但是具体哪一个约束条件呢？一个一个核实太麻烦了。发现 cplex 或者 gurobi 都提供了寻找非可行原因的一些类和方法。...

最近使用 scipy 包中的 fit 函数拟合随机分布，发现它得出的参数怪怪的， KS 检验的结果也与其他软件（R语言，EasyFit）的结果不一样。例如，有时候明明一个随机分布拟合的很好，但 ks 检验的 p 值却很小。还没找到具体的原因，我想可能由于 scipy 包在定义随机分布时，一般都有一个 loc 参数， scale 参数，或者再有一个 shape 参数，这会与不少随机分布的标准定义有点差别，看着十分别扭。再进行 ks 检验时，或许不能直接代入 fit 生成的参数值。正确的原因等以后找到了再

gurobi 对 python 支持的不错，我已经编写了几个规划求解的例子。每次重新编程时，之前例子里的一些知识点又忘记了，觉得很有必要总结一下。

断断续续接触 python 爬虫一年多，确实挺有趣的。对于很多常规的网页抓取，发现技术难度也不是特别高。准备将一些使用心得，总结写一下，供以后自己查阅以及知识传播。由于网页（html）类似于 txt 一样的文本文档，因此爬虫其实就是从网页里找到想要的文本信息，爬虫的实质就是解析网页。解析网页一般有三种方式：利用 python 的一些字符串处理函数，例如：split， partition 等利用正则表达式利用 Beautifulsoup 包...

大约从硕士阶段就听说过 SVM 了，但是没有真正用过，这几天刚好看了看相关的内容，就简单写一下心得，供以后查阅用。支持向量机是一个二分分类方法，比较适合判断只有两个类别的分类问题。从几何意义上看，SVM 的基本思想是找到一个分类的直线（或平面，或者非线性曲线或平面），将两个类别的数据分开。在数学原理上，优化目标是让中间的分割线离两类数据边缘的距离最大。构建一个数学优化模型，并利用拉格朗日对偶模型求解，具体可以参考这篇博客，比英文维基百科介绍地都清楚：https://blog.youkuaiyun.com/BIT