qq_28069577的博客

PySpark数据处理原理实验步骤步骤1：使用Python链接Spark环境import pandas as pdfrom pyspark.sql import SparkSessionspark = SparkSession \ .builder \ .appName('pyspark') \ .getOrCreate()# 原始数据 test = spark.createDataFrame([('001','1',100,87,67,83,98), (

微分学的基本思想和方法微分学的核心思想：函数逼近人均 GDP ：使用常数函数来逼近收入分布函数平均速度：使用线性函数来逼近实际运动轨迹年化收益率：使用指数函数来逼近收益函数微分学的核心思想是用熟悉且简单 的函数对复杂函数进行局部逼近微积分的基础语言： 极限论 微分学的基本手法：求导数从线性逼近到多项式逼近：泰勒级数从低纬到高维：多元函数的梯度梯...

http://baijiahao.baidu.com/s?id=1639202882632470513&wfr=spider&for=pc

行内与独行行内公式：将公式插入到本行内，符号：公式内容公式内容公式内容，如：xyzxyzxyz独行公式：将公式插入到新的一行内，并且居中，符号：公式内容公式内容公式内容，如：xyzxyzxyz上标、下标与组合上标符号，符号：^，如：x4x^4x4下标符号，符号：_，如：x1x_1x1​组合符号，符号：{}，如：168O2+2{16}_{8}O{2+}_{2}168​O2+2​汉字、字...

python数据分析数据分析工具Numpy：提供数组功能，以及对数据快速处理的函数，创建数组 np.array([])Scipy:提供矩阵计算，功能有最优化，线性代数，积分，插值，拟合，特殊函数，快速傅里叶变换，常微分方程求解等。Matplotlib功能主要是提供数据可视化，Pandas功能：有类似SQL的增删改查，并且带有丰富的数据处理函数，支持时间序列分析功能，支持灵活处理缺失数据...

一门语言一个周拿下，主要走两个方面去学习，分好基本语法，对比曾经学过的语言，然后就是通用的算法基本语法记录简单的语法，采用缩进的方式，增加了代码的可读性python语言对大小写敏感，写错程序会报错。print（）函数，将结果打印在控制台基本数据类型：字符串string，整数int，浮点数float，布尔值boolean，空值None算术符：加 +，减-，乘*，除/，取余%，x的y次幂...

PyPI(Python Package Index)是python官方的第三方库的仓库，所有人都可以下载第三方库或上传自己开发的库到PyPI。PyPI推荐使用pip包管理器来下载第三方库。https://github.com/yanmuyuan/python/tree/master/factorial学习PyPi时候自己做的例子，记录一下...

1.Windows下安装Pytorch，这里使用Anaconda安装,一直点击下一步然后可以去我的电脑中查看path到此安装成功2.打开 Anacoda Navigator启动成功后可以看到3.安装PyTorch&torchvision打开https://pytorch.org/get-started/locally/找到符合自己系统的版本，使用conda方...

本章内容Sigmoid函数和logistic回归分类器 最优化理论初步 梯度下降最优化算法 数据中的缺失项处理我们介绍几个最优化算法，并利用它们训练出一个非线性函数用于分类。回归：假设我们有一些数据点，我们用一条直线对这些点进行拟合，这个拟合过程就称作回归。利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类Logistic回归的...

本章内容：使用概率分布进行分类 学习朴素贝叶斯分类器 解析RSS源数据 使用朴素贝叶斯来分析不同地区的态度基于贝叶斯决策理论的分类方法朴素贝叶斯 优点：在数据较少的情况下仍然有效，可以处理多类别问题 缺点：对于输入数据的准备方式较为敏感 适用数据类型：标称型数据 朴素贝叶斯是贝叶斯决策理论的一部分，所以讲述朴素贝叶斯之前要了解一下贝叶斯决策理论。假如我们有一个数据...

本章内容决策树简介 在数据集中度量一致性 使用递归构造决策树 使用matplotlib绘制树形图决策树，顾名思义就是有很多节点到达每一个节点都要判断应该往哪里走决策树的构造决策树 优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不想管特征数据。 缺点：可能会产生过度匹配问题 适用数据类型：数值型和标称型 要使用算法构造决策树，我们...

机器学习的一个重要应用就是文档的自动分类。在文档分类中，整个文档（如一封电子邮件）是实例，而电子邮件中的某些元素则构成特征。虽然电子邮件是一种会不断增加的文本，但我们同样也可以对新闻报道、用户留言、政府公文等其他任意类型的文本进行分类。我们可以观察文档中出现的词，并把每个词的出现或者不出现作为一个特征，这样得到的特征数目就会跟词汇表中的词目一样多。朴素贝叶斯是上节介绍的贝叶斯分类器的一个扩...

本节我们将通过一个例子讲解决策树如何预测患者需要佩戴的隐形眼镜类别，使用小数据集，我们就可以利用决策树学到很多知识使用决策树预测隐形眼镜类型 收集数据：提供的文本文件 准备数据：解析tab键分隔的数据行 分析数据：快速检查数据，确保正确地解析数据内容，使用createPlot（）函数绘制最终的树形图 训练算法：使用上个博客的createTree（）函数 测试算法：编写测试函数...

何为机器学习机器学习就是把无序的数据转换成有用的信息机器学习的主要任务监督学习：特点必须知道目标变量的分类信息。常用的就是分类和回归问题 无监督学习：特点不会给定目标值，数据是没有类别信息，常用的就是聚类 监督学习的用途 k-近邻算法 线性回归 朴素贝叶...

本章内容k-近邻分类算法 从文本文件中解析和导入数据 使用Matplotlib创建扩散图 归一化数值k-近邻算法描述k-近邻算法采用测量不同特征值之间的距离方法进行分类。k-近邻算法 优点：精度高，对异常值不敏感，无数据输入假定 缺点：计算复杂度高，空间复杂度高。 适用数据范围：数值型和标量型。 工作原理：存在一个样本数据集合，即训练样本集，并且样本集中每...