怪咖的博客

sklearn特征抽取APIsklearn.feature_extraction字典特征抽取把字典中一些类别数据分别进行转换成特征数组形式，有类别的这些特征先要转换字典数据作用：对字典数据进行特征值化类：sklearn.feature_extraction.DictVectorizer语法：DictVertorizer(sparse=True,…)DictVertori...

第一步：创建项目需要用到虚拟环境的话，可以按照网上教程自行配置。我们跳过这一步，首先在桌面创建一个合适的文件夹并命名为自己想取的名字第二步：使用命令终端，然后cd到桌面我们创建的文件夹。第三步：在该文件夹目录下创建项目，运行命令：scrapy startproject myApp（根据自己项目命名）接下来我们就可以打开pycharm查看项目的目录，可以看到如下结构：(base) MAC...

一、生成数据表1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用：import numpy as npimport pandas as pd2、导入CSV或者xlsx文件：df = pd.DataFrame(pd.read_csv(‘name.csv’,header=1))df = pd.DataFrame(pd.read_excel(‘name.xlsx’))...

scrapy框架：（Scrapy，Pyspider）高定制性，高性能（异步网络框架twisted），所以数据下载速度非常快，提供了数据存储，数据下载，提取规则分布式策略：scrapy-redis，在scrapy基础上添加了一套以Redis数据库为核心的组件，让scrapy框架支持分布式的功能，主要在Redis里做请求指纹去重、请求分配、数据临时存储。scrapy框架的工作流程：1.首先...

Django 安装pipx install djangox 为python解释器版本2 or 3如果你想安装指定版本的django，使用pip install django=1.11.8python manage.py 不加任何其他参数时，返回命令列表，类似help创建一个Django项目终端输入django-admin startproject 项目名称# 初始文件结构mysit...

django_session表在项目中，Django默认情况下会将session中的数据保存到django.contrib.sessions.models.Session模型类对应的django_session表中。Django为我们这样处理虽然很方便，但是性能会不如我们直接将session会话保存在缓存（memcached）中，这个在文章最下面提到了相关配置。从上面我们可以发现，django...

进程介绍进程是一个抽象概念，它是一段程序运行过程的抽象，进程把一段程序运行时所需要的所有资源整合到一起，所以是一个资源单位进程和程序的区别程序就是文件中的一堆代码，程序的每一次执行都会创建一个新的进程进程是程序运行过程的抽象进程的三种状态运行态就绪态阻塞态进程被挂起的两种原因自身层面 操作系统为了保证CPU处于最大效率，处于阻塞态的进程被挂起操作系统层面 进程中的任务占用...

线程CPU上的执行单位，线程也是程序运行过程中的一个抽象。一个进程下可以有多个线程。主线程：操作系统中的每一个进程都会对应一个地址空间。每一个进程中都会默认有一个控制线程，主线程随着进程的创建而出现。所以一个进程中主线程存在就代表了这个进程的存在，当进程中的主线程结束的时候，操作系统就会将该进程回收线程的特点1.创建和切换的开销比进程的小2.由操作系统调度3.同一进程下的多个线程间内...

第一类对象first-class object——python 中的一等公民1.在运行期创建2.可用作函数参数或返回值3.可存入变量的实体4.函数返回值可以是其他函数5.内部函数可以访问包含它的函数的局部变量函数作为一等公民，都能干什么？1.把函数赋值给变量2.在某个函数内部定义另外一个函数装饰器的本质装饰器本质上是一个函数，是一个能够返回函数对象的高阶函数。带有装饰器的函数...

1.开始一个项目：进入创建的目录,然后：django-admin startproject myblog2.启动开发服务器：python manage.py runserver注：默认是8000端口，可以改，比如：python manage.py runserver 80013.一个视图就是Python的一个函数。这个函数第一个参数的类型是HttpRequest；它返回一个HttpR...

Python文件Python程序保存为文件以.py结尾，一个简单的例子：#!/usr/bin/python#Filename: helloworld.pyprint('Hello World')帮助在 Python 中，如果你想得到任何关于函数或语句的快速信息帮助，就可以使用内置的 help 函数：>>> help(print)注意是在Python交互模式下输...

数据降维降维：维度：特征的数量特征选择特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯定比选择前小，毕竟我们只选择了其中的一部分特征。特征选择的原因冗余：部分特征的相关度高，容易消耗计算性能噪声：部分特征对预测结果有影响主要方法(三大武器)：Filter(过滤式):Variance...

线性回归线性回归：寻找一种能预测的趋势线性关系模型定义：线性回归通过一个或者多个自变量与因变量之间进行建模的回归分析。其中可以为一个或多个自变量之间的线性组合（线性回归的一种）一元线性回归：涉及到的变量只有一个多元线性回归：涉及到的变量两个或两个以上公式：矩阵：大多数算法的计算基础，必须是二维的。满足特定的运算需求矩阵乘法：（m行，l列）*（l行，n...

逻辑回归逻辑回归是解决二分类问题的利器sigmoid函数-sigmoid函数输出值[0,1]之间。逻辑回归公式Z = 回归的结果逻辑回归损失函数--损失函数：均方误差（不存在多个局部最低点）只有一个最小值对数似然损失：多个局部最小值多个局部最小值解决方案：（尽量改善）1，多次随机初始化，多次比较最小值2，求解过程中，调整学习率逻辑回归API...

数据特征预处理归一化公式特点：通过对原始数据进行交换把数据映射到(默认为[0，1])之间注：作用于每一列，max为一列的最大值，min为一列的最小值，那么X’'为最终结果，mx，mi分别为指定区间值默认为mx为1，mi为0.sklearn归一化APIsklearn.preprocessing.MinMaxScaler目的：使得某一个特征对最终结果不会造成更大的影响...

决策树决策树思想的来源非常朴素，程序设计的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法信息熵-信息和消除不确定性是相联系的决策树的划分依据之一 - 信息增益特征A对训练集D的信息增益g(D,A)，定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为注意：信息增益表示得知特征X的信息而使得类Y的信...

机器学习开发流程原始数据明确问题做什么，建立模型的过程（根据数据类型划分应用种类）数据的基本处理（pandas，处理缺失值，表合并。。。）特征工程（特征进行处理）找到合适的算法进行预测模型的评估（模型：算法+数据），判定效果上线使用----以API形式提供机器学习算法分类算法是核心，数据和计算是基础算法判别依据数据类型离散型数据：由记录不同类别个体的数目所...

TensorFlow前端系统：定义程序的图的结构后端系统：运算图结构tensor：张量operation（op）：专门运算的操作节点，所有操作都是一个op图：graph：整个程序的结构会话：运算程序的图图图默认已经注册，一组表示tf.Operation计算单位的对象和tf.Tensor表示操作之间流动的数据单元的对象获取调用：tf.get_default_graph...

神经网络一、神经网络基础感知机在n个输入数据，通过权重与各数据之间的计算和，比较激活函数结果，得出输出应用：很容易解决与、或问题与或问题：于：所有的输入为1，输出为1.或：只要有一个为1，输出就为1.异或：相同为0，不同为1.感知机解决分类问题，下图为简单的感知机模型单个感知机解决不了的问题，可以增加Rosenblatt在1957年，于Cornell...

定义函数格式def func(参数1，参数2 ...): '''函数的注释''' print('函数体') return '返回值'函数也是对象在python中一切皆对象，这句话不是说着玩的。函数也是对象，这意味着我们可以为函数对象赋予属性 这个属性指向的对象可以是python中任意对象，比如一个字符串、一个函数、甚至一个类等等def func_is_obj(): print...