学习机器学习

读文件代码：# 读取一个文件，逐行调用返回结果，并加工fpath = 'c:\\Users\\user\\python\\EastMoney\\10.txt'rfile = open(fpath) # 打开文件，默认为只读r for rline in rfile.readlines(): # 读取文件内容，赋给一个字符串列表...

一、问题今天安装scrapy （pip install scrapy）时报错，提示：因此就升级pip19.3.1吧。 可是没想到网上搜索到的大多数方法都不管用，尝试的方法有以下几种：1、pip install --upgrade pip2、python -m pip install --upgrade pip3、pip install pip4、到官网下载whl安装文...

目录一、实现过程操作步骤二、遇到的问题与解决三、详细代码一、实现过程操作步骤1、百度AI开放平台上创建应用 详细过程比较简单， 不详细描述1）到http://ai.baidu.com/上一步步注册账号2）创建一个自然语言分析下语料情感分析的应用。（根据步骤创建模型、训练、创建即可。其中涉及相关预料的获取，可以写个爬虫弄一下。 具体可以参考 https://b...

一   .condarc（conda 配置文件）Configuration — Conda documentation.condarc以点开头，一般表示 conda 应用程序的配置文件，在用户的家目录（windows：C:\\users\\username\\，linux：/home/username/）。但对于.condarc配置文件，是一种可选的（optional）运行期配置文件，其默认情况下...

一. 发送电子邮件SMTP二.用IMAP获取和操作电子邮件三. 例子： 向会员发送会费提醒电子邮件四. 另一个涉及中文转化的例子具体内容见代码及相关注释。## 发送电子邮件SMTPimport smtplibsmtpObj = smtplib.SMTP('mail.testmail.com',25) # 创建对象，建立服务器连接# 如果SMTP()调用不成功，那么SMTP服务器可能不支持...

原文出处： Xiaonuo   译文出处：开源中国   Python ORM 概览作为一个美妙的语言，Python 除了 SQLAlchemy 外还有很多ORM库。在这篇文章里，我们将来看看几个流行的可选 ORM 库，以此更好地窥探到Python ORM 境况。通过写一段脚本来读写2个表 ，person 和 address 到一个简单的数据库，我们能更好地理解每个ORM库的优缺点。SQLObjec...

Cumsum ：计算轴向元素累加和，返回由中间结果组成的数组第一部分：求累计次数（转自https://blog.youkuaiyun.com/qq_22238533/article/details/72900634）本文主要是针对 cumsum函数的一些用法。具体应用场景看下面的数据集。第一列是userID,第二列是安装的时间，第三列是安装的次数。我们现在想做一件事情。就是统计用户在某一天前累计的安装次数。譬...

一  array对象乘法运算import numpy as npa=np.array([[1,2],[3,4]])b=np.array([[4,3],[2,1]])print(a*b)print(np.matmul(a,b))import numpy as npa=np.array([[1,2],[3,4]])b=np.array([4,3])print(a*b)p...

更安全、更严谨、更简单、更优雅！！！ 1.简化导入模块名简化调用代码， 更简单！#Bad codeimport urllib.requesturl = r'http://www.csdn.com'req = urllib.request.Request(url)response = urllib.request.urlopen(req)#Good codefrom ...

一  巧算列表中位数中位数是一个可将数值集合划分为相等的上下两部分的一个数值。如果列表数据的个数是奇数，则列表中间那个数据就是列表数据的中位数；如果列表数据的个数是偶数，则列表中间那2个数据的算术平均值就是列表数据的中位数。在这个任务里，你将得到一个含有自然数的非空数组（X）。你必须把它分成上下两部分，找到中位数。 注意：由于列表初始状态并非排序状态，在比较大小前要进行sort排序。输入: 一个作...

【持续更新中。。。    最后更新日期：180527】数学相关abs(a) : 求取绝对值。abs(-1)max(list) : 求取list最大值。max([1,2,3])min(list) : 求取list最小值。min([1,2,3])sum(list) : 求取list元素的和。 sum([1,2,3]) >>> 6sorted(list) : 排序，返回排序后的list...

聚宽平台可以方便进行策略编写、投资研究、数据回测等各项功能，云端的python环境可以很好支持。不过使用下来也有些不便之处，比如代码调试困难，虚拟机内存1G限制等问题。有时候需要将数据倒到本地调试代码。下面简单讲下实现过程。一. 安装聚宽的jqdatasdk库必须通过这个库使用JQData。JQData是聚宽数据团队专门为有志于从事量化投资的金融机构、研究人员以及个人量化爱好者提供的本地量化金融数...

一  安装需要安装ipython notebook，IPython Notebook是Web based IPython封装，可以展现富文本，使得整个工作可以以笔记的形式展现、存储，对于交互编程、学习非常方便。pip install ipythonpip install “ipython[notebook]”二  运行使用时，直接在cmd命令行窗口启动C:\Users\py>jupyter ...

搭建一个新环境，具体过程记录如下：

原文出处： 鱼心fishstar   打算学习 Python 来做数据分析的你，是不是在开始时就遇到各种麻烦呢？到底该装 Python2 呢还是 Python3 ？为什么安装 Python 时总是出错？怎么安装工具包呢？为什么提示说在安装这个工具前必须先安装一堆其他不明所以的工具？相信大多数 Python 的初学者们都曾为环境问题而头疼不已，但你并不孤独，大家都是这么折腾过来的。为了在入门时少走弯...

一  颜色与RGBA简述二  图像基本操作（打开、保存、创建、复制、裁剪、粘贴、平铺、调整大小、旋转、翻转、获取及修改像素。。。）三  综合例子：为许多图像的右下角添加徽标四  ImageDraw 绘图与绘制文本具体说明及注释见代码，如下：## 使用Pillow模块操作图像## 1.颜色与RGBA# 计算机程序通常将图像的颜色表示为RGBA值，这是一组数字，表示指定颜色中的红、绿、蓝（加色模...

一  pyautogui模块简要说明## 使用 pyautogui 模块相关函数，可以模拟鼠标及键盘操作， 完整说明文档见: http://pyautogui.readthedocs.org/# pip install pyautogui# 要注意的是，模拟移动鼠标与击键可能太快，导致其他程序跟不上，并且程序可能失去控制，# 需要掌握如何从问题中恢复，至少要能中止它。# 防止或恢复GUI自动化问题...

周末根据Tariq Rashid大神的指导，没有使用tensorflow等框架，用python编写了一个三层神经网络，并应用再mnist手写库识别上，经过多方面参数调优，识别率竟然达到了98%。  调优比较难，经验感觉特别宝贵，为避免时间长了忘记，记录整理如下。目录一、加载所需要的库二、定义神经网络类三、创建神经网络对象并用MNIST训练集训练四、用测试集测试准确率五、参数...

目录一、基本框架介绍二、安装与基本命令三、scrapy框架基本使用及完整案例四、各组件的一些用法说明一、基本框架介绍Scrapy框架介绍： Scrapy是: 由Python语言开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多...

在使用scrapy爬虫的时候，我们常常使用xpath来获取html标签，但是我们经常会用到提取的方法，有两种提取的方法，分别是：extract():这个方法返回的是一个数组list，，里面包含了多个string，如果只有一个string，则返回['ABC']这样的形式。extract_first()：这个方法返回的是一个string字符串，是list数组里面的第一个字符串。Xpath选...

编写scrapy爬虫，处理items相关元素数据，涉及到selector， 整理备查。目录一、常用xpath使用方法二、css语法三、xpath选择器整理四、css选择器整理一、常用xpath使用方法：xpath常用语法/：根节点//xxx/zzz：路径//div：去全局的子孙中找所有的div元素.//表示去当前对象的子孙中找/xxx//div...

第一部分：基本参数导入绘图包import matplotlib.pyplot as pltimport numpy as np12使用from pylab import *一次导入matplotlib.pyplot和numpy也可以，但是不推荐，推荐像上面一样分别导入，以防导入中出现错误而难以检查。生成模拟数据点X = np.linspace(-np.pi, np.pi, 256,endpoin...

一。导入数据import pandas as pdunrate = pd.read_csv('unrate.csv')unrate['DATE'] = pd.to_datetime(unrate['DATE'])print(unrate.head(12)) 结果如下： DATE VALUE0 1948-01-01 3.41 1948-02-01 3.82 194...

## 几种调试方法 ### 1.抛出异常# 2.取得反向跟踪信息# 3.断言# 4.使用日志# 5.IDE调试器-断点及逐行跟踪等## 抛出异常  raise Exception 与 try except 的配合使用def boxPrint(symbol,width,height):    if len(symbol) != 1:        raise Exception('Symbol mu...

       基于地图的可视化数据应用方便且易于实现，有很多方法来实现地图可视化。包括excel的power map包、在线交互地图可视化工具，如Echarts、Tableau Public、polyMaps等，及地图库。       这里实现的是通过软件调用百度地图的api，自己DIY可视化地图，这种办法需要软件编程知识，并熟悉地图api的具体用法。下面以一个简单的需求出发，通过python调用...

       openpyxl模块让python程序能够读取和修改Excel电子表格文件，生成需要的新点子表格。从许多的几万行级的电子表格中定位需要的数据或需要处理的数据，并进行精细化加工，替代低效率的脑残体力劳动，正是openpyx的可爱之处。       之前在”python进阶宝典10-Excel处理（https://blog.youkuaiyun.com/ebzxw/article/details/8...

# pip install openpyxl## Excel 基本操作及读import openpyxlwb = openpyxl.load_workbook('example.xlsx') # 打开excelprint(wb.sheetnames) # 显示工作表列表sheet = wb['Sheet1'] ...

import osos.path.join('usr','bin','spam')#目录拼接并输出。不同系统上输出不同，取决于文件系统表示。windows上为'usr\\bin\\spam', linux上为'/usr/bin/spam'## 目录与文件路径myfiles = ['acc.txt','bbb.csv','cedg.docx']for filename in myfiles:    ...

import random#函数写法def getAnswer(answerNumber):    if answerNumber == 1:        return 'It is one'    elif answerNumber == 2:        return 'It is two'    elif answerNumber == 3:        return 'It is t...

import sys# if控制语句name = 'Alice'age = 10if name == 'Alice':    print('Hi,Alice')elif age < 12:    print('Not Alice')else:    print('Who')# while 控制块while True:    print('Who are you?')    nm = inpu...

#! python3dic1 = {'color':'red','age':38}## ## for k in dic1.keys():##     print(k)## for v in dic1.values():##     print(v)## for k,v in dic1.items():##     print(k,v)##     print('Key: '+k+' Value: ...

#列表list，字典是可变数据类型,列表项有顺序；字符串，元组tuple是不可变类型#循环列表import randomlist1=['pens','bags','dogs','cows']for i in range(len(list1)):    print('Index '+str(i)+' is: '+list1[i])print(list1[random.randint(0,len(li...

数学推导见相关参考书。### 例子1：线性回归画图的例子-最小二乘法import numpy as npimport matplotlib.pyplot as pltx=[1,2,3,4,5,6,7,8,9]y=[0.199,0.389,0.580,0.783,0.980,1.177,1.380,1.575,1.771]print(np.ones(2))#增加维度A=np.vsta...

利用python-docx模块，python可以处理word文档。运行pip install python-docx 可以安装该模块。需要使用时，载入 import docxpython-docx 完整说明文档 : https://python-docx.readthedocs.io/en/latest/结构：document对象表示整个文档，包含一个Paragraph对象的列表，表示文档中的段落...

csv是文本格式，有python自带的csv模块，很方便进行处理。 ## 读取数据import csvexampleFile = open('example.csv')exampleReader = csv.reader(exampleFile)exampleData = list(exampleReader)print(exampleData)print(exampleData[0]...

还是老习惯，最好的学习方式是看代码。## pip install PyPDF2### 1.打开一个或多个已有的PDF（源PDF），得到PdfFileReader对象。# 2.创建一个新的PdfFileWriter对象。# 3.将页面从PdfFileReader对象拷贝到PdfFileWriter对象中。# 4.最后，利用PdfFilewriter对象写入输出的PDF## 拷贝页面i...

### 主要包含两部分：多线程 及 外部程序调用所有的说明和注释都包含在代码注释中。### 主要包含两部分：多线程 及 外部程序调用## 多线程创建# 1.使用threading模块，调用threading.Thread()生成Thread对象# 2.在程序的所有线程终止之前，python程序不会终止。即使最初的线程已经终止，其他生成的线程依然要执行结束。import threadin...

#正则表达式匹配步骤：#  1）用import re导入正则表达式模块。#  2）用re.compile()函数创建一个Regex对象（记得使用原始字符串）。#  3）向Regex对象的search()方法传入想查找的字符串。它返回一个Match对象。#  4）调用Match对象的group()方法，返回实际匹配文本的字符串。import repregex=re.compile(r'\d\d\d-...

optparse是python用来解析命令行参数的，最早是getopt，option比getopt更强大和灵活。最新的命令行解析使用argparse，因此optparse今后将不会再被开发，optparse在python的源代码位置是Lib/optparse.py。optparse.py模块主要类结构简介optparse里面包含了几个主要的类：OptionParser解析类、Option定义类、V...

 一   “结巴”中文分词：做最好的 Python 中文分词组件  。支持三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析；全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。支持繁体分词支持自定义词典MIT 授权协议      GitHub: https://github....