feng_zhiyu的博客

转自： http://blog.youkuaiyun.com/pipisorry/article/details/24143801Python基本输入输出教程 python内置输入函数 python2输入输出 raw_input() python3输入输出 先在交互式解释器中查看input函数 input(…) input([prompt]) -> string Read a

Python学习网络爬虫主要分3个大的版块：抓取，分析，存储另外，比较常用的爬虫框架Scrapy，这里最后也详细介绍一下。首先列举一下本人总结的相关文章，这些覆盖了入门网络爬虫需要的基本概念和技巧：宁哥的小站-网络爬虫当我们在浏览器中输入一个url后回车，后台会发生什么？比如说你输入http://www.lining0806.com/，你就会看到宁哥的小站首页。简单来说这段过程发生...

有很多开源的网络爬虫，如果我们掌握某一种或多种开源的爬虫工具，再我们获取数据的道路上会如虎添翼，事半功倍。这里我介绍一下我对于Scrapy网络爬虫的学习和搭建。Scrapy使用了Twisted异步网络库来处理网络通讯。整体架构大致如下： Scrapy要包括了以下组件：引擎，用来处理整个系统的数据流处理，触发事务。调度器，用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候...

#-*- coding:utf-8 -*-# doc2pdf.py: python script to convert doc to pdf with bookmarks!# Requires Office 2007 SP2# Requires python for win32 extensionimport sys, osfrom win32com.client import D...

windows下python2，python3并存，用pip3安装pygame或者其他第三方库时，报错如下：Fatal error in launcher: Unable to create process using '"'解决方法：C:\Users\Administrator>python3 -m pip install pygame原因：在Windows环境下需要这样使...

前言很多时候，python2与python3是一个让人头疼的问题。这里记录下。如果你的电脑上同时安装了python2和python3，那么就需要区分开你是用的哪个版本了（有时会影响运行结果）。总的来说，版本共存就是环境变量的配置问题。windows在Ｗｉｎｄｏｗｓ下，你需要将python2和python3的可执行文件加入环境变量path中。ｐｓ：加入时，最好将python....

《利用python进行数据分析》读书笔记--第四章 numpy基础：数组和矢量计算《利用python进行数据分析》读书笔记--第五章 pandas入门《利用python进行数据分析》读书笔记--第六章 数据加载、存储与文件格式《利用python进行数据分析》读书笔记--第七章 数据规整化：清理、转换、合并、重塑（一）《利用python进行数据分析》读书笔记--第七章 数据规整化：清...

安装Numpy出现的问题１、报错如下checking for nltk/usr/local/lib/python2.7/dist-packages/scipy/special/__init__.py:640: RuntimeWarning: numpy.dtype size changed, may indicate binary incompatibility. Expected 9...

pickle(python3.x)和cPickle(python2.x的模块)相当于java的序列化和反序列化操作。常采用下面的方式使用：import pickle pickle.dump(obj,f)pickle.dumps(obj,f)pickle.load(f)pickle.loads(f)使用pickle模块你可以把Python对象直接保存到文件，而不需要把...

以下代码是“达观杯”csv数据文件读取，来源： 加载大数据：带有可爱的读取进度条import timeimport pandas as pdfrom tqdm import tqdm# @execution_timedef reader_pandas(file, chunkSize=100000, patitions=10 ** 4): reader = pd.read_...

切片Python的序列对象都是可以用索引号来引用的元素的，索引号可以是正数由0开始从左向右，也可以是负数由-1开始从右向左。切片操作要提供三个参数 [start_index: stop_index: step] start_index是切片的起始位置 stop_index是切片的结束位置（不包括） step可以不提供，默认值是1，步长值不能为0，不然会报错ValueError。ps:s...

map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。匿名函数在Python中，对匿名函数提供了有限支持。还是以map()函数为例，计算f(x)=x2时，除了定义一个f(x)的函数外，还可以直接传入匿名函数：>>> list(map(lambda x: x * x, [1, ...

点击原文Python语言是一款对缩进非常敏感的语言，给很多初学者带来了困惑，即便是很有经验的Python程序员，也可能陷入陷阱当中。最常见的情况是tab和空格的混用会导致错误，或者缩进不对，而这是用肉眼无法分别的。在编译时会出现这样的错IndentationError:expected an indented block说明此处需要缩进，你只要在出现错误的那一行，按空格或Tab（但不能混用...

这里写代码片

1、find检测str是否包含在mystr中，如果是返回开始的索引值，否则返回-1mystr.find(str,start=0,end=len(mystr)) （从左往右）rfind （从右往左）2、index检测str是否包含在mystr中，如果是返回开始的索引值，否则报错mystr.index(str,start=0,end=len(mystr)) rindex（从右往左）...

转自：http://www.cnblogs.com/douzi2/p/5579651.htmlsplit翻译为分裂。 split()就是将一个字符串分裂成多个字符串组成的列表。split()当不带参数时以空格进行分割，当代参数时，以该参数进行分割。//—当不带参数时example：st0= ’ song huan gong ‘print(st0.split())结果为：[‘

转自：http://blog.youkuaiyun.com/pipisorry/article/details/39909057内容包含：pycharm学习技巧 Learning tips、PyCharm3.0默认快捷键(翻译的)、pycharm常用设置、pycharm环境和路径配置、Pycharm实用拓展功能：pycharm中清除已编译.pyc中间文件、python2转python3最快方式 [pychar

Python从MySQL数据库中导出csv文件处理 csv文件导入MySQL数据库import pymysqlimport csvimport codecsdef get_conn(): conn = pymysql.connect(host='localhost', port=3306, user='root', passwd='root', db='test_csv...

参考： https://www.cnblogs.com/jade-91/p/8333791.html https://www.cnblogs.com/brownz/p/8525703.htmlhttps://www.2cto.com/kf/201705/638497.html使用sql命令导入csv文件： https://www.imooc.com/article/20588?blo...

reload(sys)sys.setdefaultencoding("utf-8")在Python 3.x中不好使了 提示 name ‘reload’ is not defined在3.x中已经被毙掉了被替换为import importlibimportlib.reload(sys)sys.setdefaultencoding(“utf-8”) 这种方式在3.x中被彻底遗弃，可...

原文：https://blog.youkuaiyun.com/zhaoweikid/article/details/1642015python对多国语言的处理是支持的很好的，它可以处理现在任意编码的字符，这里深入的研究一下python对多种不同语言的处理。 有一点需要清楚的是，当python要做编码转换的时候，会借助于内部的编码，转换过程是这样的： 原有编码 -> 内部编...

原文 乱码产生的原因 乱码产生的根本原因是字节流转换字符前后不一致导致。只要掌握了这个核心，就能解决乱码问题，在java中，由于严格区分了字节流和字符，所以理解起来比较简单。但python2中使用了一些“trick”（没有区分字符和字节流），所以理解起来有些困难。在python中遇到没有指定为unicode的string，就理解为字节流！ 字节流，没有编码，只有字节，所以在转换字符时经常会出现...

Windows 上的 Python 自带启动器 py.exe，默认安装到系统盘的 system32 文件夹里。如果你同时安装了 Python 2 和 Python 3，用的时候直接在终端里输入：py -3就是打开 Python 3 的 REPL，或者 py -3 example.py就可以运行 Python 3 的脚本了。 同理，直接输入py example.py...

py2neo——Neo4j&python的配合使用 https://www.jianshu.com/p/a2497a33390f 以下基于Python2：安装py2neo模块pip install py2neo# 连接Neo4j数据库from py2neo import Graph,Node,Relationshiptest_graph = Graph( "ht...