- 博客(14)
- 收藏
- 关注
原创 _mysql.c(42) : fatal error C1083: Cannot open include file: 'config-win.h':问题的解决
在win7下安装了python后,想安装python-mysql,使用pip安装出现如下问题: pip install MySQL-python_mysql.c(42) : fatal error C1083: Cannot open include file: ‘config-win.h’: No such file or directory error: command ‘“C:\User
2017-09-19 13:44:06
568
原创 windows下的virtualenv使用
virtualenv的优点 1.使不同的应用开发环境独立 2.环境升级不影响其他应用,也不影响全局的python环境 3.它可以防止系统中出现包管理混乱和版本的冲突#安装virtualenvC:\Users\Administrator>pip install virtualenvRequirement already satisfied: virtualenv in d:\p
2017-09-19 11:17:17
823
1
原创 urlretrieve函数【远程数据下载到本地的函数】
下面我们再来看看 urllib 模块提供的 urlretrieve() 函数。urlretrieve() 方法直接将远程数据下载到本地。>>> help(urllib.urlretrieve)Help on function urlretrieve in module urllib:urlretrieve(url, filename=None, reporthook=None, data=No
2017-06-25 14:16:57
517
原创 正则表达式re中的group和groups
>>> m = re.match("(..)+","a1b2c3")>>> m.group()'a1b2c3'>>> m.groups()('c3',)>>m.group(1) 'c3' 中“ m.group(1) 返回’c3’ ”感到困惑,麻烦对re了解的Pythoner解答一下 :) 一个括号是一个group….这个group匹配了3次,一个group的每一次匹配覆盖上一次的匹配结
2017-06-25 14:03:36
1131
原创 详解:Python2中的urllib、urllib2与Python3中的urllib以及第三方模块requests
http://blog.youkuaiyun.com/drdairen/article/details/51149498
2017-06-24 16:49:14
376
原创 urllib 和 request 对比
在HTTP相关处理中使用Python是不必要的麻烦,这包括urllib2模块以巨大的复杂性代价获取综合性的功能。相比于urllib2,Kenneth Reitz的Requests模块更能简约的支持完整的简单用例。简单的例子: 想象下我们试图使用get方法从http://example.test/获取资源并且查看返回代码,content-type头信息,还有response的主体内容。这件事无论使用
2017-06-24 16:40:41
994
原创 urllib和urllib2
标签:python http requests urllib urllib2 深入理解urllib、urllib2及requests650) this.width=650;” class=”project-logo” src=”http://codefrom.oss-cn-hangzhou.aliyuncs.com/www/2015/06-03/00380d0fbed52c2b5
2017-06-24 16:33:16
543
原创 爬虫技巧
你就老实的用Requests、用BeautifulSoup4、用lxml、用正则表达式、用多线程、用异步、用分布式 如果你需要的话、用代理设计代理策略、自己设计抓取策略。然后突然有一天你上手了Scrapy框架,你感觉发现了新大陆,渐渐的你不满足于Scrapy的速度,你开始读它的源码,你发现它的策略有不足之处,你竟然能改造这个框架了。1 限制ip 用requests代理,买代理,或者网上免费代理
2017-06-24 16:12:17
578
原创 requests和BeautifulSoup中文编码转换心得
requests和BeautifulSoup中文编码转换心得 最近在自学用python进行网页数据抓取,结果被中文乱码的问题折腾了好久。网上google了各种解决方案都无法解决我遇到的问题,索性自己深入的研究了下,终于把这难题给解决了。在此梳理下整个分析过程。网站&开发工具网站:http://www.jjwxc.net/
2017-06-24 15:42:52
1582
2
原创 xinjiang.py
#coding:utf-8import requestsfrom bs4 import BeautifulSoupimport sysimport refrom jiandu.models import *from django.conf import settingsfrom urllib import urlretrieveimport pandas as pdimport o
2017-06-24 12:41:52
223
原创 xinjiang.py
#coding:utf-8import requestsfrom bs4 import BeautifulSoupimport sysimport refrom jiandu.models import *from django.conf import settingsfrom urllib import urlretrieveimport pandas as pdimport o
2017-06-24 11:44:51
207
原创 Django-manage.py
manage.py#!/usr/bin/env pythonimport osimport sysif __name__ == "__main__":#如果直接执行本文件时,直接执行以下语句#(背后逻辑是直接执行manage.py时,它的__name__就是"__main__",成立执行if下面语句) os.environ.setdefault("DJANGO_SETTINGS_MO
2017-06-24 11:43:12
241
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人