
python
文章平均质量分 80
ao123056
这个作者很懒,什么都没留下…
展开
-
windows环境下pip安装lxml失败
解决办法:1、安装wheel,cmd中执行pip install wheel2、http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml点击打开链接,下载一个版本的lxml3、在下载好的文件夹中运行cmd命令,pip install 文件名(复制下载好的这个文件名字)然后就安装成功了原创 2017-07-07 15:08:10 · 1802 阅读 · 0 评论 -
python2、python3都存在的时候使用pip
首先是安装了python的2.7版本,后来安装了3.6版本,使用vscode编辑器进行编写代码默认的情况下还是使用的2.7版本,如何在vscode下修改python的版本和使用pip呢1、vscode中修改python版本vs编辑器中 点击左上角 文件-首选项-设置 在settings.json文件中搜索python 找到"python.pythonPath": "pyt原创 2018-01-12 14:27:18 · 7286 阅读 · 0 评论 -
requests使用ip代理
主要思路import requestsproxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080",}requests.get("http://example.org", proxies=proxies)代理ip的网站 http://www.xicidaili.com/需原创 2018-01-31 14:09:34 · 3375 阅读 · 2 评论 -
python2与python3同时存在的情况下创建Django项目
widows7系统1、开始电脑安装的是python2.7,后来安装了python3.62、在创建django项目的时候因为我django项目安装在python3环境下,所以直接执行django-admin startproject mysite默认会去python2.7目录下去寻找文件3、我的解决办法是找到python3安装目录下的django-admin.py,我的路径是C:\Use原创 2018-01-24 16:21:26 · 2433 阅读 · 1 评论 -
python爬取全书网小说
做一个爬取小说的爬虫,使用 requests 和 bs4具体代码如下# _*_ utf-8 _*_import requestsimport randomfrom bs4 import BeautifulSoupimport reimport timeimport datetimeclass Book_spider(): url = 'http://www.qua原创 2018-02-01 14:04:38 · 3330 阅读 · 0 评论 -
python3.6抓取代理ip
有时候我们会用到代理ip,下面我们便抓取代理ip网站的ip代理网站 点击打开链接import requestsimport randomfrom bs4 import BeautifulSoupclass Spider_Ips(): url = 'http://www.xicidaili.com/wn/' headers = [ {'User-Age原创 2018-02-06 12:28:59 · 919 阅读 · 2 评论 -
scrapy导出数据
可以在setting中配置导出路径与格式:FEED_URI = u'file:///F:/douban.csv' # 文件保存路径FEED_FORMAT = 'CSV' # 保存为csv文件或者是在执行scrapy的时候指定导出格式,这样导出的文件是保存在项目文件路径下:scrapy crawl top250 -o douban.csv -t csv导出的csv文件可能会乱码可以原创 2018-02-06 14:36:40 · 1211 阅读 · 0 评论 -
Scrapy+python3.6异步存储mysql数据库
爬取网址:腾讯社招(http://hr.tencent.com/position.php?keywords=&tid=0&start=0#a)总共2202条数据pipelines.pyfrom twisted.enterprise import adbapiimport pymysqlimport pymysql.cursorsclass MysqlTwistedPipe...转载 2018-02-08 13:36:19 · 1452 阅读 · 0 评论