
Python
文章平均质量分 61
lonesome_zxq
这个作者很懒,什么都没留下…
展开
-
2018年好博文集合-持续更新
2018年11月27号nslookup命令用法name == main 如何理解搞定Python多线程与多进程深入理解Python中的TreadLocal变量计算机系统基础原创 2018-11-27 18:38:09 · 219 阅读 · 0 评论 -
用Scrapy抓取的中文字符导出到csv中出现乱码
背景按照这篇文章学些Scrapy框架,爬取豆瓣电影Top250的信息,将信息导入到本地csv文件时,由于电影名称是中文,存储时出现了乱码。解决办法在setting文件中加入这样一行语句:FEED_EXPORT_ENCODING = ‘utf-8-sig’保存setting文件。问题解决:...原创 2018-12-17 15:09:29 · 1938 阅读 · 1 评论 -
运行Scrapy时报win32api错误
背景运行scrapy crawl dmoz 时,报出了No module named 'win32api’错误。解决办法去这个下载链接下载相关的软件。双击安装,选择合适的Python Directory。...原创 2018-12-16 21:15:07 · 343 阅读 · 0 评论 -
第一个Python爬虫-抓取煎蛋网上图片
背景作为一个计算机基础薄弱的电气工程师,廖大的教程看到常用的内建模块时,看的头大,特别是看到HTMLParser时,已宛如天书了。这时作为一个初学者的劣势就暴露出来了,我不知道哪部分知识是理解这些模块的前置条件,即使知道是哪部分知识,但不知道该理解到什么程度才能解决当前的问题。个人建议是,把这个难题就当成一个工具,会使用,能解决当前的问题就好。不必知道其更多的用法,甚至其背后的实现细节,以及其代...原创 2018-12-10 18:22:08 · 477 阅读 · 0 评论 -
Python 安装爬虫框架 scrapy 失败的解决办法
背景在控制台中用pip 安装 scrapy 时失败。报“Microsoft Viusal C++ 14.0 is required. Get it……”安装命令报错为:事实上错误中提到的文件已经有了:解决办法去这个网站https://www.lfd.uci.edu/~gohlke/pythonlibs/下载这个文件:Twisted‑18.9.0‑cp36‑cp36...原创 2018-12-16 17:03:43 · 633 阅读 · 1 评论 -
利用Pycharm+selenium+chromedriver测试浏览器
背景在抓取动态网页失败的时候,了解到selenium+chromedriver可以比较方便实现动态网页抓取。利用Python抓取煎蛋网妹子图。但是代码运行出错。源代码(测试代码,没有参考学习价值,仅供测试)# -*- coding:utf-8 -*-import urllib.requestimport jsonimport osimport refrom bs4 import ...原创 2018-12-10 12:10:33 · 1536 阅读 · 0 评论 -
用Python刷Leetcode记录——持续更新
前言python 3基础语法已经学完,但是对于python这门语言理解依旧不深。一方面根据教程去做一些小项目,了解python在爬虫,web,大数据,人工智能等方面的应用,一些常用包的使用方法。一方面在leetcode刷题,加深自己对算法与数据结构,以及python语法细节的了解,逼迫自己刻意练习。刷题的方法因人而已,由于目前只是基于兴趣学习python,所以我采用的是深究的方法。也就是...原创 2018-12-20 11:50:33 · 477 阅读 · 0 评论 -
Python中为什么要用self?
参考文章:self的含义与基本用法Python中为什么要使用self注意到文章中的一句话,避免非限定调用造成的全局变量。举个例子来谈谈我对这句话的理解:class Father(): def __init__(self,name): self.name = name def selfDemo(self): print('I am Fa...原创 2018-12-14 13:05:44 · 5265 阅读 · 0 评论 -
Win 10下Pycharm 如何用Anaconda3中已经下载好的库?
背景找了很多篇博客,不是没有截图,就是说的乱七八糟,只有这一篇给出了详细的步骤与描述。实操Pycharm与Anaconda3的安装过程就不细说了,别的博客讲的比较清楚了,或者下载好安装包之后,一直下一步就好。打开Pycharm,导航至File->Settings,选择Project Interpreter单击齿轮,选择Show all,单击“+”按钮。选择System In...原创 2018-12-13 21:35:24 · 1228 阅读 · 0 评论 -
Scrapy框架学习-用Scrapy框架爬取豆瓣电影排行数据——未完待续
背景看小甲鱼的视频时,看到这个scrapy框架。于是找更多的文章来阅读,在知乎上发现了一个较好的教程:Scrapy爬虫框架教程1–Scrapy入门Scrapy爬虫框架教程2–爬取豆瓣电影TOP250Scrapy爬虫框架教程3–调试(Debugging)SpidersScrapy爬虫框架教程4–抓取AJAX异步加载项一步一步跟着这个教程做,可以实现爬取豆瓣电影榜单的功能。但是其中有两个小...原创 2018-12-18 19:58:50 · 739 阅读 · 0 评论