tiefen.wang的博客

什么是爬虫？个人的理解就是运用自己的技术在各大网站获取自己需要的数据（数据的收集）首先慢慢接触python爬虫：要知道：with as的运用With语句是什么？有一些任务，可能事先需要设置，事后做清理工作。对于这种场景，Python的with语句提供了一种非常方便的处理方式。一个很好的例子是文件处理，你需要获取一个文件句柄，从文件中读取数据，然后关闭文件句柄。如果不用with语句，代码...

    首先，一切使用自动化框架的项目，或者说代码，或者说爬虫都会碰到某些网站刚刚打开页面就被判定为：非人类行为。为啥？？----------因为很多网站有对selenium的js监测机制。比如：navigator.webdriver，navigator.languag...

from io import BytesIO,StringIOimport requestsfrom PIL import Imageimg_url = "http://imglf1.ph.126.net/pWRxzh6FRrG2qVL3JBvrDg==/6630172763234505196.png"response = requests.get(img_url)f = BytesIO...

#使用Requests获取新浪首页（两种对比）import requestsresponse = requests.get("http://www.sina.com")print(response.request.headers)print(response.content.decode())结果：{'User-Agent': 'python-requests/2.12.4', '...

代理（proxies参数）如果需要使用代理，你可以通过为任意方法提供 proxies 参数来配置单个请求：import requests# 根据协议类型，选择不同的代理proxies = { "http": "http://12.34.56.79:9527", "https": "http://12.34.56.79:9527",}response = requests.g...

FontCreator: 是一个强大的字体编辑软件，对于广大的字体修改爱好者来说这是一个莫大的福音，它大幅降低了字体修改的入门难度！程 序由wangqi提供脱壳后的汉化源文件，所以汉化的质量还是很有保证的。安装脚本从官方脚本修改而来，保证了程序的稳定。本次是fontcreator 11.5 破解版是款功能不错的字体设计工具；它也是该软件的最新版本，主要目的就是帮助用户完成对OpenType字...

首先下载tesseract地址(https://digi.bib.uni-mannheim.de/tesseract/)本次测试的是（tesseract-ocr-setup-3.05.02-20180621.exe）这个版本的1.打开网站后往下翻找到这个版本；2.点击下载后（可能网速比较慢）可以点击我的百度连接下载：链接：https://pan.baidu.com/s/13KRXi-2FC...

1.打开火狐，例如打开百度首页，右键如图，点击查看元素。火狐不用设置，默认就是中文编码！然后回看到下图所示：然后点击网络，点击get请求，就会出现消息头那一列如图。Cookie信息，在爬虫中式重点！如果下面没有信息刷新一下即可...

cookies和session：什么是cookies和session1.主要解决HTTP协议无连接、无状态的特点，使服务器能够识别用户2.cookies是保存在客户端的一组识别信息(例如会员卡),session是存在服务器端的数据3.cookies和session通过seesionid关联4.当客户机登录成功后，关闭了相关页面，一段时间以内(没有到超时时间)再次访问相关网页，浏览器会自...

前部分是一些简单的实现方法，但是这里涉及的比较多：具体的在后面，请看最后：1.使用chrome的远程调试模式结合selenium来遥控chrome进行抓取，这样不会携带指纹信息步骤:使用调试模式手工启动chrome,进入chrome的安装路径,例如chrome装在 C:\program\google\chrome.exe下进入chrome安装路径执行命令:#注意端口不要被占用，防火...