
爬虫
指尖码动
指尖舞动出精神世界的延伸,哦,那就是思想吧~~
展开
-
【记录】from Crypto.Cipher import AES报错,安装注意事项
问题背景:m3u8文件加密时,使用“from Crypto.Cipher import AES”相关函数解密:#EXT-X-KEY 记录了加密的方式,一般是AES-128以及加密的KEY信息出现问题:from Crypto.Cipher import AESpip install Crypto出错解决办法:安装crypto库(首字母c是小写)pip install crypto进入python的库管理位置,site-packages文件夹,找到crypto,将其首字母c原创 2021-04-21 16:23:23 · 8893 阅读 · 8 评论 -
PyQt5使用QSqlDatabase类连接Mysql的坑:QMYSQL driver not loaded
PyQt5连接mysql出现QSqlDatabase: QMYSQL driver not loaded问题。1. 问题背景:在使用TableView展示Mysql数据时,使用了QSqlTableModel模型。因此首先需要用PyQt5自带模块QtSql,获取Mysql数据库的连接对象。db = QtSql.QSqlDatabase.addDatabase('QMYSQL')db.set...原创 2020-01-08 21:47:30 · 8300 阅读 · 18 评论 -
Step06:selenium+beautifulsoup爬取智联岗位信息,存储至Excel/csv文件
爬取智联岗位信息本次使用开发环境python 3.6.5+Pycharm,当然此次代码仅供参考。详细代码地址:我的github下载1.目标站点网页源代码获取由于使用Firefox浏览器,所以需要下载其驱动:geckodriver.exe,并设置该exe文件在win系统环境变量下。def get_content(arcurl): browser = webdriver.Firefo...原创 2018-10-10 11:07:11 · 853 阅读 · 0 评论 -
selenium爬取职位,pyqt5设计界面,pyinstaller打包
本次记录,不详述原理,直接上代码。github详细代码本项目开发环境:selenium + firefox + firefox驱动 + pycharm + qtdesignerselenium模拟操作拉勾获取网页数据部分代码如下:def lagou_search_key(keyword, main_browser, wait, url=lagou_url): print("正在...原创 2018-10-13 03:42:48 · 821 阅读 · 0 评论 -
很重要:pyinstaller 打包总结
最近在编写python程序之后,总想着能打包成exe文件,分享给小伙伴使用,但是查阅了许多文档,总感觉没有讲述清楚pyinstaller的常用打包方法。尤其是针对,多个目录,多个文件的项目打包。因此,在趟过许多坑后,决定把最终试验OK的基本操作做一次记录。如下:成功案例pyinstaller -F -i win.ico -w main_UI.py -p …\control; -p …\gui...原创 2018-10-12 16:18:03 · 4408 阅读 · 0 评论 -
Step03:简单理解下爬虫原理
爬虫基本原理什么是爬虫?爬虫程序的基本流程?解析爬虫流程1.什么是爬虫?有人说,爬虫时爬行在网上的一个个蜘蛛。其实,就是负责向网站发送请求并获取回应,在回应中提取数据的自动化程序。一个简单的爬虫,应具备的功能有:》程序模拟向网站服务器发送请求》接收到回应》从回应中提取数据(html,json,二进制数据等)》按照需要解析数据,提取需要的部分》将解析结果保存2.抽象出爬虫的基...原创 2018-09-27 08:02:27 · 748 阅读 · 0 评论 -
Step02:python爬虫库的安装
1.pip升级python -m pip install --upgrade pip2.urllib / re验证:import urllibimport reimport urllib.requesturllib.request.urlopen(‘http://www.baidu.com’)3.requests(请求时用的库)python36/scripts/–pip–pi...原创 2018-09-27 07:24:18 · 199 阅读 · 0 评论 -
Step01:设置python爬虫相关环境
Python环境1.anaconda 清华镜像安装时:1,设置到PATH,(C:\ProgramData\Anaconda3)2,关联安装python@测试,cmd,pip,conda,conda list@ conda 包资源管理器简单应用:cmd–>pythonpip install requests(安装requests模块)conda install reques...原创 2018-09-27 07:05:39 · 172 阅读 · 0 评论 -
Step05:爬虫小项目,爬取最新电影迅雷下载地址
1.简述由于电影天堂的广告实在令人不厌其烦,但其视频资源却的确有可取之处。因此,趁着学习爬虫技术的这段时间,简单实现了一个完整的小项目。(完整代码——链接)2.技术准备IDE:Pycharm,python3.6.5,使用requests+re从电影天堂爬取最新电影资源的下载地址。使用tkinter设计简单的界面,中间还涉及使用了多线程技术,python对于多线程有threading库支持,...原创 2018-10-01 14:29:13 · 4446 阅读 · 0 评论 -
Step04:Git分布式版本控制
仓库repository有本地仓库和远程仓库。把本地目录成为工作区,经过处理后,工作区会有个.git隐藏目录,该目录可被称为版本库。版本库里存了很多东西,有暂存区(stage或者index)、分支master、指向master的指针HEAD等等。处理步骤:cd dirpathgit init常见的操作是1、 在本地建立一个仓库,再远程在github或者gitee上创建一个远程仓...原创 2018-09-30 23:58:51 · 168 阅读 · 0 评论