
python爬虫
文章平均质量分 50
RenBingo
这个人很懒,什么都没有留下。。。
展开
-
Python自动爬取拉钩教育课程
本课程纯属学习交流,如有侵权,请告知,立马删除import requestsimport jsonimport csvimport timeimport random# import shlex# print(random.randint(1,17))# exit()courseId = "1" # 想学哪一门,改这里url = "https://*****/getCourseLessons?courseId=" + courseIdpayload = {}headers原创 2021-06-26 20:58:15 · 264 阅读 · 1 评论 -
python如何实现网页爬取,并翻译成中文
import ioimport sysimport urllib.requestfrom lxml import etreesys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8') #改变标准输出的默认编码url = 'https://www.fastcompany.com/90519693/report-highly-sensitive-police-department-data-hacked-for-a-wiki.原创 2020-06-24 07:55:44 · 4466 阅读 · 4 评论 -
Python 爬取ts流视频
准备工具1、安装python,本机环境linux+python3.62、直接开撸,基本的包需要pip install3、话不多说直接干https://www.******.com/video/*/2-1.html某网站,F12 播放视频界面的所有请求,可以看到有个m3u8 的请求,里面是所有的ts流,下载了这个,意味着所有的TS流的地址你都有了。以下是部分m3u8请求返回数据#...原创 2019-11-17 21:02:07 · 6705 阅读 · 2 评论 -
Python Mysqldb
Python连接mysql出错,提示Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock'其原因是我将mysql的sock文件已经调整到/tmp/mysql.sock,所以必须在mysqldb中指定sock的路径(这个还是很不智能的,万一我有很多mysql服务器,而每台服务器的sock路...原创 2019-11-12 17:03:47 · 101 阅读 · 0 评论