qq_46292926的博客

视频爬取

python爬虫，套图爬取

多线程爬虫

毕业设计还没有弄完，但又不想弄，就先写个爬虫换换心情吧。爬取的是英雄联盟英雄的皮肤，不过首页的url地址没有我们想要的数据，需要找到真实的url地址，就是简单的json文本，过程比较简单，步骤都写在注释里面了，完整代码如下：# 导入第三方库import requestsfrom fake_useragent import UserAgentimport timeimport jsonp...

python爬虫之jsonpath库的使用

一、序列化的一些简单概念我们平常使用的python对象所进行的操作是在内存中，当程序关闭就会被清空，所以我们需要用一种合适的方法将这些数据保存下来。为了将我们的数据进行永久存储，需要引入序列化（pickling/serialization）的概念。序列化的定义：将复杂的python数据结果转换成一个二进制数据集合（数据流）。反序列化：从数据流（字符串形式）重新构造复杂的python数据结构。...

python反爬虫之fontTools库的使用

六间房小视频地址为js渲染的网页，爬取时需要找到真实的url地址，然后找到其规律，进行翻页爬取。网页比较简单，代码如下：'''六间房视频爬取'''# 导入第三方库import requestsimport timeimport osfrom fake_useragent import UserAgent# 随机请求头ua = UserAgent()# 定义一个六间房的类...

前面使用正则表达式匹配了文本及属性，提取到了想要的内容，学习完之后，来回顾总结总结。表达式的匹配规则：\w 匹配字母、数字及下划线\W 匹配不是字母、数字及下划线的字符\s 匹配任意空白符，等价于[\t \n \r \f]\S 匹配任意非空字符\d 匹配任意数字，等价于[0-9]\D 匹配任意非数字的字符\A 匹配字符串开头\Z 匹配字符串结尾，如果存在换行，只匹...