shaomingmin的博客

一、爬取新闻联播视频1. 将视频拖到最后2. 分析视频缓存链接如图所示url：https://hls.cntv.baishancdnx.cn/asp/hls/1200/0303000a/3/default/46c6c76d679340d5bb1df3a87573c952/270.ts3. 将url对应的二进制内容抓取下来代码如下：import requestsimport osif __name__=="__main__": for i in range(270):

业余之余想学习中华文化之成语，身边没有成语词典，网上一个个翻网页又比较懒，花了半个小时搞定数字成语词典，你值得拥有！爬取思路找到首页网址：https://www.chengyucidian.net/按照拼音字母种类抓取，注意有些字母没有成语；获取每个字母种类的每一页所有成语链接获取每一页链接下的内容废话不多说，直接上代码给各位看客拿去上手撸！import requestsfrom bs4 import BeautifulSoupimport reheaders = { '

前两篇博客，我们介绍了如何对豆瓣读书中用户信息和都是历史记录进行抓取，这一篇博客是一个收尾工作。传送门：爬取豆瓣读书-用户信息页链接（Python爬虫实战）爬取豆瓣读书-用户所有阅读书籍名称、日期和书籍链接（Python爬虫实战）本文适用于利用标签系统（Tagging System）对豆瓣读书用户的读书兴趣建模，对用户进行相关推荐研究工作。import requestsfrom bs4 import BeautifulSoupheaders = { "Host": "book.d

接着上一篇博客（爬取豆瓣读书-用户所有阅读书籍名称、日期和书籍链接），进行对用户信息页链接抓取，采用BeautifulSoup框架我的上一篇博客传送门这篇博客主要是获取大量的用户介绍网页链接，这样结合上一篇博客，就可以获取大量用户的读书信息，供分析豆瓣读书中用户兴趣的相关研究者使用。废话不多说，直接上代码！！！import requestsfrom bs4 import BeautifulSoupimport redef GetUrlList(link): #保存用户信息页链接

先在这里给出红盾网抓取企业信息代码，有时间再去研究如果对天眼查进行企业信息抓取，后续更新…import requestsimport timefrom lxml import etreeheaders = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3730.400 QQB

获取用户的所有阅读的书籍、日期和链接，是对豆瓣用户画像刻画的基础，本文介绍如何利用BeautifulSoup框架对豆瓣读书用户阅读信息进行抓取。import requestsfrom bs4 import BeautifulSoupimport reheaders = { "Host": "book.douban.com", "Referer":"https://www.douban.com/people/fayolee/collect", 'User-Agent': 'M