qq_37668436的博客

这个考试网站的搜索功能做的特别特别烂，简单的关键字搜索都不支持…有点zz，所以索性把题目和答案的链接爬下来，自己用ctrl + f来搜关键字了。爬下来写到results.html文件里就可以用ctrl f搜索关键字，并点击链接跳转了。用format就可以传页码了。

前言本节实现对新浪网的新闻进行爬虫整理，主要爬取以下类别：["finance","edu","health","ent","history","fashion","sports","mil","games","tech"]实现路线利用新浪现成的api：http://api.roll.news.sina.com.cn/zt_list?构建键值对发送post请求即可。核心代码：def getNewsUrl(*params): url_param = { 'channel'

前言百度搜索的内容一般包含标题、摘要、网址、时间信息，本次主要实现根据搜索整理30页左右百度的搜索条例成csv文档。原理百度爬虫比较简单，模拟浏览器访问就可以爬取到所要的数据，访问某个关键字第几页的网址构成为："http://www.baidu.com/s?wd={}&pn={}".format(urllib.parse.quote(word),number)之后就是解析对应的标签提取信息了。因为要提取关键字，所以解析得到摘要后需要对摘要进行结巴分词，分词后使用停用词表去掉停用词，最后

前言之前模拟的是登陆浏览器获取url爬取音乐地址下载，同学改了个模拟request请求的获取下载地址，效果好多了。代码import requestsimport jsonimport sysimport reclass MusicSpiwer: def __init__(self, music, direction="D://KuGou//"): self.music = music self.direction = direction

报错如下2020-05-03 12:36:12 [scrapy.core.engine] ERROR: Error while obtaining start requestsTraceback (most recent call last): File "e:\py_code\venv\lib\site-packages\scrapy\core\engine.py", line 129,...

库from selenium import webdriverimport urllib.requestfrom bs4 import BeautifulSoupimport ospipeline网址：http://kcb.sse.com.cn/renewal/

前言上一篇博客使用requests库加selenium库加Xpath解析html的技术路线下载了单首歌曲，但是存在一个问题：webdriver打开网页十分慢。这一节解决这个问题并修改代码批量下载。上一节：Python网络爬虫与信息提取（10）—— 代码搜索全网音乐爬取并下载目标将想要下载的歌曲名字存在列表中，批量搜索并下载代码。准备因为webdriver打开网页缓慢的原因，我考虑使用selenium控制已经打开的chrome网页，毕竟直接用chrome搜索歌曲和打开网页还是很快的。首先在pyc

前言今天听歌刷到了汪苏泷，瞬间勾起青春的回忆，然后翻了翻酷狗音乐各种收费，资源还不全，哎…想起了小时候用学习机听歌，偷偷拔了妈妈手机里的micro卡下载qq音乐的歌曲然后导入学习机，没有歌词又听不清唱的啥抄的一堆拼音版本的歌词哈哈哈哈。长大了就要学会解决问题了，学了爬虫就是用来干活的！完整代码在文末，仅供学习使用请勿用作商业用途！转载声明原文地址，如有侵权联系删除谢谢~目标定义一个变量存要搜的歌名，运行程序就可以直接下载到本地。爬取网站这里安利一个音乐网站:音乐网特点：界面简介，音乐非常全

前言之前是使用request库爬取网页，但是大型的网络爬虫使用框架爬取会事半功倍，今天实战爬取这个网页讲师的信息：https://www.itcast.cn/channel/teacher.shtml#ac网页分析查看网页源码：所有的老师信息都在这个div中，并且是以下格式存储：<div class="li_txt"> <h3>姓名</h3> ...

前言Scrapy爬虫框架结构爬虫框架是实现爬虫功能的一个软件结构和功能组件集合爬虫框架是一个半成品，能够帮助用户实现专业的网络爬虫约束了用户使用的模板5+2结构5表示的是SPIDERS、ENGINE、ITEM PIPELINES、DOWNLOADER、SCHEDULER这五个模块2表示SPIDERS与ENGINE链接的中间键和ENGINE与DOWNLOADER链接的中间键三条...

前言上一节用beautifulsoup库爬取了csdn的个人信息，这一节学习使用re库爬取淘宝商品信息。re库正则表达式常用符号：常用函数：分析网页在淘宝搜索物品就是将url结尾加上q = ?的关键字，这里以书包为例查看网页源码：可以看到，标签名字在raw_title中，价格在view_price中，那么就用正则表达式匹配这个字符串即可。代码# 淘宝商品比价impor...

前言上一节爬取了网络图片，写的不过瘾，最近发文访问量破1W了，主页看不到具体的访问量数有点小苦恼，刚好写个脚本来解决这个问题，练练手。技术框架bs4 + requests库bs4教程：Python中使用Beautiful Soup库的超详细教程这兄弟写的很详细，哈哈哈以后可以在这里查找要用的命令网页分析右键检查源码打开我自己的博客网站，然后ctrl + f搜索关键字“1万+”欧...

前言上一节用try except框架爬取亚马逊的信息，这一节用爬虫爬取网页图片完整代码import requests as reqimport ospath = "D:/" # 保存路径url = "http://bbs.jooyoo.net/attachment/Mon_0905/24_65548_04f46bb3e74aa77.jpg" # 爬取路径name = url.spli...

前言上一节爬取了IP地址，这一节爬取亚马逊的单个商品信息，对爬取代码进行一点点优化。完整代码import requests as requrl = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"try: kv = {'user-agent': 'Mozilla/5.0'} r = req.get(url,headers = kv...

前言前面学习了request库，这一节利用request库和beautifulsoup库爬取IP地址归属地。技术框架requests + bs4bs4官方介绍：Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beauti...

前言上一节学习了requests库，这一节学习robots协议限制爬虫的方法审查爬虫来源，需要网站作者有一定的编程基础声明robots协议，一般放在网站的根目录下，robots.txt文件京东robots协议京东robots链接User-agent: *Disallow: /?*Disallow: /pop/.htmlDisallow: /pinpai/.html?*U...

前言一直有这个想法，看到csdn上有人说想学就快速入手，所以尝试的学习学习，记录下。学习目标掌握定向网络数据的爬取和网页解析的基本能力总体内容Requests：自动爬取HTML页面，自动网络请求提交robots.txt：网络爬虫排除标准Beautiful Soup：解析HTML页面Projects：实战项目Re：正则表达式提取关键信息Scrapy：专业网络爬虫的框架解析提...