weixin_39848830的博客

2018/2/27，这是我的第一篇博客，写的目的很单纯，就是记录自己学习过程中遇到的问题以及解决方法。初次学习爬虫，本人不才，代码其实也是学习一些B站视频。下面开始爬取的步骤由于是为了爬取粉丝的评论，所以我们的目标就是要找到包含评论的代码，再将其解析并保存下来1.找到代码        爬取的网页是https://m.weibo.cn/status/4160547165300149（鹿晗和关晓彤宣...

在写爬虫爬取图片时，经常会碰到盗链图的产生，无法打开，这是网站设置的反爬机制之一。为了解决这类问题，需要在头文件headers中添加Referer属性值，目的是告诉服务器当前请求是从哪个页面请求过来的'Referer':'网址'Picreferer = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (K...

今天爬网站的内容，在写入TXT文件时，页面总是报UnicodeEncodeError: 'gbk' codec can't encode character '\ufeff' in position 0: illegal multibyte sequence 错误，网上找了半天也没找到解决办法。后来终于找到了解决办法，十分简单:在f = open('test.txt','wt',encoding=...

因为找工作的关系，爬取了拉钩网上海地区的数据分析师职位，爬取时间是3月13日，爬取代码如下import requests import json import time import pymysql import random # 请求网页 def get_html(n): print('开始请求第%d页信息' % n) url = 'https://www.lagou.com/j...