爬虫-python
Midwinter-j
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Python3 爬取信息时TooManyRedirects错误解决方案
在抓取steam游戏名称时发现以下错误:requests.exceptions.TooManyRedirects: Exceeded 30 redirects错误提示是requests库有太多的重定向:超过了30个重定向。 我是通过steam的appid来进行遍历的,但是steam不是所有appid都对应一个游戏,也就是说有一些是空的。这种情况下steam会重定向至steam主页,就会产生这个问题翻译 2017-12-05 11:39:19 · 15879 阅读 · 0 评论 -
Python3 将信息写入txt文件时的编码问题 ™
我在做爬虫试遇到了以下问题: 特殊符号无法写入txt文件会报错(™)对就是括号里这货。 解决方案:f=open("steam_name.txt","a",encoding="utf-8") #打开文件的时候定义编码方式结束,这问题我自己都觉得我自己傻逼。原创 2017-12-05 17:42:03 · 984 阅读 · 0 评论 -
Python3 去掉bs4爬取信息中的‘\t’'\r' '\r'
首先直接上代码,这一段代码是我练习爬取steam中 文明6 价格信息。import requests #导入requests 模块 from bs4 import BeautifulSoup #导入BeautifulSoup 模块 import os #导入os模块 header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) App原创 2017-12-07 15:36:47 · 4441 阅读 · 0 评论
分享