这篇博客汇总了在爬取豆瓣电影信息时遇到的问题，包括`pip install numpy`命令报错、WebDriverException错误、如何获取字符串变量值以及Chrome添加参数等。针对这些问题，给出了详细的场景描述、问题原因及解决方法，如使用conda创建Python 3.7环境、通过find_element_by_xpath获取内容以避免emoji编码问题、利用eval()函数获取变量值，以及设置Chrome启动选项以优化爬虫运行。
【爬虫】问题集-豆瓣电影
文章目录
本文章用于豆瓣电影爬取信息过程中出现的问题
全部内容见笔者的github
问题1 pip install numpy命令行输入的时候报错 OSError: [WinError 87] 参数错误
-
场景
- 用conda创建一个虚拟的环境：
conda create -n scrapy python=3
- 用conda创建一个虚拟的环境：
-
问题
- 运行爬虫代码时，出现
OSError: [WinError 87] The parameter is incorrect
- 运行爬虫代码时，出现
-
描述
- python=3默认安装3.8，有些python库并不支持python3.8
-
解决方案
- conda create -n scrapy python=3.7
问题2 WebDriverException: Message: unknown error: bad inspector message
-
场景
- 用python，selenium构建爬虫获取网页信息，并用xpath进行页面内容解析
- url: https://movie.douban.com/subject/3878007/</
最低0.47元/天 解锁文章
扫一扫
1013
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
