- 博客(2)
- 收藏
- 关注
RSS订阅原创 分别用xpath和BeautifulSoup爬取星巴克饮品名称
xpath和BeautifulSoup都是从网页源码中获取特定的数据。它们也是各有优点，xpath获取指定数据比较方便，这完全得益于xpath这个插件。xpath插件的安装和使用大家可以自行搜索教程，这里直接上代码。BeautifulSoup的属性值的获取，要注意列表中没有get_text()和string方法，这么获取属性值的方法推荐使用get_text()方法。string（）方法存在局限性，一如果标签内含有其他标签即子标签，那么string方法会返回空。
2023-08-17 17:28:57
150
1
原创 微博的cookie登录---python爬虫urllib
这段代码运行会出现一个错误：'utf-8' codec can't decode byte 0xb5。这个的主要原因是因为代码并没有进入个人信息页面，而是卡在了登录页面；登录页面的 编码是‘gb2312’。当你解码为‘gb2312’，也就是我注释的那一行代码，运行没有错误。但打开微博页面会无法打开。其实，真正的错误原因是请求头headers的信息不足，主要还是缺少cookie，cookie会携带你的登录信息，下面是正确访问微博的代码。
2023-08-14 22:12:02
569
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人