
爬虫
小白的进阶
立体视觉,机器学习,Python,搜索
展开
-
Python中BeautifuSoup库的用法
BeautifulSoup简介Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下:Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为...原创 2019-11-13 19:08:11 · 782 阅读 · 0 评论 -
requests库的 text / content / json的区别
最近在爬一些数据,刚开始用urllib.request 库,一直连不到数据 ;后来通过CHROME浏览器的F12,发现该 网站用的是JSON格式{}'Content-Type': 'application/json',},不同于以往的提交方式“Content-Type: text/html; charset=utf-8"试了各种方法 ,一直不能取得数据。看的许多介绍方法中有用“requ...原创 2019-11-13 16:09:29 · 4245 阅读 · 0 评论 -
urllib、urllib2、requests的区别
urllib和urllib2的区别urllib和urllib2模块都做与请求URL相关的操作,但他们提供不同的功能。urllib2.urlopen可以接受一个Request对象或者url,(在接受Request对象时候,并以此可以来设置一个URL 的headers)urllib.urlopen只接收一个urlurllib 有urlencode,urllib2没有,这也是为什么总是u...原创 2019-11-13 14:02:37 · 3063 阅读 · 0 评论