cainaiolin的博客

1、可以教会知识,对数据怎么处理的思路和逻辑无法教会的.就像数学很多时候能教会知识，思维是很难教会的。json path的使用可以看这个文档。对于结构化的json数据还是挺好解析的。2、抓取数据很多时候要依赖于观察的过程。...

爬虫流程原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做爬虫也只能获取客户端(浏览器)所展示出来的数据只要能登录成功，可见即可爬。4.1http请求的过程浏览器在拿到域名对应的ip后，先向地址栏中的url发起请求，并获取响应在返回的响应内容（html）中，会带有css、js、图片等url地址，以及ajax代码，浏览器按照响应内容中的顺序依次发送其他的请求，并获取相应的响应请求头http请求的形式如上图所示，爬虫特别关注以下几个请求头字段Host(主机和端口号)............