qwefdrt的博客

Python爬虫在网上书上的代码很多都是基于Python2.7的，下面是我最近遇到的一个问题：用指定文件头，用urllib库访问一个网站： import urllib def get_page_source(url): headers = {'Accept': '*/*', 'Accept-Language': 'en-US,en;q=0.8', 'Cache-Control'

很多翻译网站都是一下类似的布局，如百度翻译： 当输入要翻译的内容点击翻译后，网站的URL实际上是不会变的，因为大多数翻译网站在进行这个操作的时候用到的是POST请求类型。 我以我爬过的一个日文翻译网站举例： 用Chrome查看接收的文件，这里其实就是我们每次查询发送的POST请求内容。其中timestamp,unqid都是随机的（但是在我爬去的过程中网站好像不会去认证这些），

由于Instagram是一个动态网站，所以我利用Json来爬取我想要的信息。 利用Chrome的开发者工具Network选项中找到了以?query为开头的文件，这是一个Json格式的文件。 如何进行解析呢？其实里面的'end_cursor'就是通往下一页好友列表的一个密钥，而该页下关注者的信息在node下面。 废话不多说，直接上代码。