- 博客(3)
- 收藏
- 关注
RSS订阅原创 Python爬虫 爬取翻译类网站
很多翻译网站都是一下类似的布局，如百度翻译：当输入要翻译的内容点击翻译后，网站的URL实际上是不会变的，因为大多数翻译网站在进行这个操作的时候用到的是POST请求类型。我以我爬过的一个日文翻译网站举例：用Chrome查看接收的文件，这里其实就是我们每次查询发送的POST请求内容。其中timestamp,unqid都是随机的（但是在我爬去的过程中网站好像不会去认证这些），
2017-07-12 17:16:04
1003
原创 爬取Instagram霉霉的关注者（Json方式）
由于Instagram是一个动态网站，所以我利用Json来爬取我想要的信息。利用Chrome的开发者工具Network选项中找到了以?query为开头的文件，这是一个Json格式的文件。如何进行解析呢？其实里面的'end_cursor'就是通往下一页好友列表的一个密钥，而该页下关注者的信息在node下面。废话不多说，直接上代码。
2017-07-04 12:09:28
2220
2
原创 Python3.x中出现 "AttributeError: module 'urllib' has no attribute 'urlopen'" 的解决方法
Python爬虫在网上书上的代码很多都是基于Python2.7的，下面是我最近遇到的一个问题：用指定文件头，用urllib库访问一个网站：import urllibdef get_page_source(url): headers = {'Accept': '*/*', 'Accept-Language': 'en-US,en;q=0.8', 'Cache-Control'
2017-06-28 17:40:57
2028
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人