lchenr的博客

原创 使用python爬取优快云博客数据

1.需求说明由于毕设做了一个博客项目。但是到后期没有数据，所以就想着从csdn上爬取一些博客。爬取任务：把分类的博客信息,用户信息爬取到，然后保存到mysql数据库中。再对数据进行过滤、去重。2.核心实现1. 实现思路查看csdn首页发现，每次下拉会有一个xhr请求。这个请求的响应结果集比较好处理，但是需要携带一个时间戳参数，否则数据不准确。所以我在方法里做了一个迭代。2.核心代码i...