风中尘埃的博客

我以极客公园为例，爬取文章标题，作者名，文章摘要。 我们打开chrome中的开发者工具，然后我们重新加载一下网页，你可以看到文章标题需要你点加载更多才能出现，之后你会看到如下显示： 我们在General中的Request Method看到是GET，说明这个请求方法是GET方法，之后你会发现并没有post方法，所以用Splash似乎不行。再多点加载更多让文章出现得更多，你会发现Reque...

例子如下： 现将以上文本从列表转换为字符串。代码如下： b = ''.join(a) 效果如下： 利用正则表达式去除html标签。代码如下： import re c = re.sub('<[^<]+?>', '', b).replace('\n', '').strip() 效果如下： 总代码如下： import re a = response...