- 博客(3)
- 收藏
- 关注
RSS订阅
原创 如何在页面加载时抓取数据？
让我们看一下Steam社区Grant Theft Auto V Reviews的网页。你会注意到网页的完整内容不会一口气加载。 https://steamcommunity.com/app/271590/reviews/?browsefilter=toprated&snr=1_5_100010_ 我们需要向下滚动以在网页上加载更多内容。这是网站后端开发人员使用的一种称为“延迟加载”的优化技术。 但是对我们来说，问题是，当我们尝试从该页面抓取数据时，我们只会得到该页面的有限内容： 一些网站还创建
2020-10-02 11:32:46
524
原创 学习笔记：会是什么影响了数据库查询速度
一、什么影响了数据库查询速度 1.1 影响数据库查询速度的四个因素 1.2 风险分析 QPS：Queries Per Second意思是“每秒查询率”，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。TPS：是TransactionsPerSecond的缩写，也就是事务数/秒。它是软件测试结果的测量单位。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数。 Tips：最好不要在主库上数据库备份，大型活动..
2020-10-02 12:14:54
325
原创 3个流行的工具和库，用于Python中的Web爬虫
3个流行的工具和库，用于Python中的Web爬虫 你将在Python中遇到多个用于Web抓取的库和框架。以下是三种高效完成任务的热门工具： BeautifulSoup BeautifulSoup是Python中一个了不起的解析库，可用于从HTML和XML文档进行Web抓取。 BeautifulSoup会自动检测编码并优雅地处理HTML文档，即使带有特殊字符也是如此。我们可以浏览已解析的文档并找到所需的内容，这使得从网页中提取数据变得快捷而轻松。在本文中，我们将详细学习如何使用Beaut
2020-10-02 11:28:15
201
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人