- 博客(13)
- 收藏
- 关注
RSS订阅原创 爬虫-单线程异步爬取小说
总结：需要用到异步协程的地方：（1）频繁发起请求。以小说爬虫为例，获取小说目录页的相关信息（如：小说名称、作者、标签等等），只需发送一次请求，这里就使用同步操作。小说内容是按章爬取，为频繁请求，所以使用异步协程进行处理；将章节内容保存至本地涉及到了io操作，也进行异步处理。前言：之前写了多线程爬虫，虽然线程开多了速度是快了，但是挺耗cpu资源的，而且线程太多的话总是会少那么一两章节（应该是我代码问题），然后研究了一下异步，于是就有了以下东东↓。
2024-10-23 00:17:59
672
原创 爬虫-单线程爬取小说
单线程爬取小说简单又不复杂ฅ( ̳• ◡ • ̳)ฅ，以前写的爬虫程序爬个800来章就会崩了，这次优化了一下，爬到整本小说完为止˶´⚰︎`˵。
2024-10-18 16:11:17
897
原创 爬虫-多线程爬取小说
刚开始是单线程爬取小说（代码量少，逻辑简单（好吧，是我懒o.O）），后来发现爬个1千多章要差不多10分钟，头皮发麻。于是研究了一下多线程，结果速度是起飞了，但是内容被拆分成了每一个txt文件，且顺序不定（看线程心情的~~(lll￢ω￢)），这怎么看！（(╯‵□′)╯︵┻━┻），于是...↓。(๑•̀ㅂ•́)و✧）windows系统中文件夹会根据文件名称进行排序，那不妨在保存每一章内容时以章节所在列表的下标来命名（章节列表从网站上爬取下来是有序的），然后使用工具将这些txt文件合并为一个txt文件。
2024-10-18 15:48:00
186
1
原创 某些软件安装时无法选择安装路径的解决办法（如Google Chrome、Office2021等）
将路径修改为：计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion并按下回车键（Enter）可以看到Google Chrome根本不让选择安装路径！如果没有以上的修改操作，Google Chrome直接干到C盘里面了，这对硬盘容量不足的用户极为不友好！在E盘中建立一个Google Chrome文件夹以存放Google Chrome的程序文件。这三个文件的数据为你设置的文件安装路径。安装完成后可以看到我们的修改成功了。
2024-03-06 13:40:23
14349
8
原创 【SSM学习笔记】配置
aop:pointcut id="txPointCut" expression="execution(* com.[包名].mapper\dao.*.*(..))"/>--获取sqlSessionFactory-->
2023-06-15 00:26:20
93
1
原创 【SpringMVC学习笔记】配置
context:component-scan base-package="com.[用户自定义].controller"/>--配置DispatchServlet;springmvc的核心，即请前端控制器-->--通过初始化参数指定SpringMVC配置文件的路径位置，进行关联-->--自动扫描包，让包下的注解生效，由ioc容器统一管理-->--设置启动顺序为1，数字越小启动越快-->--所有的请求都会被springmvc拦截-->--让springmvc不处理静态资源-->--视图解析器-->
2023-06-13 23:37:42
225
1
原创 【SSM框架学习笔记】依赖
<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </dependency> <
2023-06-12 22:45:29
102
1
原创 【MyBatis学习笔记】mybatis-config.xml配置框架
mybatis-config.xml配置文件：配置每个mapper的xml文件框架：
2023-06-08 21:51:23
77
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人