- 博客(241)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 Scrapy之一个item包含多级页面的处理方案
在实际开发过程中，我们所需要的数据往往需要通过多个页面的数据汇总得到，通过列表获取到的数据只有简单的介绍。站在Scrapy框架的角度来看，实际上就是考虑如何处理一个item包含多级页面数据的问题。本文将以获取叶子猪网站的手游排行榜及手游详情为学习案例来解决这个问题。
2025-01-24 00:11:36
353
原创 初步搭建并使用Scrapy框架
在pipelines.py文件中配置open_spider和close_spider方法，分别表示在爬虫程序执行前执行的方法和在爬虫程序执行之后执行的方法。： 刷新页面，在浏览器检查中查看第一个和最后一个，发现图片链接的初始接收属性并不是src，而是data-original，src是加载以后才代替data-original的。：修改src获取的方法，并再次运行项目。：来到pipelines.py文件，其中process_item方法中的item就是我们刚才在爬虫程序配置的boot对象。
2025-01-22 14:57:40
1317
原创 Kubernetes之NodeSelector与NodeName实战
通过配置NodeSelector与NodeName实现Pod运行（或优先运行）在我们期望的节点之上。了解这两种实现方法的区别。
2024-12-28 21:57:56
734
原创 Kubernetes基于containerd从Harbor上拉取镜像
当容器运行时为containerd时，学会如何根据Harbor上的镜像创建Pod。其中主要涉及到升级containerd版本、利用docker往Harbor传递镜像，containerd与Harbor关键配置信息
2024-11-24 10:36:22
1374
原创 Docker数据卷使用手册
我们在很多网上教程上可以看到很多老师们往往将数据卷划分为三个种类：匿名卷、命名卷、绑定挂载。也有老师将数据卷分为四个种类：匿名卷、命名卷、绑定挂载、临时挂载。但是我去官方网站看了相关文档，文档中十分明确地将绑定挂载（Bind mounts）、数据卷（Volumes）、临时挂载（tmpfs mounts）规定为三个类别。大家学习绑定挂载和临时挂载时，通过docker inspect命令查看容器详情时也会发现Mounts中的Type值为bind。而数据卷的Type值为volume。但是对于这种概念性的东西每个人
2024-08-25 21:36:25
925
2
原创 Docker基础命令
Docker是一个用于开发、发布和运行应用程序的开放平台。Docker可让您将应用程序与基础架构分离，以便快速交付软件。借助Docker，您可以像管理应用程序一样管理基础架构。通过利用Docker 的发布、测试和部署代码方法，您可以显著减少编写代码和在生产中运行代码之间的延迟。
2024-08-11 22:15:32
963
原创 FastDFS安装与测试
在Linux服务器上搭建单机版FastDFS系统。（考虑到Linux服务器访问GitHub受限，这里我将依赖包下载到本地，再将本地的依赖包上传到Linux服务器上。所以我的操作与Wiki上的操作略有不同，但本质一样）。在Linux服务器上，使用命令行实现文件上传、下载、删除等功能。熟悉FastDFS系统架构。
2024-01-06 23:22:12
1614
1
原创 Python数字类型
掌握Python两种数据类型的使用方法。数字类型有三种，分别是：整数（int）浮点数（float）复数（complex）另外，布尔值类型（bool）是整数类型的子类型。
2023-10-22 21:23:46
382
原创 用Netty搭建文件上传系统
客户端向服务端发送一个文件（可以是视频、音频、文本、表格等格式的文件），服务端接收文件并保存到指定的目录下。服务端保存好文件之后向客户端发送回应：xxx文件收到了。
2023-05-23 18:44:19
1976
2
原创 用Netty做一个简单的聊天室程序
一个服务端支持多个客户端同时连接，服务端关注客户端的在线，离线情况，客户端关注其他客户端的离线情况、在线情况，发送的消息。
2023-04-16 19:59:09
1205
原创 Netty之ByteBuf应用详解
掌握ByteBuf的常用方法。了解池化的ByteBuf和非池化的ByteBuf的区别。了解直接内存的ByteBuf和堆内存的ByteBuf的区别。掌握对ByteBuf的内存释放方法。
2023-03-16 20:45:44
2794
原创 Netty之ChannelHandler初解
掌握ChannelHandler基本使用方法。熟悉入栈ChannelHandler和出栈ChannelHandler的执行顺序。分析ChannelHandlerContext和NioSocketChannel写入数据时有什么不同。了解Pipeline添加多个ChannelHandler有什么意义。
2023-03-07 09:01:53
1061
原创 Netty之io.netty.util.concurrent.Promise与io.netty.util.concurrent.Future初解
了解io.netty.util.concurrent.Promise与io.netty.util.concurrent.Future的基本使用方法。了解java.util.concurrent.Future、io.netty.util.concurrent.Promise，io.netty.util.concurrent.Future之间的关系。
2023-03-01 21:00:05
1627
熟练使用stream操作集合，能通过例题举一反三，合理地将案例融入到实际工作中。
2022-05-03
掌握RabbitMQ几种常用模式的思想。本文将基于RabbitMQ官网提供相关的代码案例。
2022-01-21
Spring Cloud项目技术解决方案闪电战
2021-01-17
非常轻量又实用的鼠标拾色器小工具
2021-01-15
ExcelUtil-master.zip
2020-06-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人