- 博客(5)
- 收藏
- 关注
原创 Scrapy 框架深度解析:架构、组件与工作流程。
Scrapy 采用基于事件驱动的异步架构,核心组件包括引擎(Engine)、调度器(Scheduler)、下载器(Downloader)、爬虫(Spider)、项目管道(Item Pipeline)和中间件(Middleware)。这些组件通过数据流协同工作,形成一个高效的爬取系统。Scrapy 是一个用 Python 编写的开源网络爬虫框架,用于高效地从网站中提取结构化数据。以下将详细解析 Scrapy 的架构、核心组件及工作流程,并提供代码示例。
2025-10-13 23:42:17
176
原创 【C++项目】基于微服务的即使通信系统。
系统划分为四个核心微服务:用户服务、消息服务、在线状态服务和网关服务。每个服务独立部署,通过gRPC或RESTful API通信。网关服务负责负载均衡和请求路由。用户服务:处理用户注册、登录和鉴权消息服务:管理消息存储和投递在线状态服务:维护用户连接状态网关服务:统一入口和协议转换。
2025-10-13 23:41:38
229
原创 神经网络之理解温度对Softmax的影响。
温度参数(Temperature)是Softmax的一个重要超参数,用于控制输出分布的平滑程度。教师模型通常使用较高的温度生成平滑的输出分布,学生模型通过模仿这些分布学习更泛化的特征。当温度$T$较高时($T > 1$),Softmax的输出分布会更加平滑,各个类别的概率差异减小。当温度$T$较低时($0 < T < 1$),Softmax的输出分布会更加尖锐,最大概率类别的优势更加明显。其中$z_i$是第$i$个类别的原始输出值,$K$是类别总数。温度参数$T$直接影响输出概率的分布特性。
2025-10-13 23:40:59
250
原创 AudioNotes:当FunASR遇见Qwen2,音视频转笔记的技术革命。
语音转文字(ASR)与自然语言处理(NLP)的结合正在重塑音视频内容处理的技术范式。通过集成阿里的FunASR语音识别框架与通义千问Qwen2大语言模型,AudioNotes实现了从音视频到结构化笔记的端到端解决方案。这一技术组合在会议记录、课程整理、访谈转录等场景展现出显著效率提升。FunASR作为工业级语音识别框架,支持高精度流式与非流式识别,其Paraformer模型在多项中文ASR基准测试中达到SOTA水平。
2025-10-13 23:40:19
180
原创 Podman配置镜像源加速。
在容器化技术中,镜像拉取速度直接影响开发与部署效率。Podman 作为 Docker 的替代品,支持通过配置镜像源加速来优化拉取速度。以下是几种常见方法。若使用私有仓库(如 Harbor),需在。该文件支持为不同仓库设置镜像源。Podman 的镜像源配置可通过修改。对于单次拉取操作,可通过。
2025-10-13 23:39:39
683
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅