- 博客(129)
- 收藏
- 关注
RSS订阅原创 DrissionPage移动端自动化：从H5到原生App的跨界测试
无缝跨界测试：H5与原生组件的统一操作效率提升：减少工具切换带来的时间损耗成本优化：复用Web自动化技能到移动端未来方向深度集成设备管理平台强化AI元素定位能力支持AR/VR场景测试示例项目地址扩展阅读：《跨平台自动化测试架构设计》下期预告：《智能测试：当AI遇上自动化脚本生成》
2025-04-07 22:08:27
1095
原创 基于DrissionPage的Taptap热门游戏数据爬虫实战：从Requests到现代爬虫框架的迁移指南（含完整代码复制）
代码简洁度提升：代码行数减少40%维护成本降低：动态参数自动生成健壮性增强：内置反爬对抗机制扩展性优化：支持分布式扩展智能解析引擎：基于机器学习识别页面结构无头浏览器集群：大规模并发采集法律合规方案：Robots协议自动适配完整项目代码已托管至Github，欢迎Star交流！关注作者，获取更多爬虫工程化实践技巧！
2025-04-04 22:06:38
1550
原创 DrissionPage高级技巧：从爬虫到自动化测试
"""整页截图功能扩展""""""自定义清理逻辑"""环境隔离：为不同项目创建独立配置失败重试：重要操作添加自动重试机制日志管理：分级记录操作日志版本控制：锁定DrissionPage版本号代码审查：定期Review自动化脚本企业级模板仓库官方文档下期预告：《DrissionPage移动端自动化：从H5到原生App的跨界测试》
2025-04-03 15:48:54
1534
原创 用DrissionPage升级维基百科爬虫：更简洁高效的数据抓取方案
代码简洁性：减少25%代码量功能扩展性：轻松应对动态加载等复杂场景健壮性：内置自动重试和错误处理可维护性：CSS选择器比正则表达式更易维护项目地址扩展阅读：《DrissionPage高级技巧：从爬虫到自动化测试》下期预告：《基于DrissionPage的自动化测试框架设计——从Web操作到数据验证》
2025-04-02 21:34:53
524
原创 量子计算与AI音乐——解锁无限可能的音色宇宙
当量子比特的跃迁与音符的振动产生共鸣，我们正站在音乐史的新奇点上。这不仅是技术的进化，更是人类艺术表达维度的革命性拓展。正如量子物理学家戴维·玻姆所言："在量子世界中，每个音符都包含着整个宇宙的和声。量子音乐系统体验入口量子音乐实验室开源项目地址。
2025-04-01 20:51:17
942
原创 百万级并发下的熔断与降级策略：Hystrix与Sentinel的配置参数调优表格对比。动态阈值调整方案（基于Prometheus监控数据）
yaml:# Prometheus配置示例。
2025-04-01 19:45:41
21
原创 3月31（信息差）
据湖北省医疗保障局消息，今日，湖北省医保局发布全国首个脑机接口价格，其中，侵入式脑机接口植入费6552 元/次，侵入式脑机接口取出费3139元/次，非侵入式脑机接口适配费966元/次，标志着这一前沿科技正式步入民生领域，为无数患者带来了希望与曙光。3月中旬，国家医保局发布《神经系统价格项目立项指南（试行）》，其中专门为脑机接口新技术价格单独立项，设立了“侵入式脑机接口植入费”“侵入式脑机接口取出费”等价格项目，脑机接口医疗收费将有规可依。
2025-03-31 19:13:40
149
原创 基于大语言模型的智能音乐创作系统——从推荐到生成
创作民主化：零基础用户亦可生成专业级音乐效率革命：完整作品创作时间从周级压缩至分钟级风格突破：生成融合多文化元素的创新音乐形式试听体验AI音乐生成平台项目地址下期预告：《量子计算与AI音乐——解锁无限可能的音色宇宙》
2025-03-29 21:31:44
1114
原创 京东商品爬虫技术解析：基于Selenium的自动化数据采集实战
本代码实现了一个京东商品数据自动化爬虫系统，核心功能包括Cookie免密登录页面动态加载处理多页数据采集和Excel数据存储。技术组件作用Selenium浏览器自动化操作lxmlHTML页面解析pandas数据存储与Excel导出浏览器驱动。
2025-03-28 20:48:22
1603
原创 3月27日（信息差）
特朗普政府的关税政策与拟议的企业减税延期计划，导致企业投资意愿下降，消费者信心指数跌至2021年以来的最低水平（2月数据为98.3）4。然而，北约持续向乌克兰输送军事装备（如法国幻影2000和荷兰F-16战机），同时以色列对黎巴嫩贝卡谷地的空袭事件，显示地区冲突风险仍未消除913。中国南方电网利用数字化手段应对极端气候，在云南、贵州等地实施23条输电线路融除冰，凸显科技在能源保障中的关键作用10。：通过出售看涨期权获取权利金，在保留股票仓位的同时降低组合波动性，成为机构投资者的新选择4。
2025-03-27 19:04:18
128
原创 《Matplotlib三维可视化工业实践——从分子模拟到流体力学》
A[三维可视化挑战] --> B{数据规模}GPU加速版Jupyter Notebook。B --> B2[GB级场数据]：坐标用float32，颜色用uint8。B --> B1[百万级粒子]：优先使用二进制HDF5格式存储场数据。C --> C1[实时交互]C --> C2[内存优化]D --> D1[多维叠加]D --> D2[动态演化]A --> C{渲染效率}A --> D{视觉表达}：降采样/滤波可提升5-10倍性能。：基于视角距离调整细节层次。：预计算并存储常用视图参数。
2025-03-26 22:03:48
994
原创 【深度破解】爬虫反反爬核心技术实践：验证码识别与指纹伪装
验证码识别需要综合本地模型与第三方服务指纹伪装需覆盖浏览器全参数特征流量模拟应包含随机化行为模式法律合规是技术实施的前提。
2025-03-26 21:15:58
1566
原创 DrissionPage打造全自动音乐推荐系统——从爬虫到机器学习
技术点实现方案效果提升动态爬取DrissionPage智能解析数据获取成功率98%特征工程音频分析+标签编码特征维度减少40%推荐算法聚类+协同过滤混合推荐准确率提升35%未来方向结合大语言模型实现自然语言推荐开发移动端实时推荐应用构建去中心化的音乐推荐网络项目地址技术交流：欢迎在评论区留言讨论下期预告：《基于大语言模型的智能音乐创作系统——从推荐到生成》
2025-03-25 13:05:21
608
原创 3月25（信息差）
3月24日晚间，DeepSeek上线了小版本更新后的DeepSeek-V3模型。新模型的版本号为DeepSeek-V3-0324，模型参数为6850亿，较初代V3版本的6710亿有小幅增长。DeepSeek尚未放出新版模型的系统卡。值得注意的是，DeepSeek将开源秉持到底，这次将DeepSeek-V3模型的开源协议更新为与DeepSeek-R1一致的MIT协议，这一协议更为宽松，允许模型蒸馏、商用等行为，。在性能上，。网友让模型设计的天气页面（左由新版DeepSeek-V3生成；
2025-03-25 12:34:04
96
原创 用DrissionPage升级网易云音乐爬虫：更稳定高效地获取歌单音乐（附原码）
通过DrissionPage升级后的爬虫方案，在保持易用性的同时显著提升了稳定性和可维护性。更高的成功率：完美处理动态渲染内容更低的维护成本：基于CSS选择器的元素定位更强的扩展性：轻松整合其他自动化功能项目地址技术交流：欢迎在评论区留言讨论下期预告：《用DrissionPage打造全自动音乐推荐系统——从爬虫到机器学习》
2025-03-24 20:33:01
1554
原创 量子边缘计算：当Wasm遇见量子退火机——解锁组合优化问题的终极加速方案
量子边缘计算不仅是技术的融合，更是计算范式的革新。通过Wasm的轻量化预处理与量子退火机的强大算力，我们正将组合优化问题的求解从实验室推向工业现场。正如物理学家理查德·费曼所言：“自然不是经典的，如果你想模拟自然，最好用量子力学。” 而现在，这一模拟已触手可及。项目开源地址互动演示量子边缘计算沙盒（需Chrome 100+）下期预告：《量子机器学习：在边缘设备上训练量子神经网络》
2025-03-24 20:06:49
208
原创 爬虫框架Scrapy从入门到实战
Scrapy是一个基于Twisted的异步网络爬虫框架，具有以下特性：内置数据提取器（Selector）完善的中间件扩展体系自动的请求调度机制支持多种数据存储方式。
2025-03-23 12:26:43
1421
原创 用Python爬取疫情数据并生成动态可视化图表（实战）
在数据分析领域，数据可视化是呈现结论的重要手段。本文将通过一个实际案例，演示如何使用Python的Requests+PyEcharts技术栈，快速实现疫情数据的抓取与可视化呈现。本文演示了：使用Requests获取API数据利用Pandas进行数据清洗通过PyEcharts生成交互式图表可视化方案的优化技巧技术扩展建议添加定时任务实现数据自动更新部署到Web框架实现动态展示加入机器学习预测模块。
2025-03-22 12:07:42
202
原创 Python全栈开发指南：从入门到实战的完整技术解析
Python由Guido van Rossum于1991年正式发布，其设计哲学强调代码可读性和简洁性（Zen of Python）。A[Python基础] --> B[Web开发]Python 3.10（2021年，结构化模式匹配）Python 3.0（2008年，重大革新）Python 2.7（2020年终止支持）B --> E[全栈项目实战]title 编程语言市场份额。：Python 3.12模式匹配升级。A --> C[数据分析]A --> D[机器学习]"其他" : 28%：现代API开发框架。
2025-03-22 11:17:50
1009
原创 3月21（信息差）
MCP（Model Context Protocol，模型上下文协议）是一个用于 AI 与开发环境交互的标准协议，让 AI 具备代码上下文的感知能力，而不只是单纯地做代码补全或聊天问答。正如 USB-C 提供了一种将设备连接到各种外围设备和配件的标准化方式一样，MCP 提供了一种将 AI 模型连接到不同数据源和工具的标准化方式。本次 Gitee 发布的官方 MCP Server，开发者可以借助 AI 助手直接访问代码仓库。
2025-03-21 13:18:01
25
原创 基于DrissionPage的中国大学排名数据爬取实战（含完整代码）
通过本文的完整实现，我们成功将传统Selenium爬虫迁移到更高效的DrissionPage方案，在保持功能完整性的同时实现了显著性能提升。工程价值：代码量减少29%，维护成本降低商业价值：数据采集效率提升37%，支持实时更新技术价值：验证了新一代爬虫框架的可行性未来可结合分布式架构与智能调度算法，进一步扩展为支持千万级数据采集的企业级解决方案。在数字化转型浪潮中，此类高效数据采集技术将成为核心基础设施的重要组成部分。
2025-03-21 13:04:02
772
原创 基于Wasm的边缘计算Pandas：突破端侧AI的最后一公里——让数据分析在手机、IoT设备上飞驰
《量子边缘计算：当Wasm遇见量子退火机》——解锁组合优化问题的终极加速方案！B -->|Wasm运行时| C[轻量Pandas引擎]A[传感器] --> B(Wasm运行时)边缘设备->>云端: 下载Wasm增量包。云端-->>边缘设备: 返回差异包信息。边缘设备->>安全模块: 验签并加载。B --> C[Pandas预处理]边缘设备->>云端: 请求版本清单。C --> D[ONNX推理引擎]A[终端设备] --> B{边缘节点}D --> E[本地决策]E --> F[执行机构]
2025-03-20 22:02:38
1365
原创 3月19日全球信息差全景透视：技术裂变、权力重构与认知迷雾
2025年3月19日的全球图景揭示，信息差已从数据不对称升级为认知维度的权力博弈。当无人机集群改写战争规则、AI芯片定义经济疆界、基因编辑挑战伦理边界时，传统治理体系面临空前挑战。未来的胜者，必是那些能同时驾驭技术革命、构建认知免疫系统、并在混沌中重塑规则的力量。正如量子物理揭示的测不准原理——观测行为本身改变系统状态——人类或许需要学会与不确定性共存，在信息湍流中锚定文明的坐标。
2025-03-19 21:36:40
114
原创 实时数仓中的Pandas：基于Flink+Arrow的流式处理方案——毫秒级延迟下的混合计算新范式
当传统批处理架构面临实时推荐、物联网监控、金融风控等场景的毫秒级响应需求时，基于微批处理的准实时方案（如Spark Streaming）已显疲态。：《基于Wasm的边缘计算Pandas：突破端侧AI的最后一公里》——让数据分析在手机、IoT设备上飞驰！B --> C[TaskManager-1: 流处理]B -->|预处理| C[Pandas轻量化引擎]D --> E[Pandas UDF处理]E --> F[Redis实时存储]D --> E[Flink全局聚合]F --> G[API服务]
2025-03-18 20:25:52
1410
原创 我的创作纪念日
一年前的今天，我在键盘上敲下了第一篇技术博客——《我的世界》钻石挑战，用代码教会AI挖矿。如今回望这365天，技术创作早已成为我生活中不可或缺的一部分，它不仅是记录，更是成长的见证。这一年，我收到了137封读者邮件，有人因我的文章转行AI，有人用它完成了毕业设计。：通过《我的世界》自动化项目，深入理解了强化学习（Reinforcement Learning）的核心逻辑，甚至为游戏中的NPC设计了基于Q-learning的路径规划算法。“这世上本没有路，写的人多了，便成了Stack Overflow。
2025-03-18 19:20:13
531
原创 Pandas与PySpark混合计算实战：突破单机极限的智能数据处理方案
《实时数仓中的Pandas：基于Flink+Arrow的流式处理方案》——毫秒级延迟下的混合计算新范式！A[S3数据湖] --> B(Spark on K8s)A[原始数据] --> B{PySpark集群}E --> F[PySpark SQL聚合]C --> D[Pandas处理节点]D --> E[Pandas预处理]F --> G[Pandas可视化]B --> C{Polars集群}B --> C[分布式ETL]C --> D[数据分区]G --> H[报表系统]D --> E[实时看板]
2025-03-17 20:00:35
1093
原创 WebGPU技术突破：混合精度计算开启深度学习新时代
当WebGL在2011年首次将硬件加速的3D图形引入浏览器时，开发者们惊叹于浏览器中实时渲染的可能性。但十年后的今天，深度学习训练参数量已突破万亿级别，传统Web技术栈的局限性日益凸显。维度WebGL 2.0WebGPUAPI设计OpenGL ES 3.0封装原生现代GPU架构映射计算能力有限计算着色器支持完整通用计算(GPGPU)支持内存管理显式资源绑定限制描述符堆+绑定组高效管理并行粒度线程组规模受限三级并行架构(Workgroup/Shader/Compute)跨平台兼容。
2025-03-17 19:34:59
21
原创 Pandas真实案例进阶：从数据清洗到高性能分析的完整指南
logs['datetime'] = pd.to_datetime(logs['timestamp'], unit='ms', cache=True) # 启用缓存。.pipe(lambda df: df[['view', 'cart', 'purchase']]) # 按事件顺序排列。logs['date'] = logs['datetime'].dt.normalize() # 直接提取日期。print(logs.info(memory_usage='deep')) # 内存用量对比优化前后。
2025-03-13 19:25:27
474
原创 Matplotlib高阶技术全景解析
《Matplotlib三维可视化工业实践——从分子模拟到流体力学》！我们将深入解析复杂场数据的优化渲染方案。：通过OpenGL后端实现实时数据流渲染。后端，GUI应用使用。：含所有优化案例源码。
2025-03-13 19:12:21
1594
原创 2025年3月13日全球科技信息差：技术黑箱、认知裂痕与未来博弈
2025年3月13日的科技图景揭示：信息差已从简单的知识不对称，演变为量子化、高维度的认知战争。当AI芯片的资本狂欢掩盖技术短板，当量子霸权的黑箱操作重塑权力格局，当基因编辑的伦理迷雾遮蔽科学真相，人类亟需构建新的认知免疫体系。未来的技术文明，不仅需要突破物理极限，更要在意识层面建立抗差机制——或许正如量子物理学家玻尔所言：“真理的另一个版本，往往藏在观测的盲区之中。”唯有穿透信息迷雾，方能在技术奇点的混沌中锚定文明坐标。
2025-03-13 18:51:40
114
原创 DrissionPage：更高效的动态爬虫实践（实例）
通过本次重构可以看到，DrissionPage在保持Requests简洁性的同时，显著提升了爬虫的健壮性和扩展性。DrissionPage作为新一代网页自动化工具，整合了requests和selenium的优势，支持混合模式调用。原代码通过Requests直接调用B站API接口获取数据，这在简单场景下效率较高。print(f"第{num}期，本期{df.shape[0]}条，总计{content.shape[0]}条")print(f"第{num}期请求失败，错误：{str(e)}")
2025-03-11 13:35:52
1301
原创 基于Spring Cloud Alibaba的电商系统微服务化实战：从拆分到高可用部署
在分布式系统的星辰大海中，让Nacos成为您的指南针，Sentinel化作护航舰，共同驶向数字商业的新大陆！通过Nginx实现集群负载均衡，配置upstream指向各Nacos节点4。控制台修改规则实时更新到Nacos，各服务通过长轮询获取最新配置10。通过本文的实践，您已完成从零构建高可用电商微服务系统的关键步骤。通过Docker健康检查机制控制依赖服务就绪状态。当订单创建接口QPS超过100时触发快速失败。加载跨服务公共配置（如Redis连接信息）Feign客户端实现服务间RPC调用。
2025-03-10 20:07:38
361
原创 3月8号（信息差）
研究团队构建了包含 18000 对高质量指令 - 响应对的微调数据集（fm-alpaca）与评估集（fm-bench），覆盖 5 种主流的形式化语言（Coq, Lean4, Dafny, ACSL, TLA+）和 6 种不同形式化推理与验证任务；
2025-03-08 21:26:54
160
原创 分布式锁深度实战：Redis RedLock与ZooKeeper方案全对比及高并发压测指南
ClientA->>ZooKeeper: 创建/lock/seq-00000001临时节点。通过本文的深度解析与实战演练，您已掌握两种主流分布式锁方案的实现细节、性能特性及优化技巧。ClientA->>ZooKeeper: 获取/lock下所有子节点。ClientA->>ZooKeeper: 监听前一个节点的删除事件。ClientA-->>ClientA: 检查自己是否为最小序号。ZooKeeper-->>ClientA: 前序节点删除通知。ClientA->>ZooKeeper: 确认获得锁。
2025-03-07 12:44:00
242
原创 《基于WebGPU的下一代科学可视化——告别WebGL性能桎梏》
当WebGL在2011年首次亮相时，它开启了浏览器端3D渲染的新纪元。然而面对当今十亿级粒子模拟、实时物理仿真和深度学习可视化需求，WebGL的架构瓶颈日益凸显。WebGPU作为下一代Web图形标准，通过显存直存、多线程渲染和计算着色器三大革新，将科学可视化性能提升至10倍以上。本文将深入解析如何利用WebGPU突破大规模数据渲染的极限。mermaid：多后端支持：统一适配Vulkan/Metal/DirectX12显存自主管理：开发者直接控制GPU内存分配bash：3.2 计算管线配置四
2025-03-06 18:56:20
1708
原创 3月6日全球科技信息差：技术黑箱、认知断层与未来博弈
2025年3月6日的科技图景揭示：信息差已从简单的知识不对称，演变为量子化、高维度的认知战争。当AI芯片的资本狂欢掩盖技术短板，当量子霸权的黑箱操作重塑权力格局，当基因编辑的伦理迷雾遮蔽科学真相，人类亟需构建新的认知免疫体系。未来的技术文明，不仅需要突破物理极限，更要在意识层面建立抗差机制——或许正如量子物理学家玻尔所言：“真理的另一个版本，往往藏在观测的盲区之中。”唯有穿透信息迷雾，方能在技术奇点的混沌中锚定文明坐标。
2025-03-06 18:49:44
141
原创 《基于WebGL的matplotlib三维可视化性能调优》——让大规模3D数据流畅运行在浏览器端！
传统三维可视化在浏览器中面临百万级数据点时往往力不从心，每秒帧数（FPS）断崖式下跌。本文将解锁matplotlib与WebGL的融合之道，通过GPU加速渲染+数据压缩算法+计算负载转移三大杀招，实现浏览器端千万级粒子系统60FPS流畅交互。mermaid：二、性能调优关键技术栈2.1 数据压缩方案对比 算法 压缩率 解码速度 适用场景 Draco 85% 15ms/MB 静态网格 Quantiz
2025-03-05 14:44:55
1122
原创 3月4日（信息差）
2025年2月，网络安全领域发生了一起大规模入侵事件，超过3.5万个网站遭到攻击，攻击者在这些网站中植入了恶意脚本，完全劫持用户的浏览器窗口，并将其重定向至中文赌博平台。此次攻击主要针对使用中文的地区，最终落地页推广的是名为“Kaiyun”的赌博内容。
2025-03-04 12:55:39
163
基于Python Django的实战项目源码
2025-02-14
scrapy爬虫模板（易上手，易理解的模板案例），稳定的爬取
2025-01-10
Python数据爬虫采集+分析+可视化项目源码（95分以上期末大作业）（可以替换爬取的模板，实用性强）
2024-12-15
HTML+CSS+JS
2024-06-23
网页前端HTML期末作业
2024-03-20
MySQL的保姆级安装教程
2024-03-18
selenium的简单认识
2024-03-18
python爬虫爬取音乐的基本方法
2024-03-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人