- 博客(29)
- 收藏
- 关注
原创 基于BERT的文本分类模型训练全流程:从环境搭建到显存优化实战
本次基于BERT的文本分类训练实战,覆盖了从环境搭建、数据处理、模型构建到训练优化预训练模型 + 分类头。解决NLP训练中最常见的“显存不足”和“设备不一致”问题。学会混合精度训练、梯度累积等高级优化技巧,提升训练效率。更换更大的预训练模型(如bert-large)或领域适配的预训练模型(如医疗领域的BioBERT)。引入数据增强技术(如回译、同义词替换),提升模型泛化能力。尝试知识蒸馏,将大模型的知识迁移到小模型,平衡性能与效率。核心代码如下:train.pyimport os。
2025-11-20 14:12:43
716
原创 用Scrapyd爬取豆瓣图书Top250
book_name = scrapy.Field() # 书名author = scrapy.Field() # 作者publisher = scrapy.Field() # 出版社publish_date = scrapy.Field() # 出版日期price = scrapy.Field() # 价格rating = scrapy.Field() # 评分comment_count = scrapy.Field() # 评价人数intro = scrapy.Field() # 简介。
2025-11-14 16:57:25
1362
原创 yum 源无法访问及DNS 解析失败问题
本文围绕CentOS 7服务器的核心故障,从「DNS解析修复」到「yum源替换」,再到「Docker安装」,形成了完整的解决方案闭环。DNS解析是基础:所有网络相关操作都依赖有效DNS,优先配置国内可靠DNS;归档源是CentOS 7的核心:官方源下线后,归档源是系统包管理的唯一依赖;Docker需单独配置源:CentOS 7默认源不含Docker,需使用国内镜像源提升安装速度。通过以上步骤,不仅能解决yum源失效问题,还能成功搭建Docker环境,满足后续容器化应用部署需求。
2025-11-10 20:29:11
918
原创 大模型应用开发与私有化部署
Ollama 是一个开源的大型语言模型服务工具,专为在服务器上便捷部署和运行大型语言模型(LLMs)而设计,它提供了一个简洁且用户友好的命令行界面,通过这一界面,用户可以轻松地部署和管理各类开源的 LLM。开源免费:Ollama 以及其支持的模型完全开源免费,任何人都可以自由使用、修改和分发简化部署:Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程,使得非专业用户也能方便地管理和运行这些复杂的模型,无需复杂的配置和安装过程,只需几条命令即可启动和运行Ollama轻量级与可扩展。
2025-11-03 17:54:56
942
原创 安卓前后端连接教程
在postman中,先选择Body,然后点击raw,再将格式切换为JSON,在编辑区写出JSON格式的文本,JSON文本中的键名就是SQL语句中#{}里面的变量名,键值就是你要传进去的变量值,这里一定要打开数据库看清楚对应字段的类型。确认无误后,点击send按钮,可以看到postman里收到返回的信息,code200,并且body这边有上传后的文件在服务器上的文件名,这样就成功了!:不管是哪种类型的,都是用POST方法发送,并且在地址栏里填写接口的地址方式都是一样的,有2级路径,如下图所示。
2025-10-17 21:42:16
828
原创 《爬虫进阶实战:突破反爬屏障,玩转动态数据与代理策略》
当爬虫遇到防盗链、Cookie 验证、动态加载数据,甚至 IP 被封禁时,该如何破局?本篇作为爬虫专栏的第四篇,将聚焦实战中最常见的反爬与进阶技巧。我们会详解 Referer 防盗链机制的绕过方法,掌握 Cookie 的自动管理与 Session 会话技巧,揭秘动态加载数据(如 Ajax、图片懒加载)的爬取策略,更会带你搭建代理池应对 IP 封禁难题。从微博图片、视频资源到需要登录权限的网站数据,通过具体案例手把手教你突破限制,让爬虫更稳定、更高效。无论是应对基础反爬还是复杂场景,这里都有可直接复用的实战方
2025-10-16 10:56:17
2314
原创 《爬虫进阶:从数据爬取到精准解析 —— 解锁信息提取的核心技能》
在前两篇专栏中,我们已经掌握了爬虫的基础逻辑 —— 如何向目标网站发起请求并获取数据。但爬取到的原始数据往往是杂乱的 HTML 源码或 JSON 字符串,其中夹杂着大量无关信息,想要从中提取出真正有价值的内容(比如文章标题、图片地址、商品价格等),就需要掌握数据解析的核心技巧。
2025-10-16 10:45:59
791
原创 《爬虫进阶之路:从模拟浏览器到破解动态加载的实战指南》
上一篇我们初探了爬虫的基本概念与 requests 库的入门操作,而实际爬取数据时,真正的挑战才刚刚开始 —— 中文乱码、反爬机制(如 UA 检测)、动态加载数据等问题总会接踵而至。本篇将聚焦爬虫实战中的核心痛点:如何解决页面乱码确保数据完整性?如何通过 UA 伪装绕过网站的身份验证?面对动态加载的内容(如滚动加载、异步请求的数据),又该如何精准定位数据源并抓取?
2025-10-16 10:40:57
853
原创 《从零开始学爬虫:揭开网络数据获取的神秘面纱》
你是否好奇过,海量的网络数据是如何被收集和分析的?当你在浏览器中轻轻点击,背后又隐藏着怎样的信息交互逻辑?本专栏将带你从零开始,一步步走进爬虫的世界。作为开篇,我们会先揭开爬虫的底层基础 —— 从 HTTP 协议的请求与响应机制,到浏览器与服务器的 "对话规则";从 C/S 与 B/S 架构的区别,到 Cookie 如何让服务器 "记住" 你的身份。
2025-10-16 10:30:08
584
原创 Python 异步编程:协程与 aio 工具实战
本文围绕 Python 异步编程展开,从协程的概念入手,对比子程序阐释其特点,分析优缺点。接着讲解同步与异步的概念及代码实现差异,随后重点介绍 asyncio 模块,包括其概述、关键字、基本使用、多任务处理、Task 概念及用法、协程嵌套与返回值,还对比了 asyncio.wait 和 asyncio.gather 的异同。此外,还介绍了 aiohttp 与 aiofiles 的安装、使用及相关实例,包括客户端请求、响应处理、自定义请求,以及 aiofiles 的文件读写,最后通过实例展示了并发控制的实现。
2025-10-16 10:03:02
246
原创 gRPC开发指南:Visual Studio 2022 + Vcpkg + Windows全流程配置
gRPC作为Google开源的高性能RPC框架,在微服务架构中扮演着重要角色。本文将详细介绍在Windows平台下,使用Visual Studio 2022和Vcpkg进行gRPC开发的完整流程,包括环境配置、项目搭建、常见问题解决等实用内容。
2025-05-17 13:33:10
2081
原创 现代C++设计模式实战:构建高效命令行任务管理系统
添加任务:用户可以添加新的待办任务,包含任务描述、优先级和截止日期。删除任务:用户可以根据任务ID删除指定的任务。查看任务:用户可以查看所有任务,按优先级或截止日期排序。更新任务:用户可以更新任务的详细信息。数据持久化:任务数据将保存在本地文件中,以便在程序重启后仍能保留数据。日志记录:系统将记录用户的操作日志,使用单例模式实现日志系统。扩展性:采用CRTP模式实现基础命令接口,方便未来扩展更多命令。
2025-04-09 09:12:40
1038
原创 汽车诊断开发入门以及OBD检测
定义:OBD 即 On - Board Diagnostics,车载自动诊断系统。它能实时监测车辆各项系统和部件状态,以此帮助诊断故障并预警。设计初衷与发展:最初设计目的是控制汽车尾气排放,确保符合环境标准。随着技术进步,其功能从单纯的排放监控扩展到对车辆各项性能指标的实时监控和故障诊断。
2025-04-01 23:19:18
2626
原创 基于C语言的简单HTTP Web服务器实现
本案例使用C语言实现了一个简单的HTTP服务器,能够处理客户端的GET请求,并返回静态文件(如HTML、图片等)。Socket编程:基于TCP协议的Socket通信。HTTP协议:HTTP请求和响应的基本格式。多线程:使用多线程处理客户端请求。文件操作:读取本地文件并发送给客户端。MIME类型:根据文件扩展名设置正确的。通过这个案例,我们实现了一个简单的HTTP服务器,支持静态文件的请求和响应。核心知识点包括Socket编程、HTTP协议、多线程和文件操作。
2025-03-13 22:13:08
1526
原创 C++ 第三方库管理工具 Vcpkg 安装与使用教程
Vcpkg 是一个强大的 C++ 库管理工具,能够极大地简化第三方库的下载、编译和集成过程。通过本教程,我们可以快速掌握 Vcpkg 的安装和使用方法,并在项目中轻松引入第三方库。如果你在安装或使用过程中遇到问题,可以参考Vcpkg 官方文档或可以留言。希望这篇教程能帮助你更好地使用 Vcpkg,提升开发效率!
2025-01-23 23:53:05
4625
原创 基于 C++ 的多人聊天室实现与远程云服务器运行指南
本文将详细介绍如何使用 C++ 实现一个多人聊天室,并将其部署到云服务器上。:基于 Winsock 的服务器和客户端代码。:将 Windows 代码移植到 Linux。:在云服务器上运行代码,并配置防火墙和端口开放。
2025-01-20 16:45:06
794
原创 基于 C++ 的多人聊天室实现
支持客户端连接到服务器。客户端可以发送消息到服务器,服务器将消息广播给所有连接的客户端。客户端可以随时加入或退出聊天室。通过这个项目,简单描述了如何使用C++和Winsock实现一个简单的聊天室。我们掌握了以下知识点:Winsock的初始化和清理。Socket的创建、绑定、监听和连接。多线程处理客户端连接。消息的发送和接收。原代码如下:4.1服务端//1.初始化Winsock=0){printf("WSAStartup失败\n");return-1;
2025-01-17 23:10:26
725
原创 C++指针基础
指针是一个变量,它存储的是另一个变量的内存地址。通过指针,我们可以间接访问和修改这个变量的值。int* p;p = &c;// 输出:c=100// 输出:*p=100在上面的代码中,p是一个指向int类型的指针,&c表示变量c的地址。通过*p,我们可以访问c的值。指针是C++中非常强大的工具,但也容易引发各种问题,如空指针、野指针等。理解指针的基础知识和高级应用,能够帮助我们编写出更加高效和安全的代码。指针的大小:与操作系统位数有关,32位系统下为4字节,64位系统下为8字节。空指针。
2025-01-15 22:56:25
366
原创 使用systemctl运行SpringBoot项目Jar包
通过编写和管理systemd服务文件,可以有效地管理 Java 应用的启动、停止和自动重启。这对于使用源码编译安装的应用尤为重要。掌握systemd的使用不仅能够简化服务管理,还能提高系统的稳定性和可靠性。希望本文能帮助您顺利地将 Java 应用纳入systemd管理之下。
2025-01-09 16:13:00
1142
原创 如何实现自动备份 MySQL 数据库:脚本编写与部署指南
通过本文,我们学习了如何编写一个 Bash 脚本,实现每周二自动备份 MySQL 数据库,并将其部署到远程服务器上。主要步骤包括:编写备份脚本。部署脚本到远程服务器。配置。
2024-12-24 17:39:42
2540
原创 C++中的 Release、Debug、X86 和 X64 的区别与用途
它支持 64 位操作系统,内存寻址范围为 2^64(实际限制通常为 16EB,即 160 亿 GB)。在 IDE 中,开发者可以根据需求选择合适的构建模式和目标架构,以确保代码在开发和部署过程中高效运行。架构分别适用于 32 位和 64 位系统,前者兼容性好但性能较低,后者性能高但需要 64 位环境。:64 位操作系统通常支持运行 32 位应用程序,但性能可能不如 64 位程序。:Debug 模式未经过优化,运行效率较低,且包含调试信息,可能导致安全风险。:32 位操作系统无法运行 64 位应用程序。
2024-12-21 17:51:56
1177
原创 函数指针与指针函数
函数指针和指针函数是C++中两个非常强大的工具。指针函数用于返回指针,而函数指针用于间接调用函数。理解它们的区别和用途,可以帮助我们编写更加灵活和高效的代码。
2024-12-19 11:55:55
505
原创 数学建模之数据拟合与预测
我们使用逻辑斯蒂增长模型(Logistic Growth Model)来描述人口增长。模型的公式为:其中:x(t)是时间 t时的人口数量。xm是人口的承载能力(最大值)。r是增长率。x0 是初始人口数量(在 t0 时刻)。在代码中,我们定义了一个lambda函数来表示这个模型:本文展示了如何使用Python进行数据拟合与预测。我们通过逻辑斯蒂增长模型,结合curve_fit和差分法,对人口数据进行了分析,并预测了未来的值。这种方法不仅适用于人口增长模型,还可以推广到其他领域的数据分析中。
2024-12-18 23:09:03
720
原创 奇异值分解(SVD)在图像压缩中的应用
奇异值分解是将一个矩阵分解为三个矩阵的乘积:其中:AA 是一个 m×nm×n 的矩阵。UU 是一个 m×mm×m 的正交矩阵(左奇异向量)。ΣΣ 是一个 m×nm×n 的对角矩阵,对角线上的元素称为奇异值。VTVT 是一个 n×nn×n 的正交矩阵(右奇异向量)。奇异值的大小通常是递减的,较大的奇异值对应矩阵的主要特征,而较小的奇异值则对应噪声或不重要的信息。因此,通过保留较大的奇异值,可以实现数据的降维和压缩。奇异值分解是一种强大的数学工具,能够有效地应用于图像压缩和数据降维。
2024-12-18 19:19:17
1277
原创 数学建模之线性代数模型
有一个风味美食平台,经营着多种不同风味的地方特色美食,在系统中维护着一个原始的打分表,其中,行表示各个用户,列表示各种菜品,每一个用户在对一个菜品消费之后都会对其进行打分,分数为1~5分,分数越高表示评价越高。(1)首先这是一个美食推荐系统,该系统要向用户推荐的菜品是用户还没有消费过或者消费次数较少的菜品,以达到引导消费的目的。(2)采用协同过滤的思路,将给定用户对菜品的评价记录下来,进而衡量各菜品之间的相似度。(3)通过菜品之间的相似度估算出用户未消费过的菜品得分,最后将估分最高的菜品推荐给用户。
2024-12-18 18:52:34
834
原创 常见网络测试命令使用
需要注意的是:成功地与另一台主机进行一次或两次数据报交换并不表示 TCP/IP 配置就是正确的,必须执行大量的本地主机与远程主机的数据报交换,才能确信 TCP/IP 的正确性。•简单的说,Ping 就是一个测试程序,如果 Ping 运行正确,大体上就可以排除网络访问层、网卡 MODEM 的输入输出线路、电缆和路由器等存在的故障,从而减小了问题的范围。但如果累计的出错情况数目占到所接收的 IP 数据报相当大的百分比,或者它的数目正迅速增加,那么就应该使用 Netstat 查一查为什么会出现这些情况了。
2024-12-18 17:30:19
1418
原创 冒险岛小游戏
基于Java面向对象编程、使用greenfoo等工具设计的一款冒险岛小游戏,谨以此作献给那个儿时的童年。(如需要可自取冒险岛小游戏1.1.1游戏背景欢迎来到我们精彩的冒险游戏世界!在这个充满挑战和惊喜的世界里,你将扮演一位勇敢的骑士,踏上一段充满奇幻和刺激的冒险之旅。然而,这个世界并不太平,到处都潜伏着各种怪物和危险,它们正等待着阻止你完成冒险任务。但别害怕,你拥有强大的技能和勇气,还有各种道具可以帮助你战胜困难,最终实现自己的目标!1.1.2游戏规则。
2024-12-18 17:17:42
1244
原创 Android 点餐系统
随着移动互联网的快速发展,移动应用已经成为人们日常生活中不可或缺的一部分。特别是在餐饮行业,点餐应用的普及极大地提升了用户的用餐体验。本项目旨在开发一个Android点餐应用,用户可以通过该应用浏览菜品分类、选择菜品并将其添加到购物车,最终完成点餐操作。
2024-12-18 16:08:19
2271
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅