- 博客(62)
- 收藏
- 关注
RSS订阅原创 NLP基础处理流程
文本处理标准流程：先获取语料库，再进行中英文分别清洗与预处理（中文分词去停用词，英文转小写、去标点、词形还原）。接着构建词表，统计词频并分配唯一ID，未登录词用〈UNK〉表示。随后编码，推荐使用词向量（如Word2Vec）替代独热编码，生成低维稠密向量。最后将向量按句序排列，形成特征矩阵输入模型。
2026-11-04 11:13:52
229
原创 大数据工具介绍
Hive作为离线数仓的元数据管理与SQL接口，依托HDFS存储、Spark/MapReduce计算；Spark提供统一分布式计算能力，执行复杂ETL与分析任务；DataX负责异构数据源间的数据搬运；ClickHouse擅长极速单表聚合查询，适合大宽表分析；Doris则以MPP架构支持实时、多表关联与即席查询。四者协同：DataX搬数据→Hive建模→Spark算结果→结果分发至ClickHouse（极速查）或Doris（实时分析），构建高效数仓链路。
2026-11-01 21:05:31
250
原创 YOLOv4算法
YOLOv4通过融合Mosaic数据增强、CIoU损失函数、CSPNet与PANet结构、DropBlock正则化及Mish激活函数等先进技巧，实现了精度与速度的极致平衡。其创新在于系统性集成现有最优技术，显著提升小目标检测能力与模型鲁棒性，成为目标检测领域的集大成者。
2026-10-29 21:05:57
171
原创 YOLOv3算法
YOLOv3在保持高速检测的基础上，通过多尺度特征融合（13×13、26×26、52×52）、Darknet-53残差网络、9种先验框及Logistic多标签分类，显著提升小目标检测精度。其采用FPN思想融合不同层级特征，结合K-means聚类优化先验框，支持多类别共存，实现高效精准的复杂场景目标检测。
2026-10-28 21:12:44
175
原创 YOLOv2算法
YOLOv2通过引入BatchNormalization提升收敛性与泛化能力，采用高分辨率微调适应输入尺寸，使用DarkNet-19骨干网络优化特征提取。创新性地利用K-means聚类生成自适应先验框，并采用Sigmoid函数限制偏移量，确保预测框中心在网格内。结合小卷积核堆叠增强感受野、细粒度特征融合提升小目标检测能力，以及多尺度训练实现灵活部署。全面优化后，在保持高速推理的同时显著提升准确率与召回率，成为目标检测领域的里程碑。
2026-10-28 14:49:02
263
原创 YOLOv1算法
YOLOv1是2016年提出的单阶段目标检测算法，将检测任务转化为回归问题，通过7×7网格划分图像，每个网格预测2个边界框及类别概率，输出7×7×30张量。采用均方误差损失函数，结合置信度与IoU评估，使用NMS后处理剔除冗余框。优点为速度快、结构简单、误检率低；缺点包括定位不准、小物体检测差、重叠物体处理能力弱。评价指标以mAP50-95为核心，反映模型整体性能。
2026-10-27 20:56:51
130
原创 非极大值抑制
非极大值抑制（NMS）是目标检测中用于去除冗余候选框的后处理方法。其核心思想是：按置信度降序排序，保留最高分框，并删除与其交并比（IoU）超过阈值的其他框，重复此过程。关键参数为置信度与IoU阈值，适用于多类别检测中按类独立处理。但存在对密集目标敏感、依赖阈值、贪心策略不全局最优等缺点。改进方法如Soft-NMS、GIoU-NMS、WeightedNMS等提升了性能。一句话总结：NMS即“按分数选框，删去重叠过多的框”。
2026-10-21 14:57:04
111
原创 MAP值的介绍
该图清晰展示了目标检测中AP与mAP的计算原理及IoU阈值的影响。置信度阈值决定预测框筛选标准，用于绘制P-R曲线。mAP50（IoU=0.5）评估宽松，关注是否找对目标；mAP50-95（IoU从0.5到0.95，步长0.05）则更严格，综合10个阈值下的平均精度，全面衡量模型定位准确性，是COCO等主流数据集的主推指标，数值通常低于mAP50。
2026-10-21 14:14:30
168
原创 Spark介绍
底层数据仍可放在HDFS、Hive、HBase等存储系统中，Spark把数据读出来，在集群上分布式计算，再把结果写回去或交给下游。内存计算是优势，不是万能。减少不必要的shuffle：MapReduce很多操作要反复落盘，Spark的DAG调度可以在不涉及跨节点数据交换时，把中间结果放在内存中连续计算，减少磁盘IO。：Spark Core的核心抽象，表示分布在多个节点上的、不可变的、可分区的数据集，支持并行计算和容错。Spark Core：基础功能，任务调度、内存管理、错误恢复、存储交互、RDD API。
2026-10-20 20:25:38
366
原创 Hive架构
Apache Hive是基于Hadoop的开源数据仓库，支持类SQL查询（HQL），可将HQL自动转化为MapReduce任务，实现对海量数据的分析。其架构分为四层：用户接口层（CLI/JDBC/ODBC）、元数据存储层（Metastore，通常用MySQL）、核心驱动层（Driver，负责解析、优化并生成执行计划）和底层执行环境（HDFS、YARN与MapReduce）。用户提交HQL后，Driver通过Metastore获取元数据，经解析、优化后生成物理计划，由YARN调度在MapReduce上执行，最
2026-10-12 19:41:48
148
原创 Hadoop的详细讲解
Hadoop由HDFS、YARN、MapReduce三大组件构成：HDFS实现分布式存储，通过主从架构管理海量数据块并保障可靠性；YARN负责资源调度，支持多框架共存；MapReduce基于“分而治之”模型，通过Map与Reduce阶段完成并行计算。三者协同工作，实现从数据存储、资源分配到计算处理的全流程自动化，支撑大规模数据处理需求。
2026-09-28 20:48:53
481
原创 基于LSTM网络进行微博情绪识别项目
本项目基于微博情绪数据构建TextRNN模型，实现文本分类。通过train_eval_test.py构建词表并划分训练、验证、测试集；load_dataset.py加载数据并处理为ID序列；model.py定义含预训练词向量的BiLSTM模型；main.py启动训练流程，采用Adam优化器与早停机制；最终在predict.py中加载最佳模型，结合Gradio实现网页预测。整体流程涵盖数据预处理、模型训练、评估与部署，支持四类情绪（喜悦、愤怒、厌恶、低落）识别，准确率高且具备实际应用价值。
2026-09-23 21:13:45
137
原创 OpenCV中利用卷积神经网络来进行人脸识别
该代码使用dlib的预训练CNN人脸检测模型（mmod_human_face_detector.dat）在静态图像中检测人脸，通过OpenCV读取图像并以绿色矩形框标出每个人脸。核心流程包括：加载MMOD架构的CNN模型、读取BGR格式图像、调用模型检测人脸（返回矩形框与置信度）、遍历结果并在图像上绘制绿色边框，最后显示结果图像。无需训练，直接推理，实现高效精准的人脸定位。
2026-09-21 21:27:12
244
原创 OpenCV中的疲劳检测
本项目基于dlib人脸68关键点与眼睛纵横比（EAR）实现实时疲劳检测。通过摄像头捕获视频流，检测人脸并定位眼部关键点，计算EAR值判断眼睑开合状态。当EAR持续低于0.3且连续50帧时，判定为疲劳并弹出“!!!!危险!!!!”警告。结合OpenCV与PIL实现中文显示与眼部轮廓绘制，整体流程包括人脸检测、关键点提取、EAR计算、疲劳判断及可视化，有效提升驾驶或监控场景下的安全预警能力。
2026-09-21 20:36:39
218
原创 OpenCV中的表情识别
本项目基于dlib 68点人脸关键点，实现简单表情识别。通过提取嘴部、脸颊、下巴等区域特征，计算MAR（嘴部宽高比）、MJR（嘴宽/脸宽比）、MDR（嘴角下垂比）三个几何特征，结合阈值判断大笑、哭泣、微笑与正常表情。利用OpenCV读取视频、绘制凸包并用PIL支持中文显示。代码结构清晰，适合学习关键点检测与基础表情分类，但实际应用需优化阈值与鲁棒性。
2026-09-20 20:34:14
137
原创 解决梯度消失或者梯度爆炸的方法——残差网络
残差网络（ResNet）由何凯明等人提出，旨在解决深层卷积神经网络中的退化问题与梯度消失/爆炸难题。其核心思想是引入“捷径连接”（shortcut），使输入直接跨层传递，形成F(x)+x的残差结构，有效缓解训练困难。通过使用Batch Normalization稳定特征分布，并结合1×1卷积调整维度，ResNet可实现18至152层的深度网络，显著提升图像分类、目标检测与分割性能，在ImageNet和COCO等竞赛中取得优异成绩。
2026-09-18 20:52:50
177
原创 PyTorch的CBOW词向量模型
本文基于PyTorch实现了一个CBOW词向量模型，通过上下文词预测中心词，训练后提取Embedding层权重作为词向量。核心流程包括语料处理、构建训练样本、上下文索引转换、模型定义（嵌入层+投影层+输出层）及训练优化。使用Adam优化器与NLLLoss进行200轮训练，最终获取10维词向量，并在测试中验证预测效果。
2026-09-17 21:28:24
195
原创 深度学习中迁移学习实践
本脚本基于PyTorch实现迁移学习图像分类，使用ImageNet预训练的ResNet18对20类食物图片进行分类。通过自定义Dataset读取路径与标签，结合数据增强（旋转、翻转、颜色抖动等）提升泛化性，冻结卷积层仅训练替换后的全连接层，采用Adam优化器与学习率衰减策略，每轮评估并保存最优模型。实验表明，该方法训练高效、抗过拟合，验证准确率可达较高水平，充分体现了迁移学习在小样本图像分类中的优势。
2026-09-16 21:24:51
224
原创 深度学习中的迁移学习
迁移学习通过复用预训练模型加速训练并提升性能，尤其在数据稀缺时有效。传统深层网络面临梯度消失/爆炸与退化问题，ResNet通过残差连接实现恒等映射，缓解梯度问题并防止性能下降。结合BatchNormalization稳定输入分布、加速训练并增强泛化。迁移学习步骤包括：选择预训练模型、冻结部分参数、训练新增层、微调特定层，并评估优化效果。
2026-09-16 10:54:29
242
原创 深度学习中的调整学习率
本文系统讲解神经网络训练中学习率的重要性及其调整策略，包括固定学习率的局限性与动态调整的必要性。介绍了StepLR和ReduceLROnPlateau两种常用调度方法，前者按周期衰减，后者基于验证指标自适应调整。结合完整代码实现，涵盖数据集构建、图像增强、自定义Dataset、CNN模型设计及验证流程，全面展示从数据处理到模型训练的全流程，助力高效、稳定地训练深度学习模型。
2026-09-15 21:29:21
157
原创 深度学习中食物图像分类项目讲解
该代码实现20类食物图像分类闭环流程：通过train_test_file()生成标签索引，确保训练与测试标签一致；数据增强包括随机旋转、翻转、色彩调整及灰度转换，提升模型鲁棒性；自定义Dataset读取路径与标签，统一转为三通道RGB并标准化；CNN模型采用三层卷积+池化结构，最终展平分类；使用CrossEntropyLoss与Adam优化器训练，保存最优模型，并支持灰度图测试。
2026-09-15 19:39:52
129
原创 计算机视觉OpenCV中的FisherFace人脸识别
本文实现了一个基于OpenCV的FisherFace人脸识别小示例。通过读取灰度人脸图像并统一尺寸，利用FisherFace（结合PCA与LDA）训练模型，对未知人脸进行识别。采用PIL绘制中文结果，解决OpenCV不支持中文显示问题。实验中成功将待识别人脸识别为“黎明”，并设置置信度阈值5000以判断识别可靠性，展示了FisherFace在分类任务中的有效性。
2026-09-14 19:54:11
147
原创 OpenCV中基于dlib的人脸检测
读取图片——>创建dlib正面人脸检测器——>detector(img,1)检测人脸——>遍历每个人脸矩形框——>获取left/top/right/bottom坐标——>cv2.rectangle画绿色矩形——>cv2.imshow()显示结果——>cv2.waitKey等待按键——>cv2.destoryAllWindows关闭窗口。
2026-09-13 21:23:32
184
原创 Linux常见的基础命令
ls：列出当前目录文件。ls /etc：查看指定目录。cd /etc：进入 /etccd .. ：返回上一级cd ~：回到用户主目录pwd：显示当前路径。mkdir + 目录名：创建目录mkdir -p +a/b/c ：递归创建多级目录rmdir + 目录名：删除空目录touch + 文件名：创建空文件cp + 源 + 目标：复制源文件或者源目录到目标位置。mv + 源 + 目标：移动源文件或者源目录到目标位置，把源文件或源目录改名到目标名称rm + 文件：删除文件。
2026-09-11 20:53:11
69
原创 OpenCV中的LBPH人脸识别
本文介绍使用OpenCV的LBPH算法实现人脸识别的Python代码。流程包括灰度读取图像（无需缩放）、标签定义、创建默认参数的LBPH识别器（半径1，邻域8，网格8×8），训练后预测身份与置信度。LBPH基于局部二值模式直方图，通过统计图像分块LBP直方图特征，对光照变化鲁棒，计算高效，不强制图像尺寸统一。相比EigenFace，LBPH更适应非标准化输入，但需注意噪声影响。
2026-09-09 21:05:53
119
原创 OpenCV中利用EigenFace算法进行人脸识别
本实验基于EigenFace算法，使用4张人脸图像（黎明2张、安志杰2张）训练识别器，通过OpenCV实现灰度化、尺寸统一、PCA降维及特征脸提取。利用cv2.face.EigenFaceRecognizer_create()进行训练与预测，对测试图像输出身份标签与置信度，并在图像上标注结果。核心原理为将人脸投影至低维特征脸空间，通过欧式距离匹配识别。实验完整演示了人脸识别流程，有助于理解PCA降维与分类机制，但需优化阈值与数据量以提升实用性。
2026-09-09 19:47:56
170
原创 OpenCV中的微笑检测
本次学习的是一个典型的OpenCV级联分类器应用示例，能够实现基础的实时微笑检测。它展示了：1.级联分类器的加载与使用。2.多尺度目标检测的参数调优。3.ROI截取与坐标交换。4.视频流处理与显示。
2026-09-09 15:49:51
228
原创 OpenCV中的人脸检测
<think>我们根据内容生成摘要。用户要求根据内容生成≤150字的文章摘要。需要提取关键点：使用OpenCV Haar级联分类器进行人脸检测，原理、代码、步骤，画绿框，输出数量/位置。需要简洁。</think>本文介绍使用OpenCV Haar级联分类器对静态图片进行人脸检测：通过Haar-like特征与AdaBoost级联分类器，以积分图加速滑动窗口扫描；代码依次完成灰度转换、加载预训练模型、调用detectMultiScale检测，并在原图上绘制绿色矩形框，最后输出人脸数量和位
2026-09-06 20:42:47
187
原创 2个输入通道、2个滤波器的卷积例子
滤波器1（w0）：用于生成输出通道0。包含2个通道的2*2矩阵，偏置b0=1。滤波器1（w1）：用于生成输出通道1，包含2个通道的2*2矩阵，偏置b1=0。输出尺寸=[(输入尺寸-卷积核大小+2*填充)/步长]+1=3-2+1=2，所以输出2*2*2(最后一个2代表滤波器个数）。
2026-09-04 21:14:21
230
原创 卷积神经网络
<think>我们只需要根据用户要求，生成≤150字的文章摘要。摘要内容要概括主要观点：为什么需要CNN、四大核心操作、CNN特征金字塔。注意字数。直接输出摘要即可。</think>本文介绍了卷积神经网络（CNN）的核心概念。CNN通过局部连接与参数共享解决全连接网络参数爆炸和难以学习局部相关性的问题。其四大操作包括：卷积层提取特征、激活函数非线性化、池化层降采样增强平移鲁棒性、全连接层分类。CNN层层堆叠形成从边缘到部件再到整体的特征金字塔，最终实现图像识别。
2026-09-03 21:01:06
243
原创 OpenCV中利用DNN模块实现风格迁移
<think>我们只需要根据内容生成一个≤150字的摘要。内容是关于使用OpenCV DNN实现图像风格迁移的步骤和总结。摘要要简洁，涵盖主要点。</think>本文介绍了利用OpenCV DNN模块实现图像风格迁移的完整流程，包括图像读取、blob预处理、加载模型、前向传播及后处理（重塑、归一化、转置），展示了深度学习标准流水线，体现了DNN模块的便捷性与强大功能。
2026-09-02 20:40:46
329
原创 OpenCV中稀疏光流的特征点轨迹跟踪
<think>我们根据要求生成摘要，不超过150字。内容是关于Lucas-Kanade金字塔光流代码的讲解。需要概括核心：稀疏光流、LK假设、金字塔作用、代码流程。简洁。</think>本文讲解基于OpenCV的Lucas-Kanade金字塔光流实现：在视频首帧提取100个强角点，利用亮度恒定、小运动、空间一致性假设，通过图像金字塔追踪快速运动点，并绘制彩色轨迹，完整展示了从角点检测到光流跟踪、过滤与渲染的流程。
2026-09-02 19:36:19
322
原创 OpenCV中运动目标检测
它在保留物体形状的同时，对于对角线方向的噪声抑制效果较好。MORPH_OPEN为开运算：先腐蚀后膨胀，先消除白色区域边缘的细小噪声，让物体的边界向内收缩；再将腐蚀后剩余的物体轮廓涨回来，恢复原本的大小，同时填补物体内部细小的黑洞。它能自适应光照变化。其中白色（255）为运动的物体，黑色（0）为背景，灰色被算法判定为阴影。这次的实践浓缩了视频处理的完整操作：数据采集->背景建模->形态学过滤->特征提取->逻辑过滤->结果可视化。此时的fgmask会有很多细小的白色噪点，甚至会有空洞，直接拿去用效果很差。
2026-08-30 20:58:56
231
原创 深度学习-手写数字识别
代码逻辑非常清晰，完全按照深度学习的标准流程走：数据加载 -> 定义模型 -> 训练 -> 测试。首先导入代码所用到的相关模块代码root="data"是数据存放路径；train=True是加载训练集；transform=ToTensor()是将图片转换为pytorch能够处理的张量，并进行归一化。这是一种三层全连接神经网络（MLP）：nn.Flatten()(展平层)：MNIST 的原始图片是一个二维的 28×28 的像素矩阵。但全连接神经网络不认识二维数组，它只认一维的向量。所以第一件事就是把这 784
2026-08-29 14:03:10
336
原创 OpenCV计算机视觉实战：答题卡识别
在计算机视觉的入门与进阶过程中，OpenCV 是绕不开的强大工具。结合实战项目系统性地展示如何利用 OpenCV 完成图像预处理、特征提取、透视变换、轮廓检测、特征匹配等经典任务。
2026-08-27 21:10:27
206
原创 深度学习入门
深度学习是机器学习领域中一个新的研究方向。深度学习是一种人工智能的子领域，它基于人工神经网络的概念和结构，通过模拟人脑的工作方式来进行机器学习。深度学习 的主要特点是使用多层次的神经网络来提取和学习数据中的特征，并通过反向传播算法来优化网络参数，从而实现对复制数据的建模与分类。深度学习在图像识别、语言识别、自然语言处理等领域取得了显著的成果，并被广泛应用于各种领域。神经网络是一种由多个神经元(或称为节点)组成的计算模型，它模拟了生物神经系统中神经元之间的连接方式。
2026-08-26 19:49:41
197
原创 基于OpenCV的特征点检测与指纹识别系统实践
角点就是图像中的点，比如棋盘格拐角、窗户角。OpenCV 的gray是经过转换后的。邻域窗口的大小，这里是4x4像素。Sobel 梯度算子的孔径大小，这里是3*3。
2026-08-25 20:32:36
249
原创 机器学习中经典算法的归纳
无监督学习就是“没有标准答案的自主探索”。训练数据里只有“问题”（特征X），没有任何标签（Y）。机器根本不知道这些数据是什么，只能自己去发现数据内部隐藏的结构和规律。无监督学习的典型任务：聚类。聚类，就是在没有任何标准答案（没有标签）的情况下，让机器根据数据之间的“相似度”，自动把相似的东西归成一个个“小团体”（即簇）。二、7大算法的归类看离你最近的K个邻居是啥样，分类时投票，回归时取平均。有监督。主要用途是用于分类和回归。(2)线性回归：画一条直线（或超平面）来拟合数据，预测连续数值，比如房价。
2026-08-24 19:46:50
190
原创 基于OpenCV的计算机视觉综合实战项目
从一张倾斜拍摄的纸质发票照片开始，通过一系列图像处理手段，将其矫正、二值化与去噪，最终为OCR（文字识别）或信息录入做准备。
2026-08-23 20:40:53
193
原创 Mysql的高级查询
SELECT 分组函数(列），分组列FORM 表名WHERE 分组前筛选GROPUP BY 分组列HAVING 分组后筛选ORDER BY 排序；优先使用WHERE(性能更好)，能用分组前筛选的就不要用HAVING。
2026-08-21 20:38:26
209
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人