一个MR解决了2个月反思

最新推荐文章于 2025-08-08 20:25:02 发布
原创 最新推荐文章于 2025-08-08 20:25:02 发布 · 777 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据分析 #代码分析 #数据库 #2010 #工作

本文探讨了在数据库数据分析过程中遇到的历史性能查询问题，即数据中出现和NA交替出现的现象。通过代码分析，我们发现了可能的原因在于板因逻辑与物理板不一致或端口因光模块不在位导致性能指标返回值不一致。文章详细介绍了代码实现方式，包括数据读取、缓存使用、数据匹配等关键步骤，并提出了解决方案。

         最近工作感觉很不爽，一个历史问题，解决了一个半月。

网管背景：


数据库数据分析：
很多starttime都是为2010年的数据，这一方面说明数据有问题。

问题描述：

查询历史性能，同一项一会有值，一会显示NA  





代码分析：
代码实现方式：对板因逻辑与物理板不一致或者端口因光模块不在位的情况,需记下上次NA的card list和port list,
拿本次与上次比较,依旧NA的直接update end(要求是NA要先判measuerPt),
新增为NA的新增一条记录。
 
上面在15:15时间点出现0和NA这种情况，可能是某些性能参数在板因逻辑和物理板不一致或者端口因为光模块不在位导致性能指标返回值返回不一样；
代码中是把NA的数据从数据读取放到缓存中，然后获得当前NE中为NA的数据，匹配两个容器，找出remainList和NewNAList。
数据库数据分析：
很多starttime都是为2010年的数据，这一方面说明数据有问题。



表设计：


待续...............




用C语言写一个查单词的小demo
m0_47068593的博客
07-03 5万+
用C语言写一个查单词的小demo #include <stdio.h> #include <string.h> #include <stdlib.h> int main(int argc, const char *argv[]) { // 用只读的方式打开我们的单词库 FILE *fp = fopen("dict.txt","r"); if (NULL == fp){ perror("fopen"); return -1
mr and bingfa
08-01
一篇是由Google的Jeffrey Dean与Sanjay Ghemawat撰写的《MapReduce:一个灵活的数据库处理工具》，另一篇则是由Michael Stonebraker、Daniel Abadi等多位学者共同发表的《MapReduce和并行数据库：是朋友还是敌人?...
复杂业务系统中的性能问题
小蒋聊技术
11-14 1074
时间：2024年 11月 14日 作者：小蒋聊技术 邮箱：wei_wei10@163.com 微信：wei_wei10 大家好，我是小蒋，欢迎来到“小蒋聊技术”！今天我们要聊的，是每个开发者都曾面对过的一个话题——复杂业务系统中的性能问题。说实话，这个问题不止是开发人员的“头疼”，更是产品经理、架构师和团队管理者的共同挑战。
处理业务代码中循环遍历出现的性能问题
guoquanqin的博客
10-28 466
处理业务代码中循环遍历出现的性能问题 在开发中很多场景下我们都会用到foreach循环遍历一个list，并在内部通过sql再去查询对应的数据，代码如下 public void test(){ // 获取知识点关联数据 List<KnowledgeRelate> list = getKnowledgeRelate(); for(KnowledgeRelate relate : list){ // 执行 list.size()
MR Configurator軟體操作手冊
12-07
MR Configurator軟體操作手冊
三菱伺服MR-Configurator2-c
10-26
三菱伺服MR-Configurator2-C软件。可以控制三菱伺服控制器。
三菱伺服调试软件 MR Configurator2
08-18
MR Configurator伺服调试软件（MRZJW3-SETUP221）是三菱最新MR-J3伺服的调试软件，安装此软件后，用户可以方便地使用个人电脑进行伺服的设置、调谐、监控显示、参数的读写、试运行等操作。 该软件的特征有以下几点： 1． 利用软件简单设置并调谐联接的伺服系统 2． 伺服参数读写，特别是一键恢复出厂值功能 3． 监控功能，该软件提供图形显示功能显示由输入信号触发的伺服电机状态，如指令脉冲、滞留脉冲和速度等 4． 波形显示，对速度、转矩、时间用波形显示 5． 利用试运行功能测试伺服电机，试运行功能有JOG操作、定位操作、无电机操作 6． 报警显示，报警记录，生成的报警数据显示 7． 高级功能，机械分析器、增益搜索，机械仿真功能，利用此功能可以进行进一步的高级调谐
54、Mr. Klein：跨越时代的艺术探索与后现代反思
u0v1w2x3的博客
08-03 36
Mr. Klein项目是1977年至1981年由Tom Elling和Niels Lomholt发起的跨时代艺术实验，通过邮政交流、《黄皮书》及多种媒体形式，构建了一个碎片化、去中心化的艺术主体。该项目融合邮件艺术、装置、视频与后现代反思，探讨了表现形式、社会规训与个体存在之间的张力。它既呼应历史前卫派精神，又体现后现代主义对主体与复制的质疑，同时在结构与象征层面展现出与现代主义作品的深层关联，成为一场跨越艺术与社会批判的深刻实践。
无法打开此 “https“ 链接，你的设备需要一个新应用才能打开此链接——记录解决过程与反思
m0_73958484的博客
08-08 3842
卸载新版Edge装旧版后，微信/QQ内HTTPS链接打不开？记录解决过程与反思
2025下半年，翻盘的关键，就一个字
技术领导力
07-31 1367
你会发现，很多看似天大的困难，在说出来的过程中，就被解构、被化解了一大半。这种心态，能让你在顺境时不骄不躁，在逆境时不怨不艾，以一种更从容、更长远的眼光，去布局自己的人生。而活下来的人，则是那些“直面残酷现实，但同时又对最终胜利抱有不可动摇的信念”的人。记住，压垮我们的，从来不是困难本身，而是我们面对困难时的失控情绪。这正是我们需要的“稳心态”：一方面，清醒地认识到当下的困难是真实且严峻的，不抱不切实际的幻想；他们稳住了自己的心态，在漫长的岁月中，积小胜为大胜，最终等到了属于自己的花开。
高手面试一个人，问4个问题就够了
技术领导力
08-29 567
作者|Mr.K编辑| Emma来源| 技术领导力(ID：jishulingdaoli)金九银十求职季又要来了。据统计，今年的应届毕业生已破千万，加上社会面存量人才，相信今年的人才季的热度，不会低于今年夏天的温度。但如何从海量的应聘者、求职者中慧眼识珠，选出可用的人才，尤其在当前大环境不景气，求职者更重视面试机会和自我包装的背景下，对HR和面试官来说，无疑是一个很大的挑战。如何精准分辨候选人...
C语言学习基础程序——Mr.鹏.docx
03-01
【C语言学习基础程序】 C语言是计算机编程的基础语言之一，尤其适合初学者入门。...在学习过程中，不断实践和反思是非常重要的，正如博主Mr.鹏所分享的经验，从实践中学习并总结是提升技能的有效途径。
一个人最大的失误，是把顺序弄反了
技术领导力
08-28 1248
在和一些读者朋友的交流中，经常有人向K哥抱怨这个世界“不公平”：我工作很努力，别人做的事我都做了，别人吃的苦我也都吃了，为什么我不能像那些混得好的同事、朋友那样升职加薪，而一直是没什么发展的“杨白劳”。遇到这样的朋友，K哥总会提醒对方，事情你是做了，但做事情的顺序搞对了吗？有时候顺序不对，努力就会白费。下面5点内容，和大家做个分享。01态度比能力更重要成功不是属于跑得最快的人，而是属于一直在跑的人...
【三菱MR-J2S伺服调试最佳实践】：10个经典调试案例剖析
![三菱MR-J2S伺服调试说明...本文详细介绍了三菱MR-J2S伺服系统的相关知识，包括系统概述、安装配置、调试案例、调试理论与实践，以及进阶调试技巧与维护。文中首先概述了伺服系统的基本组成和功能特点。接着，对伺服电
多环境配置错误导致生产故障？反思1.3.7构建流程中CI_CD缺失的5个致命环节
而就在去年，某头部电商平台的一次看似普通的版本发布，却因为一个微不足道的配置参数变更——`read-timeout: 200ms`，直接引爆了一场持续47分钟、影响百万用户的P0级事故。服务雪崩、数据库连接池耗尽、订单系统...
解决页面加载速度慢的6个方法
Mr_yuhualing的专栏
12-29 3974
我们在对网站进行seo布局设计的时候必须考虑到网站的加载速度，一个快速的网站肯定呢挂钩更好的留住客户哦。我们之前也谈到了很多关于seo优化的一些其他注意事项，但是在加载速度上，我还没和大家谈，下面就来看看吧。网页的响应时间是影响其可用性的重要因素，如果在短时间内不能加载完一个网页，大多数互联网用户会跳过这个网页。下面列出的是“网页提速”的系列摘要，这些简单而有效的方法可以确保您的网页快速运行。
使用entrySet遍历HashMap
热门推荐
thisisvoa的专栏
06-15 3万+
错误案例现象描述： 在生成环境发现，偶尔生产环境的某台机器CPU使用率很高，经过定位发现是有一个大的HashMap(HashMap里面存放了大量数据，比如1W条)做循环引起的。错误分析遍历一个HashMapfor(Iterator ite = map.keySet().iterator(); ite.hasNext();){ Object key = ite.next()
java.lang.ExceptionInInitializerError
thisisvoa的专栏
02-24 1410
问题描述 ：编译Swiing客户端java代码的时候一直报错，错误日志， java.lang.ExceptionInInitializerError   * To change the template for this generated type comment go to * Window>Preferences>Java>Code Generation>Code and Com
JDK1.6中文帮助文档在线阅读
thisisvoa的专栏
07-18 1325
http://gceclub.sun.com.cn/Java_Docs/jdk6/html/zh_CN/api/index.html
使用python编写功能函数，实现贝叶斯公式的计算，贝叶斯公式如下： 2、使用python完成侮辱性文档数据集的定义，并进行数据集的划分。数据示例 ['my', 'dog', 'has', 'flea', 'problem', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], ['stop', 'posting', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid'] 标签集合如下： [0, 1, 0, 1, 0, 1]，其中0表示非侮辱性，1表示侮辱性 3、基于数据集进行词汇统计和创建词典。 4、设计词袋模型将文本转换为特征向量。 5、训练生成朴素贝叶斯模型。 6、使用贝叶斯模型进行分类。 7、实际数据测试：使用训练好的朴素贝叶斯模型对新的文档进行分类，判断其是否为侮辱性文档。计算新文档属于侮辱性文档和非侮辱性文档的概率，并返回概率较高的类别。 对可能所遇到的问题进行反思和总结
最新发布
10-07
<think>我们总结一下用户的需求：用户希望我们对使用Python实现贝叶斯公式计算、处理侮辱性文档数据集、训练朴素贝叶斯模型及测试过程中可能遇到的问题进行反思和总结。我们将按照实验流程的各个环节，分别讨论可能遇到的问题及其解决方案。 ### 一、贝叶斯公式计算实现问题 1. **数值下溢问题**：当特征维度较高时，多个条件概率的乘积$P(\mathbf{x}|y)=\prod_{i=1}^{n} P(x_i|y)$可能非常小，导致计算下溢（结果接近0而无法精确表示）。 **解决方案**：使用对数概率求和代替概率乘积，即$\log P(\mathbf{x}|y) = \sum_{i=1}^{n} \log P(x_i|y)$。这样将乘法转为加法，有效避免下溢[^1][^3]。 2. **零概率问题**：若测试集中出现训练集未包含的词，会导致$P(x_i|y)=0$，从而使整个后验概率为0。 **解决方案**：采用拉普拉斯平滑（Laplace Smoothing），即在计算条件概率时分子加1，分母加上词汇表大小$m$： $$P(x_i|y) = \frac{\text{count}(x_i, y) + 1}{\sum_{j=1}^{m} \text{count}(x_j, y) + m}$$ 这样即使未出现的词也会赋予非零概率[^3][^4]。 ### 二、侮辱性文档数据集处理问题 1. **数据不平衡**：数据集中侮辱性和非侮辱性文档数量差异较大（如6个样本中3个侮辱性、3个非侮辱性，但实际数据可能不平衡），导致模型偏向多数类。 **解决方案**： - 调整先验概率：若实际场景中类别比例已知，可手动设置$P(y)$而非仅依赖训练集频率。 - 重采样：对少数类过采样或对多数类欠采样[^2]。 2. **文本预处理不足**： - **停用词处理**：若不移除常见词（如“the”“is”），它们可能作为噪声降低分类性能。 - **词形归一化**：未进行词干提取（如“running”→“run”）会导致同一词的不同形式被视作独立特征。 **解决方案**：引入更全面的预处理流程，包括： - 转换为小写 - 移除标点、数字 - 分词与去除停用词 - 词干提取或词形还原[^2][^3]。 3. **特征向量维度爆炸**：词袋模型生成高维稀疏向量（词汇表过大），增加计算开销。 **解决方案**： - 限制词汇表大小（如仅保留前N个高频词） - 使用TF-IDF替代词频，降低常见词权重 - 应用特征选择方法（如卡方检验）[^2]。 ### 三、模型训练与测试问题 1. **条件独立性假设失效**：朴素贝叶斯假设特征独立，但文本中词之间存在相关性（如“not good”），导致概率估计偏差。 **解决方案**： - 使用n-gram模型（如二元语法）捕捉局部依赖关系 - 尝试其他模型（如逻辑回归、SVM）[^4]。 2. **参数估计不准确**：小数据集上概率估计可能波动较大。 **解决方案**： - 增加训练数据量 - 采用交叉验证调整平滑参数[^2]。 3. **测试阶段特征对齐问题**：测试集词向量需与训练集词汇表一致，新词或未登录词需特殊处理。 **解决方案**：构建统一的词汇表映射，测试时忽略未登录词或将其映射到特殊标记[^3]。 ### 四、分类结果评估问题 1. **单一评估指标误导**：仅依赖准确率（Accuracy）可能掩盖模型在少数类上的缺陷（如将侮辱性文档全部判为非侮辱性，整体准确率仍较高）。 **解决方案**：综合考察混淆矩阵、精确率（Precision）、召回率（Recall）和F1-score[^2]。 2. **概率输出解释性问题**：朴素贝叶斯输出的概率值未经校准（可能偏离实际置信度），不适合直接作为概率参考。 **解决方案**： - 采用Platt缩放等概率校准技术 - 仅比较各类别概率相对大小[^1]。 ### 五、Python实现细节问题 1. **数据结构选择不当**：使用列表存储大型词袋向量会降低计算效率。 **解决方案**：改用NumPy数组或SciPy稀疏矩阵加速向量运算[^3]。 2. **未封装为类**：全局变量管理训练参数（如`p0Vect`, `p1Vect`）易引发代码混乱。 **解决方案**：面向对象封装，定义`NaiveBayesClassifier`类包含`fit()`和`predict()`方法[^1]。 ### 总结与反思 本实验通过Python实现了朴素贝叶斯分类器处理侮辱性文档分类任务，核心问题包括：概率计算中的数值稳定性处理、文本特征表示优化、模型假设与实际数据的匹配度、评估指标的选择等。实践表明： 1. **数据质量决定上限**：充分的预处理（清洗、归一化）和适当的特征工程（词袋/TF-IDF）比模型选择更重要。 2. **模型简单但受限**：朴素贝叶斯计算高效且在小数据集表现良好，但特征独立性假设在自然语言中常不成立。 3. **工程实践需严谨**：对数变换、平滑技术等细节显著影响结果可靠性。 未来可探索方向包括：集成学习（如结合SVM）、深度学习文本表示（词向量）、以及引入领域知识（如侮辱词词典）提升分类性能[^2][^3][^4]。 §§相关问题§§ 1. 如何处理朴素贝叶斯分类中的连续型特征？ 2. 如何利用朴素贝叶斯进行多分类任务？ 3. 朴素贝叶斯与其他分类算法（如决策树、SVM）相比有哪些优势和劣势？ </think>### 使用Python实现朴素贝叶斯文本分类的问题反思与总结 #### 一、贝叶斯公式计算实现问题 1. **数值下溢问题**： 条件概率连乘$P(\mathbf{x}|y)=\prod_{i=1}^{n} P(x_i|y)$在特征维度高时易导致浮点数下溢（结果趋近0）。 **解决方案**： - 采用对数概率转换：$$\log P(y|\mathbf{x}) \propto \log P(y) + \sum_{i=1}^{n} \log P(x_i|y)$$ - 代码实现使用`np.log()`替代乘法[^1][^3] 2. **零概率问题**： 测试集出现训练集未包含的词时，$P(x_i|y)=0$导致整个后验概率为0。 **解决方案**： - 拉普拉斯平滑：修改条件概率计算为 $$P(x_i|y) = \frac{\text{count}(x_i, y) + 1}{\sum \text{count}(x_j, y) + |V|}$$ 其中$|V|$是词汇表大小[^3][^4] --- #### 二、数据集处理与特征工程问题 1. **数据不平衡问题**： - 侮辱性/非侮辱性文档比例失衡导致先验概率$P(y)$估计偏差 - **案例**：若90%文档非侮辱性，模型会偏向预测"非侮辱" **解决方案**： - 重采样（过采样少数类/欠采样多数类） - 调整决策阈值（如从0.5改为比例倒数）[^2] 2. **文本预处理缺陷**： | 问题类型 | 影响 | 改进方案 | |---|---|---| | 未统一大小写 | "Dog"和"dog"被视为不同特征 | 全部转为小写 | | 未处理停用词 | "the","is"等无意义词增加噪声 | 使用NLTK停用词表过滤 | | 未做词干提取 | "running"/"ran"未归一化 | PorterStemmer词干化 | 3. **特征维度爆炸**： - 词袋模型词汇表过大（如10,000+词）导致计算效率低下 **优化措施**： - 设置词频阈值（e.g. 仅保留出现≥5次的词） - 使用TF-IDF替代二进制特征[^2] --- #### 三、模型训练与测试问题 1. **条件独立性假设失效**： - 朴素贝叶斯假设特征独立，但文本中词存在关联（如"not good"） **影响**：$$P(\text{not}, \text{good}|y) \neq P(\text{not}|y)P(\text{good}|y)$$ **缓解方案**： - 引入二元语法（bigram）特征 - 尝试SVM等非概率模型[^4] 2. **概率校准问题**： 原始概率输出未校准（如$P(y=1|\mathbf{x})=0.99$可能实际置信度仅70%） **解决方法**： ```python from sklearn.calibration import CalibratedClassifierCV calibrated_clf = CalibratedClassifierCV(base_clf, cv=5) ``` 3. **测试集数据泄露**： 词汇表构建包含测试集词汇，导致评估结果虚高 **正确流程**： ```mermaid graph LR A[原始数据] --> B[划分训练/测试集] B --> C[仅用训练集构建词汇表] C --> D[训练模型] D --> E[测试集向量化] ``` --- #### 四、分类实践问题总结 1. **工程实现陷阱**： - **未处理稀疏矩阵**：大型词袋矩阵应使用`scipy.sparse`节省内存 - **未封装为类**：全局变量管理参数易出错，应采用OOP封装 ```python class NaiveBayesClassifier: def __init__(self, alpha=1): # 平滑参数 self.alpha = alpha def fit(self, X, y): # 实现训练逻辑 return self ``` 2. **评估指标单一**： 仅用准确率忽略类别不平衡影响，应综合考察： - 混淆矩阵 - F1-score: $$F1 = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$ - AUC-ROC曲线[^2] --- ### 关键改进建议 1. **特征工程升级**： - 引入词嵌入（Word2Vec）替代词袋模型 - 添加文本长度、感叹号数量等统计特征 2. **模型融合**： 组合朴素贝叶斯与SVM的混合模型： ```python from sklearn.ensemble import VotingClassifier ensemble = VotingClassifier([ ('nb', NaiveBayesClassifier()), ('svm', SVC(probability=True)) ]) ``` 3. **实时监控**： 部署后持续监控预测分布，检测数据漂移（如新出现的侮辱性词汇） > 实验表明：在侮辱性文档分类中，完善的预处理+拉普拉斯平滑+对数概率转换可使准确率提升约12%[^3]。但需注意，当特征相关性较强时（如法律文本），朴素贝叶斯的独立性假设会成为性能瓶颈[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值