weixin_53848907的博客

本文介绍多分类问题的建模方法，重点在于说明多分类问题与二分类问题的区别。（2）对分不准的类别的分析和特殊处理方法。（3）多分类标签的稀疏化处理。先占个位置，防止犯懒不想写~（1）数据不平衡问题。

Yolov5中，标签数据里，类别中文名需要转换成类别编号。本文提供了相应的代码。

本文简述了目标检测xml格式标注的内容，以及yolo系列模型所需的txt格式标注的内容。并提供了一个简单的，可以将xml格式标注文件转换为txt格式标注文件的python脚本。

之前一直用的python3.7，后来yolov5要求python版本为3.8及以上，再后来langchain要求python版本在3.10及以上。方便起见，配置了不同python版本的环境。下面记录一下使用 conda 切换环境，并在新的环境中安装包和打开jupyter notebook的方法。

本文按步骤详细介绍了使用yolov5进行目标检测的全流程，包括：模型下载、环境配置、数据集准备和数据预处理、模型调整、模型训练、进行目标检测和检测结果分析。本文全部流程使用cpu完成（无需gpu），旨在跑通流程，模型训练过程较慢，且未能到达最优结果。需要 python版本>=3.8。

本文梳理了几种常用的不平衡数据集处理方法，包括过采样、欠采样，类别加权和数据加权的方法。以下通过信用卡违约实例数据进行说明。不平衡数据集，尤其长尾数据一直都是重点和难点。实际应用中，应根据具体的业务需求，确定应该尽量提高模型的哪个指标。如：对于信用卡违约这样一个对正类样本（违约）判定要求较高的场景，往往需要更高的召回率。我们采用AUC和F1得分评价模型结果，总体情况见下表。可见效果都一般，但处理后，F1值确实都有提升。（注：本文中除基模型外的模型均未进行调优，可能对处理后的数据未必合适。

本文利用预处理后的数据集，介绍模型融合的 Statcking 和 Voting方法的原理和使用，用以提高模型预测的准确率。Stacking 方法扒了一下sklearn中的源码，其处理方法似乎和大部分原理类文章中讲的不太一样。

一段时间以前用于练手的一个小项目。实现的主要功能是上传一张图片，自动将其转化成字符画，下面给出python实现代码和效果。还有一些Tips：（1）适合图片主体为大面积、不同色图像；（2）可以调整字符数、字符类型，用以改进效果；（3）设置用于画图的字符时，尽量用形状更小的字符代表更浅的颜色；也可以根据生成的字符画，选择合适的字符类型（如上图中的眼泪用 ‘l’ 就比较合适）；（4）远看效果会好一些

本篇文章通过具体数据做示例，总结了sklearn中模型选择model_selection模块常用函数的说明和使用方法。包括：1. 数据切分：train_test_split；2. K折交叉验证：KFold,StratifiedKFold,cross_val_score；3. 参数网格搜索GridSearchCV

特征选择是机器学习中很重要的一部分，构造并选取合适的特征，能极大的提高模型的表现。sklearn中feature_selection模块提供了一些特征选择方法。包括方差阈值法、相关性过滤法、嵌入法和包装法等。本文通过鸢尾花数据集详细介绍这些方法的使用

前段时间参加了一个数据建模比赛，机器学习部分主要是应用python的sklearn库，现整理一下自己当时的复习内容。整个数据建模的第一部分也是最主要的部分是数据预处理。其常规顺序（不一定全需要做）为：处理离群值、处理缺失值、标准化或归一化、纠偏、连续特征离散化、类别特征编码、特征增强和对不平衡数据集的处理（仅针对分类问题）。本篇是数据预处理中的数据标准化或归一化和纠偏部分。

使用open()函数打开文件，csv.reader()函数读取内容报错：error:new-line character seen in unquoted field

在参加考试等情况下，可能无法直接上网搜索python相关函数和用法。可以通过以下方法进行辅助查看。