RuGe_Lee的博客

自定义搜索：IEEE导出搜索结果，之后使用pandas洗数据。

pandas数据上采样方法

改了bug1:当score最大的锚框出现在左上是少统计的bug。bug2:while有时无限循环，加个counter限制最大循环。加了最小准确率的参数，有时候有用。返回结果改成了直接返回bbox和score，避免了index的改动问题。

在实际开发中，我们有时需要指定一层神经网络的参数或者冻结他们。在torch中，我们都可以轻易实现。本文以简单的cnn为例，详细讲述了指定一层网络的权值和冻结一层网络的权值的方法。

我们之前的blog写了一个函数，拿到了数据类型的分布。但是，在基于sklearn中的pipeline机器学习机制下，我们希望可以把数据集中的数据类型划分为以下几个部分：1.含大量的空值的列（如一列中超过70%为空）1.数值数据（numerical），并且不含大量的空值2.低类别数的类别数据（categorical），如只含两类的类别数据，并且不含大量的空值3.中等类别数的类别数据，如含3-10类的类别数据，并且不含大量的空值4.高类别数的类别数据，可能类别接近于类似均匀，如一列中70%以

方法一：pandas_profiling输出分析以泰坦尼克号数据集为例，如果只是康康然后疯狂复制粘贴的话那没啥，但是如果想全流程自动化，就要把ProfileReport的结果用到接下来的数据处理中，不妨把结果输出到json文件。from pandas_profiling import ProfileReportimport pandas as pddf = pd.read_csv('train.csv',index_col=['PassengerId'])report = ProfileR

个性化定制输出报告，一般我们要修改参数或者配置文件。本文介绍了常用的参数，并且修改了配置文件的一部分来演示结果。

如果我们遇到UnicodeDecodeError，一般而言是因为编码错误。所以尝试其他编码是个不错的选择。但一一尝试速度较慢，我们不妨使用chardet库和pandas读文件的其他机制解决问题。chardet库可以帮我们检测可能的编码。import pandas as pdimport numpy as npimport chardet# look at the first ten thousand bytes to guess the character encodingwith

dataFrame中，若空值已经被标注为了'unkown'或'?'之类的，isnull函数不可行，但是我们可以在读文件时设置，抑或检查 "?" 的存在并统计，还有先转化为nan，随后用我们熟悉的isnull处理。

在IEEE搜索时，在查找关键词时，若选择相关度，被引用量可能很低，反之亦然，所以，我们导出搜索结果后使用pandas进行数据清洗，来解决问题（有代码，有解析）

在pandas中，如果需要查看column的类型，一般使用 df.dtypes方法，它将返回每个列的数据类型。但实践中，有时会出现需要包含多种数据类型的场景，或者dataFrame包含的表格出错，出现了多种数据类型。为了观察dataFrame中的所有类型在列中的分布情况，我们写了对应的检查函数。