m0_73964567的博客

数据合并主要表示两个dataframe的数据集通过某一列具有相同特征的series来拼接和堆叠在一起的过程，方便对应的数据处理，同时被合并的数据具有一定的关联。清洗数据的概念：将表中的一些不符合条件的数据进行清除，或者重新填充值。不符合条件的数据：存在NaN的缺失值、存在异常的值、存在重复性的值。在相同的索引情况表示夏：当表1有数据，但是表2没有数据，则使用NaN表示缺失值。表示：在两张表合并的同时，会将对应位置的数据进行重叠出来，如果有NaN。当表2有数据，表1没有数据，则使用NaN表示缺失值。

Pandas是python中非常强大的科学计算分析库，主要是用来处理数据（数据预处理、数据的读写、数据分析），对于数据的读写：读写txt、csv以及excel和数据库的相关数据都可以。实际上，分组后的数据对象groupby类似于Series与DataFrame，是pandas提供的一种对象。DataFrame：类似与二维数组的对象，可以看成是多个具有相同索引的Series结构的数据组成的对象。pandas主要可以读取文本文件和csv文件的数据以及excel的数据。返回各组的计数值，不包括缺失值。

ufunc函数是numpy中用来运算的通用函数，功能比较强大。主要是针对数组进行相关的运算：四则运算、比较运算、逻辑运算四则运算：ufunc函数支持全部的四则运算，并且保留习惯的运算符，和数值运算的使用方式一样，但是需要注意的是，操作的对象是数组。数组间的四则运算表示对每个数组中的元素分别进行四则运算，因此进行四则运算的两个数组的形状必须相同。比较运算：在ufunc函数中也支持完整的比较运算：>、=、

到了这个阶段，要想驾驭数据开展数据分析，就要涉及到工具和方法的使用，其一是要熟悉常规数据分析方法及原理，其二是要熟悉专业数据分析软件的使用，比如Pandas、Maltlab等，以便进行一些专业的数据统计、数据建模等。不同的项目对数据的要求是不一样的，使用的分析手段也是不一样的。数据分析是用适当的分析方法对收集来的大量数据进行分析，将它们加以汇总和存储，以求最大化地开发数据的功能，发挥数据的作用。数据收集是按照确定的数据分析思路和框架内容，有目的地收集、整合相关数据的一个过程，它是数据分析的基础。