1.4 数据处理与可视化

最新推荐文章于 2024-08-02 00:49:25 发布

原创

最新推荐文章于 2024-08-02 00:49:25 发布 · 929 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

本文介绍了Python中数据处理的几种方法，包括数据表文件的读取、对象的持久化以及高效读取大文本文件。同时展示了如何利用numpy和matplotlib进行数据可视化，包括曲线、树、分类结构和图与网络结构的绘制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据的导入和内存管理

1.数据表文件的读取

由于现在大多数系统内存都在几个G，因此小点的数据表处理比较简单，可以直接读入内存并结构化

下面例子是用python读取数据表文件，并将其存到矩阵中，并输出矩阵的行、列数

# -*- coding: utf-8 -*-

import sys
import os
from numpy import *

# 配置utf-8输出环境
reload(sys)
sys.setdefaultencoding('utf-8')

#数据文件转矩阵
# path: 数据文件路径
# delimiter: 文件分隔符
def file2matrix(path,delimiter):
    recordlist = []
    fp = open(path,"rb")     # 读取文件内容
    content = fp.read()
    fp.close()
    rowlist = content.splitlines()     # 按行转换为一维表
    # 逐行遍历
    # 结果按分隔符分割为行向量
    recordlist =[ row.split(delimiter) for row in rowlist if row.strip()]
    return mat(recordlist)    # 返回转换后的矩阵形式

root = "testdata" #数据文件所在路径
pathlist = os.listdir(root) # 获取路径下所有数据文件
for path in pathlist:
    recordmat = file2matrix(root+"/"+path,"\t") # 文件到矩阵的转换
    print shape(recordmat) # 输出解析后矩阵的行、列数

输出结果如下