1.4 数据处理与可视化

本文介绍了Python中数据处理的几种方法,包括数据表文件的读取、对象的持久化以及高效读取大文本文件。同时展示了如何利用numpy和matplotlib进行数据可视化,包括曲线、树、分类结构和图与网络结构的绘制。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

数据的导入和内存管理
1.数据表文件的读取
由于现在大多数系统内存都在几个G,因此小点的数据表处理比较简单,可以直接读入内存并结构化
下面例子是用python读取数据表文件,并将其存到矩阵中,并输出矩阵的行、列数
# -*- coding: utf-8 -*-

import sys
import os
from numpy import *

# 配置utf-8输出环境
reload(sys)
sys.setdefaultencoding('utf-8')

#数据文件转矩阵
# path: 数据文件路径
# delimiter: 文件分隔符
def file2matrix(path,delimiter):
    recordlist = []
    fp = open(path,"rb")     # 读取文件内容
    content = fp.read()
    fp.close()
    rowlist = content.splitlines()     # 按行转换为一维表
    # 逐行遍历
    # 结果按分隔符分割为行向量
    recordlist =[ row.split(delimiter) for row in rowlist if row.strip()]
    return mat(recordlist)    # 返回转换后的矩阵形式

root = "testdata" #数据文件所在路径
pathlist = os.listdir(root) # 获取路径下所有数据文件
for path in pathlist:
    recordmat = file2matrix(root+"/"+path,"\t") # 文件到矩阵的转换
    print shape(recordmat) # 输出解析后矩阵的行、列数
输出结果如下
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值