文本处理学习笔记5

最新推荐文章于 2025-08-09 10:17:13 发布
原创 最新推荐文章于 2025-08-09 10:17:13 发布 · 100 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #mysql #oracle #csv

环境如下：
python-2.5.2

工作中经常遇到类似csv格式的文件文件，
为了处理起来方便，一般要导入到数据库中

MYSQL导入工具代码：

# coding:UTF-8 

import os
import sys
import time
import MySQLdb

perread = 1048576 # 1M
original = 32
size_list = []
for i in range(125):
    size_list.append(original)
    original = original + 32
def getSize(aName, aSize):
    for i in size_list:
        if aSize<i:
            return i
    raise ValueError("字段太长 '%s' %s"%(aName, aSize))

def loadCSV(fileName, separtor="	"):
    print "loadCSV", fileName, "..."
    tf = file(fileName, "r")
    connMys = MySQLdb.connect(host="127.0.0.1", user="root", passwd="pass", db="test", charset="UTF8")
    begin = time.time()

    mark = 0
    count = 0
    currLines = tf.readlines(perread)
    count = count + len(currLines) - 1
    currTable = [i.rstrip().split(separtor) for i in currLines if len(i.rstrip())>0]
    columnName = currTable[0]
    for i in columnName:
        if not i:
            raise ValueError("字段名不能为空!")
    columnCount = len(columnName)
    currTable = fillSpace(currTable, columnCount)
    currTable = distinctColumn(currTable)
    aName = os.path.split(fileName)[1].split(".")[0]
    dropSQL, createSQL, insertSQL = buildCreate(aName, currTable)

    cursorMys = connMys.cursor()
    print dropSQL, ";"
    cursorMys.execute(dropSQL)
    print createSQL, ";"
    cursorMys.execute(createSQL)
    connMys.commit()
    print insertSQL, ";"
    for i in currTable[1:]:
        cursorMys.execute(insertSQL, i)
    connMys.commit()
    print "insert", count, "lines."

    while tf.tell() > mark:
        mark = tf.tell()
        currLines = tf.readlines(perread)
        if not tf.tell() > mark:
            break
        count = count + len(currLines)
        currTable = [i.rstrip().split(separtor) for i in currLines if len(i.rstrip())>0]
        currTable = fillSpace(currTable, columnCount)
        for i in currTable:
            cursorMys.execute(insertSQL, i)
        connMys.commit()
        print "insert", count, "lines."

    end = time.time()
    print "Count:%s Time:%s"%(count, end - begin)
    cursorMys.close()
    connMys.close()
    tf.close()

def fillSpace(aTable, colCount):
    for ii, iv in enumerate(aTable):
        while len(iv) < colCount:
            iv.append("")
        if len(iv) != colCount:
            raise ValueError("字段不够多!" + str(iv))
    return aTable

def distinctColumn(aTable):
    columnNames = aTable[0]
    ucolumnNames = set(columnNames)
    if len(columnNames)==len(ucolumnNames):
        return aTable
    tcinclude = []
    tcexclude = []
    for i, v in enumerate(columnNames):
        if v in tcinclude:
            print "字段竟然重复", v
            tcexclude.append(i)
        else:
            tcinclude.append(v)
    result = []
    for i in aTable:
        result.append([v for j, v in enumerate(i) if j not in tcexclude])
    return result

def buildCreate(aName, aTable):
    columnNames = aTable[0]
    columnSizes = [getSize(k, len(v)) for k, v in zip(aTable[0], aTable[1])]
    for i in aTable[2:]:
        for j, v in enumerate(i):
            if not len(v)<columnSizes[j]:
                columnSizes[j] = getSize(columnNames[j], len(v))

    dropSQL = "DROP TABLE IF EXISTS " + aName
    createSQL = ["CREATE TABLE IF NOT EXISTS " + aName]
    createSQL.append("(")
    for k, v in zip(columnNames, columnSizes):
        currLines = "  %s VARCHAR(%s),"%(k, v)
        createSQL.append(currLines)
    createSQL[-1] = "  %s VARCHAR(%s)"%(k, v)
    createSQL.append(")")
    k = ", ".join(columnNames)
    v = ", ".join(["%s" for i in range(len(columnNames))])
    insertSQL = "INSERT INTO %s (%s) VALUES (%s)"%(aName, k, v)
    return (dropSQL, "\n".join(createSQL), insertSQL)

def usage():
    print "CSVloader -h"
    print "CSVloader -f bsc.csv bts.csv"
    print "CSVloader -d dir1 dir2"
    print "CSVloader -f bsc.csv bts.csv -s ,"
    print "CSVloader -d dir1 dir2 -s ,"
    print "CSVloader -s , -f bsc.csv bts.csv"
    print "CSVloader -s , -d dir1 dir2"
    print "  Options include:"
    print "    -h [help]     - 打印帮助"
    print "    -s [separtor] - 使用的分割符，默认 tab"
    print "    -f [fileName] - 文件名，可以指定多个"
    print "    -d [dirName]  - 文件夹，可以指定多个"
    print
    print "    注意：文件必须是 UTF-8 编码"

if __name__ == "__main__":
    if "-h" in sys.argv:
        usage()
    elif "-d" in sys.argv:
        separtor = "	"
        idxf = sys.argv.index("-d")
        if "-s" in sys.argv:
            idxs = sys.argv.index("-s")
            separtor = sys.argv[idxs+1]
            if idxs>idxf:
                for i in sys.argv[idxf+1:idxs]:
                    for j in os.listdir(i):
                        loadCSV(os.path.join(i, j), separtor)
            else:
                for i in sys.argv[idxf+1:]:
                    for j in os.listdir(i):
                        loadCSV(os.path.join(i, j), separtor)
        else:
            for i in sys.argv[idxf+1:]:
                for j in os.listdir(i):
                    loadCSV(os.path.join(i, j), separtor)
    elif "-f" in sys.argv:
        separtor = "	"
        idxf = sys.argv.index("-f")
        if "-s" in sys.argv:
            idxs = sys.argv.index("-s")
            separtor = sys.argv[idxs+1]
            if idxs>idxf:
                for i in sys.argv[idxf+1:idxs]:
                    loadCSV(i, separtor)
            else:
                for i in sys.argv[idxf+1:]:
                    loadCSV(i, separtor)
        else:
            for i in sys.argv[idxf+1:]:
                loadCSV(i, separtor)
    else:
        usage()




使用方法如下：
CSVloader -h
CSVloader -f bsc.csv bts.csv
CSVloader -d dir1 dir2
CSVloader -f bsc.csv bts.csv -s ,
CSVloader -d dir1 dir2 -s ,
CSVloader -s , -f bsc.csv bts.csv
CSVloader -s , -d dir1 dir2
Options include:
-h [help] - 打印帮助
-s [separtor] - 使用的分割符，默认 tab
-f [fileName] - 文件名，可以指定多个
-d [dirName] - 文件夹，可以指定多个

注意：文件必须是 UTF-8 编码

顺便写了个bat文件：
CSVloader.bat

@echo off
python CSVloader.py %*

（WinXP SP2，MySQL 5.0下使用通过，MySQL数据库使用UTF8编码，csv文件使用UTF8编码）
测试文本：A_OBJECT.txt

oid,city,type,pid
7,邢台市,103,7
8,廊坊市,103,8
1,沧州市,103,1
3,高邑县,104,4
4,河间市,104,1
2,赵县,104,4


Oracle导入工具：

# coding:GBK 

import os
import sys
import time
import cx_Oracle

perread = 1048576 # 1M
# original = 64
# size_list = []
# while original<4000:
#     size_list.append(original)
#     original = original*2
original = 32
size_list = []
for i in range(125):
    size_list.append(original)
    original = original + 32
def getSize(aName, aSize):
    for i in size_list:
        if aSize<i:
            return i
    raise ValueError("字段太长 '%s' %s"%(aName, aSize))

def loadCSV(fileName, separtor="	"):
    print "loadCSV", fileName, "..."
    tf = file(fileName, "r")
    connOra = cx_Oracle.connect("user", "pass", "192.168.1.110:1521/testdb")
    begin = time.time()

    mark = 0
    count = 0
    currLines = tf.readlines(perread)
    count = count + len(currLines) - 1
    currTable = [i.rstrip().split(separtor) for i in currLines if len(i.rstrip())>0]
    columnName = currTable[0]
    for i in columnName:
        if not i:
            raise ValueError("字段名不能为空!")
    columnCount = len(columnName)
    currTable = fillSpace(currTable, columnCount)
    currTable = distinctColumn(currTable)
    aName = os.path.split(fileName)[1].split(".")[0]
    createSQL, insertSQL = buildCreate(aName, currTable)

    cursorOra = connOra.cursor()
    print createSQL, ";"
    cursorOra.execute(createSQL)
    connOra.commit()
    print insertSQL, ";"
    cursorOra.prepare(insertSQL)
    cursorOra.executemany(None, currTable[1:])
    connOra.commit()
    print "insert", count, "lines."

    while tf.tell() > mark:
        mark = tf.tell()
        currLines = tf.readlines(perread)
        if not tf.tell() > mark:
            break
        count = count + len(currLines)
        currTable = [i.rstrip().split(separtor) for i in currLines if len(i.rstrip())>0]
        currTable = fillSpace(currTable, columnCount)
        cursorOra.executemany(None, currTable)
        connOra.commit()
        print "insert", count, "lines."

    end = time.time()
    print "Count:%s Time:%s"%(count, end - begin)
    cursorOra.close()
    connOra.close()
    tf.close()

def fillSpace(aTable, colCount):
    for ii, iv in enumerate(aTable):
        while len(iv) < colCount:
            iv.append("")
        if len(iv) != colCount:
            raise ValueError("字段不够多!" + str(iv))
    return aTable

def distinctColumn(aTable):
    columnNames = aTable[0]
    ucolumnNames = set(columnNames)
    if len(columnNames)==len(ucolumnNames):
        return aTable
    tcinclude = []
    tcexclude = []
    for i, v in enumerate(columnNames):
        if v in tcinclude:
            print "字段竟然重复", v
            tcexclude.append(i)
        else:
            tcinclude.append(v)
    result = []
    for i in aTable:
        result.append([v for j, v in enumerate(i) if j not in tcexclude])
    return result

def buildCreate(aName, aTable):
    columnNames = aTable[0]
    columnSizes = [getSize(k, len(v)) for k, v in zip(aTable[0], aTable[1])]
    for i in aTable[2:]:
        for j, v in enumerate(i):
            if not len(v)<columnSizes[j]:
                columnSizes[j] = getSize(columnNames[j], len(v))

    createSQL = ["CREATE TABLE " + aName]
    createSQL.append("(")
    for k, v in zip(columnNames, columnSizes):
        currLines = "  %s VARCHAR2(%s),"%(k, v)
        createSQL.append(currLines)
    createSQL[-1] = "  %s VARCHAR2(%s)"%(k, v)
    createSQL.append(")")
    k = ", ".join(columnNames)
    v = ", ".join([":%s"%(i+1) for i in range(len(columnNames))])
    insertSQL = "INSERT INTO %s (%s) VALUES (%s)"%(aName, k, v)
    return ("\n".join(createSQL), insertSQL)

def usage():
    print "CSVloader -h"
    print "CSVloader -f bsc.csv bts.csv"
    print "CSVloader -d dir1 dir2"
    print "CSVloader -f bsc.csv bts.csv -s ,"
    print "CSVloader -d dir1 dir2 -s ,"
    print "CSVloader -s , -f bsc.csv bts.csv"
    print "CSVloader -s , -d dir1 dir2"
    print "  Options include:"
    print "    -h [help]     - 打印帮助"
    print "    -s [separtor] - 使用的分割符，默认 tab"
    print "    -f [fileName] - 文件名，可以指定多个"
    print "    -d [dirName]  - 文件夹，可以指定多个"
    print
    print "    注意：文件必须是 GBK 编码"

if __name__ == "__main__":
    if "-h" in sys.argv:
        usage()
    elif "-d" in sys.argv:
        separtor = "	"
        idxf = sys.argv.index("-d")
        if "-s" in sys.argv:
            idxs = sys.argv.index("-s")
            separtor = sys.argv[idxs+1]
            if idxs>idxf:
                for i in sys.argv[idxf+1:idxs]:
                    for j in os.listdir(i):
                        loadCSV(os.path.join(i, j), separtor)
            else:
                for i in sys.argv[idxf+1:]:
                    for j in os.listdir(i):
                        loadCSV(os.path.join(i, j), separtor)
        else:
            for i in sys.argv[idxf+1:]:
                for j in os.listdir(i):
                    loadCSV(os.path.join(i, j), separtor)
    elif "-f" in sys.argv:
        separtor = "	"
        idxf = sys.argv.index("-f")
        if "-s" in sys.argv:
            idxs = sys.argv.index("-s")
            separtor = sys.argv[idxs+1]
            if idxs>idxf:
                for i in sys.argv[idxf+1:idxs]:
                    loadCSV(i, separtor)
            else:
                for i in sys.argv[idxf+1:]:
                    loadCSV(i, separtor)
        else:
            for i in sys.argv[idxf+1:]:
                loadCSV(i, separtor)
    else:
        usage()


（WinXP SP2，Oracle 11下使用通过，Oracle数据库使用GBK编码，csv文件使用GBK编码）


注意一下，小工具拿到文件后，
会以文件名作为表名，开始造表(create)，
字段全部为字符串，各个字段长度会根据
第一批读入的数据进行计算(第一批读1M，可以调，防大文件用的)，
还要注意一下
MySQL版本与Oracle版本有点区别，
MySQL版本有自动删除表功能，先试着删除一遍，才会建表，导入数据；
Oracle版本没有加删除表功能，只有建表导入数据过程。
(MySQL一般只在自己本本上使用，所以导入，改改文件再导入方便，无需去手动删除表，
Oracle一般会在服务器上导数据用，怕删掉不该删除的东西，所以未加这个功能)
再有MySQL版用UTF8编码，Oracle版用的GBK编码，这个跟数据库的设置有关
UTF8编码与GBK编码转换，可参考使用文本学习笔记3的批量转换工具
当然，文件不多也可以用文本编辑器手动另存转换。


贾
卢
惨
御
雏
皿
陨
褶
苷
嫌
盯
铡
MD编辑器学习笔记
zxjiaya的博客
08-22 1957
MD编辑器学习笔记
python文本数据处理学习笔记详解
01-20
其实编程本质上就是数据处理，怎么把文本数据、图像数据，通过python读入、切分等，变成一个N维矩阵，然后再带入别人的模型，bingo~跑出来一个结果。结果当然也是一个矩阵或向量的形式。 所以说，之所以对很多模型、...
NLP自然语言处理学习笔记
wangqiaowq的博客
12-07 2454
目前存在的问题有两个方面：一方面，迄今为止的语法都限于分析一个孤立的句子，上下文关系和谈话环境对本句的约束和影响还缺乏系统的研究，因此分析歧义、词语省略、代词所指、同一句话在不同场合或由不同的人说出来所具有的不同含义等问题，尚无明确规律可循，需要加强语用学的研究才能逐步解决。自动问答是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务，在回答用户问题时，首先要正确理解用户所提出的问题，抽取其中关键的信息，在已有的语料库或者知识库中进行检索、匹配，将获取的答案反馈给用户。
虚幻学习笔记4—文本内容处理
Just do IT
11-27 1480
本文使用的虚幻引擎5.3.2，在虚幻中已经集成了很多可以直接处理多样化文本的蓝图，比如格式化动态显示、浮点数多样化等。两个常用的处理文本的蓝图。
【UE】UE5 学习笔记
发布unity，三维模型的相关内容
04-14 7105
我们自己创建控件也可以作为其他UI控件的子控件创建自定义控制蓝图设置控件与样式在其他U中，通过用户创建实现控件的使用命名插槽(Named Slot)当用户创建的UI成为其他UI的子控件时，默认情况下是不能拥有子控件的，要想拥有子控件，就必须给U|添加一个命名插槽，这样这个UI就可以拥有子控件第一步:创建带有命名插槽的UI控件第二步:在其他U|面板中导入UI控件， 在插槽处添加对应控件相同点:是可以将- -段逻辑封装为功能都可以接收参数其他蓝图都可以直接调用。
自然语言处理学习笔记十一（文本分类）
liuhuabing760596103的专栏
11-12 4224
在文本聚类中，体验了无须标注语料库的便利性，但是无监督学习总归无法按照我们的意志预测出文档的类别，限制了文本聚类的应用场景。为了解决更多的需要将文档分门别类地归入具体的类别中，于是有了文本分类的产生。 一、文本分类的概念 文本分类，又称为文档分类，指的是将一个文档归类到一个或者多个类别中的自然语言处理任务。文本的类别称为标签，如果一个文档属于多个类别，此时此类问题称为多标签分类。 文本分类是一个典型的监督学习任务，其流程离不开人工指导：人工标注文档的类别，利用...
机器学习学习笔记之——处理文本数据
前尘忆梦的博客
12-28 4572
处理文本数据 我们讨论过表示数据属性的两种类型的特征：连续特征与分类特征，前者用于描述数量，后者是固定列表中的元素。在许多应用中还可以见到第三种类型的特征：文本。举个例子，如果我们想要判断一封电子邮件是合法邮件还是垃圾邮件，那么邮件内容一定会包含对这个分类任务非常重要的信息。或者，我们可能想要了解一位政治家对移民 问题的看法。这个人的演讲或推文可能会提供有用的信息。在客户服务中，我们通常想知 道一条消息是投诉还是咨询。我们可以利用消息的主题和内容来自动判断客户的目的，从而将消息发送给相关部门，甚至可以发送一
Prompt 提示工程学习笔记
STAR GAME
12-26 1647
任务描述、输入数据、上下文信息、提示风格：描述想要让LLM遵循的指令。描述应详细清晰，可进一步使用关键词突出特殊设置，从而更好地指导LLM工作。：对于非结构化数据可用文本描述的方式输入，对于非结构化数据（知识图谱、表格、代码等）采用一种合适的方式，例如：文本化、线性化转换函数。：上下文和背景信息。有助于更好地描述任务范例、任务目标、特殊的输出格式以及输入和输出之间的映射关系。：设置合适的提示风格，有助于激发LLM解决特定任务的能力。
机器学习笔记--2.1文本分类
slcod的博客
01-20 3879
从分类算法层面来看，各类语言的文本分类技术大同小异，但从整个流程来考察，不同语言的文本处理所用到的技术还是有差别的。下面给出中文语言的文本分类技术和流程，主要包括以下几个步骤： （1）预处理：去除文本的噪声信息，例如HTML标签、文本格式转换、检测句子边界等。 （2）中文分词：使用中文分词器为文本分词，并去除停用词。 （3）构建词向量空间：统计文本词频，生成文本的词向量空间。 （4）权重策略——TF-IDF方法：使用TF-IDF发现特征词，并抽取为反映文档主题的特征。 （5）分类器：使用算法训练分
h5学习笔记
weixin_51109349的博客
01-10 4708
h5什么是h5h5的好处h5新特性H5新增语义化标签什么是h5 万维网的核心语言，标准通用标记语言下的一个应用超文本标记语言（HTML） 的第五次重大修改，作为新HTML语言，具有新的元素，属性和行为 它有更多样化和强大的网站和应用程序 h5的好处 提高可用性和改进用户的友好体验; 有几个新的标签，这将有助开发人员定义重要的内容； 可以给站点带来更多的多媒体元素(视频和音频)； 可以很好的替代FLASH； 当涉及到网站的抓取和索引的时候，对于SEO很友好； 将被大量应用于移动应用程序和游戏。 h5新特性
AI 学习笔记（持续更新）
weixin_43501634的博客
11-26 1838
通过让大模型逐步参与将一个复杂问题分解为一步一步的子问题并依次进行求解的过程可以显著提升大模型的性能。而这一系列推理的中间步骤就被称为思维链（Chain of Thought）。
制作包含文字列表的文本网页学习笔记
01-08
通过添加和编辑文体，对网页文本进行格式化处理，设置项目列表、插入水平线等操作，学习制作一个包含文字列表的文本网页，介绍我们著名自然景观，人文景观，民风民俗。 1.鼠标单击网页编辑窗口的空白区域，选择适当...
Pytorch学习笔记——文本预处理
01-06
思想：我们需要对无用信息进行过滤，而计算机无法直接处理单词等有用信息，我们需要把他们转换成数字。将单词映射到不同的数字，可以考虑用列表，如data=[‘ni’, ‘hao’]，我们就可以用data[0]，data[1]来表示 ...
anaconda 镜像源清华源问题解决
qq_19716091的博客
08-08 492
文件位置‪ C:\Users\用户\.condarc。用清华源时出现的如下图的问题。可以更换为中科大的镜像源。.condarc内容。
WebSocket 在多线程环境下处理 Session并发
TOOZOOY的博客
08-07 1266
WebSocket 在多线程环境下处理 Session并发时，常见问题包括状态冲突（如 IllegalStateException）、消息乱序、连接超时等。以下是综合各技术方案的解决方案，分为单机多线程和分布式集群两类场景：
Python 属性描述符(方法是描述符)
钢铁男儿
08-08 595
❶ Text 实例的 repr 方法返回一个类似 Text 构造方法调用的字符串，❸ 如果为 obj.spam 赋值，会遮盖类属性，导致无法通过 obj 实例访。在类中定义的函数属于绑定方法（bound method），因为用户定义的函。下面来分析 Text.reverse 方法，如示例 20-15 所示。❹ 注意类型是不同的，一个是 function，一个是 method。象，里面包装着函数，并把托管实例（例如 obj）绑定给函数的第一个。方法，因此是非覆盖型描述符，如示例 20-13 中。
tkwebview-tkinter的web视图
tinga_kilin的博客
08-06 1118
tkinter的web视图
计算机视觉第一课opencv（一）保姆级教学
m0_74977182的博客
08-07 1535
从 OpenCV 的安装（Windows/Linux/Mac 全平台覆盖），到第一个程序的编写与运行；从如何读取、显示、保存图片，到像素的基本操作（如修改颜色、裁剪图像），每一步都附带完整代码和清晰注释。无需高深的数学知识，也不用提前了解图像处理原理，跟着教程敲代码，你会发现：原来用几行代码就能让计算机 “看见” 并处理图像！我们还会用实例拆解常见报错的解决办法，帮你避开入门时的各种 “坑”。读完这个系列，你将掌握 OpenCV 的基础操作，为后续学习图像滤波、边缘检测、目标识别等进阶内容打下扎实基础，轻松
深入 FastMCP 源码：认识 tool()、resource() 和 prompt() 装饰器
最新发布
Hoper-J的博客
08-09 846
在使用 FastMCP 开发 MCP 服务器时经常会用到 `@mcp.tool()` 等装饰器。虽然它们用起来很简单，但当作黑匣子总让人感觉"不得劲"。接下来我们将深入相关的源码实现，别担心，不会钻没有意义的“[兔子洞](https://en.wikipedia.org/wiki/Wiki_rabbit_hole)”，你可以通过这篇文章了解到： - 如何简单启动本地的 MCP Server 和 MCP Inspector - 这些装饰器具体做了什么 - @mcp.tool() - @mcp.res
Python文本与图像处理及注释技巧学习笔记
资源摘要信息: "本篇Python学习笔记涵盖了三个主要知识点：文本处理、图像基础和注释。在文本处理部分，主要介绍了如何使用Python进行文件的读写操作，字符串的处理，以及正则表达式在文本中的应用。图像基础部分则...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值