paip.数据挖掘--导出词库清理太长的iptcode

最新推荐文章于 2021-03-11 02:25:06 发布

原创最新推荐文章于 2021-03-11 02:25:06 发布 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

im输入法专栏收录该内容

17 篇文章

订阅专栏

本文介绍了一个Python脚本用于清理数据挖掘中过长的iptcode，包括读取、过滤和写入文件的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

paip.数据挖掘--导出词库清理太长的iptcode

原来eng2atian的时候儿,有些cnchar无对眼的atian,走临时使用nonex代替...

而个,要不个那清理给挂了..

#keyword
python 文件读写rwrite unicode

#清理规则:长度大的9, 而且含有nonex

作者老哇的爪子 Attilax 艾龙， EMAIL:1466519819@qq.com
来源： http://blog.youkuaiyun.com/attilax

#主要的算法如下

x=r"c:\导出 - 主码 - 用户码表 o4dfix khjg.txt"
#clrExportImCustmWordlibTolongIptcode.py
tgt=r"c:\clrToLong.txt"
from filex import *
from pkg.strUtil import *
list =file2list(x, "UTF-16");
list_new=[]
from log import *
iniLog(r"c:\clrtolog.log")
fileHandle = open ( tgt, 'w',encoding="UTF-16" )
for line in list:
    if(line.startswith("--")):continue;
    s=left_ByFirstChar(line,"#")
    a=s.split();#todox splitbyTab
    logging.info(a)
    output=a[0]
    iptcode=a[1]
    if(len(iptcode)>9 and isContain(iptcode,"nonex")):
        continue;
        #endif
    #list_new.append(line)
    fileHandle.write(line+"\r\n")
    #endfor


#for line in     list_new:


fileHandle.close()