!!只保留文本中的中英文和符号.,其余都删除

用 python 进行文本预处理和提取特征 文本过滤result = re.sub(r'[^\u4e00-\u9fa5,。?!,、;:“ ”‘ ’( )《 》〈 〉]', "", content)#只保留中文和标点result = re.sub(r'[^\u4e00-\u9fa5]', "",content)#只保留中文 result = re.sub(r'[^\0-9\.\u4e00-\u9fa5,。?!,、;:“ ”‘ ’( )《 》〈 阅读详情
只保留文本中的中英文和符号.,其余都删除

想要只保留文本中的中英文和符号.,其余都删除吗?下面这个程序可以帮您。它简洁、高效,用python实现,只要把正则表达式换成你想要的就可以了。(python3实现)



代码实现:

import re

my_file_path = 'data/百度百科语料.txt'
save_file_path = 'data/百度百科语料_去除符号.txt'
# 打开文件
my_file = open(my_file_path, 'r', encoding='utf-8')
# 只保留中英文、数字和.的正则表达式
cop = re.compile("[^\u4e00-\u9fa5^.^a-z^A-Z^0-9]")

for line in my_file.readlines():
    string = cop.sub("", line)
    save_file = open(save_file_path, 'a', encoding='utf-8')
    save_file.write(string)
    save_file.flush()
    save_file.close()

# ascii(my_file.read(3)[0]) 获取unicode编码
# 关闭文件
my_file.close()

代码说明:[^\u4e00-\u9fa5^.^a-z^A-Z^0-9] 为需要替换的字符;string = cop.sub(“”, line) 即把文本中匹配到的字符替换成空字符;my_file_path为要处理的文件,里面是文本;save_file_path为处理完成之后的文本文件。

利用VBA批量删除Excel中的中文/英文/数字或者替换中英文符号 在Excel中经常会遇到去除所有的中文,英文或者数字等情况。但是由于Excel并不支持一次替换所有的中文,英文,数字等,所以有些解决方法是复制到Word中进行替换,但是这种方法个人感觉比较麻烦不好用,因此提供一个利用VBA解决这个问题的方法. 具体操作如下: 使用“Alt+F11”打开开发者选项,在点击左侧的任意一个sheet,复制下面的代码内容, Sub remove_cn_char() Dim Rng As Range Dim Reg Set Reg = CreateObjec 阅读详情

相关推荐

第2章第2节:文本排版技巧:正确使用中英文标点 [PowerPoint精美幻灯片实战教程]

本节演示在使用中英文符号时,常见的一些错误情况。首先在此处点击,将光标放置在这个位置。

互动教程网[www.hdjc8.com] 1214

python-文本处理和正则表达式

【未完成初稿】这周在工作中遇到很多需要从一段字符中增删查改的工作,第一遍用自己写的脚本去做,结果是可重用性不高,而且效率也不太好。其中也用到了python中的正则表达式部分re,后来就想能不能将我遇到的这类问题全部用正则去解决,具体就是python的re模块。答案目前还不知道,在还没遇到更多的问题之前,还是不要轻易下结论。这篇文章就当作一...

weixin_34111790的博客 645

基于python的上市公司年报分析(pdf转txt,停用词过滤,关键词分析,文本分析)

人工智能_项目实践_上市公司年报_基于python的上市公司年报分析(pdf转txt,停用词过滤,关键词分析,文本分析)

python 从字符串中单独提取中文字符或英文字符

1, 过滤字符串中的英文与符号,保留汉字 import re str = “hello,world!!%[545]你好234世界。。。” str = re.sub("[A-Za-z0-9!%[],\。]", “”, str) print(str) 输出结果:你好世界 2, 从字符串中提取字母字符串 result = ‘’.join(re.findall(r’[A-Za-z]’, s)) ...

weixin_44191019的博客 3088

核磁分析必备,ACD/Labs软件使用全解析

核磁共振(NMR)是化学分析中的重要工具,而ACD/Labs提供了一套强大的软件解决方案。从实验设计到数据解读,ACD/Labs 的 NMR 预测可以显著加快您的工作流程。使用 ACD/NMR 预测可以:根据化学结构预测 1H、13C、15N、19F 和 31P 核的全套 1D 和 2D NMR 光谱;在几秒钟内计算化学位移和耦合常数;利用内部数据训练算法,提高新化学空间的准确性。

a13981820402的博客 5635

告别裸机:在FreeRTOS上为STM32移植SOEM EtherCAT主站的思路与实战

本文详细介绍了在FreeRTOS环境下为STM32移植SOEM EtherCAT主站的工程实践。通过重构任务调度模型、优化内存管理和中断响应,成功将通信周期抖动控制在±100ns以内,满足工业控制系统的严苛实时性要求。文章包含完整的移植策略、性能优化方法和实测数据,为开发者提供了一套可靠的EtherCAT主站解决方案。

weixin_30342363的博客 388

python只保留汉字字母和数字

工作过程中,因为文字匹配总遇到空格、标点符号、换行,极大的影响了文字比较工作,利用正则表达式提取出来,方便快捷,而且简单。

jinxin52的博客 4642

A-Level CS 计算机科学 考试知识点——考试介绍&第1章

前言:该系列文章是本人在给学生辅导本课程的过程中结合英文教材所总结的,该系列共分为30章,主要介绍了考试的核心知识点。若需要A-Level CS 计算机科学考试辅导也可以私信我。 目录 关于A-Level CS 计算机科学考试 考试简介 考试内容 考试时间 评分情况 第1章 信息表示 本章学习内容 1.01 数字系统 1.02 数字的内部编码 整数编码(Coding for integers) 二进制编码的十进制(Binary coded decimal——BCD) 1.03.

王俊的博客 6458

《.net/C#专题--正则验证输入框的内容只能是中文或英文数字》

作者:龙文浩 开发工具与关键技术:MVC/C# 正则 撰写时间:2019年1月19号 下面我们使用C#来处理验证的部分,下面我们来看一个例子,输入成功后,并返回提示,见下图: 在截图中我们看到,输出的中文字符串是被拒绝的,我们看下面的代码: 上面那个可以检测输入的是不是汉字,下面再提供一个正则: 校验字符为 英文和数字: 下面看一个校验字符为汉字的示例,见下图 提示不可出现英文和危险字符 ...

龙文浩的博客 1041

Android16 3576 u盘固件升级功能添加

1.在u-boot/drivers/power/pmic/rk8xx.c。这里是读取power键的寄存器判断长短按。

tzj1058756809的博客 575

常说的cache机制到底是什么?L1 cache和 L2 cache是什么?

一文带你迅速了解CPU内的cache机制!!图解多核CPU中的多级cache结构。为何有的处理器没有cache?

车载系统攻城狮 5878

python 文本处理 保留中英文和标点符号_python-文本处理和正则表达式

【未完成初稿】这周在工作中遇到很多需要从一段字符中增删查改的工作,第一遍用自己写的脚本去做,结果是可重用性不高,而且效率也不太好。其中也用到了python中的正则表达式部分re,后来就想能不能将我遇到的这类问题全部用正则去解决,具体就是python的re模块。答案目前还不知道,在还没遇到更多的问题之前,还是不要轻易下结论。这篇文章就当作一个备忘录,用来记录遇到的文本处理问题,其解决的办法,重点是正...

weixin_39692253的博客 3202

133.在 Vue3 中使用 OpenLayers 实现画多边形、任意编辑、遮罩与剪切处理功能

《Vue3+OpenLayers实现多边形绘制与区域处理》摘要:本文介绍如何基于Vue3+OpenLayers+ol-ext实现地图多边形交互功能。核心功能包括:鼠标绘制任意多边形、拖动顶点编辑边界、遮罩显示(非选区变红)、选区剪切显示及功能重置。技术方案采用OpenLayers处理地图渲染,ol-ext实现高级遮罩/剪切效果,ElementPlus提供UI控件。该方案适用于城市规划、园区展示等需要区域标记的场景,完整代码展示了从初始化、绘制、编辑到特效处理的全流程实现。

小彭的博客 960

python实现去除文本中的中文符号和英文符号

python实现去除文本中的中文符号和英文符号import re line = line.decode("utf8") string = re.sub("[\s+\.\!\/_,$%^*(+\"\']+|[+——!,。??、~@#¥%……&*()]+".decode("utf8"), "".decode("utf8"),line)

perfectmanman的博客 2万+

PLC如何控制电子膨胀阀(暖通空调/制冷系统)

电子膨胀在冷水机空调系统里广泛采用,大部分空调系统都会有电子膨胀阀,但是电子膨胀阀的控制接口和普通电磁阀完全不同,所以想要PLC直接控制电子膨胀阀,还是比较麻烦的,电子膨胀阀可以理解为一个简易步进电机,体积非常小,线圈和转子部分可以分离。下面我们看下PLC如何控制电子膨胀阀。

RXXW_Dor的博客 4761

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Python去除文本中所有中英文标点符号

Python去除文本中所有中英文标点符号

qq_35284646的博客 2986

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Python 中如何删除文本里的 emoji 表情符号

本文介绍了三种在Python中删除文本中emoji表情符号的方法:1)使用正则表达式匹配并删除各类Unicode emoji范围;2)利用emoji第三方库的replace_emoji函数;3)通过正则表达式仅保留中英文、数字和常见标点。三种方法都能有效去除文本中的表情符号,其中方法1最全面,方法2最简洁,方法3可同时过滤其他非文字字符。代码示例清晰展示了各种实现方式,输出结果均为去除了emoji的干净文本。

weixin_45691961的博客 690

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

python两个方法删除文本中的标点符号

1.正则表达式(可以删除中英文字符) import re a=re.sub(r'[\W]','',s) . 替换任意1个字符(除了\n) [ ] 替换[ ]中列举的字符 \d 替换数字,即0-9 \D 替换非数字 \s 替换空格,tab键 \S 替换非空白 \w 替换非特殊字符,即a-z、A-Z、0-9、_、汉字 \W 替换特殊字符,即非字母、非数字、非汉字、非_ 2.使用string模块的punctuation函数

m0_62381636的博客 1万+

word如何删除所有标点符号

在Word中删除所有标点符号,最快捷的方法是使用**查找和替换+通配符**,一键批量清除。(匹配所有**非中文、非字母、非数字**的字符,即标点、符号、空格等)1. 打开 Word,按 **Ctrl+H** 打开「查找和替换」1. 打开文档,按 **Ctrl+H** 调出「查找和替换」。- 删除:**所有标点、符号、空格、换行、特殊字符**2. 点 **更多** → 勾选 **使用通配符**- 操作前建议**另存文档**,避免误删无法恢复。2. 点击「更多」→ 勾选 **使用通配符**。

1617

wps 符号操作(仅符号)

注意以下几点 标点符号在中英文模式下,区别很大。大小,或者形状不一样,形状肉眼可视,但是大小有时很容易忽略,但是不注意大小的话,有时会引起对齐问题,列如 中文模式下的:逗号 ,句号 。书名号 《》 英文模式下的:逗号 ,句号 . 尖括号 <> 对齐问题 会议的名称:人大代表会议(第二次会议) 会议的名称:人大代表会议(第二次会议) 以上文字,第一行均为英文符号。第二行为中文,在书写时建议整体用中文,局部用英文,可能有些英文符号,暂时没得用,但是,要知道,在正式文件中..

cosCOSgsl的博客 1909

php 删除符号,php正则删除符号的方法

php正则删除符号的方法发布时间:2020-11-05 09:43:33来源:亿速云阅读:66作者:小新小编给大家分享一下php正则删除符号的方法,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!php正则删除符号的实现方法:首先创建一个PHP示例文件;然后通过正则表达式“preg_replace($pattern, ' '...

weixin_30357183的博客 600

Qwen3-Embedding-4B实操手册:知识库文本清洗与特殊符号过滤逻辑

本文介绍了如何在星图GPU平台自动化部署Qwen3-Embedding-4B(Semantic Search)镜像,实现高效的语义搜索功能。该镜像能够将文本转换为向量表示,通过智能清洗和过滤特殊符号,提升知识库构建质量,广泛应用于智能问答、文档检索等场景,显著改善搜索准确性和用户体验。

weixin_35649491的博客 523

Python 去除字符串中的中英文标点符号

去除中英文标点符号

weixin_41514525的博客 2707

Java去除中英文标点符号

利用的是Unicode编码,Unicode 编码并不只是为某个字符简单定义了一个编码,而且还将其进行了归类。 \pP 其中的小写 p 是 property 的意思,表示 Unicode 属性,用于 Unicode 正表达式的前缀。 大写 P 表示 Unicode 字符集七个字符属性之一:标点字符。 其他六个是 L:字母; M:标记符号(一般不会单独出现); Z:分隔符(比如空格、换行等); S:符...

eeem 4174

中英文字符的映射(TRANSLATE函数的运用)

这次想简单介绍一下最近的数据清洗的工作中的发现的一些小方法,因为在网上搜了一下,并没发现有人总结过。最近处理的数据是多个不同部门的人工录入的数据,莫名其妙的问题非常多。 其中一个就是中英文符号的问题,我发现大部分的中英文符号存在以下关系(代码是Python代码) 有几个字符还显示不出来=。= 需要注意的是,最后几行例子并不是对应的。但是句号和顿号我感觉还是列出来比较好。 以前我都是使用的replace来做,现在看来非常的扯淡,代码完全没有任何美感了。因为涉及到的符号比较多......

沐浴在财神爷扎哥的光辉中。。。 1041
上一篇: 爬取百度百科上有关妇产科的语料
下一篇: 前端小知识点集锦
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值