正则将段落分割成句子

原创 已于 2024-05-06 18:15:23 修改 · 753 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #正则表达式

于 2024-05-06 17:36:06 首次发布
文章介绍了三个Python函数，用于处理文本：split_sentences_keep_delimiter用于保留标点的句子分割，split_text_with_punctuation用于去除标点并分割文本，以及split_text_with_punctuation更细致地将标点与文本分开。这些函数在内容社区和IT技术处理文本数据时非常实用。
Python3.11

Python3.11

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

这里分割段落不区分中英文标点，你可以根据需求改

分割后标点跟随句子后面

def split_sentences_keep_delimiter(text):
    pattern = r'[^。!！?？:：;；,，]+[。!！?？:：;；，,]'
    sentences = re.findall(pattern, text)
    last_sentence = re.sub(r'[。!！?？:：;；;，,]', '', text)
    if last_sentence and not re.search(pattern, last_sentence):
        sentences.append(last_sentence.strip())
    return sentences[:len(sentences)-1]

在这里插入图片描述

分割后去掉标点只保留文本

import re

def split_text_with_punctuation(text):
    split_sentences = re.split(r'[。.！!？?：:；;，,]', text)
    return split_sentences

text = "你好，世界！这是个测试。看看是否有效？当然，它会的。"
print(split_text_with_punctuation(text))

在这里插入图片描述

分割后标点和文本分开

import re

def split_text_with_punctuation(text):
    split_sentences = re.split(r'([。.！!？?：:；;，,])', text)
    return split_sentences

text = "你好，世界！这是个测试。看看是否有效？当然，它会的。"
print(split_text_with_punctuation(text))

在这里插入图片描述

您可能感兴趣的与本文相关的镜像

Python3.11

Python3.11

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

使用Python高效处理与分割HTML文档：深入解析HTML段落分割技术及其应用
m0_57781768的博客
09-01 499
HTML段落分割器（HTMLSectionSplitter）是一种结构感知的分割工具，能够识别HTML文档中的段落和标头，并基于这些元素将文档内容分割为多个部分。与传统的按字符或单词分割的方式不同，HTML段落分割器可以根据文档的结构，将相关内容组合在一起，并为每个分割块添加与之相关的元数据信息，如段落标头、层次结构等。在某些高级应用场景中，我们可能需要根据自定义规则来判断段落的分割方式。例如，我们可以通过指定XSLT路径，将特定样式（如字体大小）转换为标头，从而调整分割策略。
使用正则表达式切分英文句子，将标点和句子分开
xiaoxiaojie521的博客
05-20 1251
[x.strip() for x in re.split(r'(\w+)?', sent) if x and x !=' '] 可将如下句子： Mary moved to the bedroom. 切分结果： [‘Mary’, ‘moved’, ‘to’, ‘the’, ‘bedroom’, ‘.’]
正则表达式拆分文章
weixin_39689854的博客
04-17 268
根据逗号或者句号拆分文章,匹配长度少于800，最近接800字符并找到逗号或者句号的位置截断。
正则表达式按中文句号、逗号、感叹号对文本数据进行切分
weixin_44015128的博客
05-13 1950
正则表达式按中文句号、逗号、感叹号对文本数据进行切分 利用正则表达式中的 re.split 进行切分 代码如下： 导入数据 将数据按中文句号、逗号、问号、感叹号进行切分 对包含服务的关键词进行匹配，并将结果按行输出为txt文件。 import re import pandas as pd data=pd.read_excel(r'./jingqu/data/jingqu.xlsx') #导入评论数据 a=data['评论内容'] a=list(a) def createtxt(): #定义函数，将
python正则表达式分割例子,python正则表达式拆分段落
weixin_29713915的博客
12-03 476
How would one write a regular expression to use in python to split paragraphs?A paragraph is defined by 2 linebreaks (\n). But one can have any amount of spaces/tabs together with the line breaks, and...
正则表达式分割小片段
Deep Learning and NLP Farm
01-17 1055
public static void regexTest(){ String text = "what/B is/I going/E on/E ,/N (/N han/B mei/I mei/E )/N ./N"; Pattern pattern = Pattern.compile("\\s{2,}|\\t{1,}"); Matcher matcher = patte
【langchain学习】深度解析：Langchain TextSplitter 与新型正则表达式分割器的性能对比
m0_54007171的博客
09-22 1291
本文面向高级开发者，详细解析了Langchain的`TextSplitter`与我们最新研发的新型正则表达式分割器的性能差异。我们将通过代码示例和实战结果展示两者的优缺点，帮助您在不同应用场景中做出更好的选择。
4、智能网络诱骗检测与小说段落分割技术解析
最新发布
numpy6sculptor的博客
08-26 27
本文探讨了智能网络诱骗检测模型与基于BERT的小说段落分割方法。前者利用TensorFlow和NLTK，通过词向量转换与深度学习实现对网络诱骗行为的高效检测；后者将段落分割视为二分类问题，采用BERT微调并引入焦点损失以应对数据不平衡，提升分割准确率。文章还分析了实验结果，并提出了两种技术在语义扩展、多领域融合、模型优化等方面的未来发展方向，展现了其在网络安全与文本生成领域的广泛应用前景。
用正则表达式分割单词，有标点符号，空白 都是分割依据
05-14
接下来，用户提到的引用[3]中Java使用正则表达式分割段落，这可以作为参考。在Python中，可以使用re模块的split函数，模式应该是[\s\W_]+，这样能匹配所有非单词字符和空白。不过需要测试以确保正确分割。 然后，...
如何使用Python实现大文件的高效按段落分割成多个小文件？请提供代码实现。
11-01
为了高效地处理这种情况，Python 提供了逐行读取文件的功能，结合正则表达式，我们可以轻松地按段落分割文件内容。以下是一个示例代码，展示如何实现这一过程： 参考资源链接：[Python简单操作：按段落拆分大文件为...
c++ 正则表达式处理语言文本，根据标点符号分割句子
dinghuiyang的博客
03-15 690
支持对中 日 英的文本处理，根据标点符号将文本分割为句子，结果为每行为一个完整句子。
正则表达式切分文本规则
StriveHeisenberg的博客
05-03 3293
我在学习《机器学习实战》第四章：朴素贝叶斯算法时发现，书中在准备数据阶段的切分文本操作上有点问题，可能书中使用的是python2.x而我使用的是python3.x的原因吧，正则表达式的规则有些许不同。下面就切分文本的操作作一定的总结。 对于一个文本字符串，python中（python2.x & python3.x）都包含了最基础的split（）方法，split（）方法主要的作用是：按照空白...
正则表达式（四）--文本换行分割
weixin_30608131的博客
10-26 1132
先说一个案例： 对一个字符串“tom12jie1bill2lili21som12joy12212121hehe”进行分割，规则：以1或2为分隔符进行分割，如果有12，或21则把12或21看成一个分隔符进行分割，期望输出：（为了方便查看，加了行号） 1.tom 2.jie 3.bill 4.lili 5.som 6.joy 7. 8. 9. 10.hehe 最先看到首...
用正则表达式给email分句
Xia Qiaolin - 优快云
11-02 731
public List SpliteToSentences(string para, List segrules) { string input = para; List quotePos = new List(); int pos = 0; while (pos < input.Len
正则表达式拆分字符串(Regular expression split string)
weixin_42610770的博客
01-31 875
我正在寻找使用正则表达式拆分字符串（并获取所有匹配项）。它应该返回每个之间的一切。哪个匹配0到5，但它将错过匹配6，因为它没有。最后。我尝试使用lookahead，但我无法使用它。有小费吗？原文：https://stackoverflow.com/questions/42269148更新时间：2022-03-09 10:03。
正则应用之切分数字及文本
夜_清澄的博客
11-07 732
正则应用之切分数字及文本
js 用正则表达式分割字符串（以.做分隔符）
Byebye_W0rld的博客
06-30 2461
js 用正则表达式分割字符串（以.做分隔符）
正则表达式片段
loadhai的专栏
01-25 602
String strs = "IP:192.168.8.216 -- [26/Feb/2001/ 10:12:12 -0500]";   String regxs = "([0-9]{1,3}\\.[0-9]{1,3}\\.[0-9]{1,3}\\.[0-9]{1,3})\\s\\-\\-\\s\\[([^\\]]+)\\]";（要使用正则表达式已有意义的符合时要用在字符钱加双反斜杠）   P
正则表达式的小应用(按空白分割文本但是保留"\n")
qq_35052417的博客
07-31 752
正则表达式从一段文字中提取想要的东西: 比如说从一篇英语阅读中提取除了空格以外的东西包括单词换行符标点下滑线： Small Schools Rising 　　This year's list of the top 100 high schools shows that today, those with fewer students are flourishing. 　　Fifty yea
re正则split按照空格分割取消空格
07-24
<think>首先，用户的问题是：“我想使用正则表达式分割字符串，按空格分割并排除空格 请问Python re split 使用正则表达式分割字符串 按空格分割并排除空格”。用户想用Python的re模块的split函数来分割字符串，按空格分割，但排除空格本身。也就是说，分割后，空格不应该出现在结果中。 从用户提供的引用中： - 引用[1]：展示了使用re.split(r'\s+', text)来分割一个或多个连续的空格，输出是['apple', 'banana', 'cherry']，没有空格。 - 引用[2]：类似，使用逗号分割。 - 引用[3]：关于Java的split，但用户问的是Python。 - 引用[4]：使用re.split()分割字符串。 核心是使用re.split()函数，参数是一个正则表达式，指定分隔符。 用户说“按空格分割并排除空格”，这听起来像是标准的空格分割。在Python中，使用re.split(r'\s+', text)就可以做到这一点，因为\s+匹配一个或多个空白字符（包括空格、制表符等），并分割字符串，结果中不会包含这些空白字符。 用户指定“排除空格”，可能意味着只处理空格字符，而不是所有空白字符。但在正则表达式中，\s匹配任何空白字符，包括空格、制表符、换行符等。如果用户只想匹配空格字符本身，而不是所有空白，应该使用' '或r' +'来匹配一个或多个空格。 但用户说“按空格分割”，可能指的是空格字符。在引用[1]中，使用的是r'\s+'，这包括了所有空白。用户可能没有区分，所以我可以解释清楚。 在回答中，我需要： - 使用中文回答。 - 结构清晰，逐步解决问题。 - 确保真实可靠：使用正确的Python代码。 - 对于行内数学表达式，用$...$格式（但这里可能不涉及数学）。 - 对于独立公式，用$$...$$（这里可能不适用）。 - 生成相关问题。 - 在引用段落末尾添加引用标识，如[^1]。 用户提供的引用是站内引用，但我需要基于用户的问题来回答。用户的问题是关于Python re split的。 步骤： 1. **理解需求**：用户想分割字符串，按空格分割，并排除空格。意思是分割后，结果列表中不应有空字符串或空格字符。 - 在Python中，re.split(pattern, string)会根据pattern分割字符串。如果pattern匹配分隔符，则分隔符不会出现在结果中。 - 例如，text = "apple banana cherry"，re.split(r'\s+', text) 返回 ['apple', 'banana', 'cherry']。 - 如果字符串中有连续空格，re.split(r'\s+', text) 会正确处理，因为\s+匹配一个或多个空白字符。 - 如果字符串开头或结尾有空格，re.split() 可能会产生空字符串。例如，text = " apple banana "，re.split(r'\s+', text) 可能返回 ['', 'apple', 'banana', '']，因为开头和结尾的空格被分割。 - 用户可能想处理这种情况，排除空字符串。 用户说“排除空格”，可能包括排除空字符串。 在引用[1]中，例子是"apple banana cherry"，没有开头/结尾空格，所以输出正常。 但在实际中，需要处理开头/结尾空格或连续空格。 所以，在回答中，我应该提到如何避免空字符串。 方法：使用re.split()后，过滤掉空字符串，或者使用正则表达式来忽略开头/结尾的分隔符。 Python的re.split()有一个问题：如果模式匹配开头或结尾，结果中会有空字符串。 解决方案： - 在调用re.split()后，手动过滤空字符串： [x for x in re.split(r'\s+', text) if x != ''] - 或者，使用str.split()方法，它默认会去除开头/结尾的空格并处理连续空格： text.split() 会返回相同的 ['apple', 'banana', 'cherry'] 对于 " apple banana "，因为str.split() without arguments splits on whitespace and removes leading/trailing and consecutive whitespace. 但用户指定了使用正则表达式，所以应该用re.split()。 用户说“使用正则表达式”，所以re.split()是合适的。 为了排除空字符串，我可以建议过滤。 在正则表达式中，可以调整模式，但re.split()没有直接选项忽略空匹配；最好后处理。 现在，构建回答。 结构： 1. **介绍问题**：解释用户的需求。 2. **提供解决方案**：使用re.split() with appropriate pattern. 3. **给出代码示例**：类似引用中的例子。 4. **处理边界情况**：如开头/结尾空格。 5. **生成相关问题**：在最后。 回答用中文。 代码块：Python代码应该用代码块格式。 引用：在回答中，如果引用段落，添加引用标识。但用户提供的引用是关于分割字符串的例子，我可以参考它们。 例如，在解释时，可以说类似引用[1]中的方法。 具体引用： - 引用[1]：使用re.split(r'\s+', text)分割空格。 - 引用[2]：类似。 所以，我可以基于这个。 用户的问题是“按空格分割并排除空格”，所以focus on that. 最终解决方案：re.split(r'\s+', text) 会按空白分割，但可能需要过滤空字符串。 为了只匹配空格字符（不是所有空白），使用r' +'。 但通常，空格分割包括所有空白，所以\s+是标准。 在回答中，我会用\s+。 代码示例： import re text = "apple banana cherry" # 假设没有多余空格 split_text = re.split(r'\s+', text) print(split_text) # 输出: ['apple', 'banana', 'cherry'] 如果有多余空格： text = " apple banana cherry " split_text = re.split(r'\s+', text) print(split_text) # 输出: ['', 'apple', 'banana', 'cherry', ''] 有空字符串 然后，过滤：split_text = [x for x in re.split(r'\s+', text) if x] 或者，使用str.strip()先去除开头结尾空格，但最好在分割后过滤。 另一个方法是使用re.findall()来匹配非空格部分，但用户要求split，所以split是合适的。 在生成相关问题部分，添加一些相关问题。 相关问题想法： 1. 如何处理分割后产生的空字符串？ 2. 如何只按空格字符分割，而不是所有空白字符？ 3. 在分割时如何忽略大小写或其他修饰符？(但空格不涉及大小写) 4. 使用正则表达式分割字符串的其他应用？ 5. Python中str.split()与re.split()的区别？ 现在，写回答。</think>### Python 使用正则表达式分割字符串：按空格分割并排除空格 您的需求是使用 Python 的 `re` 模块中的 `split()` 函数，通过正则表达式分割字符串，按空格进行分割，并确保结果中不包含空格字符（即排除空格本身）。在正则表达式中，“空格”通常指空白字符（包括空格、制表符、换行符等），使用 `\s` 可以匹配这些字符。`re.split()` 函数会根据指定的正则表达式模式分割字符串，并将分隔符（即匹配的部分）从结果中移除，但需要注意：如果字符串开头、结尾或连续出现多个空格，分割结果可能包含空字符串（`''`），这时需要额外处理来“排除空格”。 下面我将逐步解释如何实现，并提供完整的代码示例。整个过程基于 Python 的 `re` 模块，确保解决方案真实可靠（参考了类似场景的站内引用[^1][^2]）。 #### 步骤 1: 理解正则表达式模式 - 要按空格分割字符串，正则表达式模式应匹配一个或多个空白字符。使用 `\s+` 表示匹配一个或多个连续的空白字符（包括空格、制表符 `\t`、换行符 `\n` 等）。 - 为什么用 `\s+`？它确保连续多个空格被视为一个分隔符，避免结果中出现多余的空字符串（例如，两个空格不会产生两个空元素）。 - 如果只想匹配**严格意义上的空格字符**（ASCII 空格，不包括制表符等），可以使用模式 ` +`（一个或多个空格），但通常 `\s+` 更通用，符合大多数“按空格分割”的需求。 #### 步骤 2: 使用 `re.split()` 分割字符串 - `re.split(pattern, string)` 函数根据 `pattern` 分割 `string`，返回一个列表。匹配的分隔符（即空格）会被移除，因此结果中不会包含空格字符。 - 但是，如果字符串开头或结尾有空格，或者分隔符匹配导致空匹配，结果列表可能包含空字符串 `''`（这不属于“空格字符”，但代表空元素）。因此，我们需要在分割后过滤掉这些空字符串，以完全“排除空格”的影响。 - 解决方案： - 使用 `re.split(r'\s+', text)` 分割。 - 通过列表推导式过滤空字符串：`[x for x in re.split(r'\s+', text) if x != '']`，或者简写为 `[x for x in re.split(r'\s+', text) if x]`（因为空字符串在布尔上下文中为 `False`）。 #### 步骤 3: 代码示例 以下是一个完整的 Python 示例，演示如何按空格分割字符串并排除空格（包括处理边界情况）。代码中使用了 `re` 模块，并添加了注释说明。 ```python import re # 示例字符串：包含开头、结尾和连续空格 text = " apple banana cherry " # 使用 re.split() 按一个或多个空白字符分割 # 直接分割可能包含空字符串（开头/结尾空格导致） raw_split = re.split(r'\s+', text) print("分割后（未过滤）:", raw_split) # 输出: ['', 'apple', 'banana', 'cherry', ''] # 过滤空字符串以完全"排除空格" split_text = [x for x in re.split(r'\s+', text) if x != ''] print("分割后（已过滤）:", split_text) # 输出: ['apple', 'banana', 'cherry'] ``` **输出解释:** - 未过滤时，`re.split(r'\s+', text)` 返回 `['', 'apple', 'banana', 'cherry', '']`，因为开头和结尾的空格被匹配为分隔符，产生了空字符串。 - 过滤后，结果 `['apple', 'banana', 'cherry']` 只包含非空元素，空格字符完全被排除。 #### 步骤 4: 处理其他情况 - **如果字符串中没有多余空格**：例如 `text = "apple banana cherry"`，`re.split(r'\s+', text)` 直接返回 `['apple', 'banana', 'cherry']`，无需过滤。 - **如果只想匹配严格空格字符（不包括制表符等）**：将模式改为 `r' +'`，例如： ```python text = "apple\tbanana cherry" # 包含制表符 split_text = [x for x in re.split(r' +', text) if x] # 只按空格分割，制表符不被分割 print(split_text) # 输出: ['apple\tbanana', 'cherry']（因为制表符保留） ``` 这里，制表符 `\t` 不被视为分隔符，所以结果中包含它。如果您需要排除所有空白字符，坚持使用 `\s+` 更合适。 - **性能考虑**：对于简单空格分割，Python 内置的 `str.split()` 方法更高效（例如 `text.split()` 会自动处理开头/结尾空格和连续空格，返回无空字符串的列表）。但您明确要求使用正则表达式，因此 `re.split()` 是首选，尤其当分隔符更复杂时（如结合其他正则规则）[^1][^2]。 #### 为什么这个方法可靠？ - 此方法基于 Python 标准库的 `re` 模块，文档推荐使用 `re.split()` 处理正则分割[^1][^2]。 - 过滤空字符串是常见做法，确保结果“纯净”，符合您“排除空格”的需求。类似技术在站内引用中也提到过（例如处理字符串分割时的空元素问题）[^1][^4]。 如果您有更多具体字符串示例或特殊要求，我可以进一步优化代码！
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值