perl中汉语匹配的问题

最新推荐文章于 2016-07-14 16:36:00 发布

原创最新推荐文章于 2016-07-14 16:36:00 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#perl #bbs #c

编程学习同时被 2 个专栏收录

74 篇文章

订阅专栏

NLP研究

38 篇文章

订阅专栏

博客围绕如何用句号分割中文句子展开，给出示例，提出先去掉末尾标点、判断有无句号再切分的思路，但存在bug。还给出两种解决办法，一是用支持unicode的编辑器将源文件转成utf8编码并加use utf8；二是使用Encode模块。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如何用句号分割中文句子
发信站: BBS 水木清华站 (Mon Mar  7 19:40:39 2005), 转信

example:
还有一件事。5点半你去会见斯图尔特先生。
提取出
subsentence1：还有一件事。
subsentence2：5点半你去会见斯图尔特先生。
句中可能有多个句号那么就切分为多个。

我的想法是：
1.去掉末尾标点
$t_c_str =~s/[)）/;,.?!/"/'，。？！“”‘’…/n]+$//;   #去掉末尾标点
2.在判断有无句号
if($t_c_str =~ /。/ )
3.切分
  @subsen_c = split(/。/,$t_c_str);

  有bug 大家帮忙支个招。

ans

你用支持unicode的编辑器把源文件全部转成utf8编码，然后在最开始加use utf8，中文字符就和英文字符一样用了。
不想这样转就得用Encode模块:

use Encode;
$a=decode("gbk","还有一件事。5点半你去会见斯图尔特先生。");
$dot=decode("gbk","。");
@f=split(/(?<=$dot)/b/,$a);
foreach(@f) {
print encode("gbk",$_),"/n";
}