python正则表达式

Python正则表达式详解 1. 正则表达式简介on简单翻译为”有规则的表达式“,即该表达式是一条规则,正则表达式引擎能够根据这条规则,在字符串中寻找所有符合规则的部分-》正则表达式是一个特殊的字符序列,方便检查一个字符串是否与某种模式匹配-》Python 自1.5版本起增加了re 模块(标准库),Python通过re模块提供对正则表达式的支持。 阅读详情

pandas的str方法

对于字符型文本数据,利用pandas库下的str方法可进行基本的数据处理分析。pandas特定的列经过str之后,就可以使用各种python常用的字符处理方法了。

几种常见的str方法如下:

contains()

筛选出含有特定字符串的行:

import pandas as pd
d={'gene':{'a':'gene1','b':'gene2','c':'gene3','d':'gene4'},'expression':{'a':'low:0','b':'mid:3','c':'mid:4','d':'high:9'},'description':{'a':'transposon element','b':'nuclear genes','c':'retrotransposon','d':'unknown'}}
df=pd.DataFrame(d)
print(df)
    gene expression         description
a  gene1      low:0  transposon element
b  gene2      mid:3       nuclear genes
c  gene3      mid:4          retrotransposon
d  gene4     high:9             unknown
df1=df[df['description'].str.contains('transposon')]
print(df1)
    gene expression         description
a  gene1      low:0  transposon element
c  gene3      mid:4          retrotransposon

split()

字符串分割(将特定列拿出来,按特定字符分开,然后形成一个新的dataframe)

df1=df['expression'].str.split(':',expand=True)
#expand设置为True
print(df1)
      0  1
a   low  0
b   mid  3
c   mid  4
d  high  9

expand=True不加的话,df1中将只有一列,其实就是一个series。
当然,可以直接将这两列加到df中:

#df[['exp1','exp2']]直接将新的两列加入原先dataframe中
df[['exp1','exp2']]=df['expression'].str.split(':',expand=True)
print(df)
    gene expression         description  exp1 exp2
a  gene1      low:0  transposon element   low    0
b  gene2      mid:3       nuclear genes   mid    3
c  gene3      mid:4     retrotransposon   mid    4
d  gene4     high:9             unknown  high    9

另一个例子

df = pd.DataFrame({'From_To': ['LoNDon_paris', 'MAdrid_miLAN', 'londON_StockhOlm', 
                               'Budapest_PaRis', 'Brussels_londOn'],
              'FlightNumber': [10045, np.nan, 10065, np.nan, 10085],
              'RecentDelays': [[23, 47], [], [24, 43, 87], [13], [67, 32]],
                   'Airline': ['KLM(!)', '<Air France> (12)', '(British Airways. )', 
                               '12. Air France', '"Swiss Air"']})
df

      From_To	      FlightNumber	RecentDelays	Airline
0	LoNDon_paris	   10045.0	    [23, 47]	     KLM(!)
1	MAdrid_miLAN	    NaN	          []	   <Air France> (12)
2	londON_StockhOlm   10065.0 [24, 43, 87]  (British Airways. )
3	Budapest_PaRis	     NaN	      [13]	  12. Air France
4	Brussels_londOn 	10085.0	    [67, 32]	"Swiss Air"

将From_To列从_分开,分成From, To两列,并删除原始列
另一种方法将两列加到原先df中去

temp = df.From_To.str.split('_', expand=True)

temp.columns = ['From', 'To']
df = df.join(temp)
df = df.drop('From_To', axis=1)
df

FlightNumber  RecentDelays	Airline 	  From	     To
0	10045	   [23, 47]	         KLM(!)       LoNDon 	paris
1	10055	    []      	<Air France> (12) MAdrid	miLAN
2	10065   [24, 43, 87]  (British Airways. ) londON  StockhOlm
3	10075	   [13]	       12. Air France	Budapest	PaRis
4	10085	 [67, 32]	    "Swiss Air"  	Brussels	londOn

replace()

字符串的替换

df['gene']=df['gene'].str.replace('gene','Gene')

print(df)

    gene expression         description  exp1 exp2
a  Gene1      low:0  transposon element   low    0
b  Gene2      mid:3       nuclear genes   mid    3
c  Gene3      mid:4     retrotransposon   mid    4
d  Gene4     high:9             unknown  high    9

strip()包括lstrip和rstrip

去除特定字符strip(包括lstrip和rstrip)

df1['expression']=df1['expression'].str.lstrip('mid:')
#delete “mid:”

更多方法原文链接:https://blog.youkuaiyun.com/qq_28219759/article/details/52919233

extract 正则提取数据 正则表达式

pandas.Series.str.extract
Series.str.extract(self,pat,flags = 0,expand = True )
抽取匹配的字符串出来,注意要加上括号,把你需要抽取的东西标注上

正则表达式

pat:patterns模式
基本模式
以下称为匹配字符最常用的几种模式:

 1. a,X,9,<-普通字符,单独的匹配字符本身;
 2.  .(点号)-匹配除'\ n'的任意字符
 3. \ w-(小写w)匹配任意的'word'型的字符:字母或者数字或下划线[a-zA-Z0-   9_];对齐的是'word'型只匹配别名而不是一个单词的'word'; \ W(大写W )匹配任意的'non-word'非word的字符
 4. \ b-单词和非单词之间的边界(word型和non-wordtype的分界)
 5. \ s-(小写s)匹配替换空白字符-空格,换行,返回,tab形式为[ \n\r\t\f]。
     \ S(大写S)匹配任意的非空白字符的字符
 6. \ t,\ n,\ r-制表符,换行符,返回
 7. \ d-十进制的数字[0-9]
 8. ^ =开始,$ =结束-分别匹配字符开始和结束位置
 9. \-对字符进行转义。例如说,用。匹配。或者用\匹配\;如果您不确定一个字符是否有特殊含义,例如说'@',您可以在其前面加上反斜杠,'\ @',来保证把它当做一个字符来对待

搜索是从字符串开始到结尾的,在第一个匹配到的地方停止,且所有的模式必须完全匹配。

"""示例"""
  match = re.search(r'iii', 'piiig') =>  found, match.group() == "iii"
  match = re.search(r'igs', 'piiig') =>  not found, match == None
  ## . = any char but \n
  match = re.search(r'..g', 'piiig') =>  found, match.group() == "iig"
  ## \d = digit char, \w = word char
  match = re.search(r'\d\d\d', 'p123g') =>  found, match.group() == "123"
  match = re.search(r'\w\w\w', '@@abcd!!') =>  found, match.group() == "abc"

重复
1.+ 在样式的左边出现1次或多次(至少出现一次),例如’i +’=一个或多个i
2.* 在样式的左边出现0次或多次(只要出现一次)
3.\? 在样式的左边出现0次或1次(至多出现一次)
最左侧开始和最大匹配

re.search(r'pi+', 'piiig') =>  found, match.group() == "piii"
re.search(r'i+', 'piigiiii') =>  found, match.group() == "ii"
re.search(r'\d\s*\d\s*\d', 'xx1 2   3xx') =>  found,match.group() == "1 2   3"
re.search(r'\d\s*\d\s*\d', 'xx12  3xx') =>  found, match.group() == "12  3"
re.search(r'\d\s*\d\s*\d', 'xx123xx') =>  found, match.group() == "123"

re.search(r'^b\w+', 'foobar') =>  not found, match == None
re.search(r'b\w+', 'foobar') =>  found, match.group() == "bar"

方括号

  • 方括号可以用来表示字符的集合,而[abc]匹配“ a”或“ b”或“ c”
  • r’[\w.-]+@[\w.-]+'来匹配整个邮箱地址---->类似alice-b@google.com
  • 可以利用一个短横线来表明范围,例如[a-z]匹配所有的小写字符
  • 如果不想让短横线表示范围,可以把它放到最后来避免这个问题,例如[abc-]。
  • 在方括号表达式中的最前面加上表示取反,例如[ ab]表示匹配任何不为’a’或’b’的字符。

组提取
正则表达式中的“ group”允许您选出文本中匹配到的部分。假设在邮箱地址问题中我们是想分别提取用户名和主机名,为了解决这个问题,在用户名和主机名上的匹配模式上加上(),如:r’([\w.-]+)@([\w.-]+)'可以解决这个问题。在这种情况下,括号不会改变匹配模式的规则,而是在匹配文本内部建立一个逻辑的“组”。对于一次成功的匹配, group(1)表示的是匹配文本中对应第1个小括号的匹配内容,match.group(2)则示的是匹配文本中对应第2个小括号的匹配内容。但是match.group()表示的仍然是整个匹配到的文本。

str = 'purple alice-b@google.com monkey dishwasher'
  match = re.search('([\w.-]+)@([\w.-]+)', str)
  if match:
    print match.group()   ## 'alice-b@google.com' (the whole match)
    print match.group(1)  ## 'alice-b' (the username, group 1)
    print match.group(2)  ## 'google.com' (the host, group 2)

找到所有findall()
findall()可能是re模块中最简单而又强大的函数了。上面我们所使用的re.search()只能够找到第一个符合匹配模式的文本。findall()可以找到所有的能够匹配上的文本并以列表的形式返回,列表中的每一个元素表示一个匹配。

str = 'purple alice@google.com, blah monkey bob@abc.com blah dishwasher'
emails = re.findall(r'[\w\.-]+@[\w\.-]+', str) ## ['alice@google.com', 'bob@abc.com']

带文件的findall

# Open file
  f = open('test.txt', 'r')
  # Feed the file text into findall(); it returns a list of all the found strings
  strings = re.findall(r'some pattern', f.read())

findall和组

括号表达式()和findall()可以结合起来。如果匹配模式包含两个或两个以上的括号组,那么findall()将不再以列表(list)形式返回,而是以元组(tuple)形式返回。

str = 'purple alice@google.com, blah monkey bob@abc.com blah dishwasher'
  tuples = re.findall(r'([\w\.-]+)@([\w\.-]+)', str)
  print tuples  ## [('alice', 'google.com'), ('bob', 'abc.com')]
  for tuple in tuples:
    print tuple[0]  ## username
    print tuple[1]  ## host

可选的性质:有时候你在匹配模式中包含了(),但是有什么内容并不是你想提取的,在这种情况下,在括号中的开头加上?:,例如(?: ),这样这个括号的内容将不会计入到结果中

参考链接:https://www.zybuluo.com/chanvee/note/87894

extract

df['Airline'] = df['Airline'].str.extract(
    '([a-zA-Z\s]+)', expand=False).str.strip()           #去除前后空白字符strip
FlightNumber	RecentDelays    	Airline      	From       	To
0	10045	        [23, 47]	             KLM 	     London	    Paris
1	10055	              []	          Air France	     Madrid     	Milan
2	10065   	[24, 43, 87]  	British Airways  London	 Stockholm
3	10075          	[13]	           Air France	Budapest	   Paris
4	10085       	[67, 32]	       Swiss Air	    Brussels  	London
【Python】正则表达式 想象一下,您需要从海量的日志文件中找出所有IP地址,或者从一个HTML文档中提取所有的超链接,再或者验证用户输入是否符合邮箱地址的格式。这些任务如果仅仅依赖于字符串的循环遍历、、、、等方法,将会变得异常繁琐、代码冗长且难以维护。例如,要判断一个字符串是否包含数字: 上述代码能够解决“是否包含数字”的问题,但是如果需求变成“是否包含一个由3到5位数字组成的序列”,或者“是否包含一个以’http://'或’https://'开头的URL”,那么简单的循环判断就会变得异常复杂,甚至难以实现。这正是正则表达式大显 阅读详情

相关推荐

Python高级正则表达式

介绍 在我们教程的正则表达式介绍中,我们已经介绍了正则表达式的基本原理。我们已经展示了最简单的正则表达式的样子。我们还学习了如何通过使用 re 模块的 search() 和 match() 方法在 Python 中使用正则表达式。制定和使用字符类的概念,以及预定义的字符类,如 \d、\D、\s、\S 等,现在应该是众所周知的。您一定已经学会了如何使用正则表达式匹配字符串的开头和结尾。您必须知道问号的特殊含义才能使项目可选。我们还引入了量词来任意或在特定范围内重复字符和组。 您还必须熟悉分组的使用以及

pythonandaiot的博客 1000

第九章-用正则表达式进行搜索

9.1正则表达式介绍 正则表达式是用来匹配文本的特殊的串(字符集合)。 与任意语言一样,正则表达式具有你必须学习的特殊的语法和指令。 9.2使用MySQL正则表达式 正则表达式的作用是匹配文本,将一个模式(正则表达式)与一个文本串进行比较,MySQL用WHERE子句对正则表达式提供了初步的支持,允许你指定正则表达式过滤SELECT检索出的数据 注意:MySQL仅支持多数正则表达式实现的一个很小的子...

营长的博客 880

Python:进阶 Python3 正则表达式

在 Python 中,`re` 模块让我们可以轻松运用正则表达式。

Kant2048的博客 1575

Python-玩转数据-Pandas练习

1、了解你的数据 模拟测试数据 导入数据处理库pandas import pandas as pd 利用pandas库读取csv文件赋值给容器chipo chipo = pd.read_csv("工作簿1.csv",encoding='gbk') 读取文件前3行数据,并打印出数据 print(chipo.head(3)) 查看数据集中有多少个列并打印 print(chipo.shape[1]) 查看数据集中有多少行并打印 print(chipo.shape[0]) x = np.array([[1

s_unbo的博客 2527

面试复习题--RN面试

考察点:热更新方案的深度理解,选型能力,实战落地经验。答题思路主流热更新方案对比。

hqiangtai的博客 733

ArcGIS图解建模工具与DEM提取山脊、山谷线(水文分析、表面分析)

参考汤国安、杨昕等编著的《地理信息系统空间分析实验教程第二版》 利用水文分析(流量)和表面分析(坡向变率)得到山脊和山谷线 文章目录1、基本概念1.1 正地形1.2 负地形正负地形的影响2、水文分析方法2.1 基本思想原理2.2 技术路线2.3 操作步骤2.3.1 正负地形的提取2.3.2 利用水文分析思想和工具提取研究区域的山脊线2.3.3 利用水文分析思想和工具提取研究区域的山谷线2.3.4 利用水文分析提取山脊线和山谷线结果3、表面分析方法3.1 基本思想原理3.2 技术路线3.3 操作步骤4、图.

fungis 1万+

Python的文本数据提取extract()及正则表达式

在参考 在python的帮助中查找其详细介绍: pd.Series.str.extract -这是该函数用法的英文解释: Extract capture groups in the regex pat as columns in a DataFrame. For each subject string in the Series, extract groups from the first match of regular expression pat. 将正则表达式中的捕获组提取为数据帧中的列。 对于系列

m0_46352099的博客 3万+

ORB-SLAM3单目+IMU实战:从数据加载到位姿优化的完整流程解析

本文详细解析了ORB-SLAM3单目+IMU模式的完整实战流程。从EuRoC等数据集的数据格式准备、系统启动与数据流入口,到帧构建、IMU预积分、视觉-惯性联合初始化,再到基于运动模型的跟踪、局部地图优化及多线程协同,提供了从环境配置到代码解读的全面指南,并分享了参数调优与性能分析的实用调试经验。

weixin_29085151的博客 300

数据处理及特征处理

缺失值观察与处理 重复值观察与处理 特征观察与处理

m0_52893371的博客 537

vivado生成及调用自定义IP的方法

开发环境:vivado 2018.2 1.将整个工程封装为自定义IP 将整个工程封装为自定义IP主要有以下步骤: 步骤1.选中工程中的top模块。点击Tools ------> Create and Package New IP,如图1所示 图1 步骤2.弹出界面后,点击next至图2界面,选择Package your current project,然后继续点击next 图2 步骤3.选择生成的IP路径,如图3所示。这个路径就是后续添加该IP的路径 图3 步骤4.继续点击next,然后选择fi

进击的阿日比 4735

STLink驱动安装全攻略:从卸载到Keil配置的完整避坑指南

本文提供了STLink驱动安装与Keil环境配置的完整避坑指南。详细讲解了从驱动卸载、重装到Keil调试器设置的每一步,并针对常见的设备无法识别、连接不稳定等问题给出了深度解决方案,帮助开发者快速搭建稳定的STM32开发环境。

weixin_29182481的博客 429

Python pandas 的 str.extract ()中正则表达式注意事项

使用str.extract ()提取电话号码时发现,正则表达式里有几对(),就会提取出几列数据,有时会和期望的答案不一样。举例说明: 三种格式的号码: ###-###-#### # (###) ###-#### # ### ### #### 正则表达式:(\d\s)?\(?\d{3}\)?[-\s]\d{3}[-\s]\d{4} 这样的正则表达式本来没有问题,但是一放进str.extrac...

winnie菜鸟的博客 1万+

LBM模式学习·保姆级安装及初步使用教程

在学习LBM的过程中,我感觉可供参考的材料较为有限,对于一个独立学习LBM模式的初学者非常不友好(我就是这个初学者哈哈),因此萌生了写一篇保姆级的LBM模式教程,并将我踩过的坑一一指出,有助于后来者更快地上手该模式,而非半途而废。

weixin_42762673的博客 1万+

Python正则表达式

在python学习过程中,不可避免地需要用到正则表达式,同时,整个软件开发编程过程中,对于正则表达式表达式的使用无处不在,所以,在此总结一下正则表达式的语法及使用样例。正则表达式是一种强大的文本处理工具,Python 的 re 模块提供了丰富的功能来实现正则表达式的应用。通过掌握正则表达式的语法和 re 模块的方法,可以高效地完成文本匹配、提取、替换等任务。

zhfmei的博客 2023

基因家族快速鉴定指南:Windows平台下的HMMER实战解析

本文详细解析了在Windows平台下使用HMMER工具进行基因家族快速鉴定的完整实战流程。通过手把手指导,从软件获取、数据准备到模型构建与序列搜索,帮助生物信息学新手无需Linux环境,即可高效完成bZIP转录因子等家族的鉴定工作,大幅降低分析门槛。

weixin_29255731的博客 461

ADT MCP Server 把 ABAP 开发带进 Agent 模式

今天讨论 ADT MCP Server,不能只把它看成 Visual Studio Code 里多出来的一个开关。它真正有意思的地方,在于它把 ABAP 后端开发里那些原本需要手工点击、手工创建、手工激活、手工查服务元数据的动作,包装成一组可以被 GitHub Copilot 这类 coding agent 调用的工具。SAP 在 RAP130 练习里把它描述为运行在 ADT for Visual Studio Code 扩展内部的本地 HTTP Server,它实现的是 Model Context Pro

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 185

python之正则表达式

使用贪婪匹配或非贪婪匹配取决于具体的匹配需求。需要注意的是,非贪婪匹配可能会导致匹配结果不符合预期,因此在使用时需要谨慎评估和调整。通过这些方法和属性,你可以轻松地提取匹配结果中感兴趣的部分,进行进一步的处理和操作。请注意,在使用这些方法之前,确保匹配结果不是 None,即有匹配成功的结果。然而,在某些情况下,我们可能需要非贪婪匹配,也称为最小匹配。在正则表达式中,贪婪匹配和非贪婪匹配是指匹配模式的匹配方式。,贪婪匹配会尽可能匹配更多的字符,结果是整个字符串被匹配为。,贪婪匹配会匹配整个字符串,结果是。

专注于Python编程技术的分享与交流,致力于帮助开发者提升编程技能,解决实际问题,探索Python的无限可能。 4754

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Python爬虫之正则表达式

Python爬虫之正则表达式 文章目录Python爬虫之正则表达式什么是正则表达式?正则表达式的特殊字符正则表达式的长用方法分组功能位置匹配贪婪匹配和非贪婪匹配 什么是正则表达式? 正则表达式是通过一些特殊的符号组成的字符串,这组字符串被称为模板;通过模板然后与目标串进行匹配,将与之相匹配的字符串取出。这就是正则表达式的作用 正则表达式的特殊字符 “ . ”符号可以匹配除换行符意外的任意一个字符 r = re.match(r'a.c', 'a你c').group() print(r) #a你c r

m0_46428072的博客 2115

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

【python正则表达式】

正则表达式是进行文本匹配的一种方式,通过正则来匹配到自己需要的内容。和我们用搜索浏览器一样,搜索abc,搜索出来的内容就是包括abc相关的。正则是在一个目标字符串中,搜索到你需要的关键字目标字符串: Youth is not a time of life;正则表达式: life下面这个网站就是可以使用正则来匹配搜索。可以直接用字符串搜索到1、 比如 \bm…e\b2、 \w 匹配字母或数字\b\w\w\w\w\b 代表什么?

ZMXdecode的博客 2422

python正则表达式在线_python正则表达式

正则表达式正则表达式,又称规则表达式。(英语:Regular Expression,在代码中常简写为regex、regexp或RE),计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。作用1.检测某个字符串是否符合规则.比如:判断手机号,身份证号是否合法2.提取网页字符串中想要的数据.比如:爬虫中,提取网站天气,信息,股票代码,星座运势等具体关键字在线测试工具正则...

weixin_39751076的博客 1720

Python之正则表达式——查找

正则表达式: 正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块,它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。 re 模块也提供...

青柚的博客 7522
上一篇: DW支持向量机
下一篇: DW数据加载及探索性数据分析
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值