python
关注
分享
扫一扫
文章平均质量分 78
trayvontang
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Python包模块与模块导入查找顺序
无论是为了看懂别人的代码，还是为了更好的组织我们的个人的工程代码，了解一下Python的模块和包都非常有必要。另外，知道搜索模块的顺序，也能帮助我们更好的理解一些常见的错误，方便我们快速定位问题。原创 2024-12-13 10:21:52 · 1086 阅读 · 0 评论 -
numpy数组transpose与图像
基本属性首先，了解一点numpy数组基本属性。属性含义narray.ndim秩，维数，一维数组的秩为1，二维数组的秩为2narray.shape维度表示，行数、列数等narray.size元素总个数， 等于shape属性中元组元素的乘积narray.dtype元素类型transpose 与 reshapeimport numpy as np# 一维数组transpose无意义data = np.arange(4)print(data)dat原创 2020-09-03 19:03:53 · 2953 阅读 · 0 评论 -
python合并excel的多个sheet
文章目录简介openpyxl方式pandas方式简介因为，每天都会有的大量excel报表汇总处理任务，所以写了一个脚本来处理。就是找出每一个excel中特定的sheet，把这些sheet的特定列读取出来合并到一个sheet中。因为每一个sheet的数据都不太一样，所以稍微麻烦一点，下面使用openpyxl方式和pandas两种方式来处理。openpyxl方式使用openpyxl方式要自己实现合并逻辑，要麻烦一些。值得注意的是，在excel中可能有公式，读取excel的时候可以使用下面的方式：原创 2020-08-09 22:01:49 · 8781 阅读 · 5 评论 -
实用openpyxl的基本读写操作
文章目录安装读文件基本方法遍历写数据安装pip install openpyxl读文件基本方法from openpyxl import load_workbookfilepath = r'H:\tmp\test.xlsx'# 读取指定Excel文件wbook = load_workbook(filepath)# 通过属性sheetnames获取所有Worksheet的名字print(wbook.sheetnames)# wsheet = wbook.get_sheet_by_原创 2020-08-08 18:08:32 · 3806 阅读 · 2 评论 -
pandas数据分类Category与cut
cutcut( x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False, duplicates="raise",)参数说明x待分类数据bins分类方式、int、数组、IntervalInd...原创 2019-12-31 18:53:26 · 555 阅读 · 0 评论 -
pandas的merge方法详解
merge参数merge( left, right, how="inner", on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=("_x", "_y"), copy=...原创 2019-12-31 18:51:00 · 32552 阅读 · 2 评论 -
pandas数据选择
locloc是使用索引名称和列名称选择行列的，接收2个参数，第一个参数用于选择索引，第二个参数用于选择列。import pandas as pdimport numpy as np# 设置种子，让每次测试数据一样np.random.seed(147258)dates = pd.date_range('20200101', periods=5)# 数据范围[0,20) 5行4列 二...原创 2019-12-31 18:48:23 · 493 阅读 · 0 评论 -
panda的DatetimeIndex与IntervalIndex
时间索引import pandas as pdPERIODS = 3# 年 '2020-12-31', '2021-12-31', '2022-12-31'print(pd.date_range('1/1/2020', periods=PERIODS, freq='Y'))# 同上print(pd.date_range('20200101', periods=PERIODS, fr...原创 2019-12-31 18:44:09 · 397 阅读 · 0 评论 -
pandas重复数据与空值处理
处理重复数据import pandas as pddata = { 'a': ['one', 'one', 'two', 'two', 'two', 'three', 'four'], 'b': ['1', '1', '2', '2', '2', '3', '4'], 'c': ['5', '6', '7', '8', '9', '10', '11']}df ...原创 2019-12-31 18:41:10 · 902 阅读 · 0 评论 -
pandas读取文件常用方法与参数
常用方法df = pd.read_excel()df = pd.read_csv()df.to_csv()df.to_excel()headerheader默认为0，表示第一行是表头，如果header设置为None表示没有表头header也可以是其他整数n，表示n+1行是表头，并且前n行的数据并不会读取usecols需要选择哪些列，默认NoneNone，读取所有列...原创 2019-12-31 18:38:27 · 2143 阅读 · 0 评论 -
Python的FTP服务器与FTP基本操作
目录一、概览二、Python FTP服务三、基本操作四、上传文件五、下载文件一、概览二、Python FTP服务pyftpdlib可以非常方便的帮我们启动一个FTP服务器，可以用于测试，首先安装pyftpdlib:pip install pyftpdlib使用代码启动一个服务器：from pyftpdlib.authorizers import DummyAuthorizerfr...原创 2019-11-28 22:18:12 · 1241 阅读 · 0 评论 -
Scrapy之Selector详解
目录一、简介二、xpath三、获取值四、css选择五、xpath扩展一、简介前面介绍了scrapy命令和Scrapy处理流程与重要组件 这里介绍一下Scrapy的Selector，Scrapy的Selector和Beautifulsoup非常像，关于Beautifulsoup可以参考BeautifuSoup实用方法属性总结 和BeautifulSoup详解先来看一下Selector的知识点...原创 2019-11-28 18:38:04 · 8671 阅读 · 0 评论 -
Scrapy处理流程与重要组件
目录一、Scrapy流程二、创建工程三、创建Spider四、编写逻辑代码五、执行5.1 命令方式5.2 代码方式六、配置输出七、使用CrawlSpider7.1 使用命令生成CrawlSpider7.2 Item7.3 CrawlSpider逻辑7.4 数据过滤八、LxmlLinkExtractor九、参考文档一、Scrapy流程二、创建工程scrapy startproject teln...原创 2019-11-28 08:56:57 · 451 阅读 · 0 评论 -
Scrapy交互命令
目录一、scrapy命令二、startproject与genspider三、runspider与crawl四、shell五、fetch与view六、settings七、version一、scrapy命令安装完成之后，直接命令行scrapy，就可以看到scrapy的命令参数。二、startproject与genspider使用startproject参数，可以创建项目框架。scrapy ...原创 2019-11-28 08:46:27 · 547 阅读 · 0 评论 -
Python urllib实用方法、属性、流程总结
目录一、urllib、urllib2、urllib3、requests二、urlopen三、Response四、Request五、异常六、urllib handler处理流程七、cookie7.1 获取cookie7.2 cookie保存与重用7.3 服务端代码八、代理九、Auth十、总结一、urllib、urllib2、urllib3、requestsurllib2室python2中的，py...原创 2019-11-26 19:11:23 · 529 阅读 · 0 评论 -
BeautifuSoup实用方法属性总结
目录一、对象二、创建BeautifulSoup对象2.1 通过字符串创建2.2 通过文件创建三、Tag关系属性四、Tag查找方法套装4.1 方法4.2 示例五、select一、对象Beautifulsoup中有4个重要的对象：Tag，标签，可以获取标签文本，属性BeautifulSoup，继承自Tag，所以Tag的方法它基本都能用NavigableString，文本字符串Commen...原创 2019-11-26 19:01:58 · 800 阅读 · 0 评论 -
Python-Selenium操作鼠标键盘Cookie
目录一、html二、cookie三、键盘操作四、鼠标操作一、html下面的html是后面代码中使用到的index.html文件，页面大致如下：<!DOCTYPE html><html><head> <title>鼠标键盘</title> <meta charset="utf-8"> <...原创 2019-11-18 08:52:31 · 312 阅读 · 0 评论 -
Python-Selemium元素定位
目录一、html二、WebElement三、id与name属性选择四、tag与class名称选择五、css选择器六、xpath七、链接定位一、html下面的html文件是后面要使用到的form.html，页面大概如下：<!DOCTYPE html><html><head> <title>查找元素</title> ...原创 2019-11-18 08:49:09 · 455 阅读 · 0 评论 -
Python-Selenium基本操作
目录一、简介二、打开链接三、打开本地文件四、操作浏览器五、执行JS一、简介selenium一个核心是WebDriver，WebDriver启动目标浏览器，并绑定到指定端口，然后与该端口直接进行通信。安装selenium:pip install selenium在使用的时候可能遇到下面的错误：'geckodriver' executable needs to be in PATH'c...原创 2019-11-18 08:42:51 · 596 阅读 · 0 评论 -
Python中的时间元组与时间日期
目录一、时间元组(time.struct_time)二、时间格式化三、time四、datetime五、timedelta六、calendar一、时间元组(time.struct_time)python中时间元组是一个比较重要的类型，通过时间元组我们可以获取，年月日时分秒，星期几，一年中的第几天等信息。索引属性属性含义属性取值0tm_year4位数年份0000-9...原创 2019-11-05 08:32:09 · 13477 阅读 · 0 评论 -
Python正则表达式详解
目录一、re1.1 match1.2 search1.3 sub1.4 findall1.5 finditer1.6 split1.7 compile二、Pattern2.1 属性2.2 方法三、Match3.1 属性3.2 方法四、正则表达式4.1 常用4.2 边界空白4.3 分组4.4 前后匹配4.5 其他匹配4.6 flags五、文档一、re我们先介绍一下re模块下的方法，这个是我们拿来...原创 2019-10-31 08:48:03 · 4796 阅读 · 0 评论 -
BeautifulSoup详解
目录一、BeautifulSoup构建1.1 通过字符串构建1.2 从文件加载二、Tag对象2.1 string、strings、stripped_strings2.2 get_text()2.3 属性三、contents、children与descendants3.1 parent、parents3.2 next_sibling、previous_sibling3.3 next_element、...原创 2019-10-30 08:46:00 · 13509 阅读 · 3 评论 -
lxml与pyquery解析html
lxml首先来了解一下lxml，很多常用的解析html的库都用到了lxml这个库，例如BeautifulSoup、pyquery。下面我们介绍一下lxml关于html解析的3个Element。_Element_Element获取from lxml import etreetext = '''<div> <ul> <li cla...原创 2019-10-29 08:23:39 · 1016 阅读 · 0 评论 -
python编码深度解析
目录python编码深度解析一、字符、字节、编码1.1 为什么编码？1.2 为什么要分字符和字节？1.3 字符和编码之间的关系？1.4 为什么有不同的编码二、Unicode三、python乱码的起源四、令人困惑的默认编码五、python 交互式编码六、python处理网页文件编码七、总结python 2.xpython 3.x八、解决乱码终极方案python编码深度解析一、字符、字节、编码1...原创 2019-10-23 08:52:39 · 527 阅读 · 0 评论