
Python
文章平均质量分 87
Data_IT_Farmer
BJUT 2014级 计算机学院小硕一枚,现为某上市金融公司--高级大数据开发工程师一枚。自20170701开始记录自己的技术工作生涯!广结天下技术之友,笑对未来技术之难题!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【leetcode系列】给定一个单链表,判断单链表中是否有环
给定一个单链表,判断链表中是否有环。题目背景141. 环形链表——给定一个链表,判断链表中是否有环。如果链表中有某个节点,可以通过连续跟踪next指针再次到达,则链表中存在环。 为了表示给定链表中的环,我们使用整数pos来表示链表尾连接到链表中的位置(索引从 0 开始)。 如果pos是-1,则在该链表中没有环。注意:pos不作为参数进行传递,仅仅是为了标识链表的实际情况。如果链表中存在环,则返回true。 否则,返回false。进阶:你能用O(1)(即,常...转载 2020-09-20 16:20:58 · 3232 阅读 · 0 评论 -
【leetcode系列】python单链表查找中间节点
python单链表查找中间节点使用快慢指针法# -*- coding: UTF-8 -*-class Node: def __init__(self,data,next): self.data = data self.next = nextn1 = Node('n1',None)n2 = Node('n2',n1)n3 = Node('n3',n2)n4 = Node('n4',n3)n5 = Node('n5',n4)p1 = n5p转载 2020-09-20 15:54:01 · 1116 阅读 · 1 评论 -
【leetcode】python求矩阵中的最小路径之和和输出最小路径
题目背景介绍:求最小路径之和,并且输出最小路径给定一个包含非负整数的 m x n 网格,请找出一条从左上角到右下角的路径,使得路径上的数字总和为最小。说明:每次只能向下或者向右移动一步。举例: 输入: [ [1,3,1], [1,5,1], [4,2,1] ] 输出: 7 解释: 因为路径 1→3→1→1→1 的总和最小求最小路径之和的代码:# -*- coding:utf-8 -*-def fun_min_path_sum(in_matr.原创 2020-09-19 20:49:05 · 3101 阅读 · 0 评论 -
【leetcode系列】Python实现二叉树层次遍历和判断一颗二叉树是否是镜像树
继续刷题,判断是否镜像对称二叉树。镜像对称二叉树,顾名思义,以根节点为轴,左右节点和节点内容互为镜像;如下图所示。这里要避免和完全二叉树混淆。这个我还是考虑了一段时间,递归和迭代都可以实现。递归的,如果一个节点值作为输入很难实现,所以新建一个新方法recurse,输入左右两个节点,返回bool值。思路很简单,如果输入两个节点都是空,可能是单个跟节点,返回True;如果一个有,另一个为空,返回False;如果左右两个节点,如果节点值相等,这里递归,把这两个节点的子节点左右对比,并按照and .原创 2020-09-19 17:22:53 · 547 阅读 · 0 评论 -
IP转int 和int 转IP 的实现(Python & Java)
1、python IP转int 和int 转IP1.1、IP地址意义IP地址是一个32位的二进制数,通常被分割为4个“8位二进制数”(也就是4个字节)。IP地址通常用“点分十进制”表示成(a.b.c.d)的形式,其中,a,b,c,d都是0~255之间的十进制整数。例:点分十进IP地址(100.4.5.6),实际上是32位二进制数(01100100.00000100.00000101.00000110)。根据这些特性就能解析出ip地址1.2、IP str转IP int 解决函数解决方案代码转载 2020-09-13 10:42:22 · 4591 阅读 · 1 评论 -
python 多sheet复杂报表开发
在实际工作中,报表开发的过程中,往往会遇到各种较为复杂报表,比如一个报表excel里面有多个sheet,每个sheet都是不同维度的统计指标,如何形成这样多sheet的报表呢?废话不多说,代码这就来见:#!/usr/bin/python2.7# -*- coding:utf-8 -*-"""File: Excel.pyAuthor: yyzDate: 2019/06/02 15:26"""import csvimport codecsimport pandas as p...原创 2020-06-03 10:16:22 · 1532 阅读 · 0 评论 -
python 多线程就这么简单
python 多线程就这么简单 多线程和多进程是什么自行google补脑 对于python 多线程的理解,我花了很长时间,搜索的大部份文章都不够通俗易懂。所以,这里力图用简单的例子,让你对多线程有个初步的认识。单线程 在好些年前的MS-DOS时代,操作系统处理问题都是单任务的,我想做听音乐和看电影两件事,那么一定要先排一下顺序。(好吧!我们不纠结在DOS时代是否有听音乐和看影的应用。^_^)from time import ctime,sleepdef mu...转载 2020-06-03 09:37:28 · 600 阅读 · 0 评论 -
Python smtplib.SMTP()和smtplib.SMTP_SSL() 登录邮箱并发送邮件比较
邮件发送流程 邮件的发送是主动行为:主要通过 MUA/邮件客户端软件,将邮件内容发送给对应的服务器 暂存到投递服务区,然后由当前运营商根据邮件特征信息将邮件转发给目标服务器的投递服 务区,此时目标用户的邮件已经发送完成,等待对方收取即可。邮件的收取也是主动行为,用户可以打开邮件客户端软件,通过点击类似于收取这样的行为 就可以从自己邮箱所属的服务器投递区中提取邮件了。什么是POPO3、SMTP和IMAP?服务器地址和端口是什么?返回 POP3 POP...原创 2020-06-02 21:07:16 · 24722 阅读 · 1 评论 -
Python的内嵌函数和闭介绍
Python的内嵌函数和闭介绍1.内嵌函数:在函数中定义函数内嵌函数例子1、# 代码段1def fun1(): print('外层函数正在被调用') def fun2(): print('内层函数正在被调用')fun1()'''输出如下:外层函数正在被调用'''例子2:# 代码段2def fun1(): print('外层函数正在被调用') ...转载 2020-03-15 21:59:30 · 972 阅读 · 0 评论 -
python中url解析及排序函数sort ()与 sorted() 区别、字典排序及高级用法
python中url解析及排序函数sort ()与 sorted() 区别、字典排序及高级用法一、python如何解析url,获取host和path最近在工作中需要将url的host和path路径分开存储,python内置的urlparse, 支持我们优雅的解决这个问题,参考地址>>> from urlparse import urlparse>>&...转载 2020-01-02 18:32:06 · 2054 阅读 · 0 评论 -
python使用xlwt形成合并单元格的excel并且读取合并单元格的excel
python使用xlwt形成合并单元格的excel并且读取合并单元格的excel 在日常数据报表数据处理中,经常会遇到看某个大类下面每个小类的各自的情况,此时形成的合并一些单元格作为表头的excel。在excel中,手动合并单元格比较容易,但是怎么利用python构造某些列或者行合并作为标题行或列的excel呢?废话不多说,直接上代码。1、安装python处理excel需要的包...原创 2019-11-12 13:25:26 · 9132 阅读 · 0 评论 -
SSLError ssl.c510: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed
python 采用post方式模拟登录的时候,却报了如下错误:requests.exceptions.SSLError: HTTPSConnectionPool(host='login.sec.xxx.net', port=436): Max retries exceeded with url: /sec/login (Caused by SSLError(SSLError(1, '_ssl...转载 2019-11-01 20:36:57 · 1018 阅读 · 0 评论 -
Python 中 str.format() 方法详解
Python 中 str.format() 方法详解参考:https://blog.youkuaiyun.com/jpch89/article/details/84099277以下建议在版本 python 3.7.4 和python 2.7.16 实验,部分在Python 2.6.6通不过。1. 术语说明str.format() 方法通过字符串中的花括号 {} 来识别替换字段 replace...转载 2019-10-23 21:09:15 · 822 阅读 · 0 评论 -
python _、__和__xx__的区别
_xx 单下划线开头Python中没有真正的私有属性或方法,可以在你想声明为私有的方法和属性前加上单下划线,以提示该属性和方法不应在外部调用.如果真的调用了也不会出错,但不符合规范.Python中不存在真正的私有方法。为了实现类似于c++中私有方法,可以在类的方法或属性前加一个“_”单下划线,意味着该方法或属性不应该去调用,它并不属于API。#!/usr/bin/env python# codi...转载 2018-06-01 11:21:09 · 9756 阅读 · 0 评论 -
pyspark 写入MySQL报错 An error occurred while calling o45.jdbc.: scala.MatchError: null 解决方案
当我尝试使用pySpark连接MySQL,将简单的spark dataframe写入MySQL数据时报错,py4j.protocol.Py4JJavaError: An error occurred while calling o45.jdbc.: scala.MatchError: null 错误解决方案(1)错误提示:Fri Jul 13 16:22:56 CST 2018 WARN: Est...原创 2018-07-13 16:43:25 · 9634 阅读 · 0 评论 -
【python Excel】如何使用python将大量数据导出到Excel中的小技巧之二
最近对python的openpyxl 升级到了__version__ = '2.5.4',发现原先的代码不能使用,各种报错之后,然后重新了写的版本,故分享给各位同仁。如有错误,敬请赐教。# coding:utf-8"""File Name: Excel.pyFunction: 实现 将计算结果的保存形式由txt转化为excel 的类Comments: 将计算结果的保存形式由txt转化...原创 2018-07-13 15:59:54 · 11830 阅读 · 5 评论 -
pyspark连接MySQL出错 java.sql.SQLException: No suitable driver
pyspark连接MySQL出错py4j.protocol.Py4JJavaError: An error occurred while calling o26.load.: java.sql.SQLException: No suitable driver 解决方法错误提示:Using Spark's default log4j profile: org/apache/spark/log4j-d...原创 2018-07-13 10:44:41 · 7108 阅读 · 5 评论 -
python调用shell命令之三大方法
python调用shell命令之三大方法前言: 如何直接在python代码里面直接执行终端的命令。博友博客描写叙述得非常具体,这里直接转载过来并做些凝视了。目录如下:一、os 模块1.1、os模块的exec方法1.2、os模块的system方法1.3、os模块popen方法二、commands模块2.1、commands.getstatusoutput方...转载 2018-07-06 10:27:37 · 17017 阅读 · 0 评论 -
spark读取hdfs文件的路径使用正则表达式
spark读取hdfs文件的路径使用正则表达式例子一、# -*- coding:utf-8 -*-from pyspark import SparkConffrom pyspark import SparkContextimport osif __name__ == '__main__': os.environ["SPARK_HOME"] = "/Users/a6/App...原创 2018-07-17 13:31:49 · 7493 阅读 · 0 评论 -
【python编码规范系列之二】Python编码语言规范
Python语言规范Python语言规范LintTip对你的代码运行pylint定义:pylint是一个在Python源代码中查找bug的工具. 对于C和C++这样的不那么动态的(译者注: 原文是less dynamic)语言, 这些bug通常由编译器来捕获. 由于Python的动态特性, 有些警告可能不对. 不过伪告警应该很少.优点:可以捕获容易忽视的错误, 例如输入错误, 使用未赋值的变量等....转载 2018-07-04 11:53:09 · 997 阅读 · 0 评论 -
【python编码规范系列之一】Python编码风格规范
Python风格规范Python风格规范分号Tip不要在行尾加分号, 也不要用分号将两条命令放在同一行.行长度Tip每行不超过80个字符例外:长的导入模块语句注释里的URL不要使用反斜杠连接行.Python会将 圆括号, 中括号和花括号中的行隐式的连接起来 , 你可以利用这个特点. 如果需要, 你可以在表达式外围增加一对额外的圆括号.Yes: foo_bar(self, width, height...转载 2018-07-04 11:50:32 · 1812 阅读 · 0 评论 -
pyspark-hdfs数据操作函数介绍
一、SparkContext API1、读取hdfs数据转成numpy#!/usr/bin/python# -*- coding: UTF-8 -*-from pyspark import SparkContext,SparkConfimport numpy as npimport pickledirPath='hdfs://xxx/user/root/data_16/11/lab...转载 2018-06-20 00:01:28 · 2421 阅读 · 0 评论 -
python str 与json类型转换 ,即字符串类型和字典类型的转换
python str 与json类型转换 ,即字符串类型和字典类型的转换在写代码时。避免不了数据类型的转换,比如强制转换string类型,比如转json类型(1)str转jsonpython字符串转json对象,需要使用json模块的loads函数# encoding: utf-8print "str转json"import jsonstring_a = '{"accessToken": "...原创 2018-06-18 10:37:19 · 13623 阅读 · 0 评论 -
python 递归删除文件、目录
python 递归删除文件、目录本文讲述了python实现删除文件与目录的方法。具体实现方法如下:一、删除文件 os.remove(path) 删除文件 path. 如果path是一个目录, 抛出 OSError错误。如果要删除目录,请使用rmdir().remove() 同 unlink() 的功能是一样的 my_file = 'foo/bar/baz/test.txt'if os.path....转载 2018-06-13 14:48:53 · 15528 阅读 · 0 评论 -
【python可视化系列】python数据可视化利器--pyecharts
前言echarts是什么?下面是来自官方的介绍: ECharts,缩写来自Enterprise Charts,商业级数据图表,Echarts 是百度开源的一个数据可视化纯Javascript(JS) 库。主要用于数据可视化,可以流畅的运行在PC和移动设备上,兼容当前绝大部分浏览器(IE6/7/8/9/10/11,chrome,firefox,Safari等),底层依赖轻量级的Canvas类库ZRe...转载 2018-06-17 17:18:33 · 16459 阅读 · 0 评论 -
【python可视化系列】关于 pyecharts 的 'No coordinate is specified for' 报错解决
pyecharts 是一个用于生成 Echarts 图表的类库。Echarts 是百度开源的一个数据可视化 JS 库。用 Echarts 生成的图可视化效果非常棒,pyecharts 是为了与 Python 进行对接,方便在 Python 中直接使用数据生成图。在实现地图可视的过程过遇到如下问题:Traceback (most recent call last): File "/Users/...原创 2018-06-17 15:49:09 · 7873 阅读 · 7 评论 -
mysql插入数据,获取最新插入的ID(自增列)的思路和python获取MySQL自增ID代码三种实现
mysql插入数据,获取最新插入的ID(自增列)的思路和python获取MySQL自增ID代码三种实现mysql本身有一个列可以做自增长字段,mysql在插入一条数据后,如何能获得到这个自增id的值呢?(1)方法一 是使用last_insert_idmysql> SELECT LAST_INSERT_ID();产生的ID 每次连接后保存在服务器中。这意味着函数向一个给定客户端...转载 2018-08-10 11:56:15 · 19796 阅读 · 0 评论 -
python通过MYSQLdb或者pymysql访问数据库,参数传递及返回字典格式
python通过MYSQLdb或者pymysql访问数据库,参数传递及返回字典格式Python标准数据库接口为Python DB-API, Python DB-API为开发人员提供了数据库应用 编程接口。Python 数据库接口支持非常多的数据库,你可以选择适合你项目的数据库:GadFly mSQL MySQL PostgreSQL Microsoft SQL Server 2...转载 2018-08-13 00:03:48 · 7453 阅读 · 0 评论 -
关于mysql的mycat中间件安装配置与python使用mycat例子
关于mysql的mycat中间件安装配置与python使用mycat例子MyCAT是mysql中间件,Mycat数据库分库分表中间件国内最活跃的、性能最好的开源数据库中间件! 它是一款开源的Mysql企业级集群应用,前身是阿里大名鼎鼎的Cobar,Cobar在开源了一段时间后,不了了之。于是MyCAT扛起了这面大旗,在大数据时代,其重要性愈发彰显。MyCAT提供了类似Mysql的接口,可以...原创 2018-08-17 08:34:00 · 4215 阅读 · 2 评论 -
python编译过程和执行原理
python编译过程和执行原理(1)python执行原理这里的解释执行是相对于编译执行而言的。我们都知道,使用C/C++之类的编译性语言编写的程序,是需要从源文件转换成计算机使用的机器语言,经过链接器链接之后形成了二进制的可执行文件。运行该程序的时候,就可以把二进制程序从硬盘载入到内存中并运行。 但是对于Python而言,python源码不需要编译成二进制代码,它可以直接从...转载 2017-09-26 17:46:10 · 71395 阅读 · 8 评论 -
Win10下python 2.7与python 3.7双环境安装教程
Win10下python 2.7与python 3.7双环境安装教程1、python软件下载网址:https://www.python.org/downloads/windows/2、 安装python2.7.16第一步双击安装包,选择你要安装的路径第二步默认next,这里不能配置环境变量,只能安装好后手动配。点击finish安装完成。这样python2和...原创 2019-10-10 21:55:25 · 13291 阅读 · 1 评论 -
python获取不同时区的时间:通过datetime获取UTC时间ISO格式
python获取不同时区的时间:通过datetime获取UTC时间ISO格式一个热点统计需求,需要限定一个时间范围,计算出该范围内的热点事件,相关数据则以UTC标准时间的ISO时间格式存在mongodb中,和服务器设置的时区UTC+8并不一致。为了解决这个问题,直觉反应是在python中将时区改为UTC时区,然而改变整个服务的时区设置却可能会影响其他逻辑,此种更改最好是能限定在热点逻辑的这...转载 2019-06-19 21:05:11 · 17703 阅读 · 0 评论 -
Python之 /usr/bin/python^M: bad interpreter: No such file or directory
在windows的IDE开发,部署在linux服务器运行时,需要注意windows和linux的文件编码问题part01:在windows系统下写的python脚本,在linux下赋予权限chmod +x xxx.py 以后,执行./xxx.py运行提示:bash: /usr/bin/autocrorder: /usr/bin/python^M: bad interpreter: No s...转载 2019-05-19 20:39:04 · 5991 阅读 · 0 评论 -
python中json dump函数和 json dumps函数有那些区别 以及python的eval函数
JSON字符串用json.dumps, json.loads JSON文件名用json.dump, json.load以下内容摘自:《Python Cookbook》json 模块提供了一种很简单的方式来编码和解码JSON数据。 其中两个主要的函数是 json.dumps() 和 json.loads() , 要比其他序列化函数库如pickle的接口少得多。 下面演示如何将一个Python数...转载 2019-04-19 15:24:17 · 2408 阅读 · 0 评论 -
MapReduce程序实例(python)
问题背景现在有两份数据,file1是校园新闻版块,每一条新闻点击记录;file2是校园新闻版块使用活跃度高的学生记录。用mr统计出某一天的点击记录里,使用ios/android手机的活跃学生的总的点击次数原始数据格式如下:file1.log,校园新闻点击记录,记录了每一次学生点击校园新闻的行为格式:学号\t姓名\t手机端\t新闻id\新闻关键词20170001 xiaoming an...转载 2019-04-02 10:00:12 · 10091 阅读 · 4 评论 -
python读写csv文件例子
(1)最常用的一种方法,利用pandas包import pandas as pd# 任意的多组列表a = [1, 2, 3]b = [4, 5, 6]# 字典中的key值即为csv中列名dataframe = pd.DataFrame({'a_name': a, 'b_name': b})print "输出pandas结构\n",dataframe (2) 同样pan...转载 2018-12-26 11:43:39 · 1720 阅读 · 0 评论 -
python 实现两个list列表逐元素相减,实现合并两个列表,以及zip() 函数介绍
python 实现两个list列表逐元素相减,实现合并两个列表,以及zip() 函数介绍(1)python 两个相同长度得list列表逐个对应元素相减Python中的列表中的元素不能直接相加减,但是可以采用如下方法实现目的:1)循环相减:a = [1,2,3,4,5]b = [5,4,3,2,1]c = [a[i]+b[i] for i in range(0,len(a)...转载 2019-05-31 20:59:51 · 71264 阅读 · 1 评论 -
python开发接口
目录:第一部分flask简介,第二部分简单开发get和post接口例子一、flask开发接口简介flask是一个python编写的轻量级框架,可以使用它实现一个网站或者web服务。此外,python 运用Django 开发后台接口。本文就用flask来开发一个接口。flask需要先安装再引用。pip install flask用flask开发接口的流程为:1.1、定义一个ser...原创 2019-01-05 15:24:55 · 10639 阅读 · 2 评论 -
pyspark之DataFrame数据处理学习【数据去重之一】
pyspark之DataFrame数据处理学习【数据去重之一】1、重复数据,例如spark = SparkSession.builder.appName("dataDeal").getOrCreate()df = spark.createDataFrame([ (1, 144.5, 5.9, 33, 'M'), (2, 167.2, 5.4, 45, 'M'), ...转载 2018-10-17 21:00:15 · 13698 阅读 · 0 评论 -
Python-第三方库requests详解
Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的,所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦!Beautiful is b...转载 2018-09-11 12:33:02 · 5356 阅读 · 0 评论