
python
文章平均质量分 61
JJH的创世纪
涉猎技术有
1.linux
2.网络
3.互联网集群架构,分布式架构,大数据架构
4.java/c/c++/python/js
5.网络爬虫
6.嵌入式,硬件,qt
7.ros系统,slam,机器学习算法
8.自动驾驶相关
9.arm服务器,x86服务器
10.Android虚拟化技术
展开
-
华为USG系列防火墙 RESTCONF NAT配置 Python实现
一般的NAT规则要在Web界面或console控制台配置,都是手动的操作,想实现自动化或接入业务,可通过华为提供的RESTCONF接口实现。本文章适合有NAT基础的人群观看,主要讲解SNAT的自动化接口配置,补充部分也有一些NAT技术的资料参考。原创 2024-12-10 10:42:53 · 1666 阅读 · 0 评论 -
linux 获取公网流量 tcpdump + python + C++
需求为,统计linux上得上下行公网流量,常规得命令如iftop 、sar、ifstat、nload等只能获取流量得大小,不能区分公私网,所以需要通过抓取网络包并排除私网段才能拿到公网流量。下面提供了一些有效得解决思路,提供了部分得代码片段,但不提供整个代码内容。原创 2024-12-03 12:00:26 · 1476 阅读 · 0 评论 -
python 不同长度数组(列表) 求和 后 求平均值
考虑到不同长度数组相加求平均值时会有缺省部分,如[1,2,3][1,2]原创 2023-02-09 00:48:54 · 1132 阅读 · 1 评论 -
[python] 读csv文件 修改后保存
思路:1.创建一个读对象和写对象2.逐行读取csv文件中的内容,逐行追加到写对象中3.写完后.close()关闭写对象4.最后执行mv 更好文件名(需在linux下)5.is_number函数是用于判断是否是数字,可不管import csvimport osdef is_number(s): try: float(s) return True except ValueError: pass try:.原创 2021-02-23 20:46:50 · 6197 阅读 · 0 评论 -
Python爬虫中如何通过post发请求,浏览器控制台抓包教程,有道翻译爬虫程序,通过python伪装翻译(post案例)
目录一、浏览器控制台抓包1.打开方式以及常用选项2.控制台NetWrok二、Python爬虫中如何通过post发请求1.Post请求2.Python中使用post请求三、有道翻译爬虫程序,通过python伪装翻译(post案例)1.需求分析2.post请求分析3.js方法转python方法4.程序设计一、浏览器控制台抓包在很多的工作中都是需要...原创 2020-02-17 13:07:27 · 9080 阅读 · 3 评论 -
Python爬虫,爬取百度贴吧图片和视频文件,xpath+lxml,访问被拒的原因分析
目录百度贴吧图片和视频文件爬取程序1.需求分析2.url分析3.Xpath分析4.程序设计5.坑点百度贴吧图片和视频文件爬取程序1.需求分析进入百度贴吧,搜索周杰伦,进入周杰伦吧。我们的目的是爬取图片文件和视频。下面是首页文件,如果我们要爬取图片或视频文件的话,第一步是爬取该页面下的所有帖子的url,进入到这些帖子后,再进行图片和视频爬取。2.ur...原创 2020-02-15 13:33:27 · 1569 阅读 · 0 评论 -
Python爬虫,4567电影网电影信息爬取,二级页面处理方案
目录4567电影网电影信息爬取1.需求分析2.URL分析3.正则表达式分析4.程序设计5.程序代码4567电影网电影信息爬取1.需求分析4567电影网首页如下,点击一部电影,看看具体的页面呈现。电影信息有电影名,类型,地区,年份,主演,等等。在这里我们仅提取电影名和电影简介进入到电影分类页面,我们的目的是提取某一类型所有电影的名字和简...原创 2020-02-11 23:40:31 · 32190 阅读 · 1 评论 -
python正则表达式re模块入门,贪婪匹配和非贪婪匹配,案例:猫眼电影TOP100信息提取
目录正则表达式:re模块元字符正则表达式如何匹配任意字符:re.S贪婪匹配和非贪婪匹配1.贪婪匹配2.非贪婪匹配正则表达式的分组猫眼电影TOP100信息提取1.需求分析2.代码分析3.编写程序正则表达式:re模块re模块有两种方式实现正则匹配方式一:lists=re.findall("he","hello world")方式二:...原创 2020-02-11 13:12:37 · 2079 阅读 · 0 评论 -
Python爬虫小程序,爬取百度贴吧网页文件,新手练手的好案例
目录需求分析程序执行步骤分析网页URL分析程序框架设计程序代码执行效果图需求分析本篇介绍的小程序可以用于爬取百度贴吧的数据,要求输入贴吧名称,输入起始页和终止页,然后将网页下载下来保存到本地。程序执行步骤分析1.输入贴吧名称2.输入起始页3.输入终止页网页URL分析尝试在百度贴吧搜索李毅,得出来的结果如下图:去除一些不必要...原创 2020-02-10 15:37:52 · 982 阅读 · 0 评论 -
Python爬虫入门,最简单的爬虫代码,网站如何判断是人为的操作还是爬虫程序的操作,为url参数中的中文参数进行编码,基于百度搜索的爬虫程序
目录Python中做爬虫的模块模块名导入:urllib.request导入方式常用方法:urllib.request.urlopen()作用参数最简单的爬虫代码小结网站如何判断是人为的操作还是爬虫程序的操作请求头包装:urllib.request.Request()方法为url参数中的中文参数进行编码:urllib.parse.urlencode({d...原创 2020-02-10 13:34:05 · 1385 阅读 · 0 评论 -
网络爬虫入门:网络爬虫的目的,企业获取数据的方式,可以用于做爬虫的程序语言,爬虫爬取数据的步骤
目录爬取数据的目的:1.获取大量数据,用于做数据分析2.公司项目的测试数据,公司业务所需数据企业获取数据的方式1.公司自有数据2.第三方数据平台购买(数据堂,贵阳大数据交易所)3.爬虫爬取数据可以用于做爬虫的程序语言1.Python2.PHP3.JAVA4.C/C++爬虫分类1.通用网络爬虫(搜索引擎使用,遵守robots协议)2.聚焦网...原创 2020-02-09 15:54:53 · 5913 阅读 · 0 评论 -
Python 正则表达式反斜杠,如何匹配反斜杠
这里是一点小心得:由于下面两个原因,在正则表达式中使用反斜杠就会产生了一个双重转换的问题。(1)、python自身处理字符串时,反斜杠是用于转义字符(2)、正则表达式也使用反斜杠来转义字符转义字符 描述 \(处于行尾位置) 续行符 \\\\ 反斜杠 ’ 单引号 \" 双引号 \b 退格 \n 换行 \v ...原创 2020-01-06 17:10:15 · 3233 阅读 · 0 评论 -
python反爬虫,User-Agent方式
模拟客户端有些网页为了防止别人恶意采集其信息所以进行了一些反爬虫的设置,当我们请求时会报418错误,这是因为你爬的网站做了反爬虫设置urllib.error.HTTPError: HTTP Error 418而我们又想进行爬取可以设置一些Headers信息(User-Agent),模拟成浏览器去访问这些网站使用urllib,你要创建一个Request对象,用于添加你的heade...原创 2020-01-05 13:54:42 · 2934 阅读 · 2 评论 -
python request模块 在钉钉中创建群聊机器人,一键发送消息,定时发送(详细步骤)
0.安装requests模块Linux下执行pip3 install requests1.request简介Reqest是Python的HTTP库,内部采用urillib3模块,但是用起来比urllib3更简洁,需要单独安装2. request特性-支持keep-alive的连接池-支持通用的域名以及URL地址-支持使用cookie-支持使用类似游览...原创 2019-12-04 17:43:02 · 3941 阅读 · 1 评论 -
Python与JSON,使用json捕获天气预报信息
1.JSON概述Json(JavaScript Object Notation)是一种轻量级的数据交换格式。Json的好处在是易与人阅读和编写,同事也易于机器解析和生成Json采用独立于语言的文本格式,却兼容C,C++,C#,Java,JS,Python等语言2.JSON结构JSON主要有两个结构-“键/值对的集合”:python中主要对应成字典-值的有序列表,在...原创 2019-12-04 14:28:20 · 1025 阅读 · 0 评论 -
python邮件入门,通过互联网服务器发送邮件(foxmail-qq代发),SMTP/POP3服务
一、python邮件入门1.SMTP概述SMTP(Simple Mail Transfer Protocol) 简单邮件传输协议,使用TCP协议25端口SMTP是一组用于由源地址到目的地址传送邮件的规则,由它来控制信息的中转方式python的smtplib模块提供了一种途径发送电子邮件,它对smtp协议进行了简单的封装2.设置邮件格式标准邮件需要三个头部信息Fro...原创 2019-12-03 14:24:29 · 4563 阅读 · 0 评论 -
Python paramiko模块,利用多线程实现ssh并发执行操作
1.paramiko概述ssh是一个协议,OpenSSH是其中一个开源实现,paramiko是Python的一个库,实现了SSHv2协议(底层使用cryptography)。有了Paramiko以后,我们就可以在Python代码中直接使用SSH协议对远程服务器执行操作,而不是通过ssh命令对远程服务器进行操作。由于paramiko属于第三方库,所以需要使用如下命令先行安装2....原创 2019-12-02 16:46:27 · 4987 阅读 · 0 评论 -
python网络爬虫入门,urllib模块,爬取网页和图片,图片爬取正则表达式思路
一、urllib模块1.urllib简介在Python2版本中,有urilib和urlib2两个库可以用来发送request(请求)。而在Python3中,统一为urlliburllib中包括了四个模块-urllib.request可以用来发送request获取request结果-urllib.parse用来解析和处理url-urllib.error包含了urllib.re...原创 2019-11-30 17:30:28 · 2352 阅读 · 2 评论 -
python forking父子进程 多线程编程,Thread和Threading模块,扫描所有存活主机案例
一、forking1.什么是forkingfork(分岔),当执行一个命令时,父进程(当前进程)fork出一个子进程父进程将自身资源拷贝一份,命令在子进程中运行时,就具有和父进程完全一样的运行环境2.进程的生命周期父进程fork出子进程并挂起子进程运行完毕后,释放大部分资源并通知父进程,这个时候,子进程被称作僵尸进程,父进程获知进程结束,子进程所有资源被释放3.僵尸...原创 2019-11-29 15:21:06 · 1098 阅读 · 0 评论 -
python SQLAlchemy数据库工具
一、sqlalchemy概述与架构1.SQLAlchemySQLAlchemy是Python编程语言下的一款开源软件。提供SQL包以及对象关联映射(ORM)工具,使用MIT许可证SQLAlchemy采用简单的python语言,为高效和高性能的数据库访问设计,实现了完整的企业级持久模型SQLAlchemy的理念是,SQL数据库的量级和性能重要于对象集合,而对象集合的抽象又重要于表和行...原创 2019-11-27 17:13:16 · 1124 阅读 · 0 评论 -
Python pymysql模块对数据库Mysql,Mariadb的操作
一、基础命令1.pymysql模块通过pip安装pymysql模块pip是pypi(python package index)的安装命令,pypi是python语言的软件仓库官方网站http://pypi.python.org2.安装pymysql模块和mariadbmariadb是mysql的设计者开发的开源数据库[root@localhost ~]# yum ...原创 2019-11-26 17:00:20 · 1919 阅读 · 0 评论 -
Python re模块,python的字符匹配方式,apache统计ip访问次数
1.re模块一些带有特殊含义的符号或者符号的组合2.元字符. 匹配任意一个字符,除了\n ^ 匹配字符串的开头 $ 匹配字符串的结尾 * 匹配0个或多个的字符串 + 匹配1个或多个的字符串 ? 匹配0个或1个,为非贪婪方式 {n} 匹配n个的字符串 [a, b , c] 匹配 ‘a’ 或 ‘b’ 或 ‘c’ ...原创 2019-11-26 14:29:07 · 471 阅读 · 0 评论 -
Python类入门
一、类的初级使用1.类(Class)用来描述具有相同属性和方法的对象集合。类定义了每个对象所共有的属性和方(对象是类的实例)2.实例化创建一个类的实例,叫做类的实例化,结果是生成一个具体的对象3.方法类中定义的函数4.对象通过类定义的数据结构实例。包含类中定义的变量与方法梳理以上4点: 类可以当做一个蓝图,而对象就是根据蓝图创造出来的具体存在体,蓝图在...原创 2019-11-26 10:58:13 · 1090 阅读 · 0 评论 -
python hashlib模块的摘要算法,判断一个文件的内容是否发生改变,完全备份与增量备份的python写法(冷备)
1.摘要算法什么是摘要算法呢?摘要算法又称哈希算法、散列算法。它通过一个函数,把任意长度的数据转换为一个长度固定的数据串(通常用16进制的字符串表示)。举个例子,你写了一篇文章,内容是一个字符串'how to use python hashlib',并附上这篇文章的摘要是'2d73d4f15c0db7f5ecb321b6a65e5d6d'。如果有人篡改了你的文章,并发表为'how to u...原创 2019-11-25 15:50:52 · 662 阅读 · 0 评论 -
python *号的含义
python中*代表的含义1、表示乘号2、表示倍数,例如:def T(msg,time=1): print((msg+' ')*time)T('hi',3)打印结果(打印3次):hi hi hi3、单个 *(1)、如:*parameter是用来接受任意多个参数并将其放在一个元组中。>>> def demo(*p):...转载 2019-11-24 22:11:16 · 21489 阅读 · 0 评论 -
python函数入门,偏函数,匿名函数,递归函数
1、函数创建语句--def在python中我们用def语句创建函数语法如下:def function_nam(参数): #def 函数名(参数) function_body #函数内容主体,必须缩进,我的习惯是缩到与函数名对齐...原创 2019-11-24 11:59:56 · 449 阅读 · 0 评论 -
python异常简述
1.什么是异常当python检测到一个错误时,解释器就会指出当前流已经无法执行下去,这是就出现了异常通俗来说,异常就是当程序出现了错误,而这种错误又是在正常控制流以外的(未预见的),那么我们采取什么样的行为去处理这个错误,就是异常需要做的这个行为分为两个阶段:-首先是引起异常发生的错误-然是检测(和采取可能的措施)的阶段2.常见异常当程序运行时,如果遇到未解的错误...原创 2019-11-21 10:39:39 · 1798 阅读 · 0 评论 -
python创建linux文件和用户,python格式化输出
1.使用python创建linux文件要求:编写一个程序,要求用户输入文件名 如果文件已存在,要求用户重新输入 提示用户输入数据,每行数据先写到列表中 将列表数据写入到用户输入的文件名中三个函数:用三个函数分别实现文件名获取、文件内容获取、将获取到的文件内容写入get_fname()函数获取的文件中 这三个方法,最终调用三个函数,完成文件创建:获取文件名函数get_f...原创 2019-11-19 12:00:30 · 1321 阅读 · 0 评论 -
python字符串与format格式化
1.字符串操作符比较操作符:字符串大小按ASCII码大小进行比较a>A b>a切片操作符: [],[:],[::][n]:取字符串的某n个字符[n:m]:取字符串第n到第m个字符显示效果为m-n,当m=2,n=1时只显示一个字符[n:m:d]:取字符串第n到第m个字符,以d间隔>>>str="abc123def">>&g...原创 2019-11-19 11:55:15 · 914 阅读 · 0 评论 -
python系统管理模块,shutil,subprocess,os,pickle
一、shutil1.复制和移动文件复制:shutil.copyfile(src,dst)将src拷贝到dst,相当于linux的cp a b实例:#!/bin/usr/env python3import shutilshutil.copyfile("/mnt/1.py","/2")将/mnt/1.py拷贝到/下并取名为2提示:无法拷贝目录移动:shu...原创 2019-11-19 09:56:42 · 432 阅读 · 0 评论 -
python模块入门
1.模块的基本概念定义:模块是从逻辑上组织python代码的形式当代码量变得相当大它的时候,最好把代码分成一些有组织的代码段,并为其取一个名称这些代码段中可能有定义好的成员变量或函数。当我们需要使用该模块的成员变量或函数的时,我们可以导入并使用它们2.创建模块模块物理层面上组织模块的方法时文件,每一个以.py作为结尾的python文件都是一个模块模块名称不能与系统...原创 2019-11-16 15:26:25 · 272 阅读 · 0 评论 -
Python生成随机密码
方案:1.导入random模块,通过random静态对象调用choice()方法,从自定义字符串中获取随机项2.将获取到的随机字符进行拼接,将最终字符串结果返回给函数3.for循环每循环一次获取一个随机字符,密码位数由循环次数决定,循环次数由传递参数值决定。此程序需要注意的部分在于:1.导入String模块,其中ascii_letters是生成所有字母,从a-z和A-Z,...原创 2019-11-16 14:17:06 · 9051 阅读 · 4 评论 -
Python对Linux系统的操作,打开文件与读写文件,python模拟linux的cp操作
cp操作请跳到第10节1.open内建打开文件函数作为打开文件的“钥匙”,内建函数open()提供了初始化输入/输出(I/O)操作的通用结接口成功打开文件后会返回一个文件对象,如果打开失败会引发一个错误示例:file_object = open(file_name,mode='r')file_object 是python的变量名用来保存文件对象mode是打开的方式,以读...原创 2019-11-16 11:47:53 · 12679 阅读 · 0 评论 -
python编程的数个实例
目录:1.判断合法用户 2.编写判断成绩的程序 3.编写石头剪刀布小游戏 4.斐波那契数列 5.九九乘法表 6.用列表构建栈结构 7.模拟用户登陆信息系统 8.挑选文件相同的部分 9.记账程序 10.简单的加减法数学游戏 11.快速排序 12.备份程序 13.扫描全网段存活主机--黑客攻击手段方式之一说明:每一个实例都用到了python中的一些特性,需要提前知道...原创 2019-11-14 23:29:25 · 4057 阅读 · 0 评论 -
Python入门,Linux安装Python
1.python起源python由吉多·范罗苏姆在1989年开发的,1991年初,python发布了第一个公开发行版本,python是为了完成荷兰的CWI(国家数学和计算机科学研究院)的一个研究项目而创建的2.python的版本python2.x 目前所有系统默认安装的版本python3.x 2009年发布,在语法和功能上有较大调整,目前已成为主流3.python的...原创 2019-11-13 20:42:05 · 1820 阅读 · 1 评论