- 博客(20)
- 收藏
- 关注
RSS订阅原创 flume netcat从nc命令接受数据 nc报错Ncat: Connection refused.
注意看配置文件中netcat 中的bind参数配置的内容，如果是localhost nc的时候应该用bind的内容，写了locahost就不能主机映射（本机），写了主机映射就不能用localhost,但是IP地址没有测试过
2021-07-31 22:02:22
1598
2
原创 豆瓣电视剧评分加日期加评论爬取
参考了大佬的正则表达式，暂时不写教程，直接上代码import requestsimport randomimport refrom lxml import etreedef get_html(url): user_agent = [ 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36
2021-06-11 23:52:25
518
原创 js逆向-2 f天下模拟登录-pwd参数逆向
时隔多天，好久不见传送门 仅供学习，请勿用于非法用途第一步，也是最重要的一步，打开开发者工具（就按F12就得行）第二步，我们要模拟登陆就要知道它有哪些参数，并且是怎么加密的，所以, 输入一个11位的手机号，加一个随便是个什么啥的密码，只要不能成功登录就ok的啦，点击登录，在NetWork里 找XHR（XHR就是创建ajax请求的javascript api),很明显，这个login.api就是我们要研究的小可爱了。第三步，直接扒拉到下面看FormData显然，加密参数就一个pwd,uid是我们
2021-03-17 11:55:08
551
原创 scala基础语法
scala 基本语法运行scala程序scala xxx.scala该方法适用于将 声明全部封装在对象中scalac xxx.scalascala -classpath . yyy // yyy表示含有main方法的对象基本数据类型列表一种共享相同类型的不可变的对象序列定义在scala.collection.immutable一旦被定义，其值就不能改变，因此生命LIst时就要初始化var strList = List("big data", "hadoop
2021-03-03 10:37:36
328
原创 centos7虚拟机下安装python -- 3.7.5
1.下载源文件 wget https://www.python.org/ftp/python/3.7.5/Python-3.7.5.tgz2.解压压缩包 tar -zxvf Python3.7.5.tgz3.进入解压后的文件夹4.运行./configure命令，生成makefile文件./configure5.切换root用户，运行yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel read
2021-01-24 12:12:51
978
原创 京东商品信息爬取
上一回写到：在做课设的时候爬淘宝遇到了滑块验证码，不会验证码，也没有钱买代理，就只能换个网站来完成作业了哎，老三套，分析网站，提取数据，保存数据，走你！传送门随便搜索个随便，然后翻页，分析url，这个比较简单，直接上结果！我们在构造url的时候要添加三个参数，其中前两个是我们要搜索的关键字（用urllib.parse的quote() 进行编码），然后就是page， 就是页码数 x 2 - 1.ok，然后在看看数据在哪里，通过分析页面和查看网页源代码，我们可以看到数据就在HTML中，好办了，直接上xp
2020-12-23 17:52:53
711
1
原创 淘宝商品信息爬取
这两天做的python课设有一个关于python爬虫的题目，要求是从某宝爬取，那今天就来个某宝的商品信息爬取的内容吧！首先确定个目标，根据某关键词搜索，从获取的页面信息中提取商品标题、价格、发货地点、付款人数、以及点名这些信息，这些信息都是直接在网页源代码中。ok,目标定好了，就直接瞄准进攻吧！在淘宝中随便输入一个关键词，看一下url，顺便来个翻页，查看一下url的变化，为了方便查看不同页码的url的不同，就把他们放一起了，依次是1,2,3,4https://s.taobao.com/search?
2020-12-20 12:39:33
4137
16
原创 js逆向-1 模拟登陆微信公众号平台
今天的主要任务是破解模拟登陆中的pwd参数，比较简单，毕竟开头要稳嘛！我们首先，先说一下这篇文章中我用到的东西，在调试的时候推荐使用浏览器的无痕模式。具体是为了啥我也不知道哈，反正用就对了。然后js代码的调试 是用的 webstrom,附上破解链接https://www.cnblogs.com/yixiongqiang/p/13035699.html好了，现在开始分析页面吧 https://mp.weixin.qq.com/,进去之后点击使用账号登录，然后随便输入一个账号密码，打开浏览器自带的抓包工具，
2020-12-16 13:34:31
1056
4
原创 python爬虫之图片验证码识别
将图片翻译成文字的技术被称为光学文字识别,即OCR(Optical Character Recognition)技术Tesseract 是有谷歌赞助的，目前公认最优秀、最准确的开源OCR库安装下载exe文件，https://digi.bib.uni-mannheim.de/tesseract/，目前最新版本为 tesseract-ocr-w64-setup-v5.0.0-alpha.20201127.exe下载数据集：链接：https://pan.baidu.com/s/1HQTtLEKAJeF
2020-12-15 23:08:35
921
原创 linux中python虚拟环境的配置及使用
linux中python的虚拟环境的管理配置虚拟环境1.udo pip3 install virtualenv 安装virtulenv2.sudo pip3 install virtualenvwrapper 安装virtualenvwrapper3.使用vim 编辑~/.bashrc 文件 在文件最后添加export VIRTUALENVWRAPPER_PYTHON=/USER/BIN/PYTHON3.6指定新虚拟环境中默认的python版本export WORKON_HOME=~
2020-11-23 22:02:18
790
原创 lol图片爬取
LOL英雄图片爬取这篇文章是我分析这个页面的一个过程，请耐心看到最后，所谓分析页面就是不断的对自己的思路进行调整，如有不到之处，还请指正。附上url这是我们要爬取的主页面通过上两个图可以看出，注意标注出的url, 这是每个英雄的详情页面的url地址，而每个英雄的页面的url不同的地方为id（这个id很重要），所以可以判断每个英雄都对应着一个自己的id。而在每个英雄单独的页面中有每个皮肤的大图。在1.js这个文件中，我们看到了每个皮肤图片的对应的url, 多观察几个页面，你会发现每个英
2020-11-20 00:47:54
1228
2
原创 爬虫之selenium
selenium配置ChromeDriverFirefox查看浏览器对应版本，在以上连接中下载对应相似度最高的版本的驱动，然后将其放在python目录下的Scripts目录下即可。安装seleniumpip install selenium -i https://pypi.douban.com/simple简单使用实例化from selenium import webdriver# 实例化# 谷歌driver_1 = webdriver.Chrome()# 火狐
2020-10-19 00:14:20
183
原创 BeautifulSoup4
bs4简介本文中的父节点等各种节点关系见https://blog.youkuaiyun.com/Starfish_S/article/details/108809734BeautifulSoup 是一个可以从HTML 或者 XML文件中提取数据的网页信息提取库-pip install bs4 -i https://pypi.douban.com/simple使用from bs4 import BeautifulSoup创建一个BeautifulSoup对象bs = BeautifulSoup(html,
2020-10-08 11:20:32
206
原创 关于uiautomator2连接手机的一个总结
adb连接手机手机电脑连接同一个wifi通过usb将电脑连接上手机，注意连接的时候手机选择USB用于传输文件注意打开手机的开发者模式和USB调试cmd中输入adb devices可以尝试是否连接成功
2020-09-27 22:18:26
1371
原创 requests的get方法和post方法
requestsrequests模块的安装 ------- pip install requests -i https://pypi.douban.com/simple常用方法：- requests.get()- requests.post()具体采用哪种方法可以通过在网站右键打开检查（这里我用的是谷歌浏览器，火狐的是打开检查元素）然后点击Network，查看所需要的请求。通过调用requests.get(url, params=None, **kwargs)方法，会返回一个resp
2020-09-25 19:22:15
3202
原创 正则表达式中的非贪婪匹配?的理解
关于正则表达式中的?非贪婪匹配str = '<li>推荐</a></li><li ><a href="/nav/watchers">动态</a></li>'result = re.findall('<li>.*</li>',str)这里的result将会从 < li > 开头匹配到最远的 < /li >,不加？的时候是贪婪匹配，此时< li > 至 <
2020-07-21 20:02:06
408
原创 继承
继承class Animal(): def __init__(self.name): self._name = name @property def name(self): return self._name @name,setter def name(self,name): self,_name = name 上面我们定义了一个动物类，他有一个私有属性name，还有name的getter和setter方法def dog(Animal): def __init_
2020-06-19 19:47:23
239
原创 特殊方法、封装、@property装饰器
1. 特殊方法在类中可以定义一些特殊方法也成为魔术方法特殊方法的形式为__xxx__()这种形式特殊方法不需要我们调用，特殊方法会在特定时候自动调用2.封装原因： 我们需要一种方式来增强数据的安全性- 1....
2020-06-14 00:04:39
246
原创 高阶函数相关
高阶函数定义将函数作为参数或者将函数作为返回值lst = [1,2,3,4,5,6,7,8,9]# 定义一个函数用来检查偶数def fn1(i)： if i % 2 == 0: return true return false #定义一个函数，用来检查数字是否大于5def fn2(i): if i > 5: return true return false#定义一个函数，用来检查数字是否是三的倍数def fn3(i): if i % 3 == 0: retu
2020-06-11 21:56:50
278
原创 函数参数相关
函数参数相关1. 参数类型形参（形式参数）： 在函数内部声明变量的名称，没有被赋值，可被当作“未知数”。实参（实际参数）： 指定形参，在调用函数的时候必须传入实参，实参的值会将值传给形参，一般有几个形参就有几个实参。2. 参数的传递方式在定义形参时可以为形参设置默认值。指定默认值后，如果用户传递了参数则默认值不会生效，否则，默认值生效位置参数：位置参数就是将对应位置的实参传递给对应位置的实参关键字参数：关键字参数传递的时候可以不按照形参所定义的顺序，而是跟据参数名进行传递混合使用位置
2020-06-11 20:17:49
462
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人