- 博客(5)
- 收藏
- 关注
RSS订阅
原创 大众点评实战解决反爬
前面讲了大众点评的反爬解决措施 今天就实际来一次 做一个大众点评所有商铺的名字 价格 评价 地址 推荐菜的爬虫 我在前面试过爬全网的 在几千条之后就会限制你再登大众点评 所以不用代理ip的话会被限制ip 所以这里我限制了自己的数量 爬的是一个类别下的50页里面的一页 也就是15条数据 代码比较粗糙 没有去优化 见谅 这些代码就是爬取了一个类别的50条url 如果想爬取所有类别的50条url的话 只需要传入每一个类别的url 而每个的url好像需要构造而已 from fontTools.ttLib impo
2021-01-19 23:37:20
3815
1
原创 字体反爬一眼就懂
看了许多博主的字体反爬教程 发现都是用x，y轴什么什么来做的，再转到xml文件里面去看 然后给大家分享一个稍微稍微简单的方法 原理在第二步 我们以大众点评网站为例 一 找到正确的字体文件 将其打印成一个列表** 如下图 两个woff文件即两个字体文件 为什么是找到找到正确的字体文件，博主在几个月前爬过这个网站，有的时候会出现三个以上的woff文件，因为它将数字和汉字的反爬字体文件分成了两个，所以需要我们自己去手动找到哪一个文件是汉字的，哪一个是数字的。接着双击woff文件即可下载，在用我们的老搭档fontc
2020-12-28 12:28:30
381
原创 分享it学习网站
偶然间发现的一个it学习网站，叫it王子。端，算法内容，都是各大机构的最新发布，官网。每一个价格五六十左右，虽然一点小贵，但确实。物超所值，需要的小伙伴自行前往看看有没有需。要的学习视频哦，如果看中喜欢的可以联系我，器学习，深度学习，大数据，云计算，前端后。
2023-06-09 06:09:50
2328
16
原创 百度翻译爬虫
对于爬虫来说 反爬高难度之一必定有js加密吧 每次看js代码看的头昏眼暗的 今天分享一个百度翻译的爬虫 js的难度恰到好处 不会太难也不会太简单 对于想了解js加密的同学可以试把手 需要用到的一点知识是JS，和PyExecJS库 PyExecJS库：在python里面 我们可以用这个库模拟执行js的代码 第一步来说肯定是打开网页源代码看看有没有想要的内容 很显然没有 那就只有继续分页网页结构 最终发现全局搜索找到了要的东西 json数据 那思路清晰的出来了 只需要请求这个url 得到response里面的
2021-01-19 22:00:55
1859
4
原创 git的用法
大家好 我叫打球的三观 一切来源一个新手所写 目的是分享和让自己掌握更牢实 所以有大神轻喷 git 分布式版本管理系统 特点：支持多人同时在线工作 每天早上从中央服务器拉一下 每天晚上在推一下到中央服务器 就能完成自己的任务 一 安装 sudo apt install git 敲git看有没有安装成功 出现这个说明安装成功 二 跟踪 先建立一个文件夹 使用git init即可管理这个文件夹 出现.git的后缀说明管理成功 三 创建版本 git add 文件名 用于将工作区的内容添加到暂存区 g
2020-08-06 11:19:38
2487
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人