自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(64)
  • 收藏
  • 关注

原创 基于”逻辑回归“机器学习算法对用户购买行为进行预测

通过逻辑回归、随机森林、决策树、K-Means等算法对用户购买行为数据构建用户画像和预测购买行为,流程有数据处理、算法选择、特征分析、模型评分比较、确定模型、参数调优、应用模型、模型持久化等步骤。适合在校大学生用于毕设课题或学习算法流程。

2025-11-07 16:03:32 225

原创 2025年最新版本关于转转app的二手手机数据采集。

部分数据关键代码。

2025-09-11 17:40:10 842

原创 分享一篇关于雷电模拟器基于安卓9的安装环境及抓包的详细教程

市面上没有一篇好文章详细说明基于最新安卓9的雷电模拟器抓包的教程,在此我准备写一篇让大家少走一些弯路,本次使用的安卓模拟器是。3、模拟器配置完成后我们启动吧,进去后先按照一下代理软件(Postern-3.0.10),直接从电脑桌面拖拽进去就可以安装。6、现在开始试试抓包看看能不能,首先启动postern,然后配置代理信息,注意这个ip和端口要和小黄鸟一样。1、模拟器和抓包工具的安装在这里就不交怎么安装了哈,直接去官网下载安装包就行。4、然后再需要安装一下证书,可以启动小黄鸟然后选择证书、导出证书,记得。

2025-09-10 10:58:41 684

原创 基于js和html的点名应用

分享一个在课堂或者是公司团建上需要点名的应用程序,开箱即用。1、双击打开后先选择人员名单(可以随时更改的)2、下面的滚动速度可以根据需求调整。

2025-08-13 18:09:13 342

原创 25年8月份最新文章—爬取某无忧网的岗位信息

本文介绍了一个基于Python和Playwright的爬虫程序,用于采集前程无忧网站上19个热门城市的1000条岗位信息。程序通过处理URL参数和验证码滑块,获取岗位名称、薪资、公司信息等关键字段,并使用pandas保存为CSV文件。代码包含详细的注释,实现了自动翻页、数据解析和异常重试机制,支持自定义搜索岗位名称。该爬虫可有效收集全国主要城市的招聘数据,为就业市场分析提供数据支持。

2025-07-29 15:16:22 334

原创 25年7月最新版本利用标准算法库对医保服务平台js逆向之signData进行分析

2025年7月份最新介绍了国家医保平台signData的生成过程,给出了完整的JS代码示例,需要安装sm-crypto包运行。后续文章将继续分析encData参数的加密过程。

2025-07-17 17:29:29 1050

原创 基于Django实现的“员工管理级大模型系统”

该项目提供了一个完整的Django框架实现,主要功能包括:1)基于RBAC的权限控制;2)数据可视化与实时更新;3)大模型交互与参数调优;4)QQ邮箱密码重置功能。

2025-06-26 11:47:26 273 1

原创 基于python实现高德经纬度转wgs_84经纬度

WGS84 (World Geodetic System 1984): 全球最常用的地理坐标系,是全球定位系统(GPS)使用的标准坐标系。BD-09 (Baidu Coordinate System): 百度地图使用的坐标系。高德地图不像百度一样在GCJ-02的基础上再加密,它是直接用GCJ-02的经纬度的。所以高德经纬度转wgs_84经纬度实际就是星坐标系GCJ-02转84经纬度。,所以我们拿到的高德经纬度实际就是火星坐标系GCJ-02。我们常见的坐标系有这三种,然后。下面代码就是python转的。

2025-03-14 12:09:07 618

原创 基于python实现百度经纬度转火星经纬度再转wgs_84经纬度

通常我们使用的经纬度都是wgs_84经纬度的,如在gps中,北斗卫星定位中等等,然后我们通常拿到的却是百度的经纬度,然后在这里需要转换一下。

2025-03-12 14:30:48 370

原创 通过python获取百度地图上的某个小区的面积经纬度

利用python获取百度地图上某个小区的面积经纬度坐标

2024-12-27 11:15:03 1411

原创 爬取“连锁品牌网”的连锁数据

按照美食、购物、娱乐、服务、医疗、教育、酒店、金融、汽车等行业爬取。以下就是部分案例数据。

2024-12-26 18:30:03 281

原创 分享2024年12月份最新的小米电脑管家安装包

简单介绍一下这个小米电脑管家的作用,是可以在小米手机上和非小米电脑的Windows系统上实现文件互传和利用电脑操作手机屏幕。链接:https://pan.baidu.com/s/1KJCU3cJhZPgCH1eML7gZkQ?现在大多数的小米电脑管家安装包已经失效了,这里分享2024年12月25号最新日期测试的。安装包通过百度网盘分享。

2024-12-24 12:30:34 968 2

原创 使用etl工具kettle的日常踩坑梳理之二、从Hive中导出数据

3、我现在想把hive中某一张表的数据导出来,就先点击输入下面的表输入,输出就是用什么格式的文件存储,比如我想用csv存储就选择这个文本文件输出。4、点击新建,配置好数据库连接信息,如果你配置了无须用正确的用户名和密码访问就还需要进入选项配置auth=noSasl。6、然后点击导出的csv进行简单的配置,比如保存的目录文件名称,设置分隔符,编码格式等(点击浏览可以设置)。7、然后按住shift键别动,用鼠标把两个拉起来,然后点击那个三角形启动,然后会弹出导出的过程。

2024-11-14 16:37:14 796

原创 使用etl工具kettle的日常踩坑梳理之一、从mysql中导出数据

3、我现在想把mysql中某一张表的数据导出来,就先点击输入下面的表输入,输出就是用什么格式的文件存储,比如我想用xlsx存储就选择这个excel。提醒一下,如果数据库连接那里报错就把mysql的jar包导入到kettle的lib目录下去,我这里倒了两个版本的,因为我要连接多个版本的MySQL。7然后按住shift键别动,用鼠标把两个拉起来,然后点击那个三角形启动,然后会弹出导出的过程。6、然后点击导出的excel进行简单的配置,比如保存的目录文件名称等(点击浏览可以设置)。

2024-11-14 16:18:49 527

原创 在使用sqoop对hive导入数据到MySQL中的时候出现:ERROR tool.ExportTool: Error during export: Export job failed!的解决方法

第二步可以在使用命令的时候添加--bindir,也就是指定生成的jar包在哪个目录。需要注意的是第一次跑就会报那个错误是还没在那个目录下生成相关文件,跑第二遍就正常了。第一步可以先确定在你安装sqoop的目录下有一个lib目录。

2024-11-12 18:14:45 481

原创 聊一聊Oracle的空间计算函数SDO_NN

上面这个表达式的含义也就是说在test2中找到一个距离test1很近的,sdo_num_res=1参数就是找一个,0.5是在0.5度或者米的范围内找。网上对这个函数介绍的很少,对使用上也很模糊,我来补充一下,让大家了解一下这个函数。test1的需要找到表,test2是从哪个表找,这样子应该可以理解了哈,

2024-07-08 15:55:45 342

原创 简单聊一下Oracle,MySQL,postgresql三种锁表的机制,行锁和表锁

Oracle,MySQL,postgresql三种锁表的机制,主要介绍行锁和表锁的机制和案例分析

2024-06-10 21:28:32 819

原创 分享一个自己写的很有用的python脚本,用于查看python所有包名称和大小的

这个脚本可以把所有包的名称+大小打印出来,然后可以方便让自己卸载一些不用的很大的

2024-06-06 16:52:39 787

原创 Chrome使用edge浏览器的插件

Google浏览器使用edge浏览器插件的流程

2024-06-05 10:47:35 718

原创 获取boss直聘的岗位信息--2023年7月份

在本篇博客中,我将分享如何使用Selenium进行网页数据采集,并展示一个具体的代码示例。我们将通过Selenium访问一个招聘网站,抓取招聘信息,并将数据保存到CSV文件中。

2024-06-05 10:44:40 940 4

原创 国内“大模型”AIGC产品体验分享

随着腾讯元宝APP的正式上线,国内大模型产品市场迎来了又一位重要参与者。我有机会体验过一些国内外的“大模型”AIGC产品,如百度的文心一言、阿里的通义千问、OpenAI的GPT-4,以及刚上线的腾讯元宝。

2024-06-05 10:34:04 750

原创 程序员职业生涯中的重要职业素养

作为程序员,具备上述职业素养对职业生涯的成功至关重要。持续学习、写出高质量代码、有效沟通、具备责任感和职业道德、适应变化并创新,都是每个程序员应努力培养的素质。在实际工作中,展示这些职业素养,不仅有助于个人职业发展,也对团队和项目的成功起到了积极作用。

2024-06-05 10:32:31 428

原创 GPT-4o横空出世:技术革命的新篇章

GPT-4o是OpenAI最新发布的语言模型,展现了在自然语言理解和生成方面的显著进步。与之前的版本(GPT-3.5和GPT-4.0)相比,GPT-4o具备更强的上下文理解能力、高质量的文本生成,以及优秀的多模态处理能力,同时在多语言支持和专业领域应用上也有明显提升。

2024-06-05 10:26:58 1208

原创 补充一下关于大众点评如何获取cookie的问题

这个教程主要介绍如何拿cookie,小白可以看看

2024-06-05 10:10:01 1118

原创 大众点评店铺信息及好评,中评,差评的爬虫程序最新版2024-5月份之差评数据的采集

将2024-5最新系列的大众点评的美食店铺信息采集流程分段分享出来,都是直接换个cookie就可以用了

2024-05-31 11:52:52 762

原创 大众点评店铺信息及好评,中评,差评的爬虫程序最新版2024-5月份之中评数据的采集

将2024-5最新系列的大众点评的美食店铺信息采集流程分段分享出来,都是直接换个cookie就可以用了

2024-05-31 11:51:14 258

原创 大众点评店铺信息及好评,中评,差评的爬虫程序最新版2024-5月份之好评数据的采集

将2024-5最新系列的大众点评的美食店铺信息采集流程分段分享出来,都是直接换个cookie就可以用了

2024-05-31 11:48:53 815

原创 大众点评店铺信息及好评,中评,差评的爬虫程序最新版2024-5月份之店铺详情信息采集

将2024-5最新系列的大众点评的美食店铺信息采集流程分段分享出来,都是直接换个cookie就可以用了

2024-05-31 11:40:06 365 2

原创 大众点评店铺信息及好评,中评,差评的爬虫程序最新版2024-5月份之基础店铺采集

将2024-5最新系列的大众点评的美食店铺信息采集流程分段分享出来,都是直接换个cookie就可以用了

2024-05-31 11:35:50 823 2

原创 使用fme把gis数据保存为gdb格式的,然后用arcgis map落图查看

记录一下fme工具和arcamp工具的使用

2024-05-24 12:20:05 1479

转载 第二篇:js逆向基础知识

【代码】第二篇:js逆向基础知识。

2024-05-19 23:01:49 223

转载 第一篇:爬虫基础内容回顾

我发现博客园里面作者死不悔改奇男子更新的js逆向爬虫系列非常好,特意这里一下发给大家看看,有条件的去关注一下原作者哟,每天一篇

2024-05-19 22:58:53 72

原创 使用fme工具把数据入到数据库中,如MySQL,Oracle,postgresql等

使用fme工具把数据入进数据库的方法,这个fme工具使用教程比较少,所以特意写了一篇文章来介绍常规的入数据的方法。另外如果有需要,你们可以留言,我介绍一下如何使用fme入有空间属性的数据,比如gis数据的导入。

2024-05-19 15:27:57 922

原创 知网相关文章采集

step为每批次爬取的页数,group_num是能够爬取完整step的组数。Save_path = r'C:\Users\Childers\中国知网关键词.xlsx'print(f'第{j}页爬取失败!# 当能够获取完整step时,循环最大值设置为step。# 当不能够获取完整的step时,循环最大值设置为剩余获取页数。# 解决代理报错问题。print(f'正在爬取第{j}页')"""step为每批次爬取的页数,开始页数,保存路径"""# 保存获取失败的网页页码。# 上次无响应的页数。

2024-05-11 10:06:31 396

原创 以线程池的概念爬取Top250图片

水一篇文章

2024-05-11 10:04:02 458

原创 小程序端的懂车帝二手车数据采集

懂车帝小程序端的二手车数据爬取。无加密清空,设置异常结束,下一次不会从头爬取策略

2024-05-05 20:28:35 1486

原创 pc端x车帝数据爬取

pc端懂车帝数据爬取,但是未解决价格加密问题,下一篇可以看我小程序端的,无加密情况

2024-05-05 20:26:13 1057

原创 大数据三大组件(spark,hadoop,hive)的安装之spark之伪分布式

1、首先进入spark-shell命令窗口输入import org.apache.spark.sql.hive.HiveContext。说明一下,本次安装的spark是经过编译后的可以直接处理hive数仓的spark2.4.0版本。6、配置sparksql的远程连接。3、下面这个些命令是解压spark的,解压完可以直接用。5、测试是否可以正确访问hive中的数据库成功。8、测试链接,这个是我在datagrip测试的。

2024-02-23 22:02:30 519

原创 oralce空间数据类型转pg库中

把Oracle的空间类型数据转成pg库的

2024-02-23 21:35:47 615

原创 大数据三大组件(spark,hadoop,hive)的安装之hive之伪分布式

cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib #将mysql-connector-java-5.1.40-bin.jar拷贝到/usr/local/hive/lib目录下。sudo tar -zxvf ./apache-hive-3.1.2-bin.tar.gz -C /usr/local # 解压到/usr/local中。

2024-02-15 13:40:40 932

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除