- 博客(57)
- 收藏
- 关注
RSS订阅原创 基于python实现高德经纬度转wgs_84经纬度
WGS84 (World Geodetic System 1984): 全球最常用的地理坐标系，是全球定位系统（GPS）使用的标准坐标系。BD-09 (Baidu Coordinate System): 百度地图使用的坐标系。高德地图不像百度一样在GCJ-02的基础上再加密，它是直接用GCJ-02的经纬度的。所以高德经纬度转wgs_84经纬度实际就是星坐标系GCJ-02转84经纬度。，所以我们拿到的高德经纬度实际就是火星坐标系GCJ-02。我们常见的坐标系有这三种，然后。下面代码就是python转的。
2025-03-14 12:09:07
171
原创 基于python实现百度经纬度转火星经纬度再转wgs_84经纬度
通常我们使用的经纬度都是wgs_84经纬度的，如在gps中，北斗卫星定位中等等，然后我们通常拿到的却是百度的经纬度，然后在这里需要转换一下。
2025-03-12 14:30:48
203
原创 分享2024年12月份最新的小米电脑管家安装包
简单介绍一下这个小米电脑管家的作用，是可以在小米手机上和非小米电脑的Windows系统上实现文件互传和利用电脑操作手机屏幕。链接：https://pan.baidu.com/s/1KJCU3cJhZPgCH1eML7gZkQ?现在大多数的小米电脑管家安装包已经失效了，这里分享2024年12月25号最新日期测试的。安装包通过百度网盘分享。
2024-12-24 12:30:34
598
2
原创 使用etl工具kettle的日常踩坑梳理之二、从Hive中导出数据
3、我现在想把hive中某一张表的数据导出来，就先点击输入下面的表输入，输出就是用什么格式的文件存储，比如我想用csv存储就选择这个文本文件输出。4、点击新建，配置好数据库连接信息，如果你配置了无须用正确的用户名和密码访问就还需要进入选项配置auth=noSasl。6、然后点击导出的csv进行简单的配置，比如保存的目录文件名称,设置分隔符，编码格式等(点击浏览可以设置)。7、然后按住shift键别动，用鼠标把两个拉起来，然后点击那个三角形启动，然后会弹出导出的过程。
2024-11-14 16:37:14
671
原创 使用etl工具kettle的日常踩坑梳理之一、从mysql中导出数据
3、我现在想把mysql中某一张表的数据导出来，就先点击输入下面的表输入，输出就是用什么格式的文件存储，比如我想用xlsx存储就选择这个excel。提醒一下，如果数据库连接那里报错就把mysql的jar包导入到kettle的lib目录下去，我这里倒了两个版本的，因为我要连接多个版本的MySQL。7然后按住shift键别动，用鼠标把两个拉起来，然后点击那个三角形启动，然后会弹出导出的过程。6、然后点击导出的excel进行简单的配置，比如保存的目录文件名称等(点击浏览可以设置)。
2024-11-14 16:18:49
445
原创 在使用sqoop对hive导入数据到MySQL中的时候出现：ERROR tool.ExportTool: Error during export: Export job failed!的解决方法
第二步可以在使用命令的时候添加--bindir，也就是指定生成的jar包在哪个目录。需要注意的是第一次跑就会报那个错误是还没在那个目录下生成相关文件，跑第二遍就正常了。第一步可以先确定在你安装sqoop的目录下有一个lib目录。
2024-11-12 18:14:45
310
原创 聊一聊Oracle的空间计算函数SDO_NN
上面这个表达式的含义也就是说在test2中找到一个距离test1很近的，sdo_num_res=1参数就是找一个，0.5是在0.5度或者米的范围内找。网上对这个函数介绍的很少，对使用上也很模糊，我来补充一下，让大家了解一下这个函数。test1的需要找到表，test2是从哪个表找，这样子应该可以理解了哈，
2024-07-08 15:55:45
289
原创 简单聊一下Oracle，MySQL，postgresql三种锁表的机制，行锁和表锁
Oracle，MySQL，postgresql三种锁表的机制，主要介绍行锁和表锁的机制和案例分析
2024-06-10 21:28:32
686
原创 分享一个自己写的很有用的python脚本，用于查看python所有包名称和大小的
这个脚本可以把所有包的名称+大小打印出来，然后可以方便让自己卸载一些不用的很大的
2024-06-06 16:52:39
701
原创 获取boss直聘的岗位信息--2023年7月份
在本篇博客中，我将分享如何使用Selenium进行网页数据采集，并展示一个具体的代码示例。我们将通过Selenium访问一个招聘网站，抓取招聘信息，并将数据保存到CSV文件中。
2024-06-05 10:44:40
706
原创 国内“大模型”AIGC产品体验分享
随着腾讯元宝APP的正式上线，国内大模型产品市场迎来了又一位重要参与者。我有机会体验过一些国内外的“大模型”AIGC产品，如百度的文心一言、阿里的通义千问、OpenAI的GPT-4，以及刚上线的腾讯元宝。
2024-06-05 10:34:04
564
原创 程序员职业生涯中的重要职业素养
作为程序员，具备上述职业素养对职业生涯的成功至关重要。持续学习、写出高质量代码、有效沟通、具备责任感和职业道德、适应变化并创新，都是每个程序员应努力培养的素质。在实际工作中，展示这些职业素养，不仅有助于个人职业发展，也对团队和项目的成功起到了积极作用。
2024-06-05 10:32:31
343
原创 GPT-4o横空出世：技术革命的新篇章
GPT-4o是OpenAI最新发布的语言模型，展现了在自然语言理解和生成方面的显著进步。与之前的版本（GPT-3.5和GPT-4.0）相比，GPT-4o具备更强的上下文理解能力、高质量的文本生成，以及优秀的多模态处理能力，同时在多语言支持和专业领域应用上也有明显提升。
2024-06-05 10:26:58
1077
原创 大众点评店铺信息及好评，中评，差评的爬虫程序最新版2024-5月份之差评数据的采集
将2024-5最新系列的大众点评的美食店铺信息采集流程分段分享出来，都是直接换个cookie就可以用了
2024-05-31 11:52:52
705
原创 大众点评店铺信息及好评，中评，差评的爬虫程序最新版2024-5月份之中评数据的采集
将2024-5最新系列的大众点评的美食店铺信息采集流程分段分享出来，都是直接换个cookie就可以用了
2024-05-31 11:51:14
191
原创 大众点评店铺信息及好评，中评，差评的爬虫程序最新版2024-5月份之好评数据的采集
将2024-5最新系列的大众点评的美食店铺信息采集流程分段分享出来，都是直接换个cookie就可以用了
2024-05-31 11:48:53
737
原创 大众点评店铺信息及好评，中评，差评的爬虫程序最新版2024-5月份之店铺详情信息采集
将2024-5最新系列的大众点评的美食店铺信息采集流程分段分享出来，都是直接换个cookie就可以用了
2024-05-31 11:40:06
294
2
原创 大众点评店铺信息及好评，中评，差评的爬虫程序最新版2024-5月份之基础店铺采集
将2024-5最新系列的大众点评的美食店铺信息采集流程分段分享出来，都是直接换个cookie就可以用了
2024-05-31 11:35:50
641
2
转载 第一篇：爬虫基础内容回顾
我发现博客园里面作者死不悔改奇男子更新的js逆向爬虫系列非常好，特意这里一下发给大家看看，有条件的去关注一下原作者哟，每天一篇
2024-05-19 22:58:53
49
原创 使用fme工具把数据入到数据库中，如MySQL，Oracle，postgresql等
使用fme工具把数据入进数据库的方法，这个fme工具使用教程比较少，所以特意写了一篇文章来介绍常规的入数据的方法。另外如果有需要，你们可以留言，我介绍一下如何使用fme入有空间属性的数据，比如gis数据的导入。
2024-05-19 15:27:57
657
原创 知网相关文章采集
step为每批次爬取的页数，group_num是能够爬取完整step的组数。Save_path = r'C:\Users\Childers\中国知网关键词.xlsx'print(f'第{j}页爬取失败！# 当能够获取完整step时，循环最大值设置为step。# 当不能够获取完整的step时，循环最大值设置为剩余获取页数。# 解决代理报错问题。print(f'正在爬取第{j}页')"""step为每批次爬取的页数，开始页数，保存路径"""# 保存获取失败的网页页码。# 上次无响应的页数。
2024-05-11 10:06:31
374
原创 大数据三大组件(spark,hadoop,hive)的安装之spark之伪分布式
1、首先进入spark-shell命令窗口输入import org.apache.spark.sql.hive.HiveContext。说明一下，本次安装的spark是经过编译后的可以直接处理hive数仓的spark2.4.0版本。6、配置sparksql的远程连接。3、下面这个些命令是解压spark的，解压完可以直接用。5、测试是否可以正确访问hive中的数据库成功。8、测试链接，这个是我在datagrip测试的。
2024-02-23 22:02:30
474
原创 大数据三大组件(spark,hadoop,hive)的安装之hive之伪分布式
cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib #将mysql-connector-java-5.1.40-bin.jar拷贝到/usr/local/hive/lib目录下。sudo tar -zxvf ./apache-hive-3.1.2-bin.tar.gz -C /usr/local # 解压到/usr/local中。
2024-02-15 13:40:40
891
原创 hive远程连接时报无法创建数据库或表的权限问题
然后可以在Hadoop的bin目录下执行这个命令bin/hdfs dfs -chmod -R 777 /usr/local/hadoop/tmp/dfs/data。报这个错误是因为对应的/usr/local/hadoop/tmp/dfs/data目录没有给Hadoop等执行权限。如果大家遇到像我这种问题可以这样子解决。
2024-02-03 14:40:23
526
原创 大数据三大组件(spark,hadoop,hive)的安装之Hadoop之伪分布式
主要分享安装spark,hadoop,hive的教程，还有一些远程连接需要注意的问题
2024-02-02 21:02:58
829
1
原创 Ubuntu20安装postgres12以及配置远程连接
3、安装完了可以看看是否安装成功，可以用sudo -u postgres psql -c "SELECT version();2、再执行安装postgres命令sudo apt install postgresql postgresql-contrib。8、再输入sudo vim /etc/postgresql/12/main/pg_hba.conf配置这一行。4、依次用这两条命令可以使用超级用户psql登录，方便修改默认密码。6、修改postgres超级用户的密码。13、也可以，到这里就结束了。
2024-01-20 23:45:08
969
1
原创 python调用某德地图的地址与经纬度转换
你就可以把地址比如清华大学转为（116.326582,40.002436）。反过来说也可以通过经纬度转为地址。2然后创建一个应用选取key值。主要取到应用的key值。3然后可以用代码转换了。
2023-11-05 17:00:46
340
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人