Kettle【实践 08】全国地铁线路信息及线路站点座标数据获取脚本及技巧说明（云资源分享:完整ktr脚本及20221008最新数据SQL）

最新推荐文章于 2024-05-13 02:59:41 发布
最新推荐文章于 2024-05-13 02:59:41 发布
阅读量303 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： .... ... .. . Kettle 文章标签： etl etl工程师 kettle 数据迁移 数仓
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yuanzhengme/article/details/127557391
本文介绍了如何使用Kettle脚本获取并处理全国地铁线路信息和站点坐标数据，涉及HTTP请求、数据筛选、JSON解析及入库操作。通过转换流程的详细步骤，包括获取地铁城市信息、拼接站点URL、解析站点数据，展示了Kettle在ETL过程中的应用技巧。

资源链接在文章末尾，包含文件：

在这里插入图片描述

1.介绍

地铁线路及站点数据在某些业务场景下是挺有用的，具体使用这里不是重点，脚本使用到的转换步骤有：

  • 生成记录
  • HTTP web service
  • 过滤数据
  • 增加常量
  • Concat fields
  • 表输出

百度地图所有已开通地铁城市的地铁数据（有国内也有国外的），包含名称、拼音、站点、站点座标等数据，脚本中使用了如下两个接口:

  • 地图城市数据接口 http://map.baidu.com/?qt=subwayscity
  • 城市地铁站点接口 http://map.baidu.com/?qt=bsi&c=268 268为郑州市的code码

数据库建表语句PostgreSQL数据库的：

CREATE TABLE "table_subway_station"
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Kettle【实践 07】CSV类型文件数据解析及Concat fields使用（云资源分享:ktr脚本+csv测试文件）
Java与大数据相关实践内容分享！
08-09 1219
CSV类型文件数据解析及Concat fields使用（云资源分享:ktr脚本+csv测试文件）
全国地铁经纬度坐标sql脚本
03-19
DROP TABLE IF EXISTS `subways_`; CREATE TABLE `subways_` ( `id` int(11) NOT NULL AUTO_INCREMENT, `city` varchar(255) DEFAULT NULL COMMENT '城市名称', `line` varchar(255) DEFAULT NULL COMMENT '地铁线路', `station` varchar(255) DEFAULT NULL COMMENT '地铁站', `lng` varchar(30) DEFAULT NULL COMMENT '经度', `lat` varchar(30) DEFAULT NULL COMMENT '纬度', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=3523 DEFAULT CHARSET=utf8; -- ---------------------------- -- Records of subways_ -- ---------------------------- INSERT INTO `subways_` VALUES ('1', '上海市', '1号线', '富锦路', '121.43103', '31.398683'); INSERT INTO `subways_` VALUES ('2', '上海市', '1号线', '友谊西路', '121.434336', '31.387741');
Kettle获取接口数据到表
hyfstyle的博客
05-15 2229
配置JSON input控件：用HTTP client控件从接口读取到数据后，需要使用JSON input控件来解析，把查询结果转换为JSON。URL值是接口的具体地址，这个地址用浏览器打开能看到数据，直接给这个地址起名url，后面的核心对象控件用url来作为接口路径。配置HTTP client控件：勾选从字段中获取URL，URL字段名可以在下拉框中选择到上一个核心对象控件配置的url。到这里可以获取到的字段还有url，要进行字段选择（转换菜单下的控件），不要的字段去掉，最后选择的数据插入到表。
全国各大城市地铁站数据（更新至2023-05）
宋发元
05-17 3686
最近项目需要用到全国各大城市的地铁站数据，包含城市、线路、站点、站点经纬度等
上海地铁查询脚本
cjfcjf1130的博客
08-22 229
EXEC p_SelectStation @StartStation=N'巨峰路', @EndStation=N'四平路'CREATE PROCEDURE p_SelectStation@StartStation nvarch...
Kettle【实践 08】全国地铁线路信息及线路站点座标数据获取脚本及技巧说明（云资源分享 完整ktr脚本及20241008最新数据SQL）(1)
最新发布
2301_82242326的博客
05-13 841
生成记录过滤数据本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！
全国地铁数据
06-05
详细的全国地铁数据，有对应行政区划、名称等信息，可通过Arcgis进行可视化
地铁预约Postman脚本使用
wangliuqi123的博客
08-19 4435
首先下载脚本，并导入到Postman中。https://www.getpostman.com/collections/131aa7acf2c6fb5f4956。 1引入脚本 打开Postman。 点击“import” 设置预约参数 每个人的身份信息不同，这里需要修改为个人的身份信息。 1: 打开浏览器：访问：https://webui.mybti.cn。 2: 按“F12”，然后点击如图： 输入自己的手机号，验证码登录上去： 在console下输入：loc...
用Python脚本模拟登陆获取地铁一卡通的充值和消费记录
python学习者的博客
11-05 2312
1. 思路 这几天尝试写了个脚本模拟登陆获取地铁一卡通的充值和消费记录，学习了不少新东西，总结下记录下来。整个流程大概这样，首先模拟登陆一卡通的查询网址，分析如何获取验证码，然后就是下载验证码并识别，分析网站post数据字段，模拟post构造的数据登陆，获取登陆后的网页，bs4解析网页找到需要的数据筛选出来，pandas处理这些数据使其结构化。 2. 模拟登陆 2.1 cookie的处理 ...
全国地铁数据库表!!!!!!!!!!!!!
04-10
最新全国数据库表(不包含港澳台),后面会持续更新!!
地铁数据库
06-20
铁路数据库，数据库中表的简单设计
全国42个城市地铁站点数据（2021年）.zip
04-30
全国42个城市地铁站点数据（2021年）.zip
全国地铁数据-转自github
12-25
全国地铁数据-转自github，
北京地铁数据库
06-20
北京地铁数据库，数据库格式为SQLite格式
mysql实现地铁线路换乘查询
charie411的博客
12-24 3289
mysql实现深圳地铁线路换乘查询。
全国 40城 5000+ 地铁站点数据分析实战——这盛世如您所愿！
湾区人工智能
04-24 1767
这盛世如您所愿大家好，我是小一今天这篇文章，是在前两篇文章的基础上进行的后续分析，也算是对地铁站点系列的一个小总结目的也很明确：通过对爬取到的 40 个已开通地铁的城市，共计 5000+ ...
python爬虫，矢量数据地铁线路获取
qq_34815075的博客
11-13 615
import requests import shapefile # -*- coding: utf-8 -*- import json import urllib import math import pandas as pd import numpy as np #坐标转换，转WGS84 x_pi = 3.14159265358979324 * 3000.0 / 180.0 pi = 3.1415926535897932384626 # π a = 6378245.0 # 长半轴 ee = 0.
中国地铁数据库表 (MySQL)
热门推荐
I am your sun ❤
07-24 1万+
最近做个项目，需要地铁数据，网上找了好长时间，终于找到一个，今天分享一下。 https://laravel-china.org/index.php/topics/13125/china-metro-database-mysql#reply10 这是博主的原文链接，博主直接从百度抓了，真的很厉害，给博主点赞。大家多多支持博主。 Github: Seaony/chinese-city-subwa...
Oracle数据库与Kettle数据报盘实践：处理换行、生成CSV及压缩
"该资源主要涉及Oracle数据库的数据处理，数据报盘操作，以及使用Kettle Spoon工具生成CSV文件和后续的文件压缩与编码转换。在Oracle数据库中，针对数据中的空格和换行问题进行了处理，然后利用Kettle的Spoon工具...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@寻觅远方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值