Spark案例之根据ip地址计算归属地二

最新推荐文章于 2021-03-26 11:08:09 发布
最新推荐文章于 2021-03-26 11:08:09 发布
阅读量495 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ys_230014/article/details/83038929
本文深入探讨了从单机版程序到Spark集群应用的转变过程，详细解析了Spark程序的运行流程，包括Driver、Executor的角色与通信机制，以及如何利用Spark处理大数据计算任务，如根据IP地址计算归属地。

之前的是单机版的根据ip地址计算归属地，当数据量小的时候还可以，但是在大数据实际生产中是不行的，必须将它改造成一个Spark程序，然后在Spark集群上运行

Spark程序和单机版的程序不一样，下面来仔细分析一下Spark程序的运行流程

首先是一个Spark集群，集群中有Master和Worker，启动Master和Worker之后，Worker会和Master建立连接并向Master发送心跳，这时候提交一个SparkSubmit，也就是Driver给Master，然后Master会向Spark进行通信，让Worker启动Executor，然后Executor就会和Driver就行通信了， 根据ip地址计算出归属地这个Spark程序是写在Driver端的，但是执行计算是在Execoutor端，也就是说Driver端只告诉执行逻辑，并不参与任何的计算和存储，在Driver端创建了RDD之后，一旦出发执行就会创建Task，然后Driver会通过网络发送到Executor端，然后会在Executor端实现根据ip地址计算出归属地的结果，但是如果ip地址的规则文件不是放在hdfs中的，而是放在Driver端的机器上的，那么Executor端计算的时候就拿不到这个ip地址规则文件，这个时候就引出了Spark中的广播变量了，Driver通过网络将ip地址规则发送个每个Executor上，Executor上的多个Task通过这个ip地址规则来进行匹配，匹配结束之后会生成许多小文件，然后将相同分区的文件聚合到一起，最后存储到Mysql中

网站访问数据ip地址分析--Spark技术
会涂色的雨的博客
07-07 1199
网站访问数据ip地址分析 一、 技术: 语言：python 分析技术：spark 技术路线：本地数据源–>spark 分析–>打印结果数据 二、 需求： 求出各个省份访问量。 三、数据解读： 数据路径分别为： http://10.90.3.2/HUP/spark/ip.txt http://10.90.3.2/HUP/spark/http.log 1、http.log 为某网站采集的用户访问数据。 访问时间信息|访问的主机ip|访问源 2、ip.txt 为一个参照信息表，里面记载着每个省份对
Spark系列四：Spark的经典入门案列之ip地址归属地查询
m0_37657725的博客
07-07 788
目录 概述 代码实现 单级模式 分布式模式 方案一： 方案二： 工具类 提示：所有需要的文件我全部放在资源里面了，可以自行下载 概述 需求：根据访问日志的ip地址计算出访问者的归属地，并且按照省份，计算出访问次数，然后将计算好的结果写入到MySQL 解决方案流程： 1.整理数据，切分出ip字段，然后将ip地址转换成十进制 2.加载规则，整理规则，取出有用的字段...
spark小案例---根据IP计算归属地
weixin_43866709的博客
03-24 777
今天学习了一个根据IP统计归属地的小案例，在此记录一下。 在电商网站后台都会记录用户的浏览日志，然后根据这些日志文件就可以做数据分析，比如统计用户的地址，喜好，这样就可以给用户推荐商品了。 那么怎样进行统计呢，首先我们要有一份各个省份的IP规则，然后要有一份日志文件，我们从日志文件中切分出IP字段，然后与IP规则进行对比，就可以匹配到是哪个地区的了。 我们先来写一下这个小案例的需求; 根据访问日...
Spark案例之根据ip地址计算归属地三
while false
10-14 364
案例二中已经详细的通过图和介绍详细的说明了在Spark集群中根据ip地址计算归属地并将结果保存到mysql数据库中的运行流程，下面就来做具体的实现 现在的环境就如案例二中说的一样，ip地址规则是保存在Driver端的机器磁盘中，而日志文件是保存在hdfs中，所以现在需要首先在Driver端拿到ip地址规则，然后通过广播变量使Executor端能够拿到ip地址规则，然后取出hdfs中的日志文件，将...
spark例子ip归属地查询
Smart_cxr的博客
05-24 500
package cn.smart.spark import java.sql.{Connection, Date, DriverManager, PreparedStatement} import org.apache.spark.{SparkConf, SparkContext} /** * Created by Mr.Smart on 2018-05-24. */ object I...
Spark案例之根据Ip计算归属地(广播变量)
m0_48111425的博客
08-14 382
1 需求 根据ip规则数据，计算出给定日志中ip地址对应的省份信息 2 思路分析 (1) 读取Ip规则数据,整理数据,切分需要的字段,并收集到driver端(collect) (2)将driver端准备好的数据广播到Executor中,返回一个广播变量的引用(在driver端) (3)读取访问日志数据,获取访问日志中的Ip ,并用定义好的工具类,将ip转成十进制 (4)通过广播变量的引用,可以获取到事先广播到Executor中的数据 (5)使用二分查找获取省份名,并和1组合, 聚合获取.
Spark的经典入门案列ip归属地
07-06
在本案例中，我们将深入探讨Spark技术，特别是如何利用它来处理IP地址并确定其归属地。Spark是一款分布式计算框架，常用于大数据处理，因其高效、灵活和易用性而备受青睐。在这个经典入门案例中，我们将关注如何使用...
Spark入门实战：IP归属地案例解析
2. **数据清洗与转换**：可能需要将原始IP地址数据清洗和格式化成统一格式，并且可能需要将归属地数据导入Spark，以便能够进行关联查询。 3. **关联查询**：使用Spark对IP地址数据和归属地数据进行关联查询，通常是...
spark案例---实现ip地址查询
qq_37998450的博客
11-06 617
通过Spark实现ip地址查询 1.需求分析 ​ 在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市、热门报考学校等，会将这样的信息显示在热点图中。 通过日志信息（运行商家或者网站自己生成）和城市ip段信息来判断用户的ip段，统计热点经纬度。 2.技术调研 因为我们的需求是完成一张报表信息，所以对程序的实时性没有要求，所以可以选择内存计算s...
SparkSQL实现根据IP地址查询归属地且保存到Mysql中及优化
wlk_328909605的博客
09-29 1454
**需要：**各大网站每天都会产生大量的数据，数据中有用户访问网站的时间戳，IP地址，访问的域名，浏览器信息等等，现要求分析各个省份的上网人数（实际上就是在ip规则中查询用户IP的地址，再进行聚合） 实现： 1、 加载城市ip段信息，获取ip起始数字和结束数字，经度，维度 2、 加载日志数据，获取ip信息，然后转换为数字，和ip段比较 3、 比较的时候采用二分法查找，找到对应的经度和维度 4、 然...
spark 通过ip地址查询所在地（JAVA版）
张老湿的博客
12-08 1192
spark streaming 通过ip地址查询所在地（JAVA版）spark streaming 通过ip地址查询所在地JAVA版 前言 准备工作 代码时间 下载链接 参考代码前言 最近项目有一个用户地域分析的需求，现在知道ip字段，需要在spark中通过用户的ip查找归属地，我们这里将ip直接转换成对应城市的字符串 首先我们需要一份ip库，字段格式如下：1.0.1.0|1.0.3.25
spark 开发考题！面试题！ 根据IP地址查询归属地，统计归属地IP地址数
大模型与Agent智能体
04-13 2020
spark开发考题！面试题！ 网络开发式运营人才选拔！题目：现有一批IP地址(详见文件ip.txt)，需要根据IP地址库信息(详见文件iplib.txt)，查询归属地信息，并统计每一个归属地IP地址的总数。请编写spark任务并在测试环境上提交运行。统计结果请以文本文件格式请保存在xxxx目录下，源代码请保存在xxxx目录下。运行结果格式示例：江苏  移动 241江西  电信 67河南  联通 8
Spark案例之根据ip地址计算归属地一
while false
10-13 982
1.需求 根据访问日志中的ip地址计算出访问者的归属地，并且按照省份，计算出访问次数，最后将计算好的结果写入到Mysql中 2.思路分析   1)整理访问日志中的数据，切分出ip字段，然后将ip字段转换成十进制   2)加载ip地址的规则，取出有用的字段，然后将数据缓存到内存中(Executor中的内存)   3)将访问日志中的ip与ip地址的规则进行匹配(使用二分查找进行匹配)   ...
SparkSql实现access中的ip与ip规则的关联(方法一)
LJ2415的博客
12-20 291
package Test import org.apache.spark.sql.{DataFrame, Dataset, SparkSession} /** * 使用SparkSql实现access中的ip与ip规则的关联 * 前提条件：需要提前拿到全量的ip资源库信息，才可以生成DataFrame */ object SQLIIpLocation1 { /** *...
spark使用GeoIP2离线批量将ip转换出国家
qq_36470898的博客
03-26 586
离线批量数据，频繁请求接口匹配国家，不太合适，这里使用离线库方式。 离线库下载地址 ：https://download.youkuaiyun.com/download/qq_36470898/16103168 由于需要定时任务执行，我把库上传到hdfs，并通过mapPartitions 方式匹配出国家 依赖： <dependency> <groupId>com.maxmind.geoip2</groupId> <artif
Spark算子——cartesian（求笛卡尔积）详解+例题
qq_40343117的博客
09-22 3610
cartesian： 将（arr2）里的数值分别对应到arr1的第一个值上，然后分别对应第二个，第三个，组成一个个的新集合，也就是我们常说的笛卡尔积 object CartesianTest { def main(args: Array[String]): Unit = { val conf=new SparkConf().setAppName("cratesian").setMast...
【Spark】ip地址查询案例(城市热点图)
Just Do IT
07-30 1034
上图是一张很常见的城市热力图，像这样的图是如何绘制的呢？ 其实，每个地区都有自己的经纬度和上网ip区段，可以通过解析上网日志中的ip，定位某个地区的客流量。 本篇文章主要介绍，如果通过解析上网日志，查找热门地区经纬度，并把统计数据插入Mysql表中。 数据准备 这里需要两份数据： 日志数据：20090121000132.394251.http.format 链接：https://pan.baidu.com/s/1luckcRUOpCDVmivLJ03XOQ 提取码：kroh 2. 城市ip段数据.
记录Spark 笛卡尔积问题
qq_41676216的博客
03-12 1126
因为要上线一个需求，有改到spark sql。 在改之前我一般习惯把生产原逻辑跑一边理解下（需求赶，都是边读业务边写） 但奇怪的是，在生产上已经跑了24个账期的代码，拉到自己环境跑却报了 两者的版本都是2.X Detected cartesian product for INNER join between logical plans的错误。 这个错误很明显，笛卡尔积。 国内所有的解决方案都是抄袭的 设置 配置spark.conf.set("spark.sql.crossJoin.enable..
Spark案例之根据ip地址计算归属地四
while false
10-14 447
之前案例三中的ip地址规则是在Driver端的机器磁盘中存储着的，但是现在如果实在hdfs中存储着的又该如何实现呢 首先要分析清楚才能实现，存储在hdfs中并不像想象中的那么容易，首先代码实在Driver端写的，在Driver端写从hdfs中取出ip地址规则的代码会触发action，然后生成Task，分发到Executor端执行，因为日志文件比较大，所以存储在hdfs中的时候是会分区存储的，这样...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值