spark graphx实现共同好友的聚合

最新推荐文章于 2021-09-10 15:36:59 发布
最新推荐文章于 2021-09-10 15:36:59 发布
阅读量3.1k 收藏 7
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： 共同好友 好友推荐 spark graphx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010990043/article/details/79114807

spark graphx是一款优秀的图计算框架，对于批量计算图计算借助于spark的计算引擎，实现数据的快速聚合。

对于最基本的 共同好友推荐可以很方便的实现，一下为实现代码：

数据源的数据格式：

 1 2

2 4

。。。



                

        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
手把手教你用Spark GraphX分析社交网络关系

				
			

			

				

					AI天才研究院
				

				

					05-05
					
					497
					
				

			

		

		

			
				
社交网络包含海量用户及其复杂关系，传统关系型数据库难以高效处理此类图结构数据。Spark GraphX作为分布式图计算框架，提供了强大的图处理能力，支持大规模图数据的存储、转换和算法执行。本文旨在通过实战案例，详细讲解如何利用GraphX分析社交网络中的用户关系，包括影响力评估、社区检测、路径分析等核心场景。核心概念：解析GraphX图模型、顶点与边结构、分布式图表示算法原理：详解PageRank、连通组件、最短路径算法及代码实现实战案例：从环境搭建到完整代码实现的全流程演示应用场景。

			
		

	



                

            
              



	

		

			

				
					
Spark GraphX 图算法的理解

				
			

			

				

					Huangjiazhen711的博客
				

				

					10-20
					
					1483
					
				

			

		

		

			
				
Spark GraphX是一个分布式图处理框架，基于Pregel接口实现了常用的图算法。包括 PageRank、SVDPlusPlus、TriangleCount、 ConnectedComponents、LPA 等算法，以下通过具象化的图实例理解相应的算法用途。

			
		

	



              


  
              

                


	

		

			

				
					
Spark GraphX 之同人关系归一分析 （一）

				
			

			

				

					蚂蚁拾贝的博客
				

				

					03-20
					
					712
					
				

			

		

		

			
				
Spark GraphX 之同人关系归一分析

一、绪论



1.1 研究背景和意义

随着互联网的迅速发展，多种多样网络应用程序呈现了爆发式的增长，直接造成人们对互联网的高度依赖性，人们的生活方式也逐步从现实生活转变到以网络生活为主的模式。人们通过网络与他人进行交流沟通，通过网络邮件的方式传递重要文件或信息，通过网络购物满足对象生活物质的追求，通过网络视频来满足对生活娱乐的追求等等。然而，...

			
		

	





	

		

			

				
					
spark共同好友

				
			

			

				

					dian张
				

				

					01-10
					
					1293
					
				

			

		

		

			
				
数据格式如下A B C D E F
B A C D E
C A B E
D A B E
E A B C D
F Apackage com;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import o

			
		

	



		

			
		



	

		

			

				
					
spark求共同好友

				
			

			

				

					onway_goahead的博客
				

				

					04-03
					
					698
					
				

			

		

		

			
				
在做一些项目时，又时可能遇到一些类似与求共同好友的要求，可以根据共同好友进行推荐添加好友，就比如说A和B的好友有M,K,O,

数据格式如下
A:B,D,E,H,I,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:B,C,D,E,O,ML，那么有可能A和B就是也认识，所以可以把B推荐给A，下面是用Spark求共同好友的实现




import org....

			
		

	





	

		

			

				
					
Spark组件之GraphX学习8--邻居集合

				
			

			

				

					Keep Learning
				

				

					05-03
					
					2907
					
				

			

		

		

			
				
更多代码请见：https://github.com/xubo245/SparkLearning



1解释
收集每个顶点的邻居顶点


2.代码：
/**
 * @author xubo
 * ref http://spark.apache.org/docs/1.5.2/graphx-programming-guide.html
 * time 20160503
 */

pa

			
		

	





	

		

			

				
					
[Spark共同好友查找]

				
			

			

				

					程序车轮
				

				

					07-18
					
					5224
					
				

			

		

		

			
				
共同好友的概念

      在一个庞大的社交网络中，两个互相认识的朋友之间的也会存在共同好友。在这个庞大的社交网络总，对所有的用户对中找到”共同好友”，这是一个复杂及有趣的事情。假设，U为一个用户及其所有好友的一个集合：｛U1,U2,U3,…Un｝,我们要从每组集合（Ui,Uj）（i != j）找出共同好友关系。

       在如今的大多数社交网络（Facebook,LinkedIn,QQ）...

			
		

	





	

		

			

				
					
Spark GraphX源码分析.pdf

				
			

			

				

					12-24
				

			

		

		

			
				
GraphX在Spark的基础上实现了图并行计算，并提供了丰富的图操作接口。本文档详细地分析了Spark GraphX的源码，旨在深入理解其内部架构和算法实现。  一、分布式图计算  分布式图计算涉及将大型图数据分布到多个计算...

			
		

	





	

		

			

				
					
Spark GraphX基本操作.pdf

				
			

			

				

					07-04
				

			

		

		

			
				
Spark GraphX 提供了多种图形处理方法，包括图形过滤、图形聚合、图形遍历等。在本例中，我们使用 `filter` 方法对图形进行过滤，统计了所有 postdoc 的用户数量和所有 srcId 大于 dstId 的边数量。  图形查询  ...

			
		

	





	

		

			

				
					
Spark graph图处理人际亲密度 笔记(spark-shell版本和idea scala版本 有maven依赖)

				
			

			

				

					Mr_Bright的博客
				

				

					11-26
					
					382
					
				

			

		

		

			
				
user.txt 文件内容：
2 1
2 4
4 1
5 2
5 3
5 6
3 6
3 2

package Graph

import org.apache.spark.sql.SparkSession
// 导入Spark Graph包
import org.apache.spark.graphx._


object GraphStu {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().

			
		

	





	

		

			

				
					
spark计算共同好友

				
			

			

				

					qrjqrjqrj的专栏
				

				

					12-04
					
					375
					
				

			

		

		

			
				
package examples.relationshipimport org.apache.spark.{SparkConf, SparkContext}object RelationshipStatistics {
 private def doit(sparkContext: SparkContext): Unit = {
 //定义一组假设的朋友关系数据
 val relat...

			
		

	





	

		

			

				
					
spark graphx 实现二跳邻居统计——使用pregel

				
			

			

				

					jasonwang_的博客
				

				

					07-14
					
					2888
					
				

			

		

		

			
				
本文是对二跳邻居统计的实战，因为用到了pregel，需要对pregel模型有一些大致的了解，例如各个参数的意义，各个函数的作用，以及大致的流程。最核心的应该就是消息发送函数这个部分，注释中有对两轮迭代的过程有解释。def main(args: Array[String]): Unit = {
    case class Person(id: String, tel: String, relate...

			
		

	





	

		

			

				
					
Spark GraphX 聚合操作

				
			

			

				

					weixin_30381793的博客
				

				

					11-24
					
					170
					
				

			

		

		

			
				
package Spark_GraphX

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.graphx._
import org.apache.spark.graphx.util.GraphGenerators

/**
  * 计算每一个用户的追随者数量和追随者的平均...

			
		

	





	

		

			

				
					
经典教程 | 基于Spark GraphX实现微博二度关系推荐

				
			

			

				

					weixin_45583158的博客
				

				

					01-05
					
					761
					
				

			

		

		

			
				
导读：图计算是近几年大数据领域非常受关注的热点，社交网络中的好友关系推荐是一种典型图计算场景，本文是微博关系项目团队在二度关系计算中的一些实践，供高可用架构读者参考，作者...

			
		

	





	

		

			

				
					
Spark 共同好友解决方案：求大量集合的两两交集

				
			

			

				

					陈杰
				

				

					11-16
					
					3066
					
				

			

		

		

			
				
Hadoop/MapReduce 共同好友解决方案：求大量集合的两两交集





import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

import scala.collection.mutable.ListBuffer
object FindCommonFriends {
  def main

			
		

	





	

		

			

				
					
SPARK图计算入门--找出同一个人打上唯一标识

				
			

			

				

					HANG.NIAN
				

				

					02-22
					
					2857
					
				

			

		

		

			
				
数据



13866778899,刘德华,wx_hz,2000
13877669988,华仔,wx_hz,3000
,刘德华,wx_ldh,5000
13912344321,马德华,wx_mdh,12000
13912344321,二师兄,wx_bj,3500
13912664321,猪八戒,wx_bj,5600


代码实现


/**
  * @author HANGGE 2020/2/21...

			
		

	





	

		

			

				
					
【Spark GraphX】社交网图分析

				
			

			

				

					hyj
				

				

					09-10
					
					1186
					
				

			

		

		

			
				
目录

一、数据

1、数据关系图

2、数据说明

3、顶点表

4、边表

二、需求

三、需求实现

1、构造fans网图

2、找出年龄大于30岁的顶点

3、找出边属性大于5的边

4、将每个顶点的年龄+20

5、将边的属性*3

6、找出顶点年龄大于30的子图

7、创建以User作为顶点的新图

8、找出年纪最大的追求者

9、计算追求者的平均年纪

10、找出顶点5到各顶点的最短距离

一、数据

1、数据关系图



2、数据说明

    每个顶点代表一位社交成员，如顶点3...

			
		

	





	

		

			

				
					
Spark.graph实现找有某个共同关系的数据合并聚合

				
			

			

				

					江湖峰哥的博客
				

				

					04-14
					
					344
					
				

			

		

		

			
				
/**
  * Description: 使用Spark.graph实现找有某个共同关系的数据合并聚合
  * Author: Administrator
  * Date: 2020/4/14 0014
  */
object TempObj {
 def main(args: Array[String]): Unit = {
  val sparkSession = SparkSession....

			
		

	





	

		

			

				
					
大数据Spark处理算法004-查找共同好友

				
			

			

				

					犇犇
				

				

					06-26
					
					439
					
				

			

		

		

			
				
package cn.spark.study.core;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Map...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值