spark在风控用户团伙中的应用

来一块提拉米苏

于 2021-01-25 21:14:21 发布

阅读量2k

点赞数 2

分类专栏：大数据文章标签： spark 风控 neo4j

本文链接：https://blog.youkuaiyun.com/jklcl/article/details/112852112

版权

投资就是价值观的变现

文章目录

引言

2020年年初业务稳步增长，风控方面遇到了挑战，作为C2C(类似于得物、咸鱼)交易平台，难免会遇到用户团伙进行薅平台羊毛、自买自卖的行为，风控团队将用户的历史数据整合后，希望从中圈选出各个大大小小的团伙，来防止团伙内部和团伙之间进行交易，数据量大，纬度复杂，经过几个周的磨合尝试，以及和某些小额贷款公司的交流，终于确定了一套完整的团伙发现体系，最终走向数据的实时化，其中spark的GraphX和streaming占据重要位置。接下来简述1.0版本的应用。

SparkGraphX

选择使用SparkGraphX有两点：1、数据量大，使用普通python或者java程序实现不了，顺便用spark直接读取hive的数据；
2、使用spark强大的图计算功能，进行连通图的计算等等

执行过程

1、获取数据，从hive中获取数据转化为DF(点-关系)

    val sql =
      s"""
         |select uid, fid, type from dw.user_info_xx_d where partition_date=${date}
      """.stripMargin
    val matedata: RDD[Row] = hc.sql(sql).rdd

    matedata.map(elem => {
   
      val lineType = elem.getAs[String](2)
      println(lineType)
      lineType match{
   
        case "充值" => (elem.getAs[Long](1).toString, elem.getAs[String](0), elem.getAs[String](2), "BindAccount")
        case "支付" => (elem.getAs[Long](1).toString, elem.getAs[String](0), elem.getAs[String](2), "BindAccount")
        case "认证" => (elem.getAs[Long](1).toString, elem.getAs[String](0), elem.getAs[String](2), "RealnameVerify")
        ...
        case _ => {
   
          logger.error("========问题数据："+elem+"================")
          null
        }
      }
    })

2、数据格式化为标准的点和边， (点集合，关系集合)

//数据格式化为点边关系
val node_rels = format_node_rels(uid_tid_rels_type)

//数据格式化为GrphX标准点和边
val vertexRDD: RDD[(VertexId, PartitionID)] = node_rels._1
val edgeRDD: RDD[Edge[PartitionID]] = node_rels._2.map(elem => Edge(elem._1, elem._2._1, elem._2._2))

def format_node_rels(rdd: RDD[

最低0.47元/天解锁文章