spark本地调试内网hdfs

spark读取hdfs文件原理

 /**获取具有任意输入格式的Hadoop文件的RDD
   *
   * 因为Hadoop的RecordReader类对每条记录重新使用相同的可写对象,
   * 所以直接缓存返回的RDD或直接将其传递给聚合或无序处理操作将创建同一对象的多个引用。
   * 如果计划直接缓存、排序或聚合Hadoop可写对象,您应该首先使用“map”函数复制它们。
   * @param path 输入文件的目录,路径可以是逗号分隔的路径作为输入列表
   * @param inputFormatClass 要读取的数据的存储格式
   * @param keyClass	map阶段输入的k1
   * @param valueClass 	map阶段输入的v2
   * @param minPartitions 生成的RDD的建议最小分区数
   * @return 键元组与对应值的RDD
   */
  def hadoopFile[K, V](
      path: String,
      inputFormatClass: Class[_ <: InputFormat[K, V]],
      keyClass: Class[K],
      valueClass: Class[V],
      minPartitions: Int = defaultMinPartitions): RDD[(K, V)] = withScope {
    assertNotStopped()

    // 这是一个强制加载本地hdfs-site.xml。
    // See SPARK-11227 for details.
    FileSystem.getLocal(hadoopConfiguration)

    // 一个Hadoop配置可以是大约10kb,这是相当大的,所以广播它。(用于executor节省内存)
    val confBroadcast = broadcast(new Seri
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值