小菜鸟 望大神多多指教

本地上传文件到hdfs使用javaApi上传文件本地上传文件到hdfs使用javaApi上传文件import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class PutHdfsFile { public static void main(String[] args) throws E

hiveserver2hive on tez 1，创建maven项目，就hive-site.xml，core-size.xml,hdfs-site.xml放到项目resources下面2.spark-hive连接：package com.people.item/** * Created by Administrator on 2017/8/2

当你需要将项目打成jar在服务器上运行时， 当你需要动态的更改输入url时， 难道你还要每一次都去打包吗？ 不，如今你不需要这样做了，使用java时，你有Scanner可以控制台输入参数， 同样的在scala中，你也是可以的。 下面来跟我一起去看一下吧！首先第一步：object StrTest { def main(args: Array[String]): Unit = {

spark-yarn模式 –master yarn-cluster （只需在spark-submit执行时，添加参数）速度慢： 提升cores数（提升并行执行的task）；使用spark-rdd，textFile基于本地系统，linux系统，路径格式简介： //hdfs单个文件夹 val onePath = "hdfs://100.38.101.2:9000//log/month=01

spark-submit，日常错误整理。随时更新

背景：能看到这篇博客的伙计儿，应该是充分理解了[理想是丰满的 现实是骨感]  这句名言了吧。为啥子这么说呢，那就是 不就是个SparkSql从hive导入到mysql吗 有什么技术含量，但是呢 不断地踩坑ing填坑ing。

import org.apache.spark.{HashPartitioner, Partitioner, SparkConf, SparkContext}/** * Created by Administrator on 2018/7/3. */object test { def main(args: Array[String]): Unit = { v...

Spark程序读取hdfs中数据 java.io.IOException: Premature EOF reading from