Spark
一颗很菜的菜
I hear and i forget,
I see and i remember,
I do and i understand
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
补 上一个 spark导出hbase表信息的工具类(获取文件夹文件信息、删除文件夹、保存文件)
package paas.storage.distributedcolumndatabase.management;import java.io.*;import java.util.ArrayList;import java.util.List;/** * class_name: FileDirUtil * describe: 获取文件夹里面的文件并删除文件夹 * creat...原创 2018-01-25 14:03:19 · 325 阅读 · 0 评论 -
Spark 从 hbase 中导出 表信息 到本地csv格式
import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.client.Result;import org.apache.hadoop.hbase.io.Immutab...原创 2018-01-25 12:51:12 · 1838 阅读 · 4 评论 -
Spark 将csv文件 自动化导入 hbase表
import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescriptor;import org.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.*;import org...原创 2018-01-25 12:34:19 · 1148 阅读 · 0 评论 -
Spark 导出 TXT 、CSV 文件 小试牛刀
/**注意1: Spark saveAsTextFile 保存出来的是一个文件夹,所以才有以下获取文件夹里面的文件并整合成一个文件的操作; 注意2: 在没有main函数的情况下 实现类一定要 implements Serializable,不然会报错不能序列化*/import org.apache.spark.api.java.JavaRDD;import pass.commo...原创 2018-01-19 18:47:08 · 8138 阅读 · 2 评论
分享