HDFS
关注
分享
扫一扫
搁浅的csdn
本人喜欢挑战自我，勇于开拓创新。工作认真负责，有吃苦精神!我期望寻找一个能够更好展示自己的人生舞台。追求永无止境，奋斗永无穷期。我要在新的起点、新的层次、以新的姿态、展现新的风貌，书写新的记录，创造新的成绩，我的自信，来自我的潜力，您的鼓励;我的期望寄托于您的慧眼。
展开
-
Python连接大数据平台HDFS传输文件
Python连接大数据平台HDFS传输文件一、Python连接大数据平台HDFS传输文件：一、Python连接大数据平台HDFS传输文件：1、实现代码如下：import hdfshdfs_ip = "ip:50070"try: client = hdfs.Client(hdfs_ip) //上传前hdfs指定路径下文件列表 print(client.list(...原创 2019-10-31 11:51:15 · 1237 阅读 · 0 评论 -
服务器本地文件加载到CarbonData与简单sql编写记录
服务器本地文件加载到CarbonData与简单sql编写记录一、加载文件到CarbonData：二、hdfs和sql的一些简单操作：一、加载文件到CarbonData：1、首先可以传送文件到大数据平台，命令如下：scp -r -P 端口号 主机名:/本地目录/完整的文件名 ~/服务器目录/2、服务器上传本地文件到HDFS，命令如下：hdfs dfs -put ~/服务器本地目录/完整的...原创 2019-07-19 16:29:29 · 776 阅读 · 0 评论 -
Flume安装配置以及参数详解
Flume安装配置以及参数详解一、Flume基本概念：二、Flume基本结构：三、Flume的安装配置：四、数据传输的配置：五、使用Flume过程中遇到的问题：一、Flume基本概念：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据...原创 2019-08-05 11:26:28 · 837 阅读 · 0 评论