hadoop相关
关注
分享
扫一扫
文章平均质量分 96
hadoop相关内容
草宝虫
现任某 IT 公司架构师、IT 写作者。精通多门编程语言，主攻 Java 后台开发，十多年项目经验，希望在 IT 领域发挥自己的光辉，给大家做一个启发或者引导。
展开
-
Centos7.5 Ambari2.7.4部署
本文介绍了Ambari2.7.4在CentOS7.5中使用本地镜像方式进行加速部署。原创 2020-03-13 15:00:00 · 2190 阅读 · 2 评论 -
CentOS7 Ambari2.7.5编译
本文讲解了在纯净CentOS7环境下，编译Ambari2.7.5所需进行的一系列操作及异常处理。原创 2020-03-13 14:41:57 · 6999 阅读 · 4 评论 -
hbase-client1.2.0新版api获取数据方式
public static void QueryAll(String tableName) { try { Table table = connection.getTable(TableName.valueOf(tableName)); ResultScanner rs = table.getScanner(new Scan()); for...原创 2019-04-02 16:17:07 · 1022 阅读 · 0 评论 -
HBase创建表单列BlockSize不能大于16M问题解决
ERROR: org.apache.hadoop.hbase.DoNotRetryIOException: Block size for column family prop must be between 1K and 16MB. Set hbase.table.sanity.checks to false at conf or table descriptor if you want to ...原创 2019-04-02 16:16:12 · 2561 阅读 · 0 评论 -
Spark 连接 HBase 入库及查询操作
本实例采用Scala开发，实现了RDD数据两种方式入库到HBase，从HBase中读取数据并print输出。build.sbtname := "SparkSbt"version := "0.1"scalaVersion := "2.10.5"libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.6.0...原创 2019-04-23 16:00:13 · 1023 阅读 · 0 评论 -
Scala 开发 Spark 程序
看spark和scala版本运行spark-shellWelcome to____ __/ __/__ ___ _____/ /___\ \/ _ \/ _ `/ __/ '_//___/ .__/\_,_/_/ /_/\_\ version 1.6.0/_/Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit...原创 2019-04-22 15:49:46 · 478 阅读 · 0 评论 -
java jdbc连接hive
pom.xml<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc --><dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifact...原创 2019-03-07 10:34:38 · 862 阅读 · 0 评论 -
hive shell/sql 命令行
命令hive进入hive命令行//////列表数据库show databases;//////创建数据库create database myhive;//////创建数据库时检查存在与否create database if not exists t1;//////创建数据库时带注释create database if not exists t2 comment 'l...原创 2019-03-06 18:09:11 · 1205 阅读 · 0 评论 -
java maven调用hbase
pom.xml<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-it</artifactId> <version>1.2.0</version></dependency>原创 2019-03-06 14:32:45 · 3221 阅读 · 0 评论 -
HBase shell命令行
启动Shell $ hbase shell列出所有的表 hbase > list创建名为mytable的表，含有一个列族hb hbase > create 'mytable' , 'hb'在‘mytable’表的'first'行中的‘hb:data’列对应的数据单元中插入字节数组‘hello HBase’hbase > put 'myta...原创 2019-03-06 14:27:13 · 294 阅读 · 0 评论 -
连接hadoop java.io.IOException:Could not locate executable null\bin\winutils.exe in the Hadoop binarie
java连接hadoop报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.原因查找找到报错位置hadoop包中的xxx/Shell.javapublic static final String getQualifiedBinPath...原创 2019-03-06 10:42:10 · 936 阅读 · 0 评论 -
impala sql清单
创建数据库CREATE DATABASE IF NOT EXISTS database_name;查看所有数据库show databases删除数据库DROP DATABASE IF EXISTS sample_database;进入数据库use dbname创建表CREATE TABLE IF NOT EXISTS test.student(name...原创 2019-03-05 16:34:22 · 1445 阅读 · 0 评论 -
CDH集群异常处理ERROR Failure due to stall on seeded torrent.、重装时hdfs提示目录已存在、CDH重启不正常
//////////////////////集群安装报错 ERROR Failure due to stall on seeded torrent. 解决：重启agent服务//////////////////////重装时hdfs提示目录已存在rm -rf /dfsrm -rf /impala////////////////////////CDH...原创 2019-03-05 14:00:19 · 2596 阅读 · 0 评论 -
离线部署CDH5.16.1及各种坑
所需安装包及版本说明：由于我们的操作系统为CentOS7，需要下载以下文件： cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 manifest.jsonCloudera ...原创 2019-07-04 14:19:46 · 9114 阅读 · 0 评论 -
centos7 hadoop3.0.1安装
安装JDKrpm -qa | grep java找出OPENJDKyum -y remove java 上一步复制的jdk文件名卸载openjdkrpm -ivh jdk文件名安装jdk设置jdk环境变量需要修改配置文件/etc/profile，追加export JAVA_HOME="/usr/java/jdk-10"export PATH=$JAVA_HOME/bin:$PATH修改完毕后，执行...原创 2018-04-01 21:36:18 · 1535 阅读 · 0 评论