大数据
关注
分享
扫一扫
Sword1996
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据环境单点安装(hadoop,hbase,zookeeper,phoenix,spark)
大数据环境单点安装版本版本jdk-8u211-linux-x64apache-phoenix-5.0.0-HBase-2.0-binapache-zookeeper-3.5.5hadoop-3.1.2hbase-2.0.5spark-2.3.3-bin-hadoop2.7准备修改主机名和host为mastervim /etc/hostn...原创 2020-04-27 17:23:48 · 532 阅读 · 0 评论 -
Spark往hbase里用saveAsHadoopDataset写数据时会出现错误解决
Spark往hbase里用saveAsHadoopDataset写数据时会出现如下错误:Exception in thread "main" org.apache.spark.SparkException: Job aborted. at org.apache.spark.internal.io.SparkHadoopWriter$.write(SparkHadoopWriter.scala...原创 2020-04-27 17:22:23 · 1015 阅读 · 0 评论 -
Phoenix统计某段时间内的数据量
原来直接mysql语句就好了…还试了那么多…select count(*) from "normalFlow" where "Timestamp" BETWEEN '2019-05-10 17:11:00' and '2019-05-10 17:13:25';结果:0: jdbc:phoenix:master,slave1,slave2,slave3:2> select count(...原创 2019-10-14 14:25:15 · 1084 阅读 · 0 评论 -
HBase错误解决:Master is initializing/org.apache.hadoop.hbase.NotServingRegionException)
HBase错误解决在IDEA中远程连接时提示错误2019-10-08 15:17:28 DEBUG org.apache.zookeeper.ClientCnxn Reading reply sessionid:0x10000192d2c000b, packet:: clientPath:/hbase/meta-region-server serverPath:/hbase/meta-r...原创 2019-10-08 16:23:05 · 2521 阅读 · 0 评论 -
通过List和String创建Dataset,并解析自动解析字段属性(Spark(JAVA))
通过List和String创建Dataset主要是createDataset(dataList,Encoders.STRING());,这个Encoders.STRING()需要加上@Testpublic void List2Dataset(){ String header = "1a,2a,a3,4a"; List<String> dataList = new ...原创 2019-09-17 21:03:42 · 2164 阅读 · 0 评论 -
Spark中Dataset的转化------生成Dataset<User>并转化Dataset<Row>
spark中Dataset的坑生成Dataset<User>并转化为Dataset<Row>,其中(User为自己写的用户类)其实就一句…Dataset<Row> dataset1 = dataset.toDF();起始原因是用spark做机器学习,但训练集是.csv文件,读取的时候读取的是Dataset<Row>,但在调用保存的模型来预测...原创 2019-09-11 15:35:33 · 2293 阅读 · 1 评论 -
Spark(部署在远程服务器) + ML + RandomForestClassification 实例(附本地上传文件到服务端HDFS)
Spark部分问题1Spark部署在远程服务器,只有IP和Port,解决:直接用就ip就可以.master("spark://master:7077")…,我还查来好久…,可以将配置文件单独搞一个类package MLModel;import org.apache.spark.sql.SparkSession;public class UtilityForSparkSession {...原创 2019-09-09 22:16:16 · 1368 阅读 · 0 评论 -
Spark 2.3.3安装与部署（包括scala的安装）
1. scala安装1.1 下载链接链接：https://downloads.lightbend.com/scala/2.13.0/scala-2.13.0.tgz1.2 解压至 /usr/local/scala-2.13.01.3 加入环境变量vi /etc/profile添加：#scalaexport SCALA_HOME=/usr/local/scala-2.13.0ex...原创 2019-09-03 17:21:52 · 2823 阅读 · 0 评论 -
apache-phoenix-5.0.0-HBase-2.0安装与简单使用
HBase版本：hbase-2.0.5Phoenix版本：phoenix-5.0.0-HBase-2.0集群结构类型zookeeperHbasemasterNameNode否HMasterslave1DataNode是HRegionServerslave2DataNode是HRegionServerslave3DataNode是...原创 2019-08-27 09:15:01 · 4471 阅读 · 0 评论 -
批量开启和关闭zookeeper，再也不再一个个开关了。。。。
#!/bin/bash# 集群的ip（前面已经实现免密ssh登陆，用户名修改hadoop）iparray=(10.108.*.* 10.108.8*.* 10.108.*.*)user="hadoop"echo "$1"if [ $1 = "start" ]then cmd="zkServer.sh start"fi if [ $1 = "stop" ]the...原创 2019-08-26 21:55:05 · 479 阅读 · 0 评论 -
HBase中regionserver启动后自动关闭问题解决
查看日志，发现错误2019-06-24 20:16:29,432 ERROR [regionserver/slave2:16020] regionserver.HRegionServer: ***** ABORTING region server slave2,16020,1561378582102: Unhandled: cannot get log writer *****java.io....原创 2019-06-24 21:24:12 · 3130 阅读 · 0 评论 -
hbase thrift2 (hbase 2.0.5)服务的开启以及hbase.thrift 的C_glib编译
Starting the HBase Thrift Server in the BackgroundWhere is the service’s port, and is the port for the web-ui with information about the service, use the following command to start the HBase Thrift...原创 2019-06-22 10:55:38 · 1591 阅读 · 0 评论 -
centos 7 thrift 0.12.0安装（由于系统环境有点乱，所以大数据框架都没他难装......
1. 安装杂项yum -y install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel openssl-devel2. 安装boost直接用yum安装boost，后续会报错error: /usr/local/lib64...原创 2019-07-11 22:48:32 · 1170 阅读 · 2 评论 -
hadoop3.1.2 + zookeeper3.5.5 + hbase2.0.5 安装
集群结构类型zookeeperHbasemasterNameNode否HMasterslave1DataNode是HRegionServerslave2DataNode是HRegionServerslave3DataNode是HRegionServerhosts文件（这里用的DHCP）IPhostname...原创 2019-06-10 10:25:39 · 1815 阅读 · 2 评论