墨殇

一、问题背景 这两天在springboot项目中遇到个让人摸不着头脑的问题，一个接口准备上传excel文件并解析到数据库中，结果运行的时候报错了，具体信息如下： ERROR 62 [,] [http-nio-8090-exec-2] adminLogger 系统异常 com.alibaba.fastjson.JSONException: write javaBean error, fastjson version 1.2.68, class org.springframework.web.multipar

mac下安装ngix https://www.cnblogs.com/y896926473/articles/11182425.html

前言： zookeeper服务于大数据平台，是集群的协调服务,分布式一致性,保证的多个节点的数据一致性 一、安装准备 安装版本： 3.4.10 安装节点： 奇数台节点 只有1台的话数据安全性不高，所以不建议 只装一台，那么这么说的话就是至少3台 底层是java实现的，依赖 jdk ，要确保jdk正常安装 节点id分配： hdp01 1 ；hdp02 2 ；hdp03 3 二、安装步骤 1）上传压缩...

前言： Kafka的分布式集群的操作，需要借助于ZooKeeper，所以第一步，需要保证zookeeper的正常使用。 官网：http://kafka.apache.org 版本：kafka_2.11-1.1.1.tgz(2.11指的是scala版本，1.1.1指的是kafka的版本) 下载地址：http://archive.apache.org/dist/kafka/ 1、解压： tar -zx...

一、完全分布式安装 **前提：**已安装scala（2.11.8）、hadoop（2.7.7） 1、配置到环境变量： vim /etc/profile(这里是修改的root的环境变量配置，一般修改~/.bash_profile个人用户下的环境变量比较稳妥) 在配置文件末尾追加上如下内容： export SPARK_HOME=/home/hadoop/apps/spark export PATH=$...

一、scala概述 Scala 官网:https://www.scala-lang.org/ ps：po一张官网首页截图（为什么来这么一张呢？因为我觉得UI还挺美观的哈哈，请原谅我的直男审美） 1、什么是 Scala Scala 是一种多范式的编程语言，其设计的初衷是要集成面向 对象编程和函数式编程的各种特性。Scala 运行于 Java 平台 (Java虚拟机)，并兼容现有的 Java 程序...

安装Nginx(首先保证有网) 1、第一步：准备 sudo rpm -ivh http://nginx.org/packages/centos/6/noarch/RPMS/nginx-release-centos-6-0.el6.ngx.noarch.rpm 2、第二步：安装 sudo yum install -y nginx 3、第三步：启动服务 service nginx start 如...

一、azkaban是什么 Azkaban是一个批处理工作流作业调度程序，在LinkedIn上创建，用于运行Hadoop作业。Azkaban通过作业依赖项解决排序问题，并提供一个易于使用的web用户界面来维护和跟踪工作流。 二、oozie和azkaban的比较： 1、共同优点： 都提供优美的可视化操作界面，工具实现托拉拽 2、oozie和azkaban的区别： oozie: 权限控制不好 ...

一、linux—>本地

前言： 有两种方式，一种是无第三方依赖的打包方式，第二种就是有第三方依赖的打包方式。 一、无第三方依赖的打包方式 构建jar 打包完成后生成一下路径和文件： 这个包就是我们最终的jar包 二、有第三方依赖的打包方式 在pom文件中的<build><plugins>中添加一个插件，用于在打包的时候加载第三方依赖信息。 <!-- 编译有外部依赖的插件-->...

一、hbase简介 1、hbase产生背景 以前Google存储大量的网页信息，如何存储，如何计算，如何快速查询就成为了一个问题，后来在2003年Google发表了3篇论文提供了解决思路，分别是GFS、MAPREDUCE、BigTable ，但是没有讲源码开源出来，后来这几篇论文被doung cutting看见了，由于Doung Cutting是做搜索引擎lucence，遇到和Google同样的...

一、安装准备 hbase底层数据存储在hdfs，计算依赖于mapreduce，还依赖于zk做协调服务，所以环境中需要有hadoop、zookeeper、jdk 安装节点： 分布式的主从架构 一主多从/多主多从 对zk的依赖性很强 注意： 线上生产环境部署集群的时候zookeeper单独独立出来，这里因为测试环境资源有限就跟hdfs集群放一起了 集群规划（2主（高可用） 3从）： hadoo...

一、背景 在hadoop体系中为什么需要做hbase和hive的整合呢？其实这跟hbase的设计特性有点关系（ps：具体的hbase及hive的相关特性就不在这里赘述了哈~），因为hbase不支持标准sql的类sql语句都不支持而且hbase 做统计分析的时候不能做join，而这些功能是hive所具备的，所以在实际的生产环境中将二者整合并让hbase表中的数据可以使用类sql语句及join分析是很...