- 博客(14)
- 收藏
- 关注
RSS订阅原创 BigDicimal求精确度
import java.math.{RoundingMode => RM}type RoundingMode = Valueval UP = Value(RM.UP.ordinal) //数字向上取整，此舍入模式始终不会减少计算值的绝对值val DOWN = Value(RM.DOWN.ordinal) //数字向下取整，此舍入模式始终不会增加计算...
2020-03-08 21:53:42
330
原创 FastJson的使用
fastjson API 入口类是com.alibaba.fastjson.JSON,常用的序列化操作都可以在JSON类上的静态方法直接完成。public static final Object parse(String text); // 把JSON文本parse为JSONObject或者JSONArraypublic static final JSONObject parseObject(...
2020-02-13 22:38:20
143
原创 Ordering使用
object Test02 {def main(args: Array[String]): Unit = {val user1 = new User1(“jack”, 10)val user2 = new User1(“tom”, 12)implicit val ord : Ordering[User1] = new Ordering[User1] {override def compa...
2020-01-09 16:33:42
239
原创 Azkaban的安装步骤
Azkaban的安装(注意azkaban和hive和sqoop必须安装在同一台机器)1.Web服务器、Azkaban执行服务器，安装到装有hive的机器上1.1创建azkaban的目录 mkdir azkaban1.2 解压tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /opt/module/azkaban/tar -zxvf azkaban...
2019-12-26 11:49:31
266
原创 安装sqoop
安装sqoop1.配置环境变量2.如果以下软件没有配置环境变量，那么需要在sqoop-env.sh文件中配置export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2export HIVE_HOME=/opt/module/hiveexport ...
2019-12-18 18:33:36
136
原创 配置tez
配置tez1.上传tez的tar包到HDFS1.1创建/tez目录hadoop fs -mkdir /tez1.2 上传tez的tar包到该目录hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz/ /tez2.解压tez安装包tar -zxvf apache-tez-0.9.1-bin.tar.gz -C /opt/mod...
2019-12-18 18:33:05
229
原创 安装hive
安装hive1.配置hive的matestore到HDFS中<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?> javax.jdo.option.ConnectionURL jdbc:mysql:/...
2019-12-18 18:32:35
209
1
原创 安装keepalived
安装keepalived1.在MySQL主从机上安装keepalived软件包sudo yum install -y keepalived2.修改Keepalived配置文件/etc/keepalived/keepalived.conf（只保留以下的配置）global_defs {#路由器idrouter_id MySQL-ha}vrrp_instance VI_1 {state...
2019-12-18 18:32:03
159
原创 安装mysql软件，并设置双向主从复制
安装mysql软件，并设置双向主从复制1.检查是否安装了mysql，版本不一致就卸载rpm -qa|grep mysqlrpm -e --nodeps mysql-libs2.安装mysql （zip需要解压到module文件中）sudo rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpmsudo rpm -ivh MySQL-server-5...
2019-12-18 18:31:20
137
原创 安装Kafka集群
安装Kafka集群1.在/opt/module/kafka目录下创建logs文件2.server.properties配置#broker的全局唯一编号，不能重复，zookeeper监控broker节点，先注册者为controllerbroker.id=0#删除topic功能使能，不打开的话，注册的节点不能删除delete.topic.enable=true#处理网络请求的线程数量n...
2019-12-18 18:30:31
101
原创 zookeeper安装
zookeeper配置1.创建目录存储zookeeper的数据mkdir datas2.配置zoo.cfgdataDir=/opt/module/zookeeper/datas3.配置集群 zoo.cfgserver.102=hadoop102:2888:3888server.103=hadoop103:2888:3888server.104=hadoop104:2888:3888...
2019-12-11 20:19:30
114
原创 hadoop集群安装
安装hadoop集群1.core.site.xml fs.default.name hdfs://hadoop102:9000 hadoop.tmp.dir /opt/module/hadoop/data/tmp2.hdfs.site.xml dfs.namenode.secondary.http-address ha...
2019-12-11 20:18:59
130
原创 安装前准备
1.编写脚本到/home/carbon/bin目录下①xcall 同步执行命令脚本#!/bin/bash#校验参数if((KaTeX parse error: Expected 'EOF', got '#' at position 1: #̲==0))then e…@"#分发for((i=102;i<=104;i++))doecho "==========hadoop...
2019-12-11 20:18:12
272
原创 搭建虚拟机DataWare
搭建虚拟机DataWare1.linux CentOS 6 64位2. 2*23.虚拟机内存40964.LSILogic5.SCSI6.创建新的虚拟磁盘50G7.CD挂载光盘8.install or9.创建自定义布局10.格式化-将修改写入磁盘11.现在自定义桌面–基本-浏览器-桌面12.系统-网络连接-iPV4 192.168.24.11 255.255.255.0 19...
2019-12-11 20:17:25
235
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人