aosimth的博客

状态流累加

aosimth — Wed, 06 Jan 2021 22:24:18 +0800

object Socket_Streaming_State extends App { val sc: SparkContext = SparkContext.getOrCreate(new SparkConf().setMaster(“local[*]”).setAppName(“hdfs”).set(“spark.executor memory”,“4g”)) val ssc = new StreamingContext(sc,Seconds(2)) //必须要设置检查点 ssc.checkpoint(

Scala的Array方法

aosimth — Mon, 21 Dec 2020 00:45:12 +0800

增：集合之间合并类 ++ ++:/union +=增加一个string类型的集合，常用于map/元组/ArrayBuffer[T] var m=Map(“a”->1);m+=(“j”->0) 集合增加元素 +: :+ padTo 后补齐删：集合去除元素 drop 去除前n个 dropRight dropWhile 改：集合修改 patch update/updated 取值：集合取值（单个、头尾、部分） apply head/headOption 返回集合第一个元素 tail 取出

线程池

aosimth — Thu, 10 Dec 2020 23:42:40 +0800

线程池（Executor） //创建最大容纳线程数的线程池 ExecutorService es = Executor.newFixedThreadPool(5) //执行线程，分发容器（存储子线程结果,如果需要结果的话） String[] res=new String[5] for(int i=0;i<5;i++){ es.executor(new thread(res)); } //关闭线程池 es.shutdown; //监控子线程是否执行完，阻塞主线程 while(!es.isTerminat

SQL语句中的AND和OR执行顺序问题

aosimth — Thu, 26 Nov 2020 22:46:04 +0800

https://blog.youkuaiyun.com/bingguang1993/article/details/79657256

spark连接redis

aosimth — Wed, 18 Nov 2020 22:55:39 +0800

/** 实际上是java连接redis，返回结果转为spark的rdd / object spark_redis { def main(args: Array[String]): Unit = { val sc = SparkContext.getOrCreate(new SparkConf().setAppName(“redis”).setMaster("local[]")) val jedis = new Jedis(“192.168.56.100”) val dd = jedis.lrange(“x

hive函数

aosimth — Tue, 17 Nov 2020 23:52:58 +0800

字符函数 1.concat连接字符函数作用：用于连接表字段的值 select concat(‘ab’,’cd’,’ed’) ==> abcdef 2.instr 返回字符串中子字符串第一次出现的位置，没有返回0 作用：可以判断字段的值是否包含某个字符等类似contains 与locate函数效果重复 select instr(‘abcdefcd’,’cd’) ==> 3 3.length 字符串中字符个数作用：计算字段本身的字符个数？？还是字段的值？ select l

Redis安装及使用

aosimth — Thu, 12 Nov 2020 23:09:55 +0800

安装redis redis是基于c语言编译的 wget http://download.redis.io/releases/redis-4.0.6.tar.gz tar -zxf redis-4.0.6.tar.gz yum install -y gcc cd redis-4.0.6 make MALLOC=libc cd src/ make install vi …/redis.conf 将bind&nbs

hive传参

aosimth — Tue, 10 Nov 2020 22:33:13 +0800

其中语句中的hivevar可以不写，可以在${}变量上加’’（区别于shell，依然表示变量），但是{}不能省略

scala编译胖包

aosimth — Mon, 09 Nov 2020 22:11:56 +0800

maven-compiler-plugin 2.3.2 1.8 1.8 maven-assembly-plugin jar-with-de...

Saprk Standalone伪分布式安装详解（附脚本）

aosimth — Wed, 29 Jul 2020 19:26:42 +0800

111

Hive学习—UDF函数

aosimth — Wed, 29 Jul 2020 12:19:55 +0800

一、简述 UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了二、实现UDF注意事项 1.自定义udf函数需要继承org.apache.hadoop.hive.ql.exec.UDF 2.需要实现evaluate 函数，evaluate 函数支持重载。 3.udf 必须要有返回类型，可以返回null，但是返回类型不能为void； 4.udf 常用Text/LongWrite 等类型，不推荐使用java类型。

HBase学习—增删改查API

aosimth — Tue, 28 Jul 2020 15:52:15 +0800

Hive学习—行列转换

aosimth — Tue, 16 Jun 2020 19:03:18 +0800

智者的梦再美，也不如愚人实干的脚印。供学习HSQL的童鞋们参考！在工作学习中，往往需要对查询的表结构进行简单的行转列或列转行的优化列转行表数据如图要求：查询每个国家，女性，男性的人数，如图我们很容易通过以下语句查出结果，但是格式和目标还需要转换下 select country,gender,count(*) as people from customer_details group by country,gender; 方法一 ...

Hive学习—静态动态分区

aosimth — Mon, 15 Jun 2020 19:01:06 +0800

一个人胸中没有学问，就像手中没有钱，供学习HSQL的童鞋们参考！ Hive分区（Partitions）：用指定分区的列的值在hdfs中创建文件夹，并以此将表数据划分到不同的文件夹，即在表目录下再创建细分文件夹作用：提高查询性能（查询时自动过滤不在条件的分区）分类：动态分区和静态分区静态分区步骤： 1.建表时即指定分区(可以指定多个) create table student(id int,name string,age int) partitioned by(gender string) row

Hive学习—表相关操作

aosimth — Thu, 11 Jun 2020 20:15:51 +0800

供学习HSQL的童鞋们参考一、基础建表 hive中有两种表形式：1.内部表 2.外部表区别：内部表的数据完全由Hive管理，在hive中用命令删除表（元数据，表结构）也会删除表数据，而外部表的数据不完全由Hive管理，删除表不会删除表的数据（表数据是由hdfs路径中的存储数据的文件映射过来的）内部表创建内部表的创建方法基本等同mysql create table userinfos( userid int, username string, age int, gend

hive安装详解（附脚本）

aosimth — Wed, 10 Jun 2020 10:38:46 +0800

一、脚本安装先奉上安装脚本蓝奏云：https://ydfei.lanzous.com/iLeFodiggle 版本链接百度云：https://pan.baidu.com/s/13fiuIpp5FiHvy5QoScFALA 提取码：96ep 脚本使用方法要求：1.已安装hadoop,zookeeper,mysql并启动 2.版本hive-1.1.0-cdh5.14.2.tar.gz 参数：1.安装包所在目录（安装在安装包所在位置的soft目录下） 2.mysql账号 3.mysql密码命令格式参考：

zookeeper安装详解（附脚本）

aosimth — Wed, 10 Jun 2020 09:41:40 +0800

一、脚本安装先奉上安装脚本蓝奏云：https://ydfei.lanzous.com/iGuTadiggeh 版本链接百度云：https://pan.baidu.com/s/1XvRChlUbQWV3cHuuYe0dAQ 提取码：3vwq 脚本使用方法要求：1.已安装jdk 2.zookeeper版本为zookeeper-3.4.5-cdh5.14.2.tar.gz 3.启动hadoop 参数：1.安装包所在目录（安装在安装包所在位置的soft目录下）命令格式参考：./zookeeper.s

java删除文件夹及其内部文件

aosimth — Mon, 08 Jun 2020 19:37:30 +0800

Java中普通file对象的delete方法只能删除文件或者空文件夹，无法删除非空文件夹，更别提层层套娃的文件夹，所以就要用到递归了！ public static void delDir(String path){ File file = new File(path); //如果是文件，直接删除 if(file.isFile()){ file.delete(); }else{ //如果是文件夹，获取内层文件集合 File[] inFiles = file.listFiles(); /

Java API练习MapReduce的WordCount

aosimth — Thu, 04 Jun 2020 17:03:54 +0800

WordCount（单词统计) 原理：如图步骤： 1.文件分块：Hadoop自动根据block大小分成N块（上图Splitting阶段） 2.分词：自己写java代码把每一个block按照具体需求分词，把每个词的内容存入Map集合的key，value为1 （Map阶段） 3.block内聚合：对每一个block的每个Map集合聚合，汇总每个block中的不同词的数量（Combine阶段） 4.哈希：对每个Map中的key值哈希化，然后根据哈希值分组排序（不同block的相同词的哈希值是一样的），以Ma

Hadoop伪分布式安装与配置详解（附脚本）

aosimth — Tue, 02 Jun 2020 15:41:48 +0800

Hadoop的安装脚本蓝奏云：https://ydfei.lanzous.com/ijLJYd95ldg 脚本使用方法：要求：1.已安装jdk1.8 2.hadoop版本为hadoop-2.6.0-cdh5.14.2.tar.gz 参数：1.安装目录（安装包要在安装目录下，如：/opt）2.ip地址修改脚本中的jdk目录为自己电脑下的jdk目录安装详解一、前期准备 1.下载并解压 tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz 2.移动并改名 mv ha