m0_47002117的博客

解析op.log日志op.log内容如下:1593136280858|{"cm":{"ln":"-55.0","sv":"V2.9.6","os":"8.0.4","g":"C6816QZ0@gmail.com","mid":"489","nw":"3G","l":"es","vc":"4","hw":"640*960","ar":"MX","uid":"489","t":"1593123253541","la":"5.2","md":"sumsung-18","vn":"1.3.4","ba":"Su

Spark RDD常用算子一、parallelize调用SparkContext 的 parallelize()，将一个存在的集合，变成一个RDD，这种方式试用于学习spark和做一些spark的测试scala版本scala的parallelize有两个参数，第一个是一个Seq集合，第二个是分区数，如果没有则会是默认分区数scala版本可以选择makeRDD替换parallelize，java版本则没有val rdd = sc.parallelize(List("A","B","C"))val

Scala：Array(集合、序列)1、++合并集合，并返回一个新的数组，新数组包含左右两个集合对象的内容。(不去重)val a=Array(1,2,3)val b=Array(4,5,6)val c= a ++ b2、++:合并集合，并返回一个新的数组，右边操纵数的类型决定着返回结果的类型val a = List(1,2)val b = scala.collection.mutable.LinkedList(3,4)val c = a ++: b注：c的类型是：scala.col

Spark安装1、下载并上传scala安装包至linux的software目录下2、解压安装包至/opt目录下，重命名Scalatar -zxvf scala-2.11.12.tgz -C /opt/cd /opt/mv scala-2.11.12/ scala3、修改环境变量vi /etc/profile//添加内容如下：export SCALA_HOME=/opt/scalaexport PATH=... :$SCALA_HOME/bin:$PATH环境变量修改完成后

Scala型变协变class Foo[+T] // 协变类对于两种类型 A 和 B，如果 A 是 B 的子类型，那么 Foo[A] 就是 Foo[B] 的子类型逆变class Bar[-T] // 逆变类对于两种类型 A 和 B，如果 A 是 B 的子类型，那么 Bar[B] 就是 Bar[A] 的子类型不变class Baz[T] // 不变类默认情况下，Scala中的泛型类是不变的...

特质回顾一下Java接口如何声明接口interface接口名如何实现接口class 实现类类名 implements 接口名说明:1)在Java中，一个类可以实现多个接口2)在Java中，接口之间支持多继承3)接口中属性都是常量接口中的方法都是抽象的Scala接口的介绍从画向对象来看，接口并不属于面向对象的范畴， Scala是纯面向对象的语言，在 Scala中，没有接口.Scalar语言中，采用特质trait（特征）来代替接口的概念，也就是说，多个类具有相同的特征（特征）时

模式匹配模式匹配是一个十分强大的机制，可以应用在很多场合： switch语句、类型查询，以及“析构”（获取复杂表达式中的不同部分）。样例类针对模式匹配进行了优化。更好的switch def match0(x:Int):String = { if (x==1){ "one" }else if(x==2){ "two" }else{ "many" } }def match1(x:Int):String=x match{

Scala数组定义数组存储固定大小的元素数组索引从0开始例如： var array:Array[String] = new Array[String](3) array(0) = "hello" array(1) = "world" array(2) = "scala" println(array(0))或者var a2=Array("Jason","Marie","Jimmy")再者var a3=Array.range(1,10,2)Scala

Scala条件控制if语句val x=10if(x>0){ print("x大于0")}if-else语句val x=10if(x>10){ print("x大于10")}else{ print("x小于等于10")}val x=10if(x>10){ print("x大于10")}else if(x==10){ print("x等于10")}else{print("x小于10")}条件语句返回值S

Scala简介Scala以JVM为目标环境，将面向对象和函数式编程有机地结合在一起，带来独特的编程体验.它既有动态语言那样的灵活简洁，同时又保留了静态类型检查带来的安全保障和执行效率，加上其强大的抽象能力，既能处理脚本化的临时任务，又能处理高并发场景下的分布式互联网大数据应用，可谓能缩能伸。Scala源自Java:Scala构建在JVM之上Scala与Java兼容、互通Scala的优势:多范式编程：面向对象编程、函数式编程表达能力强，代码精简大数据与Scala:Spark采用

IDEA上安装Scala插件可以去此网址上下载与自己IDEA版本相同的Scala插件下载地址打开IDEA，进入File的Setting中，如图所示找到自己下载的包,安装并重启此时新建工程可以找到Scala选项如图所示,选择Next后,进入到如下界面...

一.sqoop安装安装 Sqoop 的前提是已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的环境。1.下载并解压我使用的版本是sqoop-1.4.6-cdh5.14.2.tar.gz上传安装包 sqoop-1.4.6-cdh5.14.2.tar.gz 到虚拟机中解压 sqoop 安装包到指定目录tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt/修改目录名称mv sqoop-env-template.sh sqoo

文章目录Apache Phoenix的安装(单机版HBase)1.安装包下载2.解压安装包到/opt下并改名3.修改配置4.启动phoenix及一些简单操作Apache Phoenix的安装(单机版HBase)1.安装包下载http://archive.apache.org/dist/phoenix/我使用的是apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz版本2.解压安装包到/opt下并改名tar -zxvf apache-phoenix-4.14.0-

文章目录HBase操作命令(1)用户权限:(2)对表的操作(3)对行的操作(4)对列簇的操作(5)导入数据HBase操作命令hbase shell进入hbaseversion – 查看版本status – 查看集群状态whoami – 查看当前有效用户名help – 查看帮助命令(1)用户权限:语法:user_permission [‘表名’…]grant ‘用户名’,‘RWXCA’(2)对表的操作增(语法):create ‘表名’,{NAME=>‘列簇名’},{

这里写目录标题什么是NoSQL为什么使用NoSQLNoSQL与关系型数据库的区别NoSQL的特点NoSQL基本概念(1)CAP理论(2)BASE(3)最终一致性(4)索引和查询(5)MapReduce,ShardingNoSQL分类NoSQL和BI,大数据的关系什么是NoSQLNoSQL：not only SQL,非关系型数据库NoSQL是一个通用术语指不遵循传统RDBMS模型的数据库数据是非关系的,且不使用SQL作为主要查询语言解决数据库的可伸缩性和可用性问题不针对原子性或一致性问题

1.Java继承UDF类编写udf函数(evaluate())2.打fat包(包括所有依赖文件)3.把jar包放到Linux上–临时udf函数4.在hive命令行中使用add jar jar包路径即可加载到临时系统中如add jar /root/testudf.jar5.create temporary function如:create temporary function demo as 'hh.testudf.TestUDF';–永久udf函数4.在linux命令行使用hdfs命令把

1.上传zeppelin文件我使用的版本为zeppelin-0.8.1-bin-all.tgz2.解压至/opt下tar -zxvf zeppelin-0.8.1-bin-all.tgz -C /opt/3.进入目录并重命名为zeppelinmv zeppelin-0.8.1-bin-all/ zeppelin4.修改配置文件进入zeppelin的conf目录下,重命名配置文件zeppelin-site.xml.template为zeppelin-site.xml修改端口号:..

查询数据（１）SELECT基础SELECT用于映射符合指定查询条件的行Hive SELECT 是数据库标准SQL的子集使用方法类似于（２）CTE和嵌套查询CTE(Common Table Expression)with t1 as (select ...) select *　from　t1嵌套查询select * from(select * from employee) a(3)进阶语句列匹配正则表达式set hive.support.quoted.identif

数据表(Tables)HIve的表在逻辑上由存储的数据和描述表中数据形式的相关元数据组成.数据一般存放在HDFS中,但它也可以放在其他任何Hadoop文件系统中,包括本地文件系统或S3.Hive把元数据存放在关系型数据库中,而不是放在HDFS中．(1).内部表和外部表内部表(managed table)在Hive中创建表时,默认情况下Hive负责管理数据.这意味着Hive把数据移入它的"仓库目录"(warehouse directory).加载操作就是文件系统中的文件移动或文件重命名,因此它的

文章目录关于HiveHive的优势和特点:Hive体系架构Hive服务Hive Interface - 命令窗口模式Hive工具操作Hive数据类型Hive建表Hive分区和桶关于HiveHive始于2007年的Facebook.Hive是一个构建在Hadoop上的数据仓库框架,是应Facebook每天产生的海量新兴社会网络数据进行管理和(机器)学习的需求而产生和发展的.Hive的设计目的是让精通SQL技能但Java编程技能相对较弱的分析师能够对Facebook存放在HDFS中的大规模数据集执行

文章目录ZooKeeper简介ZooKeeper数据结构ZooKeeper客户端命令ZooKeeper角色ZooKeeper选举机制ZooKeeper简介Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目Zookeeper=文件系统+通知机制Zookeeper从设计模式上来看是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册一旦数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper

1.首先需安装好mysqlservice mysql start2.cd hivemkdir warehouse3.vi /etc/profile(配制环境变量)export HIVE_HOME export PATHhive --version检验环境变量是否配好4.cd /hive/confmv hive-env.sh(改名成这个)(1)vi hive-env.shHADOOP_HOME=实际上的路径export HIVE_CONF_DIR=/opt/hive/..

1.首先查询机器上是否安装时区同步服务rpm -q ntp2.安装ntp时区同步服务yum install -y ntp*3.修改ntp配置vi /etc/ntp.conf#输入自己的IP地址restrict 192.168.184.35 nomodify notrap nopeer noquery#输入IP地址前三位，最后一位0或者1restrict 192.168.184.1 mask 255.255.255.0 nomodify notrap#主节点设置本机IP地址，.

1.vi /etc/profileexport HADOOP_HOME=/opt/hadoopexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native.

HBase简介HBase是一个在HDFS上开发的面向列的分布式数据库.HBase从与常规不同的角度解决可伸缩性的问题.它自底向上地进行构建,能够简单地通过增加节点来达到线性扩展.Hbase并不是关系型数据库,它不支持SQL，但在特定地情境下，它能够在廉价硬件构成地集群上管理差大规模的稀疏表．单机HBase安装1.修改hbase/conf/文件vi hbase-env.sh(修改一下几处)(1).export JAVA_HOME=…(2).export HBASE_MANAGES_ZK=t

1.Hadoop集群准备ok2.zookeeper配置完成3.vi core-site.xmlname集群的名称zookeeper2181地址<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://ns</value> </property> <property> <name&gt.

索引类型有哪些？数据库如果考虑时区，用什么类型？组合索引使用like还有效吗?组合索引怎么使用才会生效？事务的特性？数据库隔离级别。触发器的作用。MySQL的执行计划mysql写个简单应用数据库怎么做到读写分离？mysql如何集群数据库集群后怎么让数据均匀分布关系型数据库怎么做热备相关表结构：学生表 tbIStudent(编号 StuId、姓名 StuName、年龄SuAge、性别 Stusex)课程表 tblCourse..

文章目录关于YARNYARN应用运行机制YARN与MapReduce1相比YARN中的调度YARN常用命令关于YARNApache YARN(Yet Another Resource Negotiator)是Hadoop的集群资源管理系统.YARN在Hadoop2版本后引入,原因在于Hadoop1版本的数据处理和资源调度主要依赖Map Reduce完成,JobTracker负责资源管理和程序调度,压力较大.即便YARN的最初目的是为了改善MapReduce的实现,但它具有足够的通用性,同样可以支持其

区别1.InnoDB 支持事务，MyISAM 不支持事务。MyLSAM强调的是性能，执行速度更快，如果需要大量的SELECT操作，可以选用M有ISAM表，而InnoDB数据库功能更为高级，如果数据要执行大量的INSERT或UPDATE操作，应该使用InnoDB表2.MyISAM支持全文索引，InnoDB不支持全文索引（MySQL5.6之后的版本，InnoDB也支持全文索引）。（全文索引可能存在精度问题，但在大量的数据面前，检索速度相较常规检索快很多）3.InnoDB 支持外键，MyISA

本地Hadoop配置1.在Windows上安装hadoop解压hadoop-2.6.0-cdh5.14.2.tar.gz 压缩包（解压过程中可能会提示需要管理员权限，最好解压前找到解压软件，右键以管理员身份运行，再尽进行解压）2.把hadoop-bin.rar中的内容解压并替换到hadoop的bin目录下（该文件可以去网上自行搜索下载，要与自己版本匹配）3.把hadoop.dll放到c：\windows\System32\目录下4.配置hadoop环境变量右键我的电脑–>属性–&

MySQL触发器1.触发器用来在某些操作时，“自动”执行一些操作。当insert delete update设置触发器之后，执行insert delete update操作就会自动触发设置的内容。2.定义触发器：语法：create trigger 触发器名 before|after 事件 on 表名 for each row 触发器语句;触发器名建议为trigger_xxx，这样便于区分，触发器名不能重复。before|after 代表触发器语句执行时间，如果是before,就是在insert|

文件文件是相关记录或放在一起的数据集合Java程序通过java.io.File类访问文件属性File类访问文件属性：File file=new File（String pathname）；流通过流来读写文件：流是一组有序的的数据序列；以先进先出方式发送信息的通道绝对路径和相对路径：绝对路径一般从根目录开始相对路径一般从当前目录开始FileInputStream读文件的流程：1.FileInputStream对象和String对象声明2.创建FileInputStream对象（

Linux操作系统简介诞生日期：1991年开发者：林纳斯·托瓦茨Linux特点：免费，开源Linux常用发行版本redhat、debian、ubantuLinux操作系统安装方式整机安装双系统并存安装虚拟机安装CentOS6.5获取方式CentOS官网https：//www.centos.org//虚拟机简介通过软件模拟硬件功能主流虚拟机Vmware Workstation简称VmwareVirtualBox虚拟机下载Vmware官网http：//www.vmware.

DAO模式*实现JDBC封装将所有增删改查操作抽取成接口定义实体类传输数据将通用的操作（打开、关闭连接等）封装到工具类数据库工具类BaseDao：增、删、改、查的通用方法*什么是DAOData Access Object(数据存取对象)位于业务逻辑和持久化数据之间实现对持久化数据的访问*DAO模式的组成DAO接口DAO实现类实体类数据库连接和关闭工具类*DAO模式的优势隔离了数据访问代码和业务逻辑代码隔离了不同数据库实现配置数据库访问参数数据库发生改变时，要重新修改代码

反射反射：框架设计的灵魂框架：半成品软件。可以在框架的基础上进行软件开发，简化编码反射：将类的的各个组成部分封装为其他对象，这就是反射机制好处：1.可以再程序运行过程中，操作这些对象2.可以解耦，来提高程序的可拓展性获取Class对象的方式：1.Class。forName（“全类名”）：将字节码文件加载进内存，返回Class对象2.类名.class:通过类名的属性class获取3.对象.getClass（）：getClass方法在object类中定义着。结论：同一个字节码文件（*.c

JDBC：1.概念：Java DataBase Connectivity Java数据库连接，Java语言操作数据库*JDBC本质：其实是官方（sun公司）定义的一套操作所有关系型数据库的规则，即接口。各个数据库厂商去实现这套接口，提供数据库驱动jar包。我们可以使用这套接口（JDBC）编程，真正执行的代码是驱动jar包中的实现类Person接口 Worker类 Person p = new Worker（）；2.快速入门： *步骤： 1.导入驱动jar包

一.事务的基本介绍 a.概念： *如果一个包含多个步骤的业务操作，被事务管理，那么这些操作要么同时成功，要么同时失b败。b.操作：1.开启事务：start transaction；2.回滚：rollback；3.提交：commit；4.MySQL数据库中事务默认自动提交*一条DML（增删改）语句会自动提交一次事务*事务提交的两种方式：*自动提交：*mysql就是自动提交的*手动提交：*Oracle：数据库默认是手动提交事务*需要先开启事务，再提交*修改事务

高级特性总结1.集合框架List： 有序ArrayList：长度可变的数组，便于查找和随机访问LinkedList（Node）：双向链表，便于插入和删除Set：不重复HashSet：HashMap的key的hashCode（）和equals（）方法共同保证不重复Map：Entry<k，v>键值对遍历：List：fori，增强for，迭代器Set：增强for，迭代器Map：entrySet（），keySet（），values（）泛型：限定了集合类型的输入和输出add（）/p

面向对象总结1.面向对象：（what、when、where、why、whom、how）类与对象的关系：类是对象的抽象，对象是类的实现类是由属性和方法构成，它的每一个对象都有对应得属性和方法2.方法：方法的重载：针对同一个行为的多种表现，对应相同方法名的多个方法方法名相同，参数列表不同类方法（static方法）类名.方法()3.封装:保护属性值不被随意修改私有化属性，并提供getter，setter对外接口4.继承:代码重用、多态的基础extends关键字默认的根类是Object，单

1.DQL：查询语句 1.排序查询 *语法：order by 子句 *order by 排序字段1 排序方式1， 排序字段2 排序方式2... *排序方式： *ASC：升序，默认的。 *DESC：降序 *注意： *如果有多个排