- 博客(23)
- 收藏
- 关注
RSS订阅原创 flume导入文件到Kafka
flume导入文件到Kafka创建新主题存放此次消息kafka-topics.sh --create --zookeeper 192.168.153.133:2181 --topic train_row --partitions 1 --replication-factor 1配置flume文件，执行flume-ng agent --name events --conf /opt/soft/flume160/conf/ --conf-file/opt/soft/flume160/conf..
2021-12-27 19:30:41
1117
原创 SparkRDD算子
SparkRDD算子分为两类：Transformation与Action.Transformation：即延迟加载数据，Transformation会记录元数据信息，当计算任务触发Action，才会真正开始计算。Action：即立即加载数据，开始计算。创建RDD的方式有两种：1、通过sc.textFile(“/root/words.txt”)从文件系统中创建 RDD。2、#通过并行化scala集合创建RDD：val rdd1 = sc.parallelize(Array(1,2,3,4,
2021-12-25 18:36:47
819
原创 scala构造参数
package cn.kgc//伴生类class Oop1 (name:String,age:Int){//scala默认的主构造函数private var uname:String=nameprivate var uage :Int=ageprivate var uaddress:String=_def this(){this(" ",0)println("无参")}def this(name:String){this(name,0)}def this(
2021-12-25 18:34:43
573
原创 样例类+模式匹配
case class Teachers(name:String,age:Int)def match3(teacher:Teachers):Unit={teacher match{case Teachers("zs",age)=>println("hello"+age)case Teachers("kb15",4)=>println("kb15学习4个月")case Teachers(name,32)=>println("名字"+name+"年龄"+32)}}
2021-12-25 18:33:20
262
原创 spark函数基础
二元组置换（特殊）val t=new t1[String,Int]("chen",26)//val t=("chen",26)println(t._1,t._2)val swap: (Int, String) = t.swap//置换,二元组特殊方法，其他没有println(swap._1,swap._2)println(swap._1)部分函数def alarmMsg(title:String,content:String,height:Double):Unit={p.
2021-12-25 18:31:56
421
原创 基于Spark GraphX的图形数据分析
图（GraphX）是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种网状数据结构通常表示为二元组：Gragh=（V，E）可以对事物之间的关系建模object GraphDemo2 {def main(args: Array[String]): Unit = {val spark: SparkSession = SparkSession.builder().master("local[*]").appName("GraphDemo2").getOrCreate().
2021-12-25 18:30:18
689
原创 hive视图
Hive的视图应用场景将特定的列提供给用户，保护数据隐私 用于查询语句复杂的场景通过隐藏子查询、连接和函数来简化查询的逻辑结构只保存定义，不存储数据 如果删除或更改基础表，则查询视图将失败 视图是只读的，不能插入或装载数据-- 创建视图，支持 CTE, ORDER BY, LIMIT, JOIN,等CREATE VIEW view_name AS SELECT statement;-- 查找视图 (SHOW VIEWS 在 hive v2.2.0之后)SHOW TABLES;...
2021-12-25 18:28:38
3224
原创 hive的基本操作
创建数据库/表create database if not exists 库名；create table if not exists 表名；数据库切换use 库名；删除/强制删除drop database 库名；如果库里面有东西删不掉，需要强制删除drop database 库名 cascade;drop table 表名 ；drop table 表名 cascade；truncate table 表名; -- 清空表数据msck repair table tab
2021-12-25 18:27:03
842
原创 HDFS（分布式文件系统）——核心
HDFS是整个hadoop体系的基础，负责数据的存储与管理。HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。它提供了一次写入多次读取的机制，数据以块的形式，同时分布在集群不同物理机器上。1.架构体系HDFS即Hadoop Distributed File System的简称，采用Master/Sla
2021-12-25 18:25:12
707
原创 kafka基础操作
Kafka解压，配置文件server.properties，地址，存储位置，分区等等先启动zookeeperkafka-server-start.sh /opt/soft/kafka211/config/server.properties或nohupkafka-server-start.sh /opt/soft/kafka211/config/server.properties &查看主题kafka-topics.sh --zookeeper chen133:2181 --li.
2021-12-25 18:22:57
65
原创 Hbase的基本操作
Hbase开启hbase需要先要打开hadoop，start-all.sh开启zookeeper集群zkServer.sh start开启start-hbase，进入shell : hbase shell查看版本hbase(main):001:0> version查看所有库：hbase(main):018:0> list_namespace建库：hbase(main):001:0>create_namespace 'kb15'建表，不写库名会建在默认库：
2021-12-25 18:21:15
1395
原创 java操作hdfs读写
HDFS读写操作public class HdfsOp {public static void main(String[] args) throws Exception {hdfsReadFile("hdfs://192.168.153.133:9000/","hdfs://192.168.153.133:9000/spark/sparktmp.txt" );hdfsWriteFile("out/ww.txt","hdfs://chen133:9000/","hdfs://192.1
2021-12-22 00:22:24
1793
原创 Mybatis框架
主要分成三层1.界面层：和用户打交道，接受用户的请求参数，显示处理结果（jsp.html.servlet）对应的包为：controller包(servlet)所对应的处理框架servlet--->springmvc(框架)2.业务逻辑层：接收了界面层传递的数据， 计算逻辑，调用数据库，获取数据对应的包为：service包（xxxService类）对应的处理框架-->service类-->spring(框架)3.数据访问层：就是访问数据库，执行对数据的增删改查
2021-12-03 19:02:46
81
原创 scala的部分函数
Scala函数padTo 定义：def padTo(len: Int, elem: A): Array[A]val a=Array(1,2,3,4)val b=a.padTo(8,0)//修改数组长度为8，不足补0println(b.mkString(","))//1,2,3,4,0,0,0,par定义：def par: ParArray[T]val a=Array(1,2,3,4)val b=a.par//并行产生一个序列，同b++=aprintln(b.m...
2021-12-03 19:02:03
591
原创 tomcat的安装使用
tomcat的安装使用作用：将.jsp文件以网页形式加载步骤：1.将该压缩文件解压2.打开idea新建工程，选择web3.点击add，如图4.进入下图点击“+”5.如图选中Tomcat/Local6.Application server:在这里选择Tomcat的安装路径7.拖到最下方Fix8.点进去直接点OK9.继续点击OK设置完成10.选择依赖，点击如图11.进入下图界面点击“+”12.选择Library13.进入如图界面选中Tomcat添加14.点击OK15
2021-09-18 00:44:13
77
原创 部分集合类知识整理
集合是一个包含多个元素的对象，或者说是存放数据对象引用的容器。collection: 所有集合类的基础接口，定义了标准（数组存放的标准）里面的数据都是无需的、可重复的。里面的方法定义了一个集合应该有的功能：添加一个或多个元素add（）、addAll（）……移除一个或多个元素remove（）……更改所有元素retainsAll（）……查看是否包含contains（）、containsAll（）……List：collection的子接口，里面的数据都是有序的，可重复的 常用方法（
2021-08-17 17:43:01
175
原创 方法重写及多态应用
1.方法的重写或方法的覆盖（overriding）子类根据需求对从父类继承的方法进行重新编写重写时，可以用super.方法的方式来保留父类的方法构造方法不能被重写方法重写规则方法名相同参数列表相同返回值类型相同或者是其子类访问权限不能严于父类父类的静态方法不能被子类覆盖为非静态方法,父类的非静态方法不能被子类覆盖为静态方法子类可以定义与父类同名的静态方法，以便在子类中隐藏父类的静态方法(注：静态方法中无法使用super)父类的私有方法不能被子类覆盖不能...
2021-08-13 18:23:56
93
原创 抽象类及接口使用
抽象类和抽象方法abstract class 类名（）{Abstract void toHospital（）；}抽象类中可以有抽象方法、所在类必须为抽象类。也可以有普通方法 抽象类不可以被实例化，不可以被创建对象 必须被子类重写实现，否则子类被定义为抽象类； 抽象类中可以有构造方法接口：重要的是规定了相同的标准（甚至可以没有方法）关键字interface，不是class实现接口用的是implements关键字，不再是extends接口中的普通方法都是public.
2021-08-13 18:20:54
210
原创 异常及抛出异常
异常见过的：编译报错：数组越界：运行报错等等解决异常情况的几种处理方法选择以其他方式执行，处理异常（遇到问题解决问题） 提前预处理某些可能发生的问题，避免异常发生（预计划，但判断不会全面） 不做。消极的异常处理：try-catch-finally:try块可能发生异常的代码catch（可能出现的异常 e）{发生异常时执行的代码}finally{需要一定执行的代码，一般是关闭某些长期占用的资源}多个异常需要一个一个捕获；常见的异常类
2021-08-13 18:19:39
110
原创 参数的定义与调用
参数的定义与调用访问修饰符（public） 返回值类型（int string……）方法（参数）引用类型的值就是他的地址，基本数据类型传递的就是值。（String a）这里面是形参（3，”水果”）之里面是实参。2.构造方法；系统会默认提供无参构造方法；Public 类型（String a,……）{}。主要是创建对象，如Dog d=new Dog（1，2，3，4）括号两者相对应相当于前者定义，后者赋值。一旦显示的写出构造方法，系统不再默认提供；当自定义了有参构造，无参构造就没有了。
2021-08-08 15:44:48
526
原创 对象和方法
对象：由静态（属性）和动态（）方法组成类是一组有相同属性和方法的对象的集合（抽象），对象是类中有具体属性和具体方法的成员；类是对象的抽象，对象是类的具体实现。所有JAVA程序都以类class为组织单元，关键字class定义自定义的数据类型，Public class 类名（首字母大写）{//定义属性部分属性1的类型 属性1……//定义方法部分方法1……}定义类的步骤：1.定义类名2.编写类的属性额3.编写类的方法Public class 类型{...
2021-08-07 09:14:15
705
原创 win10版本的JDK安装和环境变量配置
JDK的下载与安装 首先简单介绍一下什么是JDK,就是JAVA开发工具（JAVA Development kit)的缩写，作为JAVA开发工具包，主要用于构建在JAVA平台上运行的应用程序、applet和组件等。 最简单的下载方式就是直接浏览器搜索JDK下载，就会出现很多下载页面，选择一个点击下载。一般下载的都是JDK-8,相对于后面更新的新版本更加的实用和稳定。下载完成以后直接打开文件点击安装，选择是，如下图所示：然后会出现下图，不需要改动，安装路径可以自...
2021-07-24 08:45:00
203
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人