- 博客(68)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Flume ---自定义interceptor ----自定义source ---自定义sink
自定义interceptor1.创建一个maven项目，并引入以下依赖。<dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.7.0</version></dependency>2.定义CustomInterceptor类并实现Inter
2022-05-28 11:36:11
265
原创 hive数据类型
1.基本数据类型数据类型长度tinyint1byte有符号整数smallint2byte有符号整数int4byte有符号整数bigint8byte有符号整数boolean布尔类型，true或者falsefloat单精度浮点数double双精度浮点数string字符系列。可以指定字符集。可以使用单引号或者双引号。timestamp时间类型binary字节数组2.集合数据类型数据类型描述s
2022-05-27 14:26:26
285
原创 HBase API
HBase API4.1 环境准备新建项目后在pom.xml中添加依赖：<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.3.1</version></dependency><dependency> <gro
2022-05-25 10:28:16
162
原创 Sqoop使用案例---数据导入----RDBMS到HDFS，RDBMS到Hive，RDBMS到Hbase
RDBMS到HDFSmysql中创建一个表，并插入数据$ mysql -uroot -p000000mysql> create database company;mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));mysql> insert into company.staff(name, sex)
2022-05-23 14:54:04
269
原创 Spark on Yarn
概述Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出yarn-cluster：Driver程序运行在由RM（ResourceManager）启动的AP（APPMaster）适用于生产环境。安装使用1）修改hadoop配置文件yarn-site.xml,添加如下内容：[jinghang
2022-05-23 10:43:26
199
原创 mysql安装
MySQL安装1）安装包准备（1）卸载自带的Mysql-libs（如果之前安装过mysql，要全都卸载掉）[bigdata@hadoop102 software]$ rpm -qa | grep -i -E mysql|mariadb | xargs -n1 sudo rpm -e --nodeps（2）将安装包和JDBC驱动上传到/opt/software，共计6个01_mysql-community-common-5.7.16-1.el7.x86_64.rpm02_mysql-communi
2022-05-21 10:48:45
983
原创 群起shell脚本案例
cluster.sh#!/bin/bashcase $1 in"start"){ echo ================== 启动 集群 ================== #启动 Zookeeper集群 zk.sh start #启动 Hadoop集群 hdp.sh start #启动 Kafka采集集群 kf.sh start #启动 Flume采集集群
2022-05-21 09:45:14
224
原创 【无标题】
1.基于埋点日志数据的网络流量统计网站总浏览量（PV）的统计网站独立访客数（UV）的统计package com.chuangyan.network35import java.time.Durationimport org.apache.flink.api.common.RuntimeExecutionModeimport org.apache.flink.api.common.eventtime.{SerializableTimestampAssigner, WatermarkStrateg
2022-02-23 09:03:11
598
原创 flink scala热门页面浏览量统计
1.基于服务器 log 的热门页面浏览量统计每隔 5 秒，输出最近 10 分钟内访问量最多的前 N 个 URLpackage com.chuangyan.network35import java.langimport java.sql.Timestampimport java.text.SimpleDateFormatimport java.time.Durationimport org.apache.flink.api.common.RuntimeExecutionModeimport
2022-02-23 09:01:29
1127
原创 flink scala 实时热门商品统计
1.实时热门商品统计需求：每隔 5 分钟输出最近一小时内点击量最多的前 N 个商品package userbehavior35//需求 每隔五分钟输出最近一小时内点击量最多的前 N 个商品。/*抽取出业务时间戳，告诉 Flink 框架基于业务时间做窗口过滤出点击行为数据按一小时的窗口大小，每 5 分钟统计一次，做滑动窗口聚合（Sliding Window）按每个窗口聚合，输出每个窗口中点击量前 N 名的商品 */import java.langimport java.sql.Tim
2022-02-23 08:59:49
1039
原创 新建的idea
setting MavenD:\study\maven\apache-maven-3.2.2\conf\settings.xmlproject Structure Modules
2021-11-30 14:16:18
178
原创 linux报错Loading mirror speeds from cached hostfile解决方法 【yum错误记录】
linux报错Loading mirror speeds from cached hostfile解决方法1.ping百度显示网络不可达vim /etc/sysconfig/network-scripts/ifcfg-ens33确定上面的文件没问题后重启网络systemctl restart NetworkManagersystemctl restart network再次ping百度 OK了ping www.baidu.com2.yum 出的问题删除yum.repos.d
2021-11-19 10:21:42
13731
2
原创 linux centOS可视化界面
https://jingyan.baidu.com/article/36d6ed1fa468481bcf48832e.html按此网页步骤操作即可
2021-10-30 09:52:32
744
原创 虚拟机开机蓝屏解决方案
1.如上图设置“启动或关闭windows功能”，没有Hyper-V的创建一个笔记本将下面的代码放入，更改笔记本名字为Hyper-V.bat。pushd "%~dp0"dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txtfor /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%Syst.
2021-10-29 18:58:44
1157
原创 study
Function函数<!DOCTYPE html><html><head><meta charset="UTF-8"><title>Insert title here</title></head><body> <script type="text/javascript"> /* Function 函数（方法）对象 创建： 1 var 方法对象 = new Fun
2021-09-29 19:56:56
99
原创 自己写一个简单的链表
public class MyLinkedList { Node first; Node last; //计数器 int count=0; //提供一个构造器 public MyLinkedList(){ } //添加元素的方法 public void add(Object o){ if(first==null){//证明添加的元素是第一个节点; //将添加的元素封装为一个Node对象
2021-08-20 15:11:05
127
原创 正则表达式判定邮箱
public class Mail { public static void main(String[] args) { f1(); } //寻找合法的邮箱地址 public static void f1(){ String regix="^[a-zA-Z0-9_-]+@[a-zA-Z0-9_-]+(\\.[a-zA-Z0-9_-]+)+$"; Scanner scanner=new Scanner(System.in);
2021-08-19 14:29:24
620
原创 去除集合中重复的元素
//建一个学生类package M8.D18;public class Student { private String name; private int age; public Student(){} public Student(String name,int age){ this.name=name; this.age=age; } @Override public String toString() {
2021-08-18 10:28:19
274
原创 输入身份证号打印（小实例）
建一个名为Id的类public class Id { public static void main(String[] args) { Id i=new Id(); StringBuffer s=i.setId(); i.birthday(s); i.sex(s); } public StringBuffer setId(){ Scanner sc=new Scanner(System.in);
2021-08-13 15:29:53
203
原创 Student登录
1Student类public class Student { private String acc; private String pwd; private String name; public Student(){} public Student(String acc,String pwd,String name){ this.acc=acc; this.pwd=pwd; this.name=name;
2021-08-11 10:28:23
759
原创 车继承小题
1.非机动车类package M8.D10.Car;public class FeiJiDong { private String brand; private String color; private int wheel=2; private int chair=1; public FeiJiDong(){} public FeiJiDong(String brand,String color){ this.brand=bran.
2021-08-10 16:31:45
111
原创 水果小题代码
1.Fruits类public class Fruits { //形状 private String shape; //口味 private String taste; //无参的构造方法 public Fruits(){} //有参的构造方法 public Fruits(String shape,String taste){ this.shape=shape; this.taste=taste; .
2021-08-08 10:15:36
442
原创 矩形周长面积
public class Rectangler { private double chang; private double kuan; public Rectangler(){//无参的构造方法 } public Rectangler(double chang,double kuan){//有参的构造方法 this.chang=chang; this.kuan=kuan; } //自动生成get set方法
2021-08-04 17:14:25
101
原创 java 实现简单登录功能
//学生类public class Student { public String name; public String stunum; public String pwd; public String sex; public int age; public String getName() { return name; } public void setName(String name) { this.
2021-08-04 08:41:52
448
原创 Static
1，static 可以修饰：属性，方法，代码块，内部类。2，static 修饰属性：（1）在类加载的时候一起加载如方法区中的静态域中（2）先于对象存在3，static修饰方法：（1）静态方法中不能使用this关键字（2）静态方法中不能访问非静态的方法（3）静态方法不能访问非静态的属性（4）静态的方法可以 对象名.方法名 或者 类名.方法名（5）在一个类中可以直接调用。...
2021-07-20 16:00:34
144
原创 2021-07-16
成员变量与局部变量区别1：代码中位置不同成员变量：类中方法外定义的变量局部变量：方法中定义的变量 代码块中定义的变量区别2：代码作用的范围成员变量：当前类的很多方法局部变量：当前一个方法（当前代码块）区别3：是否有默认值成员变量：有局部变量：没有区别4：是否需要初始化成员变量：不需要局部变量：需要区别5：内存中位置不同成员变量：堆内存局部变量：栈内存区别6：作用时间不同成员变量：当前对象从创建到销毁局部变量：当前方法从开始执行到执行完毕...
2021-07-19 18:58:23
62
原创 Reader字符输入流
public abstract class Reader extends Object implements Readable,Closeablepublic class Test000 { public static void main(String[] args) throws Exception{ File file=new File("D:\\hello\\d.txt"); if(file.exists()){//若文件存在进行读取 ...
2020-05-16 12:38:50
179
原创 Writer字符输出流
public abstract class Writer extends Object implements Appends,Closeable,Flushablevoid write(int c) 写入单个字符。写入0到65535之间的unicode码 void write(char[] cbuf)把整个字符数组的内容写进去 void write(String str)写入字符串。 void flush()刷新该流的缓冲,则立即将它们写入预期目标 void close()关闭此输出流并...
2020-05-15 20:42:16
343
原创 字节输出流：OutputStream
字节的数据是以byte类型为主实现的操作，在进行字节内容输出的时候可以使用OutputStream类完成，类的基本定义：public abstract class OutputStream extends Object implements Closeable,Flushable首先可以发现这个类实现了两个接口，于是基本定对应关系如下：Closeable Flushable ...
2020-05-07 14:31:19
550
原创 File操作案例：批量修改文件名称
输入目录名称，并把目录下所有文件名后缀改为.txt。package cn.mldn.test;import java.io.File;public class Test { public static void main(String[] args) throws Exception{ File file=new File("D:"+File.separato...
2020-05-06 11:16:52
513
原创 File操作深入
1.在实际的软件项目开发运行过程之中，往往都会在Windows中进行项目的开发，而在项目部署的时候基于Linux或是Unix系统来进行项目的发布以保证生产环节的安全性；在不同的系统之中存在着不同的路径分割符：Windows“\”、Linux分隔符“/”，所以最初进行开发的时候就不细考虑 不同系统下的分隔符问题，所以为了解决此问题，File类提供有一个常量：public static final...
2020-05-06 09:38:41
217
原创 File文件操作类
File类是唯一一个与文件本身操作有关的类，而如果要想进行File类的操作必须要提供有完整的路径，而后调用相应的方法进行处理。File类的基本使用：File类是Comparable接口的一个子类，所以File类的对象是可以进行排序处理的。而在进行File类处理的时候我们需要设置访问路径，对于路径的配置主要通过File类的构造方法处理。构造方法：public File(String p...
2020-05-06 09:07:21
167
原创 StringBuffer使用
package cn.mldn.test;import java.lang.StringBuffer;public class Test { public static void main(String[] args) { StringBuffer buf=new StringBuffer(); for(int x='a';x<='z';x++)...
2020-05-05 17:30:27
171
原创 Comparator比较器
Comparator属于一种挽救的比较器支持，其目的是解决一些没有使用Comparable排序的类的对象数组排序。范例：一个项目开始没想着排序。import java.util.Arrays;public class DateTest { public static void main(String[] args){ Person data[]=new Per...
2020-04-29 17:13:45
156
原创 Comparable比较器
public interface Comparable<T>{ /** * 实现对象的比较处理操作 * @param o要比较的对象 * @return 当前对象比传入的对象小传入负数，如果大于返回正数，如果等于返回0 */ public int compareTo(T o);}范例：实现自定义对象数组排序操作...
2020-04-28 16:30:20
176
原创 比较器Comparable的引出
比较器问题的引出 如果要进行数组操作，肯定使用Java.util.Arrays的操作完成，这个类里面提供有绝大部分的数组的操作支持，同时在这个类里面还提供有一种对象数组的排序支持：public static void sort(Object[] a);范例：实现对象数组的排序import java.util.Arrays;public class DateTest { ...
2020-04-28 15:38:46
102
原创 UUID
UUID是一种生成无重复字符串的一种程序类，这种程序类主要功能是根据时间戳实现一个自动的无重复字符串定义。一般在获取UUID的时候都是随机生成的一个内容，所以可以通过如下方式获取。1.获取UUID对象：public static UUID randomUUID();2.根据字符串获取UUID内容：public static UUID fromString(String name);...
2020-04-28 14:06:08
203
原创 读取资源文件：ResourceBundle
读取资源文件主要依靠的是java.util.ResourceBundle类完成，此类定义如下。public abstract class ResourceBundle extends ObjectResourceBundle是一个抽象类，要实现此类的实例化，可以直接利用该类中提供的一个static方法完成。1.获取ResourceBundle类对象：public static fina...
2020-04-28 13:49:19
253
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人