- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 2020-10-19
主要问题是在使用sqoop时的参数配置问题,当我们选用搜sqoop job 方式提交时,虽然在最后面按照官网提示配置了schema参数,但是sqoop job的解析并不能正确解析,到时候会报错Unrecognized argument: --schema . sqoop job -D mapreduce.job.queuename=root.default -D org.apache.sqoop.splitter.allow_text_splitter=true --create hub_data_ex
2020-10-19 17:31:44
268
1
原创 关于POJO类
一、引言DO、DTO、BO、AO、VO、POJO的概念看似简单，但是想区分好或者理解好也不容易，本文简单梳理一下。通过各层POJO的使用，有助于提高代码的可读性和可维护性。二、区别《阿里巴巴Java开发规范》关于领域模型的部分介绍如下：分层领域模型规约:DO(Data Object):此对象与数据库表结构一一对应，通过 DAO 层向上传输数据源对象。DTO(Data Transfer Object):数据传输对象，Service 或 Manager 向外传输的对象。BO(Business
2020-08-10 09:34:19
3392
1
原创 JAVA抽象类和抽象方法(abstract)
当父类的某些方法不确定时，可以用abstract关键字来修饰该方法[抽象方法]，用abstract来修饰该类[抽象类]。我们都知道，父类是将子类所共同拥有的属性和方法进行抽取，这些属性和方法中，有的是已经明确实现了的，有的还无法确定，那么我们就可以将其定义成抽象，在后日子类进行重用，进行具体化。这样，抽象类也就诞生了。例如，定义了“动物”父类，其中“动物名称”和“动物年龄”属性已经明确了，但是“动物叫”的方法没有明确，此时就可以将“动物叫”定义为抽象方法。所以，抽象类是为了把相同的但不确定的东西的提取
2020-07-04 23:05:30
382
原创 Flink之统计PVUV
大数据开发最常统计的需求可能就是 PV、UV。PV 全拼 PageView，即页面访问量，用户每次对网站的访问均被记录，按照访问量进行累计，假如用户对同一页面访问了 5 次，那该页面的 PV 就应该加 5。UV 全拼为 UniqueVisitor，即独立访问用户数，访问该页面的一台电脑客户端为一个访客，假如用户对同一页面访问了 5 次，那么该页面的 UV 只应该加 1，因为 UV 计算的是去重后的用户数而不是访问次数。当然如果是按天统计，那么当天 0 点到 24 点相同的客户端只被计算一次，如果过了今天 2
2020-06-27 10:54:24
1345
1
原创 Java获取随机数的应用
一、理解Math.random()随机数系统默认该随机数范围0-1之间的double值，注意：这里的区间是[0,1）//也就是你取不到1所以如果你在这里使用(int)Math.random() 只能得到一个数字0二、扩大随机数取值范围例：获取[50,100)之间的随机整数int i=(int)(Math.random()*50+50);//Math.random()只能获取0-1之间的double值，所以首先要获取0-50之间的随机数，所以*50，然后+50，随机数区间就会变为 [50,100)
2020-06-27 10:45:12
297
转载 Java创建删除Topic
1.pom<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.10</artifactId> <version>0.10.2.1</version> </dependency> <dependency> <groupId>org.apache
2020-06-24 22:48:54
575
原创 Kafka工具类
今天在使用的Kafka的时候，发现新版的Kafka中的ZKUtils方法显示已过时，查阅了资料发现ZKUtils方法已经被AdminClient替代了。官网上关于AdminClient的介绍是：The AdminClient API supports managing and inspecting topics, brokers, acls, and other Kafka objects.，详情可参见官网文档。主要功能包括：创建Topic：createTopics(Collection newTop
2020-06-24 22:41:07
408
原创 Flink源码阅读之Flink_Core_Memory
Flink源码阅读----04源码分析1.MemorySegmentHeapMemorySegment和HybridMemorySegment都是MemorySegment类的子类HeapMemorySegment表示此类表示由Flink管理的堆内存。该段由字节数组支持，并具有针对基本类型的随机放置和获取方法，以及比较和交换方法。此类专门用于堆内存的字节访问和字节复制调用，同时重用Mem...
2020-03-25 10:00:12
396
1
原创 FLink学习之数据是怎么进来的
FLink学习002——数据是怎么进来的1.Flink世界观 在flink的世界观中一切都是由流组成的，离线数据是有界限的流，实时数据是一个没有界限的流，这就是所谓的有界流和无界流。无界数据流：无界数据流有一个开始但是没有结束，它们不会在生成时终止并提供数据，必须连续处理无界流，也就是说必须在获取后立即处理event。对于无界数据流我们无法等待所有数据都到达，因为输入是无界的，并且在任何时...
2020-03-14 20:05:05
505
1
原创 Flink学习之环境搭建，项目结构
1.Flink安装准备Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目，代码开源在 GitHub 上，并使用 Maven 来编译和构建项目。对于大部分使用 Flink 的同学来说，Java、Maven 和 Git 这三个工具是必不可少的，另外一个强大的 IDE 有助于我们更快的阅读代码、开发新功能以及修复 Bug。因为篇幅所限，我们不会详述每个工具的安装细节，但会...
2020-03-14 17:19:58
1851
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人