
入门
随缘zzz
这个作者很懒,什么都没留下…
展开
-
Flume几个常见业务的配置文件信息(复制后注意修改主机名和路径)
使用 Flume 监听一个端口,收集该端口数据,并打印到控制台添加内容如下:a1.sources = r1a1.sinks = k1a1.channels = c1#配置source代码块#sources类型a1.sources.r1.type = netcat#主机名a1.sources.r1.bind = localhost#端口号a1.sources.r1.port = 44444#sink类型a1.sinks.k1.type = logger#channel配置原创 2020-06-06 15:43:07 · 335 阅读 · 0 评论 -
Shuffle过程中重要的WritableComparable排序入门
WritableComparable排序MapTask和ReduceTask均会对数据按照key进行排序,改操作属于hadoop的默认行为,任何应用程序中的数据均会被排序,而不管逻辑上是否需要。默认排序按照字典顺序排序,且实现该排序的方法是快速排序。自定义排序WritableComparable当bean对象作为key传输,需要实现WritableComparable接口序列化过程://反序列化 @Override public void readFields(DataInput in)原创 2020-05-29 11:17:49 · 169 阅读 · 0 评论 -
Shuffle中的Partition分区(入门)
Partition分区:分区运行时间是在map后reducer前。解决如:要求将统计结果按照条件输出到不同文件中。此类问题。默认分区:自定义Partitionner步骤自定义的类继承Partitioner,重写getPartition()方法//前两个参数是map输出的K,V,最后一个参数是设置分区的数量,在Driver中设置public int getPartition(Text key, FlowBean value, int numPartitions) { //里面是控制分区的原创 2020-05-29 10:36:56 · 1292 阅读 · 0 评论 -
用java生成验证码(新手)
这个类用来生成图片验证码import java.awt.BasicStroke;import java.awt.Color;import java.awt.Font;import java.awt.Graphics2D;import java.awt.image.BufferedImage;import java.io.IOException;import java.io.Outpu...原创 2020-04-29 20:51:32 · 267 阅读 · 0 评论 -
登录模块的设计思路(新手)
*登录模块的思路login.jsp(登录的主页): 提供登录的表单,将表单的信息请求LoginServletLoginServlet(登录的Servlet):获取请求参数,校验用户是否登录成功失败:保存错误信息到request域中,转发到login.jsp页面(login.jsp显示request域中的 错误信息)成功:保存用户信息到session域中(为了验证其他页面是否登录了),重定...原创 2020-04-28 22:22:53 · 2376 阅读 · 0 评论 -
JDBC小白
标题 JDBC小白基础java连接mysql关键步骤:1.导入mysql-connector-java-5.1.7-bin.jar包2.利用反射加载Driver类3.配置好数据库名,密码,url其中mysql的url的格式固定为jdbc:mysql://localhost:3306/数据库名4.建立连接这样,就可以成功连接上数据库了JDBC的操作数据库增删改查查询:使用pr...原创 2020-04-27 22:46:08 · 158 阅读 · 0 评论