- 博客(11)
- 问答 (23)
- 收藏
- 关注
RSS订阅原创 大数据一些启动脚本和采集脚本
-->只是为了自己方便所做的一些记录，仅供参考，欢迎指正<-- 启动脚本： #! /bin/bash case $1 in "start") nohup flume-ng agent --conf /opt/installs/flume1.9/conf --name a1 --conf-file /opt/installs/flume1.9/job/mall2.conf >/opt/installs/flume1.9/out2.txt 2>&1 & ;; "s.
2021-11-11 14:43:45
1973
原创 大数据各种软件，命令，端口号
端口号： 9870hadoop 8088 yarn 16010 hbase 19888 jobhistory 3306 mysql 9092 kafka 2181 zookeeper 6379 redis 4040 spark 8081 azkaban 启动关闭命令： start-dfs.sh > stop-dfs.sh > sta...
2021-10-19 20:20:53
367
原创 在把数据从kafka写入sql时引发的莫名其妙的错误
今天在把数据从kafka写入sql时莫名写不进去，代码没有任何问题，找了很久的错误，在交换依赖的顺序后竟然奇迹般成功了，写篇文章提醒自己，今后先加重要依赖，再加辅助依赖 以下为正确的依赖顺序： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins.
2021-10-19 11:18:00
260
2
原创 scala中得出time的一些方法
1.date与字符串间的转换 val str = "2021/10/18 20:00" val sdf = new SimpleDateFormat("yyyy/MM/dd HH:mm") //和str的格式保持一致 val date:Date = sdf.parse(str) //parse将字符串转换成date val sdf2 = new SimpleDateFormat("yyyy/MM/dd") val str2 = sdf2.format(date) //format将date转换成字符串
2021-10-18 20:12:22
484
原创 大数据纠错笔记——数据写入kafka
这里选择用JAVA代码实现将数据写入kafka： package work; import org.apache.commons.lang3.StringUtils; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord;
2021-10-18 14:43:02
306
原创 用JAVA写个简单的员工信息系统吧
闲来无事写个员工信息系统。 连接的My SQL数据库，其中需要导一些jar包，大家自行百度maven repository下载吧~ 接下来上代码，有问题可以评论区讨论： test（测试）类： package empmanager.test; import empmanager.dao.EmpDao; import empmanager.dao.impl.EmpDaoImpl; import empmanager.model.Emp; import org.junit.Test; import
2021-07-06 10:28:24
917
1
原创 用JAVA写个飞机小游戏玩玩吧
闲来无事写了个飞机小游戏。 设定很简单，子弹打到飞机就结束游戏。 实现步骤如下，有问题可以评论区讨论： 首先建立一个PlayGame项目和它之下的包： MyGameFrame（游戏实现）类： package game; import javax.swing.*; import java.awt.*; import java.awt.event.KeyAdapter; import java.awt.event.KeyEvent; import java.awt.event.WindowAd
2021-07-05 15:47:31
301
4
原创 万万的JAVA学习笔记01
前言 写这一系列文章的初心是希望可以记录自己学习JAVA的过程，在优快云平台与其他学习者分享自己的学习经验，也方便自己今后复习回顾所学知识。第一次在网上写博客，若有错误和不足，请读者们在评论区指出，我将采纳意见，加以改正。 PS：具体操作步骤我都会用粗体进行加粗，未加粗字体一般是自己的理解以及查阅得来的资料。 第一节 Java安装及配置环境 JAVA之父为James Gosling，1995年美国Sun公司推出了JAVA程序语言，但2009年Sun公司被甲骨文公司收购，因此现在在下载时，我们可以.
2021-05-10 13:39:20
156
2
空空如也
关于#hive#的问题，如何解决？
2022-08-26
postgreSQL中两个日期如何加减
2022-08-25
hive怎么拼接单引号
2022-08-02
从三张表里拿不同字段的数据，用什么关联比较好？
2022-05-09
拉链表，希望最后多加一次更新时间
2022-04-28
拉链表，希望能多一条更新数据
2022-04-28
用户在打开页面时，点击跳转太快会导致参数传错，算是什么导致的？
2022-04-13
HIVE怎么获得上个月天数
2022-04-12
开窗函数的开窗的字段为空会怎么样
2022-04-01
为什么以开窗函数倒序排序了，在前端没有排序
2022-03-25
请问这个SQL查出来的结果是什么
2022-03-28
统计用户产生换绑行为的数据
2022-03-21
JAVA问题：加了焦点，加了监听，点击键盘没反应，为什么呀？
2021-07-08
想让一个字段的行数作为筛选条件
2022-03-18
希望排行榜上的玩家不会减少
2022-03-13
写个UDF函数，用JAVA生成随机数
2022-03-09
怎么从一张表中剔除数据
2022-03-01
有人用过阿里云的SKEWJOIN HINT方法优化表格吗？怎么用？
2022-03-04
HIVE表加上Lifecycle会有什么效果？
2022-02-22
分别取两张表的两个字段的所有值
2022-02-27
行转列,需要公司近三十天的销售量(30列)
2022-02-09
把一个字段中的值改为其他值，并比较
2022-01-24
希望在时间范围内查询时，有些字段聚合，有些不聚合，该如何建表
2022-02-07
hive二级分区表中插入数据
2022-01-19
需要截取后三位，但有低于三位数字的值，需要补零
2022-01-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人