
linux
ousongsong
这个作者很懒,什么都没留下…
展开
-
Azkaban任务调度
需求现有用户点击行为数据文件,每天产生会上传到hdfs目录,按天区分目录,现在我们需要每天凌晨两点定时导入Hive表指定分区中,并统计出今日活跃用户数插入指标表中。日志文件clickloguserId click_time indexuid1 2020-06-21 12:10:10 a.htmluid2 2020-06-21 12:15:10 b.htmluid1 2020-06-21 13:10:10 c.htmluid1 2020-06-21 15:10:10 d.htmluid2原创 2020-11-12 02:11:47 · 1555 阅读 · 0 评论 -
基于Zookeeper实现简易版配置中心
需求创建一个Web项目,将数据库连接信息交给Zookeeper配置中心管理,即:当项目Web项目启动时,从Zookeeper进行MySQL配置参数的拉取要求项目通过数据库连接池访问MySQL(连接池可以自由选择熟悉的)当Zookeeper配置信息变化后Web项目自动感知,正确释放之前连接池,创建新的连接池思路1.启动程序,使用默认的配置项zk中创建永久节点,并使用该配置连接数据库2.使用zk监听文件内容变化,当数据变化时,释放之前的连接,使用心得配置进行连接3.手动变更永久节点的值,查看原创 2020-11-09 01:45:53 · 644 阅读 · 0 评论 -
按时间间隔求访问序号
Impala作业题业务背景现有收集到用户的页面点击行为日志数据,数据格式如下:用户id, 点击时间user_id click_timeA,2020-05-15 01:30:00A,2020-05-15 01:35:00A,2020-05-15 02:00:00A,2020-05-15 03:00:10A,2020-05-15 03:05:00B,2020-05-15 02:03:00B,2020-05-15 02:29:40B,2020-05-15 04:00:00业务:会话概原创 2020-10-25 23:12:19 · 195 阅读 · 0 评论 -
linux基础篇
linux基础篇Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。文章目录linux基础篇linux的安装1需要先安装虚拟机vm2 安装linux需...原创 2018-12-18 10:06:17 · 244 阅读 · 0 评论