<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[crckerfang的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/crckerfang</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; crckerfang]]></copyright><item><title><![CDATA[第六阶段 内存级快速计算引擎Spark 作业目录]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/118982448</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/118982448</guid><author>crckerfang</author><pubDate>Thu, 22 Jul 2021 01:24:55 +0800</pubDate><description><![CDATA[模块一：https://blog.youkuaiyun.com/crckerfang/article/details/118966514

]]></description><category></category></item><item><title><![CDATA[第六阶段模块一作业]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/118966514</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/118966514</guid><author>crckerfang</author><pubDate>Thu, 22 Jul 2021 01:23:03 +0800</pubDate><description><![CDATA[《Scala编程》课程作业
第一题：百元喝酒
作业要求：每瓶啤酒2元，3个空酒瓶或者5个瓶盖可换1瓶啤酒。100元最多可喝多少瓶啤酒？（不允许借啤酒）思路：利用递归算法，一次性买完，然后递归算出瓶盖和空瓶能换的啤酒数。
代码：

object HomeWorkOne {
  /**
   *
   * @param emptyBottle 空瓶数量
   * @param bottleCap 瓶盖数量
   * @param sumBottle 可以换到的总瓶数
   */
  def changeBott]]></description><category></category></item><item><title><![CDATA[第五阶段模块二作业]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/118614771</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/118614771</guid><author>crckerfang</author><pubDate>Fri, 09 Jul 2021 23:26:24 +0800</pubDate><description><![CDATA[题目：
1.用拉链表实现核心交易分析中DIM层商家维表，并实现该拉链表的回滚
（自己构造数据，编写SQL，并要有相应的文字说明）
2.在会员分析中计算沉默会员数和流失会员数：

沉默会员的定义：只在安装当天启动过App，而且安装时间是在7天前
流失会员的定义：最近30天未登录的会员

3.在核心交易分析中完成如下指标的计算

统计2020年每个季度的销售订单笔数、订单总额
统计2020年每个月的销售订单笔数、订单总额
统计2020年每周（周一到周日）的销售订单笔数、订单总额
统计2020年国家法定节假日、休]]></description><category></category></item><item><title><![CDATA[第五阶段 PB级企业电商离线数仓项目实战作业目录]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/118403120</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/118403120</guid><author>crckerfang</author><pubDate>Fri, 02 Jul 2021 01:46:10 +0800</pubDate><description><![CDATA[模块一作业：https://blog.youkuaiyun.com/crckerfang/article/details/118390700

]]></description><category></category></item><item><title><![CDATA[第五阶段模块一作业]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/118390700</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/118390700</guid><author>crckerfang</author><pubDate>Fri, 02 Jul 2021 01:44:33 +0800</pubDate><description><![CDATA[作业题：
1、在会员分析中计算最近七天连续三天活跃会员数。
2、项目的数据采集过程中，有哪些地方能够优化，如何实现？

flume拦截器可以多过滤掉一些字段，只保留需要的json串，减少ods表存储量；

第一题解题思路：
先从视频教材里拷贝部分日志信息，导入到ods表中，然后解析ods表中json字符串存储dwd层，然后根据dwd层中的数据计算每日活跃用户数，最后计算7天内连续登陆3天的用户信息。
(导入前先清空之前的所有数据，我这里没有通过flume，直接将日志文件上传到hdfs上)
在hdfs上新建2]]></description><category></category></item><item><title><![CDATA[第四阶段模块二作业]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/118281891</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/118281891</guid><author>crckerfang</author><pubDate>Mon, 28 Jun 2021 01:13:03 +0800</pubDate><description><![CDATA[题目要求：
使用Kafka做日志收集。
需要收集的信息：
1、用户ID（user_id）
2、时间（act_time）
3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload）
4、对方企业编码（job_code）
1、HTML可以理解为拉勾的职位浏览页面
2、Nginx用于收集用户的点击数据流，记录日志access.log
3、将Nginx收集的日志数据发送到Kafka主题：tp_individual
架构：
HTML+Ngin]]></description><category></category></item><item><title><![CDATA[大数据第四阶段分布式缓存Redis及Kafka消息中间件作业目录]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/117996377</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/117996377</guid><author>crckerfang</author><pubDate>Thu, 17 Jun 2021 16:24:38 +0800</pubDate><description><![CDATA[第四阶段模块一作业：https://blog.youkuaiyun.com/crckerfang/article/details/117993302

]]></description><category></category></item><item><title><![CDATA[第四阶段模块一作业]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/117993302</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/117993302</guid><author>crckerfang</author><pubDate>Thu, 17 Jun 2021 16:20:16 +0800</pubDate><description><![CDATA[题目：
RedisCluster的安装、部署、扩容和Java客户端调用，如下图：

（1）搭建Redis5.0集群，要求三主三从，记录下安装步骤
（2）能够添加一主一从（Master4和Slaver4），记录下安装步骤
（3）能够通过JedisCluster向RedisCluster添加数据和取出数据
第一小题解题步骤：
拷贝redis-5.05.tar.gz的安装包到linux服务器，并解压
tar -zxvf redis-5.0.5.tar.gz -C /opt/modules/
[root@bfd01]]></description><category></category></item><item><title><![CDATA[第三阶段模块四作业]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/117701164</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/117701164</guid><author>crckerfang</author><pubDate>Wed, 09 Jun 2021 00:30:58 +0800</pubDate><description><![CDATA[题目：
一、基于Zookeeper实现简易版配置中心要求实现以下功能：

创建一个Web项目，将数据库连接信息交给Zookeeper配置中心管理，即：当项目Web项目启动时，从Zookeeper进行MySQL配置参数的拉取
要求项目通过数据库连接池访问MySQL（连接池可以自由选择熟悉的）
当Zookeeper配置信息变化后Web项目自动感知，正确释放之前连接池，创建新的连接池

思路：
1.新建maven web项目，导入相关jar包；
2.使用druid连接池自动管理连接；
3.读取本地配置文件并上传到]]></description><category></category></item><item><title><![CDATA[第三阶段模块三作业]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/117377331</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/117377331</guid><author>crckerfang</author><pubDate>Sat, 29 May 2021 02:27:05 +0800</pubDate><description><![CDATA[题目：
业务背景
现有收集到用户的页面点击行为日志数据，数据格式如下：
用户id, 点击时间
user_id click_time
A,2020-05-15 01:30:00
A,2020-05-15 01:35:00
A,2020-05-15 02:00:00
A,2020-05-15 03:00:10
A,2020-05-15 03:05:00
B,2020-05-15 02:03:00
B,2020-05-15 02:29:40
B,2020-05-15 04:00:00
业务：
会话概念：用户的一次]]></description><category></category></item><item><title><![CDATA[第三阶段模块二作业]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/117342084</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/117342084</guid><author>crckerfang</author><pubDate>Fri, 28 May 2021 04:00:22 +0800</pubDate><description><![CDATA[题目要求：
见pdf:链接：https://pan.baidu.com/s/1YYx7-1s8t0LJYHWcnABLsw 提取码：z6h3
由于作业测试数据量非常小，所以主要是以写sql为主，暂时没有调优步骤。
题目一：
思路：这题是连续N天登陆的同类问题，按照row_number编号–&gt;year减rownum=gid --&gt;按gid分组这个固定思路写sql即可。
sql:
WITH tmp AS (
	SELECT
		team,
		YEAR,
		YEAR - (
			row_numb]]></description><category></category></item><item><title><![CDATA[第三阶段模块一作业]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/117000404</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/117000404</guid><author>crckerfang</author><pubDate>Tue, 18 May 2021 20:44:34 +0800</pubDate><description><![CDATA[题目：
第三阶段模块一：
有三个文件file1、file2、file3，文件中每一行都是一个数字，如下所示。
file1：
2
32
654
32
15
756
65223
file2:
5956
11
650
92
file3:
26
54
6
请编写 MapReduce 程序实现如下需求：
MapReduce 程序读取这三个文件，对三个文件中的数字进行整体升序排序，并输出到一个结果文件中，结果文件中的每一行有两个数字（两个数字之间使⽤用制表符分隔)，第一个数字代表排名，第二个数字代表原始数据
期望输出:]]></description><category></category></item><item><title><![CDATA[大数据第三阶段 Hadoop核心及生态圈技术栈作业目录]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/117000347</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/117000347</guid><author>crckerfang</author><pubDate>Tue, 18 May 2021 20:34:00 +0800</pubDate><description><![CDATA[第三阶段模块一：

]]></description><category></category></item><item><title><![CDATA[大数据预科班综合测试卷下]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/116206708</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/116206708</guid><author>crckerfang</author><pubDate>Tue, 27 Apr 2021 20:22:53 +0800</pubDate><description><![CDATA[二、SQL编程题（总分40分）    要求：提交效果截图或演示视频到码云
1、题目一
有如下三张数据表
学生表：student(studentNo,studentName,age,sex)
课程表：course(courseNo,courseName,tearcher)
学生得分表：student_course(studentNo,courseNo,grade)
编写SQL语句，完成如下需求
1）查询有课程大于80分又有课程低于60分的学生的学号（5分）
2) 查询各门课程去掉一个最高分和最低分后的平均成绩]]></description><category></category></item><item><title><![CDATA[第二阶段模块五作业]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/116058540</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/116058540</guid><author>crckerfang</author><pubDate>Tue, 27 Apr 2021 17:53:16 +0800</pubDate><description><![CDATA[一、Linux简答题
1.使用top查看系统资源占用情况时，哪一列表示内存占用呢？
used表示占用了多少内存

2.如果知道一个文件名称，怎么查这个文件在linux下的哪个目录，如：要查找tnsnames.ora文件
2种常用查询方法：
find /opt/software/ -name scala* 或者 find /opt/software/ |grep scala


二、编码题
题目要求:
一个张xxx.sql表的大小为156M, 需要用拆分表的工具将表拆分为1024KB的多个文件,请编写shel]]></description><category></category></item><item><title><![CDATA[第二阶段模块四作业]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/115712298</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/115712298</guid><author>crckerfang</author><pubDate>Wed, 14 Apr 2021 23:12:54 +0800</pubDate><description><![CDATA[mu

]]></description><category></category></item><item><title><![CDATA[第二阶段模块三作业]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/115365263</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/115365263</guid><author>crckerfang</author><pubDate>Thu, 01 Apr 2021 02:16:27 +0800</pubDate><description><![CDATA[题目：
模块编程题
使用前端、数据库、JavaWeb 等技术并采用 MVC 设计模式,基于三层架构实现学生信息管理系统
其中学生信息有：学号、姓名、性别、出生日期
要求：
a. 完成用户登陆功能 （判断用户输入的用户名密码和数据库存储的用户名密码是否相同）当登陆成功 跳转到首页显示登陆成功（页面、数据库表自行设计实现）
b.完成用户添加功能（首先跳转到添加页面，将页面表单中填写的内容保存到数据库中）
c.使用过滤器对添加用户的请求进行拦截，判断是否是未登录状态
未登录：跳转到登陆页面
已登陆：放行到目标资源]]></description><category></category></item><item><title><![CDATA[第二阶段模块二作业第二题]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/115206487</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/115206487</guid><author>crckerfang</author><pubDate>Thu, 25 Mar 2021 22:46:01 +0800</pubDate><description><![CDATA[题目：
使用Vue完成简易购物车案例

题目要求:
1.作出如图的展示效果
2.点击购买加号则数量增加,总价格随之更变
3.如果书本数量为1则不能减少
4.点击移除,删除该行,总价格随之更变
5.使用VUE + HMLT 实现该案例
思路：
在vue的视频里讲过一个类似的案例，自动更新价格的方法视频里没有讲过，使用computed关键字即可，剩下的部分在视频案例的基础上修改即可。
演示过程：

代码如下：
&lt;!DOCTYPE html&gt;
&lt;html lang="en"&gt;
&lt;he]]></description><category></category></item><item><title><![CDATA[第二阶段模块二作业第一题]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/115206303</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/115206303</guid><author>crckerfang</author><pubDate>Thu, 25 Mar 2021 13:28:34 +0800</pubDate><description><![CDATA[题目1:简答题
需求：当前希望分析产品上线两周后，页面的使用人群特点（年龄、性别、城市）和页面上不同入口点击率（页面上各种按钮、超链接等等的点击次数/页面访问次数）的关系。 拿到的数据格式为csv格式，每行数据包括：用户操作时间、用户id、用户对应的信息（好几列，年龄、性别、城市）、操作行为（访问、点击）、被操作模块名称（访问行为此列为空，点击行为此列为被点击入口的名称），示例如下：

任务：对过去两周产品的使用人群特点和入口点击率进行描述和可视化作图，说明上两周的现状情况。要求：从整体角度描述提到两个指标]]></description><category></category></item><item><title><![CDATA[学习问题汇总]]></title><link>https://blog.youkuaiyun.com/crckerfang/article/details/115074352</link><guid>https://blog.youkuaiyun.com/crckerfang/article/details/115074352</guid><author>crckerfang</author><pubDate>Mon, 22 Mar 2021 13:20:24 +0800</pubDate><description><![CDATA[所有学习过程中遇到的问题汇总记录。
JavaWeb:
idea部署webapp打开html默认端口号为63342而不是8080：https://blog.youkuaiyun.com/crckerfang/article/details/115074294

]]></description><category></category></item></channel></rss>