stable_zl的博客

一、作业背景​ 这次作业完成了一个风机监控系统，使用到的技术有 Kafka，Storm，Hbase，SpringBoot 和 Echarts。Kafka 负责读取数据，Storm 负责把数据进行清洗，把清洗结果写到 Hbase 中，并且如果监测到异常数据要把异常数据写到 Mysql 里，利用 SpringBoot 搭建了监控平台的服务器，定时监控 Mysql 中的数据，如果有变化，则要通过 W...

一、完成的工作​ 1、在网页上加了拦截器​ 2、把 ALS 推荐的结果显示到页面上​ 3、把网站部署到 Linux 上二、遇到的问题​ 这次实验的内容与大数据无关，大多是关于前端的内容，遇到最大的一个问题就是把推荐结果显示到页面上这一步了，自己一开始看了老师给的前端框架部分代码，发现并没有留前端的接口，自己就以为不能用了，准备自己写，写了一半后发现老师的代码其实是用的框架，只需要根据框架...

一、完成的工作​ spark 读取 hdfs 中的数据并进行 ALS 建模，使用交叉验证选取最优的模型二、遇到的问题1、通过超参调整，交叉验证方式获得最优模型时遇到问题​ 老师说过超参调整，交叉验证方式获得最优模型，还提到了 AUC 曲线，我当时不知道什么是超参调整，什么是交叉验证，什么是 AUC 曲线，就想着要快点写代码，ppt 看几页就去写几行代码，全是靠运气往出试，结果到最后浪费了很...

一、完成的工作1. 把老师给的代码成功运行2. 把数据从 mysql 导入到 hdfs二、遇到的问题及解决、思考1. 运行老师的代码时遇到的问题问题：​ 在运行老师的代码时其实一开始就成功启动了，但在启动之后发现总是有一段自己不知道是什么的输出，就以为时程序有 bug，所以耗费了大量的时间来从网上搜索，但无果，最终还是老师告诉我那是 web 程序向 livy-server 发出的...