本周总结

      本周主要工作还是集团DPI与DDR比对工作、工信部日志留存及拨测工作、流量查询系统工作、运维工作，工作很忙，被很多杂事束缚住了手脚，没有时间学习，很郁闷。

      目前团队管理和开发都存在很多问题

      （1）管理方面，大家都很累，工作无效率，办事无规章，尤其是很多临时取数的需求，很恶心，都是一些无效率的取数

             数据分析人员思维比较固定，不学习新东西，导致平台组的同事经常帮分析组的同事取数，分析，团队内部过多的消耗精力在这块。分析组应该迎接新技术，大数据平台都开始建第三期了，他们还只会玩玩SQL.

        (2)  开发方面，很多规章制度没有建立，

         *  需求管理不规范，代码开发不规范脚本几乎没有注释，除了自己能看懂，知道干嘛，没有其他人知晓，需求、代码和数据的生命周期没有人关心，

         *  数据管理不规范，大数据平台只进数据，不删数据，极大浪费资源，数据好像都是长寿的，哪怕是临时数据。

         *  日志书写不规范，告警不配置，给运维人员带来较多困扰。

       （3）平台监控：主控节点、数据节点，说宕机就宕机，没有任何手段和方法对机器、服务进行监控，也木有分析日志，做日志告警，用户感知差。

        

       管理和运营不规范，历史遗留问题多，是忙而没有效果的主要原因。

  工作之外的计划：

     （1）Hbase课程写完hbase shell和API的相关文档和课件，并录制完2节课程的视频

     （2）收集url相似度匹配算法资料，并且完成初步算法优化