2014个人总结

一，2014年技术工作回顾和技术经验？

 a，技术工作回顾

    1) 基本日志解析：开发md、vd日志解析程序以及mapreduce离线批处理程序。

    2) visualVM监控hadoop集群、storm评估、sqoop数据导入导出。  

    3) aud项目中：mapreduce、spark、spark-sql、avro、parquet、hbase、hive技术的结合使用。  

    4) 数据挖掘理论探索阶段：数据挖掘工具SPSS modeler的使用、对数据挖掘的理解、对数据的认识与理解。      

    5) 开发（python/java）简单爬虫爬取网页数据，然后结巴分词，文本分析中实现TFIDF算法提取topN关键词，做数据准备工作。spark-mllib做文本分类，并开发按规则识别域名功能。

    6) 研究学习新浪API和新浪微博模拟登陆，多帐号切换爬取用户信息。·

    7) 整理搜狗百度输入法部分词库，网站导航，职业分类等关键词信息。  

    8) 打标签系统:restful,hbase过滤器和分页条件查询，配置phoenix并完成数据导入和查询程序开发、

       编写solr为hbase数据构建索引和检索的程序代码，顺带学习了cloudear search官方文档。    

    9) 业余自学中，对spark有一些相对深入的理解，根据工作的进度学习了数据分析，大学数学，机器学习，python numpy/scipy 但都没深入，意义不大。

   

 b，技术经验

    1) 编写phoenix时，phoenix-core.jar与HBase-*.jar重复引入导致jar冲突引发异常，去掉HBase-*.jar依赖后解决。

    2) 向hbase导入数据时应该事先对换行符,制表符等进行捕捉和处理以提高工作效率。

    3) 开发简单爬虫时，可通过使用现有编码识别组件识别网页编码。

    4) 将复杂的工作拆解为细小的工作流任务，当需求变动时，能大大减少重复劳动。例如爬取网页和提取网页信息应当分离使，使原始网页得到重用，

       主要原因是爬取原始网页最为费时。

    5) 拷贝来的字符串需要经过教研其正确性再使用。

    6) 配置环境前，需要提前检查其端口是否被占用，而不是经过调试来达到目的。

    7) 测试环境和线上保持一致才是有意义的测试。

    8) 及时记录问题，和异常。不要忽略问题。

    9) 实际开发中，分析业务需求时，寻找变动幅度最大的环节。

    10)处理数据的速度应当大于数据增长的速度。u

   

   

二，沟通能力

 我会从以下几点去提升自己：

 1) 耐心听懂别人的话

 2) 阅历和准备：不断的开阔自己的眼界，拓展知识广度和技术的深度，才能做到相对有质量的沟通

 3) 明确需求：自己需要什么，期望别人给我什么。礼貌友好的开始，不期待别人一定能给我解决问题。

 4) 当别人质疑我时，我可能得到另一种答案意识到自己的错误

 

三，工作能力

 我会从以下几点去提升自己：

 1) 多思考，不盲目执行：应该根据实际情况，寻找最优质的解决方案，因此在得知域名标签系统中mysql存储方案替换hbase方案后，

    我意识到通用语料库训练系统中solr是否是最理想的解决方案？是否还有更好的方案。于是，我学习了cloudear search官方文档，

    根据我的理解：cloudear search是一种多场景的综合解决方案，内部结合了solr，flum，mapreduce，lily等且需要预先安装一些服务，

    mapreduce批处理，flum，etl，hbase等场景都有一定的使用价值，而且存在一定的学习成本，而结合我们的技术线：以spark为主导的情况下，

    而且目前只有hbase有索引需求，单一的solr方案可能比cloudear search更好。

 2) 团队精神和协作能力：

    当别人的工作和自己的经验可能发生交集时，主动告知对方，对于这个问题，我是怎样处理的，别人可以沿用我的成果。

    今天我就实行了，有时候并不是因为竞争意识不愿意主动告诉青峰，大多情况下都是没有意识到或者考虑到别人已经有了解决方案。

 3) 文档能力。

 4) 规范化，标准化的代码编写习惯。

 5) 需求理解,分析能力。

 6) 复用性，模块化思维能力。

 7) 测试习惯。

 8) 经验提炼：在工作中更多的提炼和总结工作经验和技术经验，深化已拥有的工作经验，因为我已经真正意识到很多细小的工作习惯往往能极大的提高工作效率。

 

四，总结

 1) 学习方式问题：2014年我只投入了60%的业余时间在专业技术上，我还不够努力，而且买的资料，学的东西种类很多，没有多少知识学到深入，一段时间就忘得差不多了，

    不是学习方法的问题，而是学习方式的问题，当时学得很快，短时间还能记住，时间长没有得到应用的知识就容易忘记。

 2) 个人意识问题：我一直追求技术和知识，想通过多学习知识来提升自己，却从来都没意识到如何提升自己，通过什么样的途径提升自己。

 3) 我不是一个天才，很多意识都需要在工作中培养，或者经过他人点拨和引导，真心的感谢领导的点拨和培养！

    当然别人不可能提醒我一辈子，但是只要适当的提醒，或许能让引导我主动去探索未知。