达观数据

近十年来，随着Hadoop生态系统的不断完善，Hadoop早已成为大数据事实上的行业标准之一。面对当今互联网产生的巨大的TB甚至PB级原始数据，利用基于Hadoop的数据仓库解决方案Hive早已是Hadoop的热点应用之一。达观数据团队长期致力于研究和积累Hadoop系统的技术和经验，并构建起了分布式存储、分析、挖掘以及应用的整套大数据处理平台。本文将从Hive的原理、架构及优化等方面来分享Hive的一些心得和使用经验，希望对大家有所收货。

多年文本分类处理经验与业界人士分享探讨，如何对浩如烟海的数据进行分类、组织和管理

在搜索、推荐、广告引擎中，系统会通过复杂算法生成一个最终的结果列表。用户在看到这个结果列表时，未必都会对排序满意，比如有时觉得排序的顺序有问题，或者发现一些不符合喜好的item。如果从算法层面来调优，总会有按住葫芦起了瓢的感觉，优化了某些bad case的同时，会带来新的bad case，这种情况下，往往就需要点击模型来在“近线端”进行修正。通过用户的点击反馈，可以从算法的另一

智能问答也是人工智能中必不可少的一环。智能问答一般用于解决企业客服、智能资讯等应用场景，实现的方式多种多样，包括简单的规则实现，也可以基于检索实现，还可以通过encoder-decoder框架生成，本文通过几种常见的问答技术，概要介绍了达观数据智能问答相关原理研究。