- 博客(4)
- 收藏
- 关注
RSS订阅转载 一共81个，开源大数据处理工具汇总（下）
日志收集系统 一、Facebook Scribe 贡献者：Facebook 简介：Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网...
2018-10-08 13:39:24
758
转载 一共81个，开源大数据处理工具汇总（上）
查询引擎一、Phoenix贡献者：：Salesforce简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、...
2018-10-08 13:37:37
292
原创 cdh5.14安装
服务器基础环境 ip配置已完成（172.16.19.175-180) 主机名配置完成（HDP01-HDP06） selinux已关闭 已安装jdk-8u161 配置了时间同步服务 安装过程中调整的配置 将主机名改为小写（hdp01-hdp06） 重新安装jdk，并将JAVA_HOME由原来目录/root/software/jdk1.8.0_161改为/usr/java...
2018-08-22 15:23:17
707
原创 对于python爬虫踩过的坑
最近由于工作原因，开始进行一些爬虫的学习。记录一下我第一个爬虫踩过的坑！ 首先感谢github给了我学习下去的动力。我使用的是python3.5，在window10下运行。爬虫用的是selenium+webserver的组合。 问题记录：1、开始的化想使用webdriver.PhantomJS，但是报错所以 PhantomJS是不能刚在3.5使用的，要使用h...
2018-07-31 16:01:54
2573
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人