- 博客(6)
- 收藏
- 关注
RSS订阅转载 spark-submit 参数调优
spark-submit 参数介绍： --master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. --deploy-mode DEPLOY_MODE Whether to launch the driver program locally ("client") or ...
2018-12-05 15:02:27
343
原创 hbase 关于过滤器的一个小bug
代码展示 获取Hbase 中 符合条件的数据 条件一 如果 传参fb不等于null 设置SingleColumnValueFilter 默认设置关于购方名称的Filter 结果展示 输出RowKey,购方名称,和发票类别 购方名称不等于Null 但是Hbase 没有过滤掉 ...
2018-08-30 16:13:34
305
原创 spark TopN求解
完整代码text.txt文件内容代码没什么好说的 但有一个注意点 SparkConf.setMaster 这里如果设置为多线程 那么count必须调用collect()方法 否则结果不正确
2018-03-08 13:46:25
548
翻译 spark大数据分析实战案列1学习 （lamda架构日志分析流水线）
日志实例格式当数据量较小(10MB,100MB,10GB)可以通过Shell Python单机解决Linux Shell命令 : cat access.log.10 |awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}'| sort -k2 -r |head -n 10 日志分析指标： 1：PV 2...
2018-02-26 16:09:32
1611
原创 Solr和HttpClient高并发 对比
公司需求 做了相关测试 关于HttpClient解析url 获取数据 和通过Solr API方式来获取参数来做相关查询 速度做相关对比对比1）httpClient的相应方法 /** * Get方式发起请求 * * @param url * get请求的URL * @return */ public static Stri...
2018-01-24 15:40:24
3476
原创 Solr的API 链接
pom.xml 添加配置 org.apache.solr solr-solrj 6.5.0 org.apache.httpcomponents httpclient 4.5.3 org.apache.httpcomponents httpmime 4.5.3
2018-01-22 10:58:26
772
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人