- 博客(3)
- 收藏
- 关注
RSS订阅原创 ElasticSearch集群升级Spark出现EsHadoopIllegalArgumentException:Unsupported/Unknown Elasticsearch version解决
近期由于平台提供方ES集群升级，由5.5.0升级为6.4.3原SparkStreaming访问ES使用elasticsearch-hadoop依赖中EsSpark.saveJsonToEs写入数据。将elasticsearch-hadoop依赖包升级为对应6.x版本后esMap添加Xpack参数:es.nodeses.portes.mapping.ides.net.http.auth.useres.net.http.auth.pass本地调试读写均正常，但在提交yarn集群运
2020-09-02 15:59:28
1867
原创 SparkStreaming+kafka参数设置
近期项目中对SparkStreaming+Kafka模式使用过程中需要限制单批次最大数据量，在容器节点计算出现延迟或故障时进行自动降低消费频率，在此对几个参数进行分享，同时也为加深自己的印象；由于项目中使用的技术组件主要为SparkStreaming+Kafka+Hbase+Elasticsearch，覆盖了从数据接入-逻辑计算-结果输出几个环节，且业务需求关系，计算逻辑较为复杂，需要与Hb...
2019-12-02 17:42:59
3553
转载 HashMap实现原理
关键词：在已知元素大概数量情况下通过初始化指定容量及负载因子参数来生成HashMap；负载因子越高说明空间利用率越高，但相对遍历速度越低；1.Map map=new HashMap(32,0.8f);//初始容量个数，负载因子2.尽量用String,Integer等包装类或其他不可变类型对象做泛型参数；（hashcode固定）3.fail-fast机制用于遍历时对比modcount变量是否变化，从...
2018-04-25 16:36:01
181
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人