大数据技术
文章平均质量分 58
大数据相关工具及技能介绍
碧海饮冰
南有乔木,且行且休思
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
架构及大数据-Zookeeper与Kafka的关系及使用依赖,二者需要同时使用吗?KRaft模式又是啥?
架构及大数据-Zookeeper与Kafka的关系及使用依赖,二者需要同时使用吗?KRaft模式又是啥?原创 2025-04-05 08:30:00 · 2082 阅读 · 0 评论 -
架构与大数据-RabbitMQ和Kafka的技术实现异同及落地场景上的异同
架构与大数据-RabbitMQ和Kafka的技术实现异同及落地场景上的异同原创 2025-04-04 08:30:00 · 626 阅读 · 0 评论 -
都是大数据处理,Hadoop 生态与 Elasticsearch 生态场景到底有啥不一样
都是大数据处理,Hadoop 生态与 Elasticsearch 生态场景有啥不一样原创 2025-04-05 08:30:00 · 938 阅读 · 0 评论 -
Elasticsearch中插入数据后,立刻搜索却查不到?
Elasticsearch中插入数据后,立刻搜索却查不到?原创 2025-04-02 07:00:00 · 1362 阅读 · 0 评论 -
elasticsearc reindex操作遭遇java.security.AccessControlException: access denied suppressAccessChecks 错误
错误现象及分析elasticsearc 7.5.1版本其他操作正常,但进行 reindex操作时,遭遇java.security.AccessControlException: access denied suppressAccessChecks的错误,其原因是elastic运行时使用的jdk版本对代码权限的授予进行了限制解决方案若要解除该限制,可以到jdk的安装目录,比如说 /usr/java/jdk1.8.0_311 下,找到其目录下的jre/lib/securit/java.policy 文件,原创 2022-05-19 18:59:15 · 924 阅读 · 0 评论 -
navigation failed because browser has disconnected puppeteer 问题分析与解决
问题原因分析puppeteer 出现这个错误,大概率是因为你前面使用了 page.goto() 方法,而未等待该方法把url对应页面加载完全,而后又想使用 broswer.close() 来关闭浏览器之时,此前尚且在加载的元素无法和浏览器建立连接所致解决思路方案1, 加入 await 关键字等待页面元素加载完全,此后关闭浏览器,自然就不会出现异常await page.goto("https://mywebsite.com/")可是以上方法,可能造成的问题是,你不得不等待无关元素全部在页面中加载原创 2022-05-17 20:43:32 · 2817 阅读 · 0 评论 -
Elasticsearch的单条插入批量插入及根据条件删除记录的操作转java代码示例
Elasticsearch的部分操作(单条插入批量插入及根据条件删除记录),转java代码的示例如下: /** 批量插入多条记录到ES中(client即为RestHighLevelClient的一个实例,此处不在具体展示其创建过程) * @param dataList * @param indexName */ public void writeDataToES(List<Map<String, Object>> dataList, String indexName)原创 2021-12-27 10:56:01 · 2468 阅读 · 0 评论 -
Elasticsearch词频统计实现
IK分词器 & pinyin分词器的安装ES的安装目录下执行./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.2.0/elasticsearch-analysis-ik-7.2.0.zip若是离线安装可以使用下列命令cd plugins/mkdir ikmkdir pinyinunzip ../plugin-zips/el原创 2021-08-06 16:17:57 · 1417 阅读 · 0 评论 -
删除elasticsearch中重复数据记录的方法
根据查询条件删除特定的记录POST /hk_tm_info_v1/_delete_by_query{ "query": { "bool": { "must_not": [ { "exists": { "field": "app_date" } } ] } }}查询条件难以避开重复的话,可以使用java代码来对查询到结果进行处理,需要删除的数据加入到data原创 2021-03-07 22:22:48 · 1066 阅读 · 0 评论 -
elasticsearch的数据某字段批量去空格及更新操作
用script脚本语法,操作通过的ES版本7.2# 正常文本替换POST /full_tm_info/_update_by_query{ "query": { "term": { "term_id": { "value": "035-2179" } } }, "script": { "lang": "painless", "source": "ctx._source.notes_cn='这一措辞于2008年11月11原创 2021-03-07 22:21:23 · 1143 阅读 · 0 评论 -
搜索elasticsearch的数据条数大于10000的情况解决
默认情况下当用elasticsearch进行深度分页查询时的size-from大于10000的时候,就会报错“”### kibana里执行PUT /us_tm_info_v1/_settings{ "index.max_result_window": "20000"}第二种方式在config/elasticsearch.yml文件中的最后加上index.max_result_window: 100000000这种方法要注意在最前面加上空格声明:文章由作者本人的亲历及经验总结,属个人原创 2021-03-07 22:19:47 · 1731 阅读 · 2 评论 -
elasticsearch 匹配发音相同单词的方案
匹配拼写不同但发音相同的单词。像“邮件”和“男性”,我们可以在Elasticsearch中如何进行这样的匹配呢?这就需要用到analysis-phonetic这个语音分析插件,可以使用插件管理器安裝此插件:ES中安装analysis-phonetic插件[root@ecs-bs bin]# ./elasticsearch-plugin install analysis-phoneticfuture versions of Elasticsearch will require Java 11; you原创 2021-03-07 22:18:25 · 1200 阅读 · 0 评论 -
大数据-elasticsearch-csv文件的高效导入
本节主要对于100M以上的csv大数据文件高效导入到es中提供一种解决方案.fastcsvFastCSV是基于Java语言的超快速和简单的CSV库,RFC 4180兼容,项目许可为Apache2.0版.该项目的性能与opencsv及 Super CSV等项目基准测试相比,有如下参考(来自FastCSV项目的自主测试,本人并未验证):[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wfzT8Z3C-1615126373613)(http://res.limuqiao.原创 2021-03-07 22:14:36 · 2491 阅读 · 2 评论 -
大数据-elasticsearch-kibana安装
Kibana能提供搜索、查看和与存储在 Elasticsearch 索引中的数据进行交互的功能,开发人员用以执行高级数据分析,并在各种图表、表格和地图中可视化数据,本节主要引导在centos下如何安装Kibana下载如果你的centos可以访问外网的话,推荐直接在linux中下载,执行如下命令:wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.0-x86_64.rpm上面的那个kibana版本可以更改成你自己es对应的.原创 2021-03-07 22:10:44 · 197 阅读 · 0 评论 -
大数据-elasticsearch-安装
本节主要引导在centos下如何安装Elasticsearch[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-78M2G2FS-1615125595406)(http://res.limuqiao.com/images?imageName=tech.Tech-bigdata-elasticsearch-install-home.jpg)]Elasticsearch运行需要 Java 8 环境,在安装Elasticsearch之前先安装好JDK.下载如果你的linu.原创 2021-03-07 22:01:16 · 217 阅读 · 0 评论
分享