- 博客(10)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Ambari 主机链接显示和跳转问题
背景华为云Ambari HDP大数据集群迁移，用的华为整机镜像方式，记录一些不常见的问题。Q1：ambari 页面主机链接显示问题/服务器对外主机名，无法跳转正常情况这里应该显示设置后的主机名，但这里显示的是服务器对外的主机名A：修改 public_host_name 获取方式sudo vim /usr/lib/ambari-agent/lib/ambari_agent/hostname.py 98 try: 99 handle = urllib2.urlopen('http:/
2021-10-28 10:55:03
547
原创 Atlas元数据-集成sqoop
Atlas集成Sqoopatlas集成sqoop文档较少 简单写一下，sqoop hook 与hive hook是相辅相成的environment：CDH：6.2.0sqoop：1.4.7Atlas：2.0.0Hive:2.1.11. 配置 sqoop-site.xml我用的cdh版本：2.配置Atlas1.确保/atlas/apache-atlas-2.0.0/hook/sqoop文件，没有看我部署篇 atlas-plugin-classloader-2.0.0.jar at
2020-08-11 17:16:06
1562
1
原创 元数据 - Amundsen
推荐一款新得元数据管理工具 Amundsen美国lyft公司开源，项目地址还是比较活跃的，只是目前不支持血缘关系。
2020-08-05 15:51:52
1029
原创 Atlas元数据-安装部署
Atlas 元数据 - 安装编译记录下经过的坑1、atlas 编译1.1 编译环境要求：*****2、执行3、粘贴一些还记得的报错3.1、The web address you're looking for is not a functioning page in Apache Atlas3.2、Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hive.metastore.api.Database.getCa
2020-08-05 15:26:31
1203
原创 spark 调用 janusgraph 问题汇总
用spark调用janusgraph 会有一个小问题，在此记录下，如果对读者有帮助那最好了。1.图已经创建并写入了数据，通过spark 找不到图，或者GraphComputer，图形是空的。Caused by: com.netflix.astyanax.connectionpool.exceptions.BadRequestException背景： 官方文档建议建议用cql来连接Janusgr...
2019-01-11 14:02:48
2532
4
原创 ES 自定义分词
由于项目需求，需要对化学式分词，特此记录示例为空格分词主要继承Tokenizer 重写 incrementToken方法package org.elasticsearch.gridsum.plugin.extend;import org.apache.logging.log4j.LogManager;import org.apache.logging.log4j.Logger;imp...
2018-10-23 17:22:25
663
翻译 JanusGraph 诸神图示例
形成图谱如下：源码：import com.google.common.base.Preconditions;import org.janusgraph.core.EdgeLabel;import org.janusgraph.core.Multiplicity;import org.janusgraph.core.PropertyKey;import org.janusg...
2018-09-14 17:36:34
3342
翻译 图数据库 JanusGraph
图数据库 JanusGraph知识图谱1.什么是知识图谱知识图谱：是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。2.知识图谱应用知识图谱的应用场景非常广泛：场景一 新闻事件的关联分析场景二 识别反欺诈潜在风险场景三 不一致性验证识别场景四 失联客户管理场景五 ...
2018-09-14 17:23:13
2763
原创 JavaSpark 自定义累加器
JavaSpark 自定义累加器实现import org.apache.spark.util.AccumulatorV2;import scala.runtime.BoxedUnit;import java.util.*;/** * @description: 自定义累加器 * 拓展 String、List、Map * @author: Mr.杜子...
2018-07-30 17:17:34
1387
原创 PySpark调用Java UDAF
Use Java UDAF in PySparkJavaimport org.apache.spark.sql.Row;import org.apache.spark.sql.expressions.MutableAggregationBuffer;import org.apache.spark.sql.expressions.UserDefinedAggregateFunc...
2018-07-30 16:43:54
1609
2
clouder-cdh-6.2.1 离线安装包
2022-02-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人