janusgraph源码分析7-存储结构

最新推荐文章于 2024-09-02 05:45:00 发布

邓子明

最新推荐文章于 2024-09-02 05:45:00 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

文章标签： JanusGraph 知识图谱图计算

本文链接：https://blog.youkuaiyun.com/qq_32140547/article/details/83865837

本文分析了JanusGraph的存储结构，详细介绍了InternalRelation、InternalRelationType、RelationCache和EdgeSerializer等关键类。JanusGraphElement的继承体系复杂，包括JanusGraphVertex、JanusGraphEdge等。EdgeSerializer用于序列化和反序列化边，writeRelation方法涉及关系的方向、可见性、schemaId等信息的写入。readRelation则负责读取关系数据。

基础类

InternalRelation 和 InternalRelationType

有关类型体系很复杂，可以使用 IDEA 的显示继承体系功能，查看类图。类图比较大，不太好看。大概描述一下：
主要是 JanusGraphElement 作为顶级类，接下来还有一个 InternalElement 作为顶级的 Internal 类。
JanusGraphElement 继承的类主要分为 JanusGraphRelation,JanusGraphVertex 两个分支，前者又分为 JanusGraphVertexProperty, JanusGraphEdge 。
InternalElement 的继承类主要分为 InternalRelation ,InternalVertex 两个分支，前者又分为 JanusGraphVertexProperty, JanusGraphEdge 。
其中 Internal 开头类总是有一个 JanusGraph 开头的类作为父类。例如 InternalRelation 继承自 JanusGraphRelation。

JanusGraphVertex 比较特殊，他除了有 InternalVertex 子类以外，还有 VertexLabel 和 RelationType 两个子类。
同理 InternalVertex 的继承体系下，除了真正的实体以外，还有一个 JanusGraphSchemaVertex ，他有 VertexLabelVertex, RelationTypeVertex 两个子类，
RelationTypeVertex 又有 EdgeLabelVertex 和 PropertyKeyVertex 两个子类。还有 BaseLabel BaseKey BaseVerteLabel 等子类。

这里就需要提到我们之前说的，janus 的 schema 也是以顶点的形式保存的，顶级类就是 JanusGraphSchemaVertex ，有 VertexLabelVertex, EdgeLabelVertex 和 PropertyKeyVertex 三个实现。
他们分别代表了 VertexLabel EdgeLabel PropertyKey 的 Vertex，同时我们想想，这些 Vertex 也是 janus 的元素也是有属性的，我们岂不是还要新建三个类，保存他们的 Property Label 等？
然后他们的 Label 也是有属性的，这样下去就子子孙孙无穷尽也。所以才有了上面的 BaseLabel BaseKey BaseVerteLabel 作为终极的 Vertex。

然后我们看一下 InternalRelation 和 InternalRelationType 的关系，InternalRelation 代表的就是一种关系，有 JanusGraphEdge 和 JanusGraphVertexProperty 两种，

例如一个用户的性别是女，也就是给一个顶点添加一个性别 女 的属性：
首先有两个顶点, a: InternalVertex (JanusGraphVertex)，性别则是一个 b: PropertyKey (InternalRelationType) 也是一个 Vertex，
而 女 则是 property 的值，实际上就是在这两个不同类型的 Vertex 之间建立一条连接。再加上一个 value 这三个组合在一起就是一个 JanusGraphVertexProperty 。

再例如我们要给一个顶点的 VertexLabel 是 User：
首先有一个用户顶点，a: InternalVertex (JanusGraphVertex)，然后 User 也是一个建好的 schema，也就是顶点： VertexLabelVertex 。然后给他们之间建立一条关系，这个关系也是一个顶点 BaseLabel.VertexLabelEdge。

在比如给两个用户之间添加一个 Friend 的关系。
首先有两个顶点就是用户，然后新建一个 StandardEdge，然后这两个顶点分别和这个 StandardEdge 建立一个 EdgeLabel 为 Friend 的关系。

到这里我们大概明白，其实添加 Property 就是和和一个 PropertyKey 建立一条边，添加 Edge 就是和一个 vertex 建立一条边，添加 VertexLabel 就是和一个 VertexLabel 建立一条边。

InternalRelation 就是添加的边，可以序列化存储起来，也可以读出来反序列化成 InternalRelation。 InternalRelationType 就是类型，类型也是一个顶点，而 PropertyKey 这种类型对应的属性都是 Base开头的。

RelationCache

StaticArrayEntry

类似 java.nio 的 ByteBuffer。

EdgeSerializer

writeRelation

EdgeSerializer 类主要用来写 edgestore 库，这个库序列化方式相对比较简单，但代码还是比较多。

从代码调用开始看：

for (Long vertexId : mutations.keySet()) {
   
   
       Preconditions.checkArgument(vertexId > 0, "Vertex has no id: %s", vertexId);
       final List<InternalRelation> edges = mutations.get(vertexId);
       final List<Entry> additions = new ArrayList<>(edges.size());
       final List<Entry> deletions = new ArrayList<>(Math.max(10, edges.size() / 10));
       for (final InternalRelation edge : edges) {
   
   
           final InternalRelationType baseType = (InternalRelationType) edge.getType();
           assert baseType.getBaseType()==null;

           for (InternalRelationType type : baseType.getRelationIndexes()) {
   
   
               if (type.getStatus()== SchemaStatus.DISABLED) continue;
               for (int pos = 0; pos < edge.getArity(); pos++) {
   
   
                   if (!type.isUnidirected(Direction.BOTH) && !type.isUnidirected(EdgeDirection.fromPosition(pos)))
                       continue; //Directionality is not covered
                   if (edge.getVertex(pos).longId()==vertexId) {
   
   
                       StaticArrayEntry entry = edgeSerializer.writeRelation(edge, type, pos, tx);
                       if (edge.isRemoved()) {
   
   
                           deletions.add(entry);
                       } else {
   
   
                           Preconditions.checkArgument(edge.isNew());
                           int ttl = getTTL(edge);
                           if (ttl > 0) {
   
   
                               entry.setMetaData(EntryMetaData.TTL, ttl);
                           }
                           additions.add(entry);
                       }
                   }
               }
           }
       }

       StaticBuffer vertexKey = idManager.getKey(vertexId);
       mutator.mutateEdges(vertexKey, additions, deletions);
   }

这是java类 StandardJanusGraph 写数据的代码。可以看出写数据之前是需要调用 StaticArrayEntry entry = edgeSerializer.writeRelation(edge, type, pos, tx);
所以接下来我么的任务就是看看这个方法，我们先看看这几个参数的意义：

InternalRelation relation, 代表一条关系，可以是 edge，也可以是 Property。
如果是edge，edge的两个顶点都会保存这条边，如果是 Property，只会有节点保存，PropertyKey 不会保存。

InternalRelationType type, 可以是 Property 和 Edge

int position, 通过调用部分代码，可以看出表示顶点在这个关系中的位置。例如 v1 -[e1]-> v2, 对于e1来讲，v1的pos是0，v2的pos是1。
TypeInspector tx 用来检测类型.


public StaticArrayEntry writeRelation(InternalRelation relation, 
										InternalRelationType type, 
										int position,
										TypeInspector tx) 
										
{
   
   
    // 判断类型
    assert type==relation.getType() || (type.getBaseType() != null
            && type.getBaseType().equals(relation.getType()));
    // 得到方向，可以是 只有 OUT 和 IN 两种结果
    Direction dir = EdgeDirection.fromPosition(position);
    
    // isUnidi