p2p、分布式，区块链笔记: 通过libp2p的Kademlia网络协议实现kv-store

Kademlia 网络协议

• Kademlia 是一种分布式哈希表协议和算法，用于构建去中心化的对等网络，核心思想是通过分布式的网络结构来实现高效的数据查找和存储。在这个学习项目里，Kademlia 作为 libp2p 中的 NetworkBehaviour的组成。

• 以下这些函数或方法是根据 Kademlia 网络协议设计的，它们实现了基本的网络操作，包括获取数据记录、获取数据提供者、存储数据记录和开始提供数据等功能（这里只展示了项目中用到的函数，常用函数可以看libp2p Kademlia DHT 规范，更多函数可见如下图中的源码部分）。

1. get_record

kademlia.get_record(key, Quorum::One);

• 作用： 从 Kademlia 网络中获取与指定 key 相关的记录。
• 参数：
  • key: 要获取记录的键。
  • Quorum::One: 获取记录时所需的一致性要求，这里是指只需要从一个节点获取记录即可。
• 实现逻辑：
  • 根据 Kademlia 协议，节点首先根据 key 计算出其对应的 K-bucket 或者具体的节点 ID，然后向网络中查找负责该 key 的节点。
  • 节点通过网络查询和消息传递机制，从负责节点处获取存储的记录。
  • 返回获取到的记录或者执行相应的处理逻辑。

2. get_providers

kademlia.get_providers(key);

• 作用： 获取能够提供与指定 key 相关数据的节点信息（即数据的提供者）。
• 参数：
  • key: 要获取提供者信息的数据的键。
• 实现逻辑：
  • 类似于 get_record，节点根据 key 计算出其对应的 K-bucket 或者节点 ID。
  • 节点向网络发送查询请求，询问哪些节点能够提供与 key 相关的数据。
  • 返回能够提供数据的节点列表或者执行相应的处理逻辑。

3. put_record

let record = Record {
   
   
    key,
    value,
    publisher: None,
    expires: None,
};
kademlia.put_record(record, Quorum::One).expect("Failed to store record locally.");

• 作用： 将指定的记录存储到 Kademlia 网络中。
• 参数：
  • record: 包含要存储的数据信息的记录对象，包括 key（键）、value（值）、publisher（发布者，可能为空）、expires（过期时间，可能为空）等字段。
  • Quorum::One: 存储记录时的一致性要求，这里是指只需要将记录存储在一个节点即可。
• 实现逻辑：
  • 节点根据 key 计算出对应的 K-bucket 或节点 ID。
  • 节点将 record 发送给负责存储该 key 的节点，并根据指定的一致性要求存储副本。
  • 返回存储成功或失败的结果，或者执行相应的处理逻辑。

4. start_providing

kademlia.start_providing(key).expect("Failed to start providing key");

• 作用： 在 Kademlia 网络中开始提供指定 key 的数据。
• 参数：
  • key: 要开始提供的数据的键。
• 实现逻辑：
  • 节点将 key 注册为它可以提供的数据标识。
  • 当其他节点查询或需要该 key 的数据时，该节点将响应并提供相应的数据。
  • 返回启动提供成功或失败的结果，或者执行相应的处理逻辑。

kv数据库主体代码及注释

use async_std::io;
use futures::{
   
   prelude::*, select};
use libp2p::kad::record::store::MemoryStore;
use libp2p::kad::{
   
   
    record::Key, AddProviderOk, Kademlia, KademliaEvent, PeerRecord, PutRecordOk, QueryResult,
    Quorum, Record,
};
use libp2p::{
   
   
    development_transport, identity,
    mdns::{
   
   Mdns, MdnsConfig, MdnsEvent},
    swarm::SwarmEvent,
    NetworkBehaviour, PeerId, Swarm,
};
use std::error::Error;

#[async_std::main]
async fn main() -> Result<(), Box<dyn Error>> {
   
   
    env_logger::init();

    //  创建本地密钥，本地peer id和传输控制组件
    let local_key = identity::Keypair::generate_ed25519();
    let local_peer_id = PeerId::from(local_key.public());
    let transport = development_transport(local_key).await?;

    // 事件行为控制
    // We create a custom network behaviour that combines Kademlia and mDNS.
    #[derive(NetworkBehaviour)]// https://docs.rs/libp2p/latest/libp2p/swarm/trait.NetworkBehaviour.html
    #[behaviour(out_event = "MyBehaviourEvent")]//这个 "MyBehaviourEvent" 定义在下边的代码中
    // NetworkBehaviour这个trait将对所描述的结构体中的每个成员依次进行操作，例如 NetworkBehavior:：poll它将首先轮询第一个结构成员，直到返回poll:：Pending，然后再转到后面的成员。
    // 关于 #[behaviour(out_event = "MyBehaviourEvent")]中的out_event ：The final out event. If we find a `#[behaviour(out_event = "Foo")]` attribute on the struct, we set `Foo` as the out event. Otherwise we use `()`.
    struct MyBehaviour {
   
   
        kademlia: Kademlia<MemoryStore>,
        mdns: Mdns,
    }


    #[allow(clippy::large_enum_variant)] //  #[allow(）为Lint语法属性检查控制,https://doc.rust-lang.org/reference/attributes/diagnostics.html#lint-check-attributes    //关于large_enum_variant 详见https://rust-lang.github.io/rust-clippy/master/index.html#/large_enum_variant
    enum MyBehaviourEvent {
   
   
        Kademlia(KademliaEvent),
        Mdns(MdnsEvent),
    }
    // 实现（impl）块，用于为类型KademliaEvent实现了From trait，使其能够被转换为类型MyBehaviourEvent。
    impl