ClickHouse源码阅读(0000 1101) —— ClickHouse是如何读写数据的（readVarUInt和writeVarUInt方法解析）

最新推荐文章于 2022-12-20 15:34:19 发布

B_e_a_u_tiful1205

最新推荐文章于 2022-12-20 15:34:19 发布

阅读量914

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Dive into ClickHouse

本文链接：https://blog.youkuaiyun.com/B_e_a_u_tiful1205/article/details/106064778

Dive into ClickHouse 专栏收录该内容

17 篇文章

订阅专栏

本文详细解析了ClickHouse客户端与服务器端数据传输的过程，重点介绍了数值型数据的写入和读取方法。通过具体的示例，展示了数字如何被转换为二进制形式，并在网络上传输。同时，解释了服务端如何反向解析这些数据，还原为原始的数值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先说写数据的方法，再说读数据的方法，知道怎么写，才知道怎么读。

写数据：写一个数值型的数字：

再Client端向Server端发起连接时，会写一个客户端的版本信息，客户端是怎么写的呢？源码如下：

        writeVarUInt(ClickHouseRevision::get(), *out);         //将"54420"写到out中(最终会用\x94\a9\03表示数字54420)

即把ClickHouseRevision::get()的结果54420写到out中。

/**举例:
   "54420"这个数字, 二进制形式是1101 0100 1001 0100,
   i = 0, x = 1101 0100 1001 0100, byte = 0001 0100, x > 0x7F, byte = 1001 0100 = \x94
   i = 1, x = 0000 0001 1010 1001, byte = 0010 1001, x > 0x7F, byte = 1010 1001 = \xa9
   i = 2, x = 0000 0000 0000 0011, byte = 0000 0011, x <= 0x7F, byte = 0000 0011 = \x03
   所以对于数字"54420", 会转化成 \x94\xa9\x03 进行传输 (1001 0100 1010 1001 0000 0011)
*/
inline void writeVarUInt(UInt64 x, WriteBuffer & ostr)
{
    for (size_t i = 0; i < 9; ++i)
    {
        uint8_t byte = x & 0x7F;
        if (x > 0x7F)//x > 0x7F 表示x的位数多于7位, 需要标记一下(将第8位置为1), 然后再进行后面的无符号右移7位
            byte |= 0x80;

        ostr.nextIfAtEnd();//检查working_buffer是否被写满了, 如果写满了则执行next()把数据写到下一层目标(写完则pos位置回到begin处); 如果没写满, 则在pos的位置写入数据
        *ostr.position() = byte;
        ++ostr.position();

        x >>= 7;//x右移7位
        if (!x)
            return;
    }
}

服务端是怎么读的呢？源码如下：

        readVarUInt(client_revision, *in);

即把版本信息从in中读取出来，保存到client_revision中。

inline void readVarUInt(UInt64 & x, ReadBuffer & istr)
{
    if (istr.buffer().end() - istr.position() >= 9)//working_buffer中剩余的未读取的内容大于9个字节 (一般istr.position()=0吧, 即working_buffer的中待读取的内容大于9个字节)
        return readVarUIntImpl<true>(x, istr);
    return readVarUIntImpl<false>(x, istr);
}

/** 举例, 接收到 \x94\xa9\x03 (1001 0100 1010 1001 0000 0011) 后是如何读取的呢？
    fast = true
    i = 0, x = 0, byte = 1001 0100, (byte & 0x7F) << (7 * 0) = 1001 0100, x = 1001 0100
    i = 1, x = 1001 0100, byte = 1010 1001, (byte & 0x7F) << (7 * 1) = 0101 0100 1000 0000, x = 0101 0100 1001 0100
    i = 2, x = 0101 0100 1001 0100, byte = 0000 0011, (byte & 0x7F) << (7 * 1) = 1100 0000 0000 0000, x = 1101 0100 1001 0100
    
    x = 1101 0100 1001 0100 = 54420
*/
template <bool fast>
inline void readVarUIntImpl(UInt64 & x, ReadBuffer & istr)
{
    x = 0;
    for (size_t i = 0; i < 9; ++i)
    {
        if constexpr (!fast)
            if (istr.eof())
                throwReadAfterEOF();

        UInt64 byte = *istr.position();//UInt64是8字节(64位)
        ++istr.position();
        x |= (byte & 0x7F) << (7 * i);//先计算括号里面的, 再计算<<, 最后计算|=

        if (!(byte & 0x80))//每个字节的最高位是标志位, 表示是否还需要继续循环读取数据. 否则数据读取结束, 跳出循环.
            return;
    }
}