ClickHouse源码阅读(0000 1101) —— ClickHouse是如何读写数据的(readVarUInt和writeVarUInt方法解析)

本文详细解析了ClickHouse客户端与服务器端数据传输的过程,重点介绍了数值型数据的写入和读取方法。通过具体的示例,展示了数字如何被转换为二进制形式,并在网络上传输。同时,解释了服务端如何反向解析这些数据,还原为原始的数值。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

先说写数据的方法,再说读数据的方法,知道怎么写,才知道怎么读。

写数据:写一个数值型的数字:

再Client端向Server端发起连接时,会写一个客户端的版本信息,客户端是怎么写的呢?源码如下:

        writeVarUInt(ClickHouseRevision::get(), *out);         //将"54420"写到out中(最终会用\x94\a9\03表示数字54420)

 即把ClickHouseRevision::get()的结果54420写到out中。

/**举例:
   "54420"这个数字, 二进制形式是1101 0100 1001 0100,
   i = 0, x = 1101 0100 1001 0100, byte = 0001 0100, x > 0x7F, byte = 1001 0100 = \x94
   i = 1, x = 0000 0001 1010 1001, byte = 0010 1001, x > 0x7F, byte = 1010 1001 = \xa9
   i = 2, x = 0000 0000 0000 0011, byte = 0000 0011, x <= 0x7F, byte = 0000 0011 = \x03
   所以对于数字"54420", 会转化成 \x94\xa9\x03 进行传输 (1001 0100 1010 1001 0000 0011)
*/
inline void writeVarUInt(UInt64 x, WriteBuffer & ostr)
{
    for (size_t i = 0; i < 9; ++i)
    {
        uint8_t byte = x & 0x7F;
        if (x > 0x7F)//x > 0x7F 表示x的位数多于7位, 需要标记一下(将第8位置为1), 然后再进行后面的无符号右移7位
            byte |= 0x80;

        ostr.nextIfAtEnd();//检查working_buffer是否被写满了, 如果写满了则执行next()把数据写到下一层目标(写完则pos位置回到begin处); 如果没写满, 则在pos的位置写入数据
        *ostr.position() = byte;
        ++ostr.position();

        x >>= 7;//x右移7位
        if (!x)
            return;
    }
}

 

服务端是怎么读的呢?源码如下:

        readVarUInt(client_revision, *in);

即把版本信息从in中读取出来,保存到client_revision中。

inline void readVarUInt(UInt64 & x, ReadBuffer & istr)
{
    if (istr.buffer().end() - istr.position() >= 9)//working_buffer中剩余的未读取的内容大于9个字节 (一般istr.position()=0吧, 即working_buffer的中待读取的内容大于9个字节)
        return readVarUIntImpl<true>(x, istr);
    return readVarUIntImpl<false>(x, istr);
}
/** 举例, 接收到 \x94\xa9\x03 (1001 0100 1010 1001 0000 0011) 后是如何读取的呢?
    fast = true
    i = 0, x = 0, byte = 1001 0100, (byte & 0x7F) << (7 * 0) = 1001 0100, x = 1001 0100
    i = 1, x = 1001 0100, byte = 1010 1001, (byte & 0x7F) << (7 * 1) = 0101 0100 1000 0000, x = 0101 0100 1001 0100
    i = 2, x = 0101 0100 1001 0100, byte = 0000 0011, (byte & 0x7F) << (7 * 1) = 1100 0000 0000 0000, x = 1101 0100 1001 0100
    
    x = 1101 0100 1001 0100 = 54420
*/
template <bool fast>
inline void readVarUIntImpl(UInt64 & x, ReadBuffer & istr)
{
    x = 0;
    for (size_t i = 0; i < 9; ++i)
    {
        if constexpr (!fast)
            if (istr.eof())
                throwReadAfterEOF();

        UInt64 byte = *istr.position();//UInt64是8字节(64位)
        ++istr.position();
        x |= (byte & 0x7F) << (7 * i);//先计算括号里面的, 再计算<<, 最后计算|=

        if (!(byte & 0x80))//每个字节的最高位是标志位, 表示是否还需要继续循环读取数据. 否则数据读取结束, 跳出循环.
            return;
    }
}

 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值