详解 varint 编码原理

const maxVarintBytes = 10 // maximum length of a varint

// 返回Varint类型编码后的字节流
func EncodeVarint(x uint64) []byte {
    var buf [maxVarintBytes]byte
    var n int
    // 下面的编码规则需要详细理解:
    // 1.每个字节的最高位是保留位, 如果是1说明后面的字节还是属于当前数据的,如果是0,那么这是当前数据的最后一个字节数据
    //  看下面代码,因为一个字节最高位是保留位,那么这个字节中只有下面7bits可以保存数据
    //  所以,如果x>127,那么说明这个数据还需大于一个字节保存,所以当前字节最高位是1,看下面的buf[n] = 0x80 | ...
    //  0x80说明将这个字节最高位置为1, 后面的x&0x7F是取得x的低7位数据, 那么0x80 | uint8(x&0x7F)整体的意思就是
    //  这个字节最高位是1表示这不是最后一个字节,后面7为是正式数据! 注意操作下一个字节之前需要将x>>=7
    // 2.看如果x<=127那么说明x现在使用7bits可以表示了,那么最高位没有必要是1,直接是0就ok!所以最后直接是buf[n] = uint8(x)
    //
    // 如果数据大于一个字节(127是一个字节最大数据), 那么继续, 即: 需要在最高位加上1
    for n = 0; x > 127; n++ {
        // x&0x7F表示取出下7bit数据, 0x80表示在最高位加上1
        buf[n] = 0x80 | uint8(x&0x7F)
        // 右移7位, 继续后面的数据处理
        x >>= 7
    }
    // 最后一个字节数据
    buf[n] = uint8(x)
    n++
    return buf[0:n]
}Copy

func DecodeVarint(buf []byte) (x uint64, n int) {
    for shift := uint(0); shift < 64; shift += 7 {
        if n >= len(buf) {
            return 0, 0
        }
        b := uint64(buf[n])
        n++
    // 下面这个分成三步走:
        // 1: b & 0x7F 获取下7bits有效数据
        // 2: (b & 0x7F) << shift 由于是小端序, 所以每次处理一个Byte数据, 都需要向高位移动7bits
        // 3: 将数据x和当前的这个字节数据 | 在一起
        x |= (b & 0x7F) << shift
        if (b & 0x80) == 0 {
            return x, n
        }
    }

    // The number is too large to represent in a 64-bit value.
    return 0, 0
}Copy