go-gin使用Sharding进行分表
在实际应用当中,分表是离不开的话题,但是在go或者gin本身并没有类似于laravel比较方便的配置,那么要如何实现分表和读写分离呢?
分表
参考文档:Sharding
通过查看文档可知,以mysql为例,在数据库中新建10个表配置文件中加入:
dsn := "root:123456@tcp(127.0.0.1:3306)/test?charset=utf8mb4&parseTime=True&loc=Local"
db, err := gorm.Open(mysql.Open(dsn), &gorm.Config{})
if err != nil {
fmt.Printf("mysql connect error %v", err)
}
if db.Error != nil {
fmt.Printf("database error %v", Db.Error)
}
// 配置回答问题表的分表策略
db.Use(sharding.Register(sharding.Config{
ShardingKey: "user_id", // 进行分割的字段
NumberOfShards: 10, // 需要分表的个数
PrimaryKeyGenerator: sharding.PKSnowflake, // 主键算法
},
}, "orders"))
插入数据:
// GORM 创建示例,这会插入到 orders_02 表
db.Create(&Order{UserID: 2})
问题:
插入数据是成功的,但是此时会发现,id并没有按照数据表自增进行,通过查看sharding的primary_key.go源代码发现这个:
const (
// Use Snowflake primary key generator
PKSnowflake = iota // 使用雪花算法主键生成器
// Use PostgreSQL sequence primary key generator
PKPGSequence // 使用PostgreSQL序列主键生成器
// Use custom primary key generator
PKCustom // 用户自定义主键生成
)
通过上述配置的分析,雪花算法、PostgreSQL明显是不符合要求的,直接使用自定义主键生成会提示插入报错,主键不存在,那么要如何进行分表的配置修改呢?
通过查看sharding.go
的源代码中配置的结构体可以看到如下选项:
// PrimaryKeyGeneratorFn specifies a function to generate the primary key.
// When use auto-increment like generator, the tableIdx argument could ignored.
// For example, this function use the Snowflake library to generate the primary key.
// If you don't want to auto-fill the `id` or use a primary key that isn't called `id`, just return 0.
//
// func(tableIdx int64) int64 {
// return nodes[tableIdx].Generate().Int64()
// }
PrimaryKeyGeneratorFn func(tableIdx int64) int64
大概的意思就是:PrimaryKeyGeneratorFn指定一个函数来生成主键。
当使用类似生成器的自动递增时,tableIdx参数可以被忽略。
例如,此函数使用Snowflake库来生成主键。
如果您不想自动填充“id”或使用不叫“id”的主键,只需返回0。
因此,分表的配置信息可以改为:
...
// 配置回答问题表的分表策略
db.Use(sharding.Register(sharding.Config{
ShardingKey: "user_id",
NumberOfShards: 10,
PrimaryKeyGenerator: sharding.PKCustom,
PrimaryKeyGeneratorFn: func(tableIdx int64) int64{
return 0
},
}, "orders"))
...
// 不管是单条信息插入还是批量插入数据后,可以看到id是按照mysql默认自增进行排序的。
本作品采用《CC 协议》,转载必须注明作者和本文链接