支持缓存全表数据的高性能 Golang DB 库： dbx

什么是 dbx ? 简而言之就是：

dbx = DB + Cache

它是一个支持对全表数据进行透明缓存的 Golang DB 库，在内存足够大的情况下，不再需要 Memcached, Redis 等缓存服务。
而且读取缓存的速度相当之快，本机测试 qps 达到: 350 万 +/ 秒，可以有效的简化应用端业务逻辑代码。
它支持 MySQL/Sqlite3，支持结构体自由组合嵌套。
它的实现原理为自动扫描表结构，确定主键和自增列，并且通过主键按照行来缓存数据，按照行透明管理 cache，上层只需要按照普通的 ORM 风格 API 操作即可。

支持缓存，高性能读取 KV 缓存全表数据#

经过本机简单的测试（小数据下），直接查询 Sqlite3 速度可以达到 3 万 +/ 秒，开启缓存后达到恐怖的 350 万 +/ 秒。
一般针对高频访问的小表开启缓存：

db.Bind("user", &User{}, true)
db.Bind("group", &Group{}, true)
db.EnableCache(true)

支持嵌套，尽量避免低效反射#

golang 为静态语言，在实现比较复杂的功能的时候往往要用到反射，而反射使用不当的时候会严重拖慢速度。经过实践发现，应该尽量使用数字索引，不要使用字符串索引，比如 Field () 性能大约是 FieldByName () 的 50 倍！
绝大部分 db 库不支持嵌套，因为反射又慢又复杂，特别是嵌套层数过多的时候。还好通过努力，dbx 高效的实现了无限制层数的嵌套支持，并且性能还不错。

type Human struct {
    Age int64     `db:"age"`
}
type User struct {
    Human
    Uid        int64     `db:"uid"`
    Gid        int64     `db:"gid"`
    Name       string    `db:"name"`
    CreateDate time.Time `db:"createDate"`
}

API 预览：#

通过 golang 的反射特性，可以实现接近脚本语言级的便捷程度。如下：


// 打开数据库
db, err = dbx.Open("mysql", "root@tcp(localhost)/test?parseTime=true&charset=utf8")

// 插入一条
db.Table("user").Insert(user)

// 查询一条
db.Table("user").Where("uid=?", 1).One(&user)

// 通过主健查询一条
db.Table("user").WherePK(1).One(&user)

// 通过主健更新一条
db.Table("user").Update(&user)

// 通过主健删除一条
db.Table("user").WherePK(1).Delete()

// 获取多条
db.Table("user").Where("uid>?", 1).All(&userList)

日志输出到指定的流#

可以自由的重定向日志数据流。

// 将 db 产生的错误信息输出到标准输出（控制台）
db.Stderr = os.Stdout

// 将 db 产生的错误信息输出到指定的文件
db.Stderr = dbx.OpenFile("./db_error.log") 

// 默认：将 db 的输出（主要为 SQL 语句）重定向到"黑洞"（不输出执行的 SQL 语句等信息）
db.Stdout = ioutil.Discard

// 默认：将 db 产生的输出（主要为 SQL 语句）输出到标准输出（控制台）
db.Stdout = os.Stdout

兼容原生的方法#

有时候我们需要调用原生的接口，来实现比较复杂的目的。

// 自定义复杂 SQL 获取单条结果（原生）
var uid int64
err = db.QueryRow("SELECT uid FROM user WHERE uid=?", 2).Scan(&uid)
if err != nil {
    panic(err)
}
fmt.Printf("uid: %v\n", uid)
db.Table("user").LoadCache() // 自定义需要手动刷新缓存

用例#

package main

import (
    "github.com/mydeeplike/dbx"
    "fmt"
    "os"
    "time"
)

type User struct {
    Uid        int64     `db:"uid"`
    Gid        int64     `db:"gid"`
    Name       string    `db:"name"`
    CreateDate time.Time `db:"createDate"`
}

func main() {

    var err error
    var db *dbx.DB

    // db, err = dbx.Open("sqlite3", "./db1.db?cache=shared&mode=rwc&parseTime=true&charset=utf8") // sqlite3
    db, err = dbx.Open("mysql", "root@tcp(localhost)/test?parseTime=true&charset=utf8")            // mysql
    dbx.Check(err)
    defer db.Close()

    // db 输出信息设置
    db.Stdout = os.Stdout // 将 db 产生的信息(大部分为 sql 语句)输出到标准输出
    db.Stderr = dbx.OpenFile("./db_error.log") // 将 db 产生的错误信息输出到指定的文件
    // db.Stdout = ioutil.Discard // 默认：将 db 的输出信息重定向到"黑洞"（不输出执行的 SQL 语句等信息）

    // 参数设置
    db.SetMaxIdleConns(10)
    db.SetMaxOpenConns(10)
    // db.SetConnMaxLifetime(time.Second * 5)

    // 创建表
    _, err = db.Exec(`DROP TABLE IF EXISTS user;`)
    _, err = db.Exec(`CREATE TABLE user(
        uid        INT(11) PRIMARY KEY AUTO_INCREMENT,
        gid        INT(11) NOT NULL DEFAULT '0',
        name       TEXT             DEFAULT '',
        createDate DATETIME         DEFAULT CURRENT_TIMESTAMP
        );
    `)
    dbx.Check(err)

    // 开启缓存，可选项，一般只针对小表开启缓存，超过 10w 行，不建议开启！
    db.Bind("user2", &User{}, true)
    db.EnableCache(true)

    // 插入一条
    u1 := &User{1, 1, "jack", time.Now()}
    _, err = db.Table("user").Insert(u1)
    dbx.Check(err)

    // 读取一条
    u2 := &User{}
    err = db.Table("user").WherePK(1).One(u2)
    dbx.Check(err)
    fmt.Printf("%+v\n", u2)

    // 读取一条，判断是否存在
    err = db.Table("user").WherePK(1).One(u2)
    dbx.Check(err)
    if dbx.NoRows(err) {
        panic("not found.")
    }
    fmt.Printf("%+v\n", u2)

    // 更新一条
    u2.Name = "jack.ma"
    _, err = db.Table("user").Update(u2)
    dbx.Check(err)

    // 删除一条
    _, err = db.Table("user").WherePK(1).Delete()
    dbx.Check(err)

    // Where 条件 + 更新
    _, err = db.Table("user").WhereM(dbx.M{{"uid", 1}, {"gid", 1}}).UpdateM(dbx.M{{"Name", "jet.li"}})
    dbx.Check(err)

    // 插入多条
    for i := int64(0); i < 5; i++ {
        u := &User{
            Uid: i,
            Gid: i,
            Name: fmt.Sprintf("name-%v", i),
            CreateDate: time.Now(),
        }
        _, err := db.Table("user").Insert(u)
        if err != nil {
            panic(err)
        }
    }

    // 获取多条
    userList := []*User{}
    err = db.Table("user").Where("uid>?", 1).All(&userList)
    dbx.Check(err)
    for _, u := range userList {
        fmt.Printf("%+v\n", u)
    }

    // 批量更新
    _, err = db.Table("user").Where("uid>?", 3).UpdateM(dbx.M{{"gid", 10}})
    dbx.Check(err)

    // 批量删除
    _, err = db.Table("user").Where("uid>?", 3).Delete()
    if err != nil {
        panic(err)
    }

    // 总数
    n, err := db.Table("user").Where("uid>?", -1).Count()
    dbx.Check(err)
    fmt.Printf("count: %v\n", n)

    // 求和
    n, err = db.Table("user").Where("uid>?", -1).Sum("uid")
    dbx.Check(err)
    fmt.Printf("sum(uid): %v\n", n)

    // 求最大值
    n, err = db.Table("user").Where("uid>?", -1).Max("uid")
    dbx.Check(err)
    fmt.Printf("max(uid): %v\n", n)

    // 求最小值
    n, err = db.Table("user").Where("uid>?", -1).Min("uid")
    dbx.Check(err)
    fmt.Printf("min(uid): %v\n", n)

    // 自定义复杂 SQL 获取单条结果（原生）
    var uid int64
    err = db.QueryRow("SELECT uid FROM user WHERE uid=?", 2).Scan(&uid)
    dbx.Check(err)
    fmt.Printf("uid: %v\n", uid)
    db.Table("user").LoadCache() // 自定义需要手动刷新缓存

    // 自定义复杂 SQL 获取多条（原生）
    var name string
    rows, err := db.Query("SELECT `uid`, `name` FROM `user` WHERE 1 ORDER BY uid DESC")
    dbx.Check(err)
    rows.Close()
    for rows.Next() {
        rows.Scan(&uid, &name)
        fmt.Printf("uid: %v, name: %v\n", uid, name)
    }
    db.Table("user").LoadCache() // 自定义需要手动刷新缓存

    return
}

代码已被折叠，点此展开

中文链接：https://github.com/xiuno/dbx/blob/master/R...

支持缓存全表数据的高性能 Golang DB 库： dbx

支持缓存，高性能读取 KV 缓存全表数据#

支持嵌套，尽量避免低效反射#

API 预览：#

日志输出到指定的流#

兼容原生的方法#

用例#

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

支持缓存全表数据的高性能 Golang DB 库： dbx

支持缓存，高性能读取 KV 缓存全表数据#

支持嵌套，尽量避免低效反射#

API 预览：#

日志输出到指定的流#

兼容原生的方法#

用例#

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录