Go实战准备工作---创建协程池和定时任务

我们的业务可能用不上协程池,很多同事也不是很懂,之前和同事们沟通了一下,很多人对单例都理解不了,认为没有必要,甚至用PHP写单例都不会写,也从没想过使用,那可想而知,其他的设计模式一概不知了。这就是一直做PHP,没做过其他语言的弊端,在此也建议其他人多多接触下其他语言的概念,尤其是一些通用型的,业务上用不上,我们可以给在自己增加难度的来使用,不能总是守着一门脚本做个五六年不放吧。虽然用不上,还是写上,比如一些耗时的操作,我这边会当作优化来处理。目前IOC(控制反转)DI(依赖注入),等都没用上过,这次的改写都用上。之前做的Go开发工作都是改改bug,做些边边角料的活,这次除了系统的熟悉Go代码之外,也对一些常用的设计思想都接触一下,一句话:没难度给自己增加难度也要上,不然工作得多无趣,这也是一个成长的过程嘛。

创建协程池

鉴于我们用不上,先写个Demo用下,后续优化的时候具体的再补上,但是对于Go而言,这一块也是重点所在吧。昨天文章有大佬说滥用了代码块,我也不是什么老师,所以,这次我就我代码一次性贴出来,顺便加上一个对外的函数接口,代码上我加上尽量详细的注释。参考网上的,不知道是谁写的,但是 比我写的要清楚多了,在基础上我修改了部分代码。

//定义协程池类型
type Pool struct {
    //对外接收Task的入口
    CommonTaskChan chan *CommonTask
    //协程池最大工作数量,限定Goroutine的个数
    ChannelNum int
    //协程池内部的任务就绪队列
    JobChannels chan *CommonTask
}

//定义任务CommonTask类型,每一个任务CommonTask都可以抽象成一个函数
type CommonTask struct {
    thread func() error //一个无参的函数类型
}


//通过CreateTask来创建一个CommonTask
func CreateTask(f func() error) *CommonTask {
    t := CommonTask{
        thread: f,
    }
    return &t
}

//执行CommonTask任务的方法
func (t *CommonTask) Execute() {
    err:= t.thread() //调用任务所绑定的函数
    if err !=nil {
        fmt.Println("Execute err", err.Error())
    }
}

//创建一个协程池
func NewGoPool(cap int) *Pool {
    p := Pool{
        CommonTaskChan: make(chan *CommonTask),
        ChannelNum:    cap,
        JobChannels:  make(chan *CommonTask),
    }

    return &p
}

//协程池创建一个协程并且开始工作
func (p *Pool) start(taskId int) {
    //worker不断的从JobChannels内部任务队列中拿任务
    for task := range p.JobChannels {
        //如果拿到任务,则执行任务
        task.Execute()
        fmt.Println("taskId ID ", taskId, " 执行完毕任务")
    }
}

//让协程池Pool开始工作
func (p *Pool) Run() {
    //1,首先根据协程池的协程数量限定,开启固定数量的协程,
    for i := 0; i < p.ChannelNum; i++ {
        go p.start(i)
    }

    // 2、从协程池入口取外界传递过来的任务并且将任务送进JobChannels中
    for task := range p.CommonTaskChan {
        p.JobChannels <- task
    }

    //3, 执行完毕需要关闭JobChannels
    close(p.JobChannels)

    //4, 执行完毕需要关闭
    close(p.CommonTaskChan)
}

func CallDemo() {
    //创建一个Task
    t := CreateTask(func() error {
        fmt.Println(time.Now())
        return nil
    })

    //创建一个协程池,最大开启3个协程worker
    p := NewGoPool(3)

    //开一个协程 不断的向 Pool 输送打印一条时间的task任务
    go func() {
        for {
            p.CommonTaskChan <- t
            time.Sleep(10 * time.Second)
        }
    }()
    //启动协程池p
    p.Run()

}
其中,CallDemo就是调用的方式。这里,实际上行就是一个10秒中的定时任务。结果显示是:

taskid的顺序是随机的哈

创建定时任务

对于PHP而言,做一步操作,或者定时任务,只能借助第三方的工具,重启一个进程来定时执行接口,或者swoole的work进程来实现,借助的是C扩展。上面创建协程池的时候,其实就可以看出,这是一个10秒钟的定时任务,时间可以修改。go里面其实有内置的time包来处理定时任务,直接上示例:
ticker := time.NewTicker(time.Minute * 1)
go func() {
    for _ = range ticker.C {
        fmt.Printf("ticked at %v", time.Now())
    }
}()
这个可以因人而异,根据业务需求来做,其实第三方的就比较稳定,设置的定时格式也是相当丰富的,重点是不需要做保活或者其他的确认机制等。比如:supervisor,我们目前用的就是这个玩意,没有守护进程之类的开发,水平不高,基本属于写业务的能手。这个有时间可以来研究一波,毕竟对于多进程的概念,我要不是做Android开发的,也是很少接触这个概念的。当然,移动端不一定都会接触多进程,笔者刚好有这个业务需求,所以研究过一段时间。装逼了,不好意思。

Gin的简单使用

我们目前讨论的并没有决定使用,因为我们之前的项目已经使用了,所以就简单的写上,后续决定使用的框架再来重新封装。使用起来比我们想象的要简单的多。
    engine := gin.Default()
    //loginGroup := engine.Group("/index.php/Login")
    loginGroup := engine.Group("/Login")
    loginGroup.POST("/login", controller.Login)
    err := engine.Run(":8001")
    if err != nil {
        log.Fatal(err)
    }

注意接口的映射,我们有时候会加上index.php,这个是可以设置处理的哈。Group是设置请求组,方便统一处理,也可以对组编写过滤器和验证器。端口最好放ymal配置文件,上篇已经解释过了。没错,
上面简短的代码就可以直接使用了。简单看下login的逻辑代码,没什么用处,只是做个演示。

func Login(context *gin.Context) {
    var login LoginInfo
    var loginParams LoginParams
    header := context.Request.Header
    accessToken := header.Get("accessToken")
    fmt.Println("---header/---" + accessToken)
    err := context.ShouldBind(&loginParams)
    if err != nil {
        utils.ReturnError(context, "登录失败: "+err.Error())
        return
    }
    sqlStr := "select id,LoginId,Pwd,FullName,DepartmentId,deleted ,session_id from c_login where LoginId=?"
    rowObj := utils.DBClientPool.GetDB("callout").QueryRow(sqlStr, loginParams.Name)
    err = rowObj.Scan(&login.id, &login.LoginId, &login.Pwd, &login.FullName, &login.DepartmentId, &login.deleted, &login.sessionId)
    if err != nil {
        utils.ReturnError(context, "登录失败: "+err.Error())
        return
    }

    fmt.Println(login)
    if login.deleted == 1 {
        panic("deleted")
    }
    utils.ReturnSuccess(context, "登录成功")
}
目前准备好这几种工具就可以准备开始写业务了,因为也写业务的过程中会有很多细节上的问题需要时间解决。当然,也有点迫不及待改写了,目测400+ 的接口数量,年前写完时间上怕是不够,主要是和各系统之间的交互问题需要重新改写,优化的点也是个头痛的问题,毕竟数据库的优化除了加索引之外就剩下sql语句的优化了,而这次换成Go,我想的全程不涉及原始sql语句,使用模型和预编译方式处理,这也是规范的必要性。后续写代码的过程中需要添加的工具或者第三方的,再来详细描述。
本作品采用《CC 协议》,转载必须注明作者和本文链接
棋布
讨论数量: 4
ZsmHub

文字修改下

携程 => 协程

3个月前 评论
棋布

@ZsmHub 感谢,已修改过来了

3个月前 评论

第一行的:

很多人对单例都理解不了,任务没有必要,甚至用PHP写单例都不会写

任务没有必要应该修改为认为没有必要

3个月前 评论
棋布

@AbelZou 笔误,多谢。

3个月前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!