七天用 Go 写个 docker(第二天)
1. Cgroup概念
Linux Cgroup提供了对一组进程及子进程的资源限制,控制和统计的能力,这些资源包括CPU,内存,存储,网络等。通过Cgroup,可以方便的限制某个进程的资源占用,并且可以实时监控进程和统计信息。
Cgroup完成资源限制主要通过下面三个组件
- cgroup: 是对进程分组管理的一种机制
- subsystem: 是一组资源控制的模块
- hierarchy: 把一组cgroup串成一个树状结构(可让其实现继承)
2. Cgroup使用
说半天概念,估计大家也是云里雾里,我直接在Liunx命令行中演示怎么使用
Cgroup
,这样大家应该会对Cgroup有一个更清晰的认识。
- 创建一个用来存放挂载点的文件夹
mkdir cgroup-demo
- 挂载hierarchy
mount -t cgroup -o none,name=cgroup-demo cgroup-demo ./cgroup-demo
- 查看生成的默认文件
一旦我们挂载了
hierarchy
,那么就会在这个文件夹中生成一些默认文件ls cgroup-demo
大致解释下这几个文件的作用,主要是这个task
文件
cgroup.clone_children
:cpuset的subsystem会读取该文件,如果该文件里面的值为1的话,那么子cgroup将会继承父cgroup的cpuset配置cgroup.procs
:记录了树中当前节点cgroup中的进程组IDtask
: 标识该cgroup下的进程ID,如果将某个进程的ID写到该文件中,那么便会将该进程加入到当前的cgroup中。
- 新建
子cgroup
只要在挂载了
hierarchy
的文件夹下,新建一个新的文件夹,那么该新的文件夹会被kernel
自动标记为该cgroup的子group
cd cgroup-demo
mkdir cgroup1
可以看到,我们新建文件夹之后,文件夹里面会自动生成一些默认的文件,这个
cgroup1
就是cgroup-demo
的子cgroup,默认情况下,他会继承父cgroup的配置。
- 通过subsystem限制cgroup中进程的资源
上面创建的hierarchy并没有关联到任何的subsystem,所以没办法通过上面的hierarchy中的cgroup节点来限制进程的资源占用,其实系统默认已经为每个subsystem创建了一个默认的hierarchy,它在Linux的
/sys/fs/cgroup
路径下ls /sys/fs/cgroup
如果我们想限制某个进程ID的内存,那么就在/sys/fs/cgroup/memory
文件夹下创建一个限制 mermory的cgroup,创建方式和上面一样,只要创建一个文件夹即可,kernel 自动把该文件夹标记为一个cgroup,我们来尝试一下
cd /sys/fs/cgroup/memory
mkdir cgroup-demo-memory
可以看到该文件下,自动给我们创建出来了很多限制资源文件,我们只要将
进程ID
写到该文件夹下的task
文件中,然后修改其meory.limit_in_bytes
的文件,就能达到限制该进程的内存使用。
3. Go语言中使用Cgroup
package main
import (
"fmt"
"io/ioutil"
"os"
"os/exec"
"path"
"strconv"
"syscall"
)
const (
// 挂载了 memory subsystem的hierarchy的根目录位置
cgroupMemoryHierarchyMount = "/sys/fs/cgroup/memory"
)
func main() {
if os.Args[0] == "/proc/self/exe" {
//容器进程
fmt.Printf("current pid %d \n", syscall.Getpid())
cmd := exec.Command("sh", "-c", "stress --vm-bytes 200m --vm-keep -m 1")
cmd.SysProcAttr = &syscall.SysProcAttr{}
cmd.Stdin = os.Stdin
cmd.Stdout = os.Stdout
cmd.Stderr = os.Stderr
if err := cmd.Run(); err != nil {
panic(err)
}
}
cmd := exec.Command("/proc/self/exe")
cmd.SysProcAttr = &syscall.SysProcAttr{
Cloneflags: syscall.CLONE_NEWUTS | syscall.CLONE_NEWPID | syscall.CLONE_NEWNS,
}
cmd.Stdin = os.Stdin
cmd.Stdout = os.Stdout
cmd.Stderr = os.Stderr
err := cmd.Start()
if err != nil {
panic(err)
}
// 得到 fork出来进程映射在外部命名空间的pid
fmt.Printf("%+v", cmd.Process.Pid)
// 创建子cgroup
newCgroup := path.Join(cgroupMemoryHierarchyMount, "cgroup-demo-memory")
if err := os.Mkdir(newCgroup, 0755); err != nil {
panic(err)
}
// 将容器进程放到子cgroup中
if err := ioutil.WriteFile(path.Join(newCgroup, "tasks"), []byte(strconv.Itoa(cmd.Process.Pid)), 0644); err != nil {
panic(err)
}
// 限制cgroup的内存使用
if err := ioutil.WriteFile(path.Join(newCgroup, "memory.limit_in_bytes"), []byte("100m"), 0644); err != nil {
panic(err)
}
cmd.Process.Wait()
}
这两节带大家了解了docker的原理,那么下一节我将带领大家用go把docker容器的框架搭建起来,开始真正编写docker了。
文章会首发于我微信公众号上,扫码关注,及时获取最新内容
本作品采用《CC 协议》,转载必须注明作者和本文链接
厉害 :+1:
写的很详细,虽然我只看懂了10%
@ForeverYoung1024 实践一下就很容易明白了
不错
6666666
你好,请问fork的子进程会重新执行main函数吗?这是go的什么原理?
fork/exec /proc/self/exe : no such file or directory 求指教,执行报这个错是什么意思?