用go写一个docker

Overview

go-docker

用go写一个docker

环境配置

  • 开发环境: windows
  • 运行环境: CentOS

windows中goland配置

windows下要修改goland的OS环境为 linux,不然只会引用exec_windows.go而不会引用exec_linxu_go 在Setting->Go->Build Tags & Vendoring -> OS=linux

设置CentOS支持aufs

查看是否支持

cat /proc/filesystems

安装aufs

cd /etc/yum.repo.d
# 下载文件
wget https://yum.spaceduck.org/kernel-ml-aufs/kernel-ml-aufs.repo
# 安装
yum install kernel-ml-aufs
# 修改内核启动
vim /etc/default/grub
## 修改参数
GRUB_DEFAULT=0

# 重新生成grub.cfg
grub2-mkconfig -o /boot/grub2/grub.cfg

# 重启计算机
reboot

配置busybox

# 下载 busybox
docker pull busybox
# 运行
docker run -d busybox top -b
# 导出
docker export -o busybox.tar (容器ID)
# 解压到 /root文件夹下
cd /root
mkdir busybox
tar -xvf busybox.tar -C busybox/

使用指南

# 编译
go build .

# 启动一个容器, busybox为镜像名,存放在 /root/busybox.tar
./go-docker run -ti --name test busybox sh

# 后台启动
./go-docker run -d --name test busybox sh

# 挂载文件
./go-docker run -d -v /root/test:/test --name test busybox sh

# 进入容器
./go-docker exec test sh

# 查看容器日志
./go-docker logs test

# 查看容器列表
./go-docker ps

# 停止容器
./go-docker stop test

# 删除容器
./go-docker rm test

docker核心技术

namespace

  • uts : 隔离主机名
  • pid : 隔离进程pid
  • user : 隔离用户
  • network : 隔离网络
  • mount : 隔离挂载点
  • ipc : 隔离System VIPC和POSIX message queues

cgroup

主要是使用三个组件相互协作实现的,分别是:subsystem, hierarchy, cgroup,

  • cgroup: 是对进程分组管理的一种机制
  • subsystem: 是一组资源控制的模块
  • hierarchy: 把一组cgroup串成一个树状结构(可让其实现继承)

实现方式

主要实现方式是在/sys/fs/cgroup/ 文件夹下,根据限制的不同,创建一个新的文件夹即可,kernel会将这个文件夹 标记为它的子cgroup, 比如要限制内存使用,则在/sys/fs/cgroup/memory/ 下创建test-limit-memory文件夹即可,将 内存限制数写到该文件夹里面的 memory.limit_in_bytes即可

指令小记

  • 查看Linux程序父进程
pstree -pl | grep main
  • 查看进程id
echo $$
  • 查看进程的uts
readling /proc/进程id/ns/uts
  • 修改hostname
hostname -b 新名称
  • 常看当前用户和用户组
id
  • 创建并挂载一个hierarchy

在这个文件夹下面创建新的文件夹,会被kernel标记为该cgroup的子cgroup

mkdir cgroup-test
mount -t cgroup -o none,name=cgroup-test cgroup-test ./cgroup-test
  • 将其他进程移动到其他的cgroup

只要将该进程的ID放到其cgrouptasks里面即可

echo "进程ID" >> cgroup/tasks 
  • 导出容器
docker export -o busybox.tar 45c98e055883(容器ID)
  • 移除mount
unshare -m
Issues
  • demo 运行出错

    demo 运行出错

    我使用的是 go 1.13.8 centos 7.9

    demo 代码:

    package main
    
    import (
    	"log"
    	"os"
    	"os/exec"
    	"syscall"
    )
    
    func main() {
    	cmd := exec.Command("sh")
    	cmd.SysProcAttr = &syscall.SysProcAttr{
    		// 隔离 uts,ipc,pid,mount,user,network
    		Cloneflags: syscall.CLONE_NEWUTS |
    			syscall.CLONE_NEWIPC |
    			syscall.CLONE_NEWPID |
    			syscall.CLONE_NEWNS |
    			syscall.CLONE_NEWUSER |
    			syscall.CLONE_NEWNET,
    		// 设置容器的UID和GID
    		UidMappings: []syscall.SysProcIDMap{
    			{
    				// 容器的UID
    				ContainerID: 1,
    				// 宿主机的UID
    				HostID: 0,
    				Size:   1,
    			},
    		},
    		GidMappings: []syscall.SysProcIDMap{
    			{
    				// 容器的GID
    				ContainerID: 1,
    				// 宿主机的GID
    				HostID: 0,
    				Size:   1,
    			},
    		},
    	}
    	cmd.Stdin = os.Stdin
    	cmd.Stdout = os.Stdout
    	cmd.Stderr = os.Stderr
    
    	if err := cmd.Run(); err != nil {
    		log.Fatal(err)
    	}
    }
    

    我使用的是root用户运行的代码

    $  go run .
    2020/12/24 10:26:26 fork/exec /usr/bin/sh: invalid argument
    exit status 1
    

    这里出错是什么一个什么原因呢?对linux不太熟悉。 希望大佬解答解答,感谢!!!

    opened by alpha-baby 1
  • 感谢作者这个项目,让我收获满满;但同时,有几处地方有错误,或者是有不兼容,为此特地指出。

    感谢作者这个项目,让我收获满满;但同时,有几处地方有错误,或者是有不兼容,为此特地指出。

    /container/process.go 修正为

    // 指定容器初始化后的工作目录
            // cmd.Dir = common.MntPath
            cmd.Dir = path.Join(common.MntPath, containerName)
    

    /container/workspace.go 如果提示xino问题,则需要使用下列方式

    //! mount -t aufs -o noxino,dirs=/root/writeLayer/test:/root/busybox none /root/mnt/test
    	dirs := fmt.Sprintf("noxino,dirs=%s:%s", writeLayPath, imagePath)
    	cmd := exec.Command("mount", "-t", "aufs", "-o", dirs, "none", mntPath)
    
    opened by fy403 0
  • 父进程执行初始化的时候指定了错误的 rootfs 目录

    父进程执行初始化的时候指定了错误的 rootfs 目录

    感谢分享,整个项目结构非常清晰。

    我自己在测试的时候发现给容器指定的 rootfs 的目录不对,这里是代码连接

    Screenshot from 2020-06-20 19-13-29

    这里应该是 cmd.Dir = common.MntPath + containerName

    因为执行 mount -t aufs xxx 的时候,是挂载到了 mntPath下,这个值被设置为 mntPath := path.Join(common.MntPath, containerName)代码连接

    opened by stanxing 0
  • "fork/exec /proc/self/exe: no such file or directory"

    代码: ns分支 环境: Go1.13和CentOS7.7-mini版 请问大佬遇到过这个问题吗?

    [[email protected] go-docker]# ./go-docker run --ti /bin/sh
    {"level":"fatal","msg":"fork/exec /proc/self/exe: no such file or directory","time":"2020-02-27T14:47:11-05:00"}
    
    WechatIMG62
    opened by yudidi 0
Owner
派大星
从HelloWorld到改变世界!
派大星