Drone CI使用Vault作为凭据存储 —— 打造自己的CI/CD工作流(二)

这一篇文章是基于 Gitea+Drone CI+Vault 打造属于自己的 CI/CD 工作流系列文章第二篇,让我们一起来完成 dronevault 的搭配使用,这篇主要讲 vault 的部署和使用,以及怎么通过 drone 来使用 vault

上一篇文章Drone CI For Github —— 打造自己的 CI/CD 工作流(一) 我们一起了解了,Drone 的部署和使用,一起感受了 Drone的简单强大的功能带来的方便和快捷。在实际的应用中,我们会有很多的敏感数据,Drone 自身的 Secret 是以仓库为单位进行管理,而且也没有严格独立的权限控制,其实是不太方便的。

说干就干,开始搞事。

了解 Vault


Vault 是一个管理 Secrets 并保护敏感数据的工具,来自HashiCorp,如果你对这个名字有点陌生,那么你一定知道Vagrant

Vault 是一种安全访问 Secret 的工具。Secret就是您要严格控制访问的任何内容,例如 API 密钥,密码或证书。Vault 为任何机密提供统一的界面,同时提供严格的访问控制并记录详细的审计日志。

现代系统需要访问大量Secret:数据库凭证,外部服务的 API 密钥,面向服务的体系结构通信的凭证等。了解谁正在访问哪些秘密已经非常困难且特定于平台。如果没有自定义解决方案,几乎不可能添加密钥滚动,安全存储和详细的审计日志。这是 Vault 介入的地方。

Vault 的主要功能包括:

  • 安全秘密存储:任意密钥/值秘密可以存储在 Vault 中。Vault 会在将这些机密写入持久存储之前加密这些机密,因此获取对原始存储的访问权限不足以访问您的机密。Vault 可以写入磁盘,Consul等。
  • 动态秘密:Vault 可以按需为某些系统生成机密,例如 AWS 或 SQL 数据库。例如,当应用程序需要访问 S3 存储桶时,它会要求 Vault 提供凭据,Vault 将根据需要生成具有有效权限的 AWS 密钥对。创建这些动态机密后,Vault 也会在租约到期后自动撤消它们。
  • 数据加密:Vault 可以加密和解密数据而无需存储数据。这允许安全团队定义加密参数,并允许开发人员将加密数据存储在 SQL 等位置,而无需设计自己的加密方法。
  • 租赁和续订:Vault 中的所有机密都有与之相关的租约。在租约结束时,Vault 将自动撤销该秘密。客户可以通过内置续订 API 续订租约。
  • 撤销:Vault 内置了对秘密撤销的支持。保险柜不仅可以撤销单个秘密,还可以撤销秘密树,例如特定用户读取的所有秘密,或特定类型的所有秘密。撤销有助于关键滚动以及在入侵情况下锁定系统。

上边都是废话,这里说一下我自己的体验。

首先我没有体验的很深,我现在只是体验了 key/value 结构和 database,然后看了一下 ACL Policies 管理权限。

  • 权限控制很严格,机制也很灵活和安全
  • UI 美观,操作简单,不过 UI 功能也简单
  • CLI 操作容易理解,文档齐全。
  • 安全确实很放心,token 定时刷新,可以通过 token 来获取数据库的配置,UI 的激活需要输入 key,容器重启也需要重新输入 key 来激活。

部署 vault


这里并不是单独部署 vault,而是参考上一篇文章来结合 vault 使用,在上一篇文章的docker-compose.yml 基础上,加入 vault 的容器,并为 vault 提供 web服务.

为了区分,以下代码块中,用 $ 开头表示宿主机命令,用 / # 开头表示容器中的命令

编写模板文件

---
vault:
  image: vault:latest
  container_name: vault
  restart: always
  networks:
    - dronenet
  volumes:
    - ./vault/file:/vault/file
    - ./vault/config:/vault/config
    - ./vault/logs:/vault/logs
  cap_add:
    - IPC_LOCK
  environment:
    - VAULT_ADDR=http://127.0.0.1:8200
  command: vault server -config=/vault/config/local.json #这句非常重要,一定要替换原有的Dockerfile中的CMD,不然会自动初始化,生成的数据都在docker logs中,不说你肯定找不到。dog.jpg,所以我选择手动初始化

配置 vault

事先准备好一个数据库和对该数据库具有访问权限的数据库账号

参考

  • database : vault
  • name : vault
  • password : vault123456

样例中的配置请事先阅读文档知晓含义

参考Vault Configuration > Vault 的配置文件是HCL或者 json,这里我使用 json

HCL to json 请参考HCL

  1. 初始化 vault
$ mkdir -p vault/config
$ mkdir -p vault/file
$ mkdir -p vault/logs
$ vim vault/config/local.json
{
    "ui": true,
    "storage": {
        "mysql": {
            "address": "mysql:3306",
            "username": "vault",
            "password": "vault123456"
        }
    },
    "listener": {
        "tcp": {
            "address": "0.0.0.0:8200",
            "tls_disable": 1
        }
    },
    "backend": {
        "file": {
            "path": "/vault/file"
        }
    },
    "log_level": "Debug",       #调试阶段建议开启Debug
    "default_lease_ttl": "168h",
    "max_lease_ttl": "720h"
}
$ docker-compose up -d
$ docker-compose exec vault ash
/ # vault operator init
Unseal Key 1: cz/cSHqUep5IBQjtDWBgFnN+G02hLFh8s/19rPxKjxCe    #记下来
Unseal Key 2: o+BRjfy64sUKLTWKV0jV+JjvKZWd0R3ibBR7IUbCn8sB    #记下来
Unseal Key 3: xiJF+XI8gF1PWGMvOYhy0go16x2VgZdAVKw/xBIVGeo7    #记下来
Unseal Key 4: xd/H1hBdPGwm2qchkShgzGbVtWWHeeCv8S1RyYg34yKi    #记下来
Unseal Key 5: 4OOHfxxwuX7Hz40E/bHJLbkwLLWeZkWnz7/pmdtgm7mn    #记下来

Initial Root Token: s.RIeC53WBWizfl0OXVbDYuxbh   #记下来

Vault initialized with 5 key shares and a key threshold of 3. Please securely
distribute the key shares printed above. When the Vault is re-sealed,
restarted, or stopped, you must supply at least 3 of these keys to unseal it
before it can start servicing requests.

Vault does not store the generated master key. Without at least 3 key to
reconstruct the master key, Vault will remain permanently sealed!

It is possible to generate new unseal keys, provided you have a quorum of
existing unseal keys shares. See "vault operator rekey" for more information.

初始化动作为我们生成了 5 个 Unseal key,此外还有默认的 Root Token。所以应该马上把这些信息记录到安全的地方,因为以后你是没有办法再看到它们的。

  1. 编辑 nginx,为 vault 提供 web 服务

编辑完记得重启 nginx 服务

server {
    listen       80;
    server_name vault.5io.cc;
    location / {
        proxy_pass http://vault:8200;
        proxy_set_header   Host             $host;
        proxy_set_header   X-Real-IP        $remote_addr;
        proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
    }
}
  1. 访问 vault.5io.cc

Vault 对于数据保护是非常重视的。服务器启动后,并不能够马上访问其数据,而必须经过一个解封(Unseal)的动作。

依次输入上边得到的五个Unseal Key中的三个来解封服务,然后使用 Root Token 登录,登录后如图,右侧会有教程,先跟着做一边熟悉熟悉。

  1. 创建一个Secrets Engines

这个东西,怎么说呢,不太好理解。字面意思就是 秘密引擎 ,是存储,生成或加密数据的一个组件,可以理解为一个数据集,也可以理解为一种数据渠道。只有 Secrets Engines 存在,数据才能被指定方式存储。

完整的支持和介绍请看这里

  • Generic
    • KV (这里只示范这种)
    • PKI Certificates
    • SSH
    • Transit
    • TOTP
  • Cloud
    • Active Directory
    • AliCloud
    • AWS
    • Azure
    • Google Cloud
    • Google Cloud KMS
  • Infra
    • Consul
    • Databases (支持多种驱动)
    • Nomad
    • RabbitMQ

  1. 创建一个 ACL Policy

创建一个 ACL Policy,配置为仅对刚刚创建的 Secrets Engine ——dronetest 有可读和列表权限。
ACL Policy 的配置格式为 HCL,HCL 是 HashiCorp 创造的、专门用于配置文件的语言格式)

# Allow tokens to look up their own properties
path "auth/token/lookup-self" {
    capabilities = ["read"]
}
# Allow tokens to renew themselves
path "auth/token/renew-self" {
    capabilities = ["update"]
}
# Allow tokens to revoke themselves
path "auth/token/revoke-self" {
    capabilities = ["update"]
}
# Allow a token to look up its own capabilities on a path
path "sys/capabilities-self" {
    capabilities = ["update"]
}
path "dronetest" {
    capabilities = ["read", "list"]
}
path "dronetest/*" {
    capabilities = ["read", "list"]
}

至此,我们的 Vault 就配置好了,接下来让我们创建 secret

创建 Secret

上面我们简单配置了一下 Vault ,现在让我们创建 Secret

首先我们明白的是drone(Policy)drone(Secrets Engine) 只有可读和列表的权限。

  1. 登录

回到 vault 容器中,使用 Root token 登录

/ # vault login s.RIeC53WBWizfl0OXVbDYuxbh
Success! You are now authenticated. The token information displayed below
is already stored in the token helper. You do NOT need to run "vault login"
again. Future Vault requests will automatically use this token.

Key                  Value
---                  -----
token                s.RIeC53WBWizfl0OXVbDYuxbh
token_accessor       5JoYSxx4CqR10mmeG7HusChz
token_duration       ∞
token_renewable      false
token_policies       ["root"]
identity_policies    []
policies             ["root"]
  1. 创建一个用于验证的 token

这个 token 应当只对 drone(Secrets Engine) 可读,所以我们为他分配一个 drone(Policy)

/ # vault token create -policy=dronetest -no-default-policy
Key                  Value
---                  -----
token                s.mx4KQycrFAfiaHIuPnNLhFCy    #记下来非常重要
token_accessor       8rzot4pDJvfX0JTi2ImYLvg4
token_duration       168h
token_renewable      true
token_policies       ["drone"]
identity_policies    []
policies             ["drone"]
  1. 写入 Secret

如图所示,这里我们为 web 创建了两对 KV

接下来尝试用命令创建

/ # vault kv put dronetest/test v=k
Key              Value
---              -----
created_time     2019-02-26T03:53:02.240676864Z
deletion_time    n/a
destroyed        false
version          1
/ # vault kv get dronetest/test
====== Metadata ======
Key              Value
---              -----
created_time     2019-02-26T03:53:02.240676864Z
deletion_time    n/a
destroyed        false
version          1

== Data ==
Key    Value
---    -----
v      k
/ # vault kv put dronetest/test a=b
Key              Value
---              -----
created_time     2019-02-26T03:53:31.073689586Z
deletion_time    n/a
destroyed        false
version          2
/ # vault kv get dronetest/test
====== Metadata ======
Key              Value
---              -----
created_time     2019-02-26T03:53:31.073689586Z
deletion_time    n/a
destroyed        false
version          2

== Data ==
Key    Value
---    -----
a      b
/ # curl \
> --header "X-Vault-Token: s.RIeC53WBWizfl0OXVbDYuxbh" \
> http://127.0.0.1:8200/v1/dronetest/data/test
{"request_id":"f5ce7d8f-cc60-ec79-20a5-5875c5e4362c","lease_id":"","renewable":false,"lease_duration":0,"data":{"data":{"a":"b"},"metadata":{"created_time":"2019-02-26T03:53:31.073689586Z","deletion_time":"","destroyed":false,"version":2}},"wrap_info":null,"warnings":null,"auth":null}

可以看出后者覆盖了前者,注意 version 增加了1vault 为每个 path 每次写入的数据都定义为了一个新的版本,这样就不难理解,这里为什么是后者覆盖了前者。

Drone 中使用 Vault


以上我们了解了 Vault 简单的部署和使用,现在我们一起了解怎么在 Drone 中使用 Vault

编辑 Docker-compose.yml

结合上一篇文章Drone CI For Github —— 打造自己的 CI/CD 工作流(一) ,我们将 Vault 加入进来

然后我们还需要 drone-vault 这个插件来实现 DroneVault 之间的通信中转

参考

version: "3.7"
services:
  nginx:
    image: nginx:alpine
    container_name: drone_nginx
    ports:
      - "80:80"
    restart: always
    networks:
      - dronenet
  mysql:
    image: mysql:5.7
    restart: always
    container_name: drone_mysql
    environment:
      - MYSQL_ROOT_PASSWORD=root_password
      - MYSQL_DATABASE=drone
      - MYSQL_USER=drone
      - MYSQL_PASSWORD=drone_password
    networks:
      - dronenet
    volumes:
      - /path/to/conf/my.cnf:/etc/mysql/my.cnf:rw
      - /path/to/data:/var/lib/mysql/:rw
      - /path/to/logs:/var/log/mysql/:rw
  vault:
    image: vault:latest
    container_name: vault
    restart: always
    networks:
      - dronenet
    volumes:
      - ./vault/file:/vault/file
      - ./vault/config:/vault/config
      - ./vault/logs:/vault/logs
    cap_add:
      - IPC_LOCK
    environment:
      - VAULT_ADDR=http://127.0.0.1:8200
    command: vault server -config=/vault/config/local.json #这句非常重要,一定要替换原有的Dockerfile中的CMD,不然会自动初始化,生成的数据都在docker logs中,不说你肯定找不到。dog.jpg,所以我选择手动初始化
  drone-server:
    image: drone/drone:1.0.0-rc.5 #不要用latest,latest并非稳定版本
    container_name: drone_server
    networks:
      - dronenet
    volumes:
      - ${DRONE_DATA}:/var/lib/drone/:rw
      - /var/run/docker.sock:/var/run/docker.sock:rw
    restart: always
    environment:
      - DRONE_DEBUG=true
      - DRONE_DATABASE_DATASOURCE=drone:drone_password@tcp(drone_mysql:3306)/drone?parseTime=true #mysql配置,要与上边mysql容器中的配置一致
      - DRONE_DATABASE_DRIVER=mysql
      - DRONE_GITHUB_SERVER=https://github.com
      - DRONE_GITHUB_CLIENT_ID=${Your-Github-Client-Id} #Github Client ID
      - DRONE_GITHUB_CLIENT_SECRET=${Your-Github-Client-Secret} #Github Client Secret
      - DRONE_RUNNER_CAPACITY=2
      - DRONE_RPC_SECRET=YOU_KEY_ALQU2M0KdptXUdTPKcEw #RPC秘钥
      - DRONE_SERVER_PROTO=http #这个配置决定了你激活时仓库中的webhook地址的proto
      - DRONE_SERVER_HOST=drone.5io.cc
      - DRONE_USER_CREATE=username:5io,admin:true #管理员账号,一般是你github用户名
  drone-vault:
    image: drone/vault
    container_name: drone_vault
    restart: always
    networks:
      - dronenet
    environment:
      - SECRET_KEY=7890bcce69bb685a9a424767fe9d1be1 #和drone-agent通信的加密
      - DEBUG=true
      - VAULT_ADDR=http://vault:8200
      - VAULT_TOKEN_RENEWAL=84h
      - VAULT_TOKEN_TTL=168h
      - VAULT_TOKEN=s.mx4KQycrFAfiaHIuPnNLhFCy #这里不要用root token,用上边生成的只读token
  drone-agent:
    image: drone/agent:1.0.0-rc.5
    container_name: drone_agent
    restart: always
    networks:
      - dronenet
    depends_on:
      - drone-server
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock:rw
    environment:
      - DRONE_SECRET_SECRET=7890bcce69bb685a9a424767fe9d1be1
      - DRONE_SECRET_ENDPOINT=http://drone_vault:3000
      - DRONE_RPC_SERVER=http://drone_server
      - DRONE_RPC_SECRET=YOU_KEY_ALQU2M0KdptXUdTPKcEw
      - DRONE_DEBUG=true
      - DRONE_LOGS_DEBUG=true
      - DRONE_LOGS_PRETTY=true
      - DRONE_LOGS_NOCOLOR=false
networks:
  dronenet:

改写仓库中的 .drone.yml

这里的 .drone.yml 与上一篇文章中的类似,没有太大改动。

参考

  1. drone 中的 web 创建一个新版本

私钥中的换行符需要替换成\n 粘贴进来

{
  "port": "22",
  "name": "yiranzai",
  "host": "dronetest.yiranzai.top",
  "deploy_path": "/path/to/web",
  "rsa": "-----BEGIN RSA PRIVATE KEY-----\nMIIEowIBAAKCAQEAu1uWokQH6tuExm1RcFTJj2F6b8TXUkAzpAywVFQuyIepQwVG\nfl+Y1iD8YrqB31ZDjJk3DbC6DYGsecJILpBKDJ6T1M4UPKF6m0DH+O4bb33rhBy/\nY/zeN2jOygKTfTWpxrs13ZLvsJzNsH7rs6P+K3c+2heAhrYlyzeXTO/VbqCAsjMp\nsDMRjCDEp7jxNeEOdGM/4gIxpatDkVSIbgCj1jkYJJ3C0ipS3KvI2A1Lic8Vjr4V\nxtRK82r4aa1qeWunUFJWaO1O/V11l63lixfrr12QDgRyAkC/GCVOso6+NRP+DfGj\nhGQ+XziBZRdaEkQwv4kI717l4ToFDvUj1G8K1QIDAQABAoIBADx0q/sIT0DYkpXb\nMPUw7W7361We6gBAXiPMTvot0pGeXeYSCiBpL/g40vwBvB47TzM8olcKDzqRAgKO\nn/IZXzNn2qLN4emT482p34b1O/AWtNFy7h4Le1SBernQULT1mQtIgt/rBMB2FzZ7\n//p4q0x3ZXKkRi+i/NTayi/pzW6DTxYreIek+FSIPPJ3Kc1tsooD8greiEYo3wef\nbzV17YIvEry3RRRKYcR/tjS/oWOKdG1YzxsiPVALrZtgHS3KcDCYRltQoALGfMjl\nL4iicfTe2Jlr36CvdH0yqFOsRPH0eh4dC1sFKBzHFqcccnNfnhOGgwCbj/zDEuX+\nDrUUnqECgYEA3NqvHSAg3ULF0Y+emRXDDLbLmBDsIX+7ygQeYcwC1EVVf7F2z+Tw\ntYTjTNu4HzXAHVQ3WcB4K0fXEAJuK0LtORpHPPxfMse6vURSOTubBqhp6+H33TTq\nJa0ph1vLvGp2G1sJHQ+QrwZw+SyJ2LtiSYlMTIf617DDYAc+iWoBc10CgYEA2XZ8\nfRy20YMb01znorEG7WQ/vErtasAJbN122M/e6a1FPMmDdiTuYvA4Q0xylDXBgwZ/\nXxBFc1fs6QI+Vks3J6lzAgJ+XbX3gtoPxTFRJu4yZjCmhxLOpr1zzR8eWWrJ3aA3\nIS2UmQhr8mGPPnQbc7OeLTUv+7ZokDElZmMpxekCgYB1ZPi4Lp/JfPjRz3mp3dt0\nIqZOCpC1rcAQPeg4a80FMGWmHprdHwCkPCLmc3SHIncgH+sMjjZSKzmyFNiivkyC\nkelUDYI813XnTS23pmtdOqAy3kmPD3V2eXkd0D6XxK3LEzTg8akin/XlPTt4rQIt\nvIGGHLHN/jOcE722JVboMQKBgQCFOyqaHHWFdyYdINZpvrvXxYum+ODsfitIH4co\n3nJcCGRbEbsRLx8+Tp6p3LR2SVj3xYVT4MwsFrp3J4C1re8R1ac4m/1/u3ShHqh6\nz/RAPb3zDGt6ZfNmBVk3WstlTR/e3QV+xkY8XASGw27XfJs1D37hI6z6Mo3tiC61\nxBdbwQKBgHMDXneApZOsByrm0fvrOdIeW247kkmO6jLrI6QI/mR70gjODKXApLbU\nAbyglSi/i6Ewp+Au3+2mMvHFGc8iRkh0pwEo+xMKqPUAZEnmCbo3mKSjnR/vE3Pa\nO1frNKNLFff6kMh0ufbO3YIixYHCNJO6j/k1GmkkECSTMMka1tig\n-----END RSA PRIVATE KEY-----"
}
  1. 编辑 .drone.yml
---
kind: pipeline
name: drone

workspace:
  base: /app
  path: git/drone

steps:
  - name: build
    image: node:alpine
    volumes:
      - name: webroot
        path: /wwwroot
    commands:
      - /bin/sh bash.sh
    environment:
      host:
        from_secret: host
      port:
        from_secret: port
      abc: abctest
  - name: deploy
    image: appleboy/drone-scp
    when:
      status:
        - success
    settings:
      host:
        from_secret: host
      port:
        from_secret: port
      key:
        from_secret: rsa
      username:
        from_secret: username
      target:
        from_secret: deploy_path
      source: ./*

volumes:
  - name: webroot
    host:
      path: /opt
  - name: cache
    host:
      path: /tmp/cache

trigger:
  branch:
    - master
  event:
    - push

---
kind: secret

external_data:
  host:
    path: drone/data/web
    name: host
  username:
    path: drone/data/web
    name: name
  port:
    path: drone/data/web
    name: port
  deploy_path:
    path: drone/data/web
    name: deploy_path
  rsa:
    path: drone/data/web
    name: rsa
  1. 提交修改
git add .;git commit -m 'init test 4';
git push origin master
  1. 查看 DroneACTIVITY FEED

如果成功就会如下图所示

ACTIVITY FEED

  1. 去服务器检查一下

    看到 bash.sh.drone.yml 都被上传到这里(只是测试,不是真的让你这么干)

$ pwd
/home/www
$ ll -a
total 40
drwx------  4 www  www  4096 Feb 20 04:23 .
drwxr-xr-x. 4 root root 4096 Feb 20 03:55 ..
-rw-------  1 www  www    61 Feb 19 03:00 .bash_history
-rw-r--r--  1 www  www    18 Oct 30 13:07 .bash_logout
-rw-r--r--  1 www  www   193 Oct 30 13:07 .bash_profile
-rw-r--r--  1 www  www   231 Oct 30 13:07 .bashrc
-rw-r--r--  1 www  www    35 Feb 20 04:23 bash.sh
-rw-r--r--  1 www  www   812 Feb 20 04:23 .drone.yml
drwxr-xr-x  8 www  www  4096 Feb 20 04:23 .git
drwxr-xr-x  2 www  www  4096 Feb 19 02:40 .ssh

总结和推荐


写到这里,就算是结束了。说实话,有了上一篇文章的的经验和踩坑,我已经对于 Drone 的文档相当失望了,没想到后边有更深的坑在等着我,当我了解到真相以后,气得差点砸键盘。

本次总结

  • Vault 的文档其实还算清晰,在实际操作之间,建议至少把 KV 相关的部分熟读,而且第一次激活之后的手册一定要照着实践一遍。(如果你的英文不错,你可以看 vault 官方提供的高级教程)
  • drone-vault 的官方样例中没有说明怎么与 vault 通信,在我第一遍的操作中,我没有细想这个问题,跳过了,结果不用多说,自然是失败。
  • drone-vault 是用 GO 语言开发的,drone-vault 使用的http 包,不支持没写协议的 url,例如 vault:8200 不能被识别,要写成 http(s)://vault:8200
  • vault 中的 Secret 存储路径是 {Engine Name}/data/{Secret Name},这一点要牢记

系列文章

好了,祝大家撸码愉快,沉迷于 BUG 不能自拔。

不要砸键盘!

本作品采用《CC 协议》,转载必须注明作者和本文链接
讨论数量: 0
(= ̄ω ̄=)··· 暂无内容!

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!