Drone CI使用Vault作为凭据存储 —— 打造自己的CI/CD工作流(二)
这一篇文章是基于 Gitea+Drone CI+Vault 打造属于自己的 CI/CD 工作流系列文章第二篇,让我们一起来完成 drone
与 vault
的搭配使用,这篇主要讲 vault
的部署和使用,以及怎么通过 drone
来使用 vault
上一篇文章Drone CI For Github —— 打造自己的 CI/CD 工作流(一) 我们一起了解了,Drone
的部署和使用,一起感受了 Drone
的简单强大的功能带来的方便和快捷。在实际的应用中,我们会有很多的敏感数据,Drone
自身的 Secret
是以仓库为单位进行管理,而且也没有严格独立的权限控制,其实是不太方便的。
说干就干,开始搞事。
了解 Vault
Vault 是一个管理 Secrets 并保护敏感数据的工具,来自HashiCorp,如果你对这个名字有点陌生,那么你一定知道Vagrant
Vault 是一种安全访问
Secret
的工具。Secret
就是您要严格控制访问的任何内容,例如 API 密钥,密码或证书。Vault 为任何机密提供统一的界面,同时提供严格的访问控制并记录详细的审计日志。现代系统需要访问大量
Secret
:数据库凭证,外部服务的 API 密钥,面向服务的体系结构通信的凭证等。了解谁正在访问哪些秘密已经非常困难且特定于平台。如果没有自定义解决方案,几乎不可能添加密钥滚动,安全存储和详细的审计日志。这是 Vault 介入的地方。Vault 的主要功能包括:
- 安全秘密存储:任意密钥/值秘密可以存储在 Vault 中。Vault 会在将这些机密写入持久存储之前加密这些机密,因此获取对原始存储的访问权限不足以访问您的机密。Vault 可以写入磁盘,Consul等。
- 动态秘密:Vault 可以按需为某些系统生成机密,例如 AWS 或 SQL 数据库。例如,当应用程序需要访问 S3 存储桶时,它会要求 Vault 提供凭据,Vault 将根据需要生成具有有效权限的 AWS 密钥对。创建这些动态机密后,Vault 也会在租约到期后自动撤消它们。
- 数据加密:Vault 可以加密和解密数据而无需存储数据。这允许安全团队定义加密参数,并允许开发人员将加密数据存储在 SQL 等位置,而无需设计自己的加密方法。
- 租赁和续订:Vault 中的所有机密都有与之相关的租约。在租约结束时,Vault 将自动撤销该秘密。客户可以通过内置续订 API 续订租约。
- 撤销:Vault 内置了对秘密撤销的支持。保险柜不仅可以撤销单个秘密,还可以撤销秘密树,例如特定用户读取的所有秘密,或特定类型的所有秘密。撤销有助于关键滚动以及在入侵情况下锁定系统。
上边都是废话,这里说一下我自己的体验。
首先我没有体验的很深,我现在只是体验了 key/value
结构和 database
,然后看了一下 ACL Policies
管理权限。
- 权限控制很严格,机制也很灵活和安全
- UI 美观,操作简单,不过 UI 功能也简单
- CLI 操作容易理解,文档齐全。
- 安全确实很放心,token 定时刷新,可以通过 token 来获取数据库的配置,UI 的激活需要输入 key,容器重启也需要重新输入 key 来激活。
部署 vault
这里并不是单独部署 vault,而是参考上一篇文章来结合 vault 使用,在上一篇文章的
docker-compose.yml
基础上,加入vault
的容器,并为vault
提供web
服务.为了区分,以下代码块中,用
$
开头表示宿主机命令,用/ #
开头表示容器中的命令
编写模板文件
---
vault:
image: vault:latest
container_name: vault
restart: always
networks:
- dronenet
volumes:
- ./vault/file:/vault/file
- ./vault/config:/vault/config
- ./vault/logs:/vault/logs
cap_add:
- IPC_LOCK
environment:
- VAULT_ADDR=http://127.0.0.1:8200
command: vault server -config=/vault/config/local.json #这句非常重要,一定要替换原有的Dockerfile中的CMD,不然会自动初始化,生成的数据都在docker logs中,不说你肯定找不到。dog.jpg,所以我选择手动初始化
配置 vault
事先准备好一个数据库和对该数据库具有访问权限的数据库账号
参考
database
: vaultname
: vaultpassword
: vault123456样例中的配置请事先阅读文档知晓含义
参考Vault Configuration >
Vault
的配置文件是HCL或者json
,这里我使用json
HCL to json
请参考HCL
- 初始化
vault
$ mkdir -p vault/config
$ mkdir -p vault/file
$ mkdir -p vault/logs
$ vim vault/config/local.json
{
"ui": true,
"storage": {
"mysql": {
"address": "mysql:3306",
"username": "vault",
"password": "vault123456"
}
},
"listener": {
"tcp": {
"address": "0.0.0.0:8200",
"tls_disable": 1
}
},
"backend": {
"file": {
"path": "/vault/file"
}
},
"log_level": "Debug", #调试阶段建议开启Debug
"default_lease_ttl": "168h",
"max_lease_ttl": "720h"
}
$ docker-compose up -d
$ docker-compose exec vault ash
/ # vault operator init
Unseal Key 1: cz/cSHqUep5IBQjtDWBgFnN+G02hLFh8s/19rPxKjxCe #记下来
Unseal Key 2: o+BRjfy64sUKLTWKV0jV+JjvKZWd0R3ibBR7IUbCn8sB #记下来
Unseal Key 3: xiJF+XI8gF1PWGMvOYhy0go16x2VgZdAVKw/xBIVGeo7 #记下来
Unseal Key 4: xd/H1hBdPGwm2qchkShgzGbVtWWHeeCv8S1RyYg34yKi #记下来
Unseal Key 5: 4OOHfxxwuX7Hz40E/bHJLbkwLLWeZkWnz7/pmdtgm7mn #记下来
Initial Root Token: s.RIeC53WBWizfl0OXVbDYuxbh #记下来
Vault initialized with 5 key shares and a key threshold of 3. Please securely
distribute the key shares printed above. When the Vault is re-sealed,
restarted, or stopped, you must supply at least 3 of these keys to unseal it
before it can start servicing requests.
Vault does not store the generated master key. Without at least 3 key to
reconstruct the master key, Vault will remain permanently sealed!
It is possible to generate new unseal keys, provided you have a quorum of
existing unseal keys shares. See "vault operator rekey" for more information.
初始化动作为我们生成了 5 个 Unseal key,此外还有默认的 Root Token。所以应该马上把这些信息记录到安全的地方,因为以后你是没有办法再看到它们的。
- 编辑 nginx,为 vault 提供 web 服务
编辑完记得重启 nginx 服务
server {
listen 80;
server_name vault.5io.cc;
location / {
proxy_pass http://vault:8200;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
- 访问
vault.5io.cc
Vault 对于数据保护是非常重视的。服务器启动后,并不能够马上访问其数据,而必须经过一个解封(Unseal)的动作。
依次输入上边得到的五个
Unseal Key
中的三个来解封服务,然后使用Root Token
登录,登录后如图,右侧会有教程,先跟着做一边熟悉熟悉。
- 创建一个
Secrets Engines
这个东西,怎么说呢,不太好理解。字面意思就是
秘密引擎
,是存储,生成或加密数据的一个组件,可以理解为一个数据集,也可以理解为一种数据渠道。只有Secrets Engines
存在,数据才能被指定方式存储。
- Generic
- KV (这里只示范这种)
- PKI Certificates
- SSH
- Transit
- TOTP
- Cloud
- Active Directory
- AliCloud
- AWS
- Azure
- Google Cloud
- Google Cloud KMS
- Infra
- Consul
- Databases (支持多种驱动)
- Nomad
- RabbitMQ
- 创建一个
ACL Policy
创建一个
ACL Policy
,配置为仅对刚刚创建的Secrets Engine
——dronetest
有可读和列表权限。ACL Policy
的配置格式为 HCL,HCL 是 HashiCorp 创造的、专门用于配置文件的语言格式)
# Allow tokens to look up their own properties
path "auth/token/lookup-self" {
capabilities = ["read"]
}
# Allow tokens to renew themselves
path "auth/token/renew-self" {
capabilities = ["update"]
}
# Allow tokens to revoke themselves
path "auth/token/revoke-self" {
capabilities = ["update"]
}
# Allow a token to look up its own capabilities on a path
path "sys/capabilities-self" {
capabilities = ["update"]
}
path "dronetest" {
capabilities = ["read", "list"]
}
path "dronetest/*" {
capabilities = ["read", "list"]
}
至此,我们的
Vault
就配置好了,接下来让我们创建secret
创建 Secret
上面我们简单配置了一下
Vault
,现在让我们创建Secret
首先我们明白的是
drone(Policy)
对drone(Secrets Engine)
只有可读和列表的权限。
- 登录
回到
vault
容器中,使用Root token
登录
/ # vault login s.RIeC53WBWizfl0OXVbDYuxbh
Success! You are now authenticated. The token information displayed below
is already stored in the token helper. You do NOT need to run "vault login"
again. Future Vault requests will automatically use this token.
Key Value
--- -----
token s.RIeC53WBWizfl0OXVbDYuxbh
token_accessor 5JoYSxx4CqR10mmeG7HusChz
token_duration ∞
token_renewable false
token_policies ["root"]
identity_policies []
policies ["root"]
- 创建一个用于验证的
token
这个 token 应当只对
drone(Secrets Engine)
可读,所以我们为他分配一个drone(Policy)
/ # vault token create -policy=dronetest -no-default-policy
Key Value
--- -----
token s.mx4KQycrFAfiaHIuPnNLhFCy #记下来非常重要
token_accessor 8rzot4pDJvfX0JTi2ImYLvg4
token_duration 168h
token_renewable true
token_policies ["drone"]
identity_policies []
policies ["drone"]
- 写入
Secret
如图所示,这里我们为
web
创建了两对 KV
接下来尝试用命令创建
/ # vault kv put dronetest/test v=k
Key Value
--- -----
created_time 2019-02-26T03:53:02.240676864Z
deletion_time n/a
destroyed false
version 1
/ # vault kv get dronetest/test
====== Metadata ======
Key Value
--- -----
created_time 2019-02-26T03:53:02.240676864Z
deletion_time n/a
destroyed false
version 1
== Data ==
Key Value
--- -----
v k
/ # vault kv put dronetest/test a=b
Key Value
--- -----
created_time 2019-02-26T03:53:31.073689586Z
deletion_time n/a
destroyed false
version 2
/ # vault kv get dronetest/test
====== Metadata ======
Key Value
--- -----
created_time 2019-02-26T03:53:31.073689586Z
deletion_time n/a
destroyed false
version 2
== Data ==
Key Value
--- -----
a b
/ # curl \
> --header "X-Vault-Token: s.RIeC53WBWizfl0OXVbDYuxbh" \
> http://127.0.0.1:8200/v1/dronetest/data/test
{"request_id":"f5ce7d8f-cc60-ec79-20a5-5875c5e4362c","lease_id":"","renewable":false,"lease_duration":0,"data":{"data":{"a":"b"},"metadata":{"created_time":"2019-02-26T03:53:31.073689586Z","deletion_time":"","destroyed":false,"version":2}},"wrap_info":null,"warnings":null,"auth":null}
可以看出后者覆盖了前者,注意
version
增加了1
,vault
为每个path
每次写入的数据都定义为了一个新的版本,这样就不难理解,这里为什么是后者覆盖了前者。
在 Drone
中使用 Vault
以上我们了解了
Vault
简单的部署和使用,现在我们一起了解怎么在Drone
中使用Vault
编辑 Docker-compose.yml
结合上一篇文章Drone CI For Github —— 打造自己的 CI/CD 工作流(一) ,我们将
Vault
加入进来然后我们还需要
drone-vault
这个插件来实现Drone
和Vault
之间的通信中转参考
- Drone 使用 Vault 存储 Secret (仔细看,文档是有缺失的)
- Drone-vault 源码分析 (之所以要分析,是因为官方文档中没有说明怎么和 vault 通信,观看源码一目了然)
version: "3.7"
services:
nginx:
image: nginx:alpine
container_name: drone_nginx
ports:
- "80:80"
restart: always
networks:
- dronenet
mysql:
image: mysql:5.7
restart: always
container_name: drone_mysql
environment:
- MYSQL_ROOT_PASSWORD=root_password
- MYSQL_DATABASE=drone
- MYSQL_USER=drone
- MYSQL_PASSWORD=drone_password
networks:
- dronenet
volumes:
- /path/to/conf/my.cnf:/etc/mysql/my.cnf:rw
- /path/to/data:/var/lib/mysql/:rw
- /path/to/logs:/var/log/mysql/:rw
vault:
image: vault:latest
container_name: vault
restart: always
networks:
- dronenet
volumes:
- ./vault/file:/vault/file
- ./vault/config:/vault/config
- ./vault/logs:/vault/logs
cap_add:
- IPC_LOCK
environment:
- VAULT_ADDR=http://127.0.0.1:8200
command: vault server -config=/vault/config/local.json #这句非常重要,一定要替换原有的Dockerfile中的CMD,不然会自动初始化,生成的数据都在docker logs中,不说你肯定找不到。dog.jpg,所以我选择手动初始化
drone-server:
image: drone/drone:1.0.0-rc.5 #不要用latest,latest并非稳定版本
container_name: drone_server
networks:
- dronenet
volumes:
- ${DRONE_DATA}:/var/lib/drone/:rw
- /var/run/docker.sock:/var/run/docker.sock:rw
restart: always
environment:
- DRONE_DEBUG=true
- DRONE_DATABASE_DATASOURCE=drone:drone_password@tcp(drone_mysql:3306)/drone?parseTime=true #mysql配置,要与上边mysql容器中的配置一致
- DRONE_DATABASE_DRIVER=mysql
- DRONE_GITHUB_SERVER=https://github.com
- DRONE_GITHUB_CLIENT_ID=${Your-Github-Client-Id} #Github Client ID
- DRONE_GITHUB_CLIENT_SECRET=${Your-Github-Client-Secret} #Github Client Secret
- DRONE_RUNNER_CAPACITY=2
- DRONE_RPC_SECRET=YOU_KEY_ALQU2M0KdptXUdTPKcEw #RPC秘钥
- DRONE_SERVER_PROTO=http #这个配置决定了你激活时仓库中的webhook地址的proto
- DRONE_SERVER_HOST=drone.5io.cc
- DRONE_USER_CREATE=username:5io,admin:true #管理员账号,一般是你github用户名
drone-vault:
image: drone/vault
container_name: drone_vault
restart: always
networks:
- dronenet
environment:
- SECRET_KEY=7890bcce69bb685a9a424767fe9d1be1 #和drone-agent通信的加密
- DEBUG=true
- VAULT_ADDR=http://vault:8200
- VAULT_TOKEN_RENEWAL=84h
- VAULT_TOKEN_TTL=168h
- VAULT_TOKEN=s.mx4KQycrFAfiaHIuPnNLhFCy #这里不要用root token,用上边生成的只读token
drone-agent:
image: drone/agent:1.0.0-rc.5
container_name: drone_agent
restart: always
networks:
- dronenet
depends_on:
- drone-server
volumes:
- /var/run/docker.sock:/var/run/docker.sock:rw
environment:
- DRONE_SECRET_SECRET=7890bcce69bb685a9a424767fe9d1be1
- DRONE_SECRET_ENDPOINT=http://drone_vault:3000
- DRONE_RPC_SERVER=http://drone_server
- DRONE_RPC_SECRET=YOU_KEY_ALQU2M0KdptXUdTPKcEw
- DRONE_DEBUG=true
- DRONE_LOGS_DEBUG=true
- DRONE_LOGS_PRETTY=true
- DRONE_LOGS_NOCOLOR=false
networks:
dronenet:
改写仓库中的 .drone.yml
这里的
.drone.yml
与上一篇文章中的类似,没有太大改动。参考
- 为
drone
中的web
创建一个新版本
私钥中的换行符需要替换成\n 粘贴进来
{
"port": "22",
"name": "yiranzai",
"host": "dronetest.yiranzai.top",
"deploy_path": "/path/to/web",
"rsa": "-----BEGIN RSA PRIVATE KEY-----\nMIIEowIBAAKCAQEAu1uWokQH6tuExm1RcFTJj2F6b8TXUkAzpAywVFQuyIepQwVG\nfl+Y1iD8YrqB31ZDjJk3DbC6DYGsecJILpBKDJ6T1M4UPKF6m0DH+O4bb33rhBy/\nY/zeN2jOygKTfTWpxrs13ZLvsJzNsH7rs6P+K3c+2heAhrYlyzeXTO/VbqCAsjMp\nsDMRjCDEp7jxNeEOdGM/4gIxpatDkVSIbgCj1jkYJJ3C0ipS3KvI2A1Lic8Vjr4V\nxtRK82r4aa1qeWunUFJWaO1O/V11l63lixfrr12QDgRyAkC/GCVOso6+NRP+DfGj\nhGQ+XziBZRdaEkQwv4kI717l4ToFDvUj1G8K1QIDAQABAoIBADx0q/sIT0DYkpXb\nMPUw7W7361We6gBAXiPMTvot0pGeXeYSCiBpL/g40vwBvB47TzM8olcKDzqRAgKO\nn/IZXzNn2qLN4emT482p34b1O/AWtNFy7h4Le1SBernQULT1mQtIgt/rBMB2FzZ7\n//p4q0x3ZXKkRi+i/NTayi/pzW6DTxYreIek+FSIPPJ3Kc1tsooD8greiEYo3wef\nbzV17YIvEry3RRRKYcR/tjS/oWOKdG1YzxsiPVALrZtgHS3KcDCYRltQoALGfMjl\nL4iicfTe2Jlr36CvdH0yqFOsRPH0eh4dC1sFKBzHFqcccnNfnhOGgwCbj/zDEuX+\nDrUUnqECgYEA3NqvHSAg3ULF0Y+emRXDDLbLmBDsIX+7ygQeYcwC1EVVf7F2z+Tw\ntYTjTNu4HzXAHVQ3WcB4K0fXEAJuK0LtORpHPPxfMse6vURSOTubBqhp6+H33TTq\nJa0ph1vLvGp2G1sJHQ+QrwZw+SyJ2LtiSYlMTIf617DDYAc+iWoBc10CgYEA2XZ8\nfRy20YMb01znorEG7WQ/vErtasAJbN122M/e6a1FPMmDdiTuYvA4Q0xylDXBgwZ/\nXxBFc1fs6QI+Vks3J6lzAgJ+XbX3gtoPxTFRJu4yZjCmhxLOpr1zzR8eWWrJ3aA3\nIS2UmQhr8mGPPnQbc7OeLTUv+7ZokDElZmMpxekCgYB1ZPi4Lp/JfPjRz3mp3dt0\nIqZOCpC1rcAQPeg4a80FMGWmHprdHwCkPCLmc3SHIncgH+sMjjZSKzmyFNiivkyC\nkelUDYI813XnTS23pmtdOqAy3kmPD3V2eXkd0D6XxK3LEzTg8akin/XlPTt4rQIt\nvIGGHLHN/jOcE722JVboMQKBgQCFOyqaHHWFdyYdINZpvrvXxYum+ODsfitIH4co\n3nJcCGRbEbsRLx8+Tp6p3LR2SVj3xYVT4MwsFrp3J4C1re8R1ac4m/1/u3ShHqh6\nz/RAPb3zDGt6ZfNmBVk3WstlTR/e3QV+xkY8XASGw27XfJs1D37hI6z6Mo3tiC61\nxBdbwQKBgHMDXneApZOsByrm0fvrOdIeW247kkmO6jLrI6QI/mR70gjODKXApLbU\nAbyglSi/i6Ewp+Au3+2mMvHFGc8iRkh0pwEo+xMKqPUAZEnmCbo3mKSjnR/vE3Pa\nO1frNKNLFff6kMh0ufbO3YIixYHCNJO6j/k1GmkkECSTMMka1tig\n-----END RSA PRIVATE KEY-----"
}
- 编辑
.drone.yml
---
kind: pipeline
name: drone
workspace:
base: /app
path: git/drone
steps:
- name: build
image: node:alpine
volumes:
- name: webroot
path: /wwwroot
commands:
- /bin/sh bash.sh
environment:
host:
from_secret: host
port:
from_secret: port
abc: abctest
- name: deploy
image: appleboy/drone-scp
when:
status:
- success
settings:
host:
from_secret: host
port:
from_secret: port
key:
from_secret: rsa
username:
from_secret: username
target:
from_secret: deploy_path
source: ./*
volumes:
- name: webroot
host:
path: /opt
- name: cache
host:
path: /tmp/cache
trigger:
branch:
- master
event:
- push
---
kind: secret
external_data:
host:
path: drone/data/web
name: host
username:
path: drone/data/web
name: name
port:
path: drone/data/web
name: port
deploy_path:
path: drone/data/web
name: deploy_path
rsa:
path: drone/data/web
name: rsa
- 提交修改
git add .;git commit -m 'init test 4';
git push origin master
- 查看
Drone
的ACTIVITY FEED
如果成功就会如下图所示
- 去服务器检查一下
看到
bash.sh
和.drone.yml
都被上传到这里(只是测试,不是真的让你这么干)
$ pwd
/home/www
$ ll -a
total 40
drwx------ 4 www www 4096 Feb 20 04:23 .
drwxr-xr-x. 4 root root 4096 Feb 20 03:55 ..
-rw------- 1 www www 61 Feb 19 03:00 .bash_history
-rw-r--r-- 1 www www 18 Oct 30 13:07 .bash_logout
-rw-r--r-- 1 www www 193 Oct 30 13:07 .bash_profile
-rw-r--r-- 1 www www 231 Oct 30 13:07 .bashrc
-rw-r--r-- 1 www www 35 Feb 20 04:23 bash.sh
-rw-r--r-- 1 www www 812 Feb 20 04:23 .drone.yml
drwxr-xr-x 8 www www 4096 Feb 20 04:23 .git
drwxr-xr-x 2 www www 4096 Feb 19 02:40 .ssh
总结和推荐
写到这里,就算是结束了。说实话,有了上一篇文章的的经验和踩坑,我已经对于 Drone
的文档相当失望了,没想到后边有更深的坑在等着我,当我了解到真相以后,气得差点砸键盘。
本次总结
- Vault 的文档其实还算清晰,在实际操作之间,建议至少把 KV 相关的部分熟读,而且第一次激活之后的手册一定要照着实践一遍。(如果你的英文不错,你可以看
vault
官方提供的高级教程) drone-vault
的官方样例中没有说明怎么与vault
通信,在我第一遍的操作中,我没有细想这个问题,跳过了,结果不用多说,自然是失败。drone-vault
是用 GO 语言开发的,drone-vault
使用的http
包,不支持没写协议的url
,例如vault:8200
不能被识别,要写成http(s)://vault:8200
vault
中的Secret
存储路径是{Engine Name}/data/{Secret Name}
,这一点要牢记
系列文章
- 基于 Gitea+Drone CI+Vault 打造属于自己的 CI/CD 工作流
- Drone CI For Github —— 打造自己的 CI/CD 工作流(一)
- Drone CI 使用 Vault 作为凭据存储 —— 打造自己的 CI/CD 工作流(二)
- 轻量化自建 Drone CI For Gitea —— 打造自己的 CI/CD 工作流(三)
- 番外:基于 Gitea 打造一个属于你自己的代码托管平台
好了,祝大家撸码愉快,沉迷于 BUG 不能自拔。
不要砸键盘!
本作品采用《CC 协议》,转载必须注明作者和本文链接