confd
confd通过读取配置(支持etcd,consul,环境变量),通过go的模板,生成最终的配置文件。
安装
安装和etcd一样,非常方便,已经提供了64位的可执行程序,下载下来之后直接放到PATH中(/usr/local/bin)即可(别忘了+x)。
haproxy配置生成
confd配置文件默认在/etc/confd中,可以通过参数-confdir指定。目录中包含两个子目录,分别是:conf.d templates。
confd会先读取conf.d目录中的配置文件(toml格式),然后根据文件指定的模板路径去渲染模板。
基于之前配置的etcd集群,读取/services/web中的目录和key。结构为:
/services/web/$DOMAIN/$HOST/ip
|-port
其中DOMAIN表示注册应用的域名,HOST表示注册机器的主机名。
首先创建confd配置文件:
[template]
src = "haproxy.cfg.tmpl"
dest = "/home/babydragon/haproxy/haproxy.cfg"
keys = [
"/services/web",
]
#reload_cmd = "/etc/init.d/haproxy reload"
现在只测试模板生成,所以不关注检查、重启等命令,配置模板名称、目标路径和获取的key即可。
着重看下模板变动部分(前面就是写死的一些haproxy的标准配置,如日志等)
frontend webin
bind :80
{{$domains := lsdir "/services/web"}}
{{range $domain := $domains}}
acl is_{{$domain}} hdr(host) -i {{$domain}}
{{end}}
{{range $domain := $domains}}
use_backend {{$domain}}_cluster if is_{{$domain}}
{{end}}
{{range $domain := $domains}}
backend {{$domain}}_cluster
cookie SERVERID insert indirect nocache
{{$domain_dir := printf "/services/web/%s" $domain}}{{range $host := lsdir $domain_dir}}
server {{base $host}} {{$ip_key := printf "/services/web/%s/%s/ip" $domain $host}}{{getv $ip_key}}:{{$port_key := printf "/services/web/%s/%s/port" $domain $host}}{{getv $port_key}} cookie {{base $host}} check
{{end}}
{{end}}
这里主要有两个循环,第一个循环所有的域名,第一个循环每一个域名下的所有主机。
haproxy需要通过设置acl的方式来进行按照域名做负载均衡。因此首先循环域名,为每个域名创建一个acl规则和一个规则的使用。
下面再通过一个循环,创建没个域名对应的后段。
confd模板详细文档可以参考github上的文档。
大致的意思是通过lsdir获取当前目录下的所有子目录。第一层子目录为域名,根据域名即可生成acl规则、规则使用、后端名称等数据。
再重新通过瓶装域名目录,对域名目录执行lsdir,读取目录下的每个主机名,创建后端的server条目(一个域名下的负载均衡后段服务器),
同时获取挂在这个目录下的属性键值对(这里只有ip和port)。
创建完模板和配置之后,先构造一些测试数据:
etcdctl mkdir /services/web
etcdctl mkdir /services/web/a.abc.com
etcdctl mkdir /services/web/b.abc.com
etcdctl mkdir /services/web/a.abc.com/server1
etcdctl mkdir /services/web/a.abc.com/server2
etcdctl mkdir /services/web/b.abc.com/server1
etcdctl set /services/web/a.abc.com/server1/ip 10.0.0.1
etcdctl set /services/web/a.abc.com/server1/port 10000
etcdctl set /services/web/a.abc.com/server2/port 10001
etcdctl set /services/web/a.abc.com/server2/ip 10.0.0.1
etcdctl set /services/web/b.abc.com/server1/ip 10.0.0.2
etcdctl set /services/web/b.abc.com/server1/port 12345
这里模拟三个容器,其中两个作为域名a.abc.com运行容器,一个作为b.abc.com容器。
然后执行confd,检查生成的配置文件:
confd -confdir ./confd -onetime -backend etcd -node 127.0.0.1:4001
刚才那段模板渲染后为:
frontend webin
bind :80
acl is_a.abc.com hdr(host) -i a.abc.com
acl is_b.abc.com hdr(host) -i b.abc.com
use_backend a.abc.com_cluster if is_a.abc.com
use_backend b.abc.com_cluster if is_b.abc.com
backend a.abc.com_cluster
cookie SERVERID insert indirect nocache
server server1 10.0.0.1:10000 cookie server1 check
server server2 10.0.0.1:10001 cookie server2 check
backend b.abc.com_cluster
cookie SERVERID insert indirect nocache
server server1 10.0.0.2:12345 cookie server1 check