0x01 前言

上周我在知乎专栏编写了我博客的服务架构,其中介绍到数据库master-master同步以实现高可用的内容。该服务需要用到2个端口,若SSH隧道则很复杂,此时我选择ipsec服务建立安全隧道,供数据库集群使用。

该知乎专栏请留意以下链接:

数据库集群的相关文章请留意以下链接:

因为我家里用的是电信家庭宽带,虽然有公网IP,但有时候会被屏蔽所有端口的入展数据,所以我选择腾讯云作为服务端,而我家里的服务器作为客户端。

因为只需要给数据库使用,因此不需要配置iptables NAT,只需要制定ipsec两侧的IP即可;

不同于我常用的IKEv2协议,ipsec不需要准备数字证书,但需要准备预共享密钥;不需要配置左右两侧的id等信息。

0x02 安装服务端

首先在腾讯云上安装服务端,为了使用最新版的软件,我一般会到官网下载最新版并自行编译安装。

编译过程可以参考以下文章:

首先在strongswan官网下载最新版源代码:

然后解压、编译和安装即可:

#我喜欢在/root 目录下新建一个文件夹存放用于编译的源代码
mkdir -p /root/codex/ipsec
 
#进入文件夹
cd /root/codex/ipsec
 
#下载strongSwan 源代码
wget https://download.strongswan.org/strongswan-5.6.3.tar.gz
 
#解压
tar zxvf strongswan-5.6.3.tar.gz
 
#进入文件夹
cd strongswan-5.6.3
 
#config ,请注意我将strongSwan 安装在/usr/local/ipsec 这个目录下。
#请根据需要调整安装目录
./configure --prefix=/usr/local/ipsec \
--libexecdir=/usr/local/ipsec/libexec \
--libdir=/usr/local/ipsec/lib \
--sysconfdir=/usr/local/ipsec/etc \
--enable-certexpire  --enable-dhcp \
--enable-eap-dynamic --enable-eap-identity \
--enable-eap-md5 --enable-eap-mschapv2 \
--enable-eap-peap  --enable-eap-radius \
--enable-eap-tls --enable-openssl \
--enable-unity --enable-xauth-eap \
--enable-xauth-pam --enable-eap-tnc \
--enable-eap-ttls --enable-addrblock \
--enable-radattr --disable-gmp

#编译
make
 
#安装
make install
 
#创建软连接到/usr/sbin 
ln /usr/local/ipsec/sbin/ipsec /usr/sbin/
ln /usr/local/ipsec/sbin/swanctl /usr/sbin/

至此已完成软件的编译安装,过程极其简单,因为这款软件的难点在配置与调试。

0x03 配置服务端

首先进入软件的配置文件目录:

[root@cn2 ~]# cd /usr/local/ipsec/etc

该目录下有以下文件与文件夹:

[root@cn2 etc]# ll
总用量 24
-rw-r--r--  1 root root 1654 8月  13 01:07 ipsec.conf
drwxr-xr-x 10 root root 4096 8月   7 19:51 ipsec.d
-rw-------  1 root root   48 8月   7 21:20 ipsec.secrets
-rw-r--r--  1 root root  682 8月   7 21:21 strongswan.conf
drwxr-xr-x  3 root root 4096 8月   7 19:51 strongswan.d
drwxr-xr-x 16 root root 4096 8月   7 19:51 swanctl
  • ipsec.conf:定义连接规范的配置文件;
  • ipsec.d:放置各类数字证书的文件夹
  • ipsec.secrets:记录用户名、密码与预共享密钥等信息的文件,主要用于本地验证;
  • strongswan.conf:strongswan:配置文件,配置验证服务器与DNS等信息;
  • strongswan.d:strongswan各模块配置文件的目录;
  • swanctl:strongswan认证类型配置文件的目录。

在本文的使用环境中,需要编辑ipsec.conf、ipsec.secrets与strongswan.conf这三个文件。

0x03.1 ipsec.conf

这个文件主要定义连接规范,常用的有ipsec与IKEv2,在本文的需求中,只需要使用psk的ipsec即可,因此配置文件如下:

config setup
     #唯一ID,默认为yes 。账户不能同时登录多台设备,B 上线会把已经在线上的A 强制断开!
     #这里设置为从不进行唯一性检查,如果你想要更高的安全性,请将下面这句移除
     uniqueids = never

conn %default

     #启用主动模式
     aggressive = yes

     #当ipsec服务启动时,加载并拉起connection
     auto = start

     #当意外关闭CHILD_SA时,清理connection
     closeaction = clear

     #连接存活检测间隔时间
     dpddelay = 30s

     #连接存活检测超时时间
     dpdtimeout = 30s

     #非活动时间,超时将关闭CHILD_SA
     inactivity = 30s

     #ike有效期
     ikelifetime = 12h

     #协商重试最大次数
     keyingtries = 3

     #连接最大生命周期,超时需要重新协商
     lifetime = 12h

     #连接超时前20分钟进行重新协商
     margintime = 20m

     #连接存活检测失败后清理connection
     dpdaction = clear

     #防火墙,允许子网内的主机相互联系
     leftfirewall = no

     #ipsec私有网络
     leftsubnet = 0.0.0.0/0

     #客户端IP
     right = %any

     #定义ike协商支持的加密算法
     ike=aes128-sha256-ecp256,aes256-sha384-ecp384,aes128-sha256-modp2048,aes128-sha1-modp2048,aes256-sha384-modp4096,aes256-sha256-modp4096,aes256-sha1-modp4096,aes128-sha256-modp1536,aes128-sha1-modp1536,aes256-sha384-modp2048,aes256-sha256-modp2048,aes256-sha1-modp2048,aes128-sha256-modp1024,aes128-sha1-modp1024,aes256-sha384-modp1536,aes256-sha256-modp1536,aes256-sha1-modp1536,aes256-sha384-modp1024,aes256-sha256-modp1024,aes256-sha1-modp1024!
     
     #定义esp协商支持的加密算法
     esp=aes128gcm16-ecp256,aes256gcm16-ecp384,aes128-sha256-ecp256,aes256-sha384-ecp384,aes128-sha256-modp2048,aes128-sha1-modp2048,aes256-sha384-modp4096,aes256-sha256-modp4096,aes256-sha1-modp4096,aes128-sha256-modp1536,aes128-sha1-modp1536,aes256-sha384-modp2048,aes256-sha256-modp2048,aes256-sha1-modp2048,aes128-sha256-modp1024,aes128-sha1-modp1024,aes256-sha384-modp1536,aes256-sha256-modp1536,aes256-sha1-modp1536,aes256-sha384-modp1024,aes256-sha256-modp1024,aes256-sha1-modp1024,aes128gcm16,aes256gcm16,aes128-sha256,aes128-sha1,aes256-sha384,aes256-sha256,aes256-sha1!

#建立连接规范
conn IKEv1_Psk

     #协商协议
     keyexchange = ikev1

     #启用拆包模块
     fragmentation = yes

     #自动填充路由
     left = %defaultroute

     #服务端认证方式
     leftauth = psk

     #客户端认证方式
     rightauth = psk

     #客户端认证方式2
     rightauth2 = xauth

     #指定ipsec私有IP地址
     rightsourceip = 10.10.1.1

以上配置文件中有几项较为重要的:

  • 连接存活检测相关的配置:因家庭宽带会自动断开,也有可能因为网络抖动引起连接失败,因此需要根据网络延迟进行调试与配置;
  • margintime:建议将重新协商的时间设置为超时前10至20分钟之间;
  • 加密算法:因为新版的strongswan中移除了老旧的加密算法,因此需要手动指定,提高协商的成功率;
  • rightsourceip:为客户端分配一个固定IP,若使用自带的DHCP则很难知道具体是哪一个。

0x03.2 ipsec.secrets

这个文件的内容比较少,在IKEv1_Psk连接规范中有以下参数:

  • 服务端认证方式:leftauth = psk
  • 客户端认证方式:rightauth = psk
  • 客户端认证方式2:rightauth2 = xauth

xauth在这里是用户名与密码的验证,而psk就是预共享密钥,因此,该文件的全部内容为:

: PSK "your_psk"
your_username %any : EAP "your_passwd"

PSK冒号左侧留空,代表此为默认的psk;如果加上用户名,则该用户一定要填写该psk。

0x03.3 strongswan.conf

因为我的环境不需要radius,因此该文件的内容比较简单:

charon {
  i_dont_care_about_security_and_use_aggressive_mode_psk = yes
  dns1=114.114.114.114
  dns2=114.114.115.115
  ikesa_table_size = 2048
  ikesa_table_segments = 48
  reuse_ikesa = no
  load_modular = yes
  threads = 16
  make_before_break = yes

  filelog {
    /var/log/strongswan/charon.log {
      default = 1
      append = no
      flush_line = yes
      ike_name = yes
      time_format = %b %e %T
    }
  }

  syslog {
    identifier = strongswan_syslog
    daemon {
      default = 1
    }
    auth {
      default = 1
    }
  }

  plugins {
    include /usr/local/ipsec/etc/strongswan.d/charon/*.conf
  }

}
include /usr/local/ipsec/etc/strongswan.d/charon/*.conf

因为主动模式存在安全隐患,因此配置文件的第二行有一句非常明显的信息,需要设为yes才能启用主动模式。

其实DNS也是不需要的,毕竟不需要连接公网。

0x03.4 启用与检查

因为我的软件是自行编译的,因此需要将二进制文件链接到sbin目录中,具体请参考本文的“0x02 安装服务端”部分。

然后通过以下命令启动ipsec服务:

#重启
[root@cn2 ~]# ipsec restart 

#启动
[root@cn2 ~]# ipsec start 

#停止
[root@cn2 ~]# ipsec stop

如果需要查看连接情况,则需要使用以下命令:

[root@cn2 ~]# ipsec status
Security Associations (0 up, 0 connecting):

当然,还可以通过以下命令实时查看日志:

[root@cn2 ~]# swanctl --log

0x04 配置客户端

客户端就没服务端那么多配置项了,同时客户端也可以通过yum安装:

[root@pub-db ~]# yum install strongswan -y

然后进入配置文件目录:

#进入相关目录
[root@pub-db ~]# cd /etc/strongswan/

#查看文件与文件夹
[root@pub-db strongswan]# ll
总用量 20
-rw-r--r--  1 root root 1644 8月  18 19:03 ipsec.conf
-rw-r--r--  1 root root 1727 8月  13 00:31 ipsec.conf.bak
drwx------ 10 root root  119 8月   7 16:20 ipsec.d
-rw-------  1 root root   78 8月   7 16:21 ipsec.secrets
-rw-r--r--  1 root root   90 8月  27 19:55 resolv.conf
-rw-r--r--  1 root root  281 6月   7 03:12 strongswan.conf
drwxr-xr-x  3 root root  267 8月   7 16:20 strongswan.d
drwxr-xr-x 16 root root  218 8月   7 16:20 swanctl

客户端只需要配置ipsec.conf与ipsec.secrets即可。

0x04.1 ipsec.conf

配置文件比较简单:

config setup

conn %default
  ikelifetime=48h
  keyingtries=6
  dpddelay = 30s
  dpdtimeout = 30s
  dpdaction = clear
  ike=aes128-sha256-ecp256,aes256-sha384-ecp384,aes128-sha256-modp2048,aes128-sha1-modp2048,aes256-sha384-modp4096,aes256-sha256-modp4096,aes256-sha1-modp4096,aes128-sha256-modp1536,aes128-sha1-modp1536,aes256-sha384-modp2048,aes256-sha256-modp2048,aes256-sha1-modp2048,aes128-sha256-modp1024,aes128-sha1-modp1024,aes256-sha384-modp1536,aes256-sha256-modp1536,aes256-sha1-modp1536,aes256-sha384-modp1024,aes256-sha256-modp1024,aes256-sha1-modp1024!
  esp=aes128gcm16-ecp256,aes256gcm16-ecp384,aes128-sha256-ecp256,aes256-sha384-ecp384,aes128-sha256-modp2048,aes128-sha1-modp2048,aes256-sha384-modp4096,aes256-sha256-modp4096,aes256-sha1-modp4096,aes128-sha256-modp1536,aes128-sha1-modp1536,aes256-sha384-modp2048,aes256-sha256-modp2048,aes256-sha1-modp2048,aes128-sha256-modp1024,aes128-sha1-modp1024,aes256-sha384-modp1536,aes256-sha256-modp1536,aes256-sha1-modp1536,aes256-sha384-modp1024,aes256-sha256-modp1024,aes256-sha1-modp1024,aes128gcm16,aes256gcm16,aes128-sha256,aes128-sha1,aes256-sha384,aes256-sha256,aes256-sha1!

conn "cn1"
  keyexchange=ikev1
  aggressive=yes
  xauth=client
  leftsourceip=%config 
  leftauth=psk
  rightauth=psk
  leftauth2=xauth
  right=1.1.1.1
  rightid=10.1.1.5
  xauth_identity=your_username
  auto=add
  rightsubnet=10.1.1.5/32

首先还是重要的存活检测,客户端也要配置,发现连接异常时需要尝试重新连接;然后需要配置服务端的IP地址:

  • right:腾讯云的公网IP或域名,用于连接;
  • rightid:腾讯云主机的内网IP,用于识别id;
  • rightsubnet:定义ipsec私有网络的子网。

最后还有一个很重要的:

  • auto:当ipsec启动时的动作,设为add代表自动拉起“cn1”并尝试连接。

如果将strongswan设为开机启动,并且希望自动连接,则需要进行以上配置;如果需要手动连接,则配置为start即可。

0x04.2 ipsec.secrets

该配置文件与服务端的一致即可。

: PSK "your_psk"
your_username : XAUTH "your_passwd"

需要注意ipsec.conf中xauth_identity的值需要与该文件中“XAUTH”的用于名一致。

0x04.3 启动

strongswan自身会以一个守护程序存在系统中,如果在ipsec.conf中定义了多个连接规范,那么将会有多个连接。

因为客户端是通过yum安装的,在centos7中需要通过systemctl启动:

#设为开机启动
[root@pub-db ~]# systemctl enable strongswan

#立即启动
[root@pub-db ~]# systemctl start strongswan

#检查状态
[root@pub-db ~]# systemctl status strongswan
● strongswan.service - strongSwan IPsec IKEv1/IKEv2 daemon using ipsec.conf
   Loaded: loaded (/usr/lib/systemd/system/strongswan.service; enabled; vendor preset: disabled)
   Active: active (running) since 一 2018-08-27 19:43:23 CST; 4h 35min ago
 Main PID: 1262 (starter)
   CGroup: /system.slice/strongswan.service
           ├─1262 /usr/libexec/strongswan/starter --daemon charon --nofork
           └─1447 /usr/libexec/strongswan/charon

如果在连接规范中设定了自动连接,那么通过以下命令将可以看到连接的session:

[root@pub-db ~]# strongswan status
Routed Connections:
         cn2{1}:  ROUTED, TUNNEL, reqid 1
         cn2{1}:   10.1.1.29/32 === 10.1.1.5/32
Security Associations (1 up, 0 connecting):
         cn2[2]: ESTABLISHED 4 hours ago, 10.1.1.29[10.1.1.29]...cn2.t.com[10.1.1.5]
         cn2{8}:  INSTALLED, TUNNEL, reqid 1, ESP in UDP SPIs: cd45fa5b_i ce5f3fe8_o
         cn2{8}:   10.10.1.1/32 === 10.1.1.5/32

如果需要关闭连接,则使用以下命令:

[root@pub-db ~]# strongswan down cn2
closing CHILD_SA cn2{8} with SPIs cd45fa5b_i (2894464 bytes) ce5f3fe8_o (2698418 bytes) and TS 10.10.1.1/32 === 10.1.1.5/32
sending DELETE for ESP CHILD_SA with SPI cd45fa5b
generating INFORMATIONAL_V1 request 373886275 [ HASH D ]
sending packet: from 10.1.1.29[4500] to cn2.t.com[4500] (92 bytes)
deleting IKE_SA cn2[2] between 10.1.1.29[10.1.1.29]...cn2.t.com[10.1.1.5]
sending DELETE for IKE_SA cn2[2]
generating INFORMATIONAL_V1 request 574225157 [ HASH D ]
sending packet: from 10.1.1.29[4500] to cn2.t.com[4500] (108 bytes)
removing DNS server 114.114.115.115 from /etc/strongswan/resolv.conf
removing DNS server 114.114.114.114 from /etc/strongswan/resolv.conf
IKE_SA [2] closed successfully

如果需要拉起连接,则使用以下命令:

[root@pub-db ~]# strongswan up cn2
initiating Aggressive Mode IKE_SA cn2[3] to cn2.t.com
generating AGGRESSIVE request 0 [ SA KE No ID V V V V V ]
sending packet: from 10.1.1.29[500] to cn2.t.com[500] (1060 bytes)
received packet: from cn2.t.com[500] to 10.1.1.29[500] (388 bytes)
parsed AGGRESSIVE response 0 [ SA KE No ID V V V V NAT-D NAT-D HASH ]
received XAuth vendor ID
received DPD vendor ID
received FRAGMENTATION vendor ID
received NAT-T (RFC 3947) vendor ID
local host is behind NAT, sending keep alives
remote host is behind NAT
generating AGGRESSIVE request 0 [ HASH NAT-D NAT-D ]
sending packet: from 10.1.1.29[4500] to cn2.t.com[4500] (140 bytes)
received packet: from cn2.t.com[4500] to 10.1.1.29[4500] (92 bytes)
parsed TRANSACTION request 2868985192 [ HASH CPRQ(X_USER X_PWD) ]
generating TRANSACTION response 2868985192 [ HASH CPRP(X_USER X_PWD) ]
sending packet: from 10.1.1.29[4500] to cn2.t.com[4500] (108 bytes)
received packet: from cn2.t.com[4500] to 10.1.1.29[4500] (92 bytes)
parsed TRANSACTION request 2046926089 [ HASH CPS(X_STATUS) ]
XAuth authentication of 'your_username' (myself) successful
IKE_SA cn2[3] established between 10.1.1.29[10.1.1.29]...cn2.t.com[10.1.1.5]
scheduling reauthentication in 172109s
maximum IKE_SA lifetime 172649s
generating TRANSACTION response 2046926089 [ HASH CPA(X_STATUS) ]
sending packet: from 10.1.1.29[4500] to cn2.t.com[4500] (92 bytes)
generating TRANSACTION request 411176004 [ HASH CPRQ(ADDR DNS) ]
sending packet: from 10.1.1.29[4500] to cn2.t.com[4500] (92 bytes)
received packet: from cn2.t.com[4500] to 10.1.1.29[4500] (108 bytes)
parsed TRANSACTION response 411176004 [ HASH CPRP(ADDR DNS DNS) ]
installing DNS server 114.114.114.114 to /etc/strongswan/resolv.conf
installing DNS server 114.114.115.115 to /etc/strongswan/resolv.conf
installing new virtual IP 10.10.1.1
generating QUICK_MODE request 3319766461 [ HASH SA No KE ID ID ]
sending packet: from 10.1.1.29[4500] to cn2.t.com[4500] (284 bytes)
received packet: from cn2.t.com[4500] to 10.1.1.29[4500] (252 bytes)
parsed QUICK_MODE response 3319766461 [ HASH SA No KE ID ID ]
CHILD_SA cn2{9} established with SPIs c529fce2_i cba021eb_o and TS 10.10.1.1/32 === 10.1.1.5/32
generating QUICK_MODE request 3319766461 [ HASH ]
sending packet: from 10.1.1.29[4500] to cn2.t.com[4500] (76 bytes)
connection 'cn2' established successfully

0x05 测试与使用

在服务端与客户端中并没有配置路由或NAT,因此只支持访问对方的网关。

再次查看以下信息:

[root@pub-db ~]# strongswan status
Routed Connections:
         cn2{1}:  ROUTED, TUNNEL, reqid 1
         cn2{1}:   10.1.1.29/32 === 10.1.1.5/32
Security Associations (1 up, 0 connecting):
         cn2[2]: ESTABLISHED 4 hours ago, 10.1.1.29[10.1.1.29]...cn2.t.com[10.1.1.5]
         cn2{8}:  INSTALLED, TUNNEL, reqid 1, ESP in UDP SPIs: cd45fa5b_i ce5f3fe8_o
         cn2{8}:   10.10.1.1/32 === 10.1.1.5/32

注意最后一行,等号左侧为本地的IP,如果在客户端上执行该命令,则为ipsec分配的私有IP地址,如果在服务端上运行该命令,则为服务器网卡IP。因为腾讯云用的是NAT,因此显示为一个内网IP。

等号右侧为对端IP。

此时在客户端与服务端上分别ping对端,如果网络可达则完成配置:

#在服务端上ping客户端
[root@cn2 ~]# ping 10.10.1.1
PING 10.10.1.1 (10.10.1.1) 56(84) bytes of data.
64 bytes from 10.10.1.1: icmp_seq=1 ttl=64 time=6.88 ms
64 bytes from 10.10.1.1: icmp_seq=2 ttl=64 time=7.04 ms
64 bytes from 10.10.1.1: icmp_seq=3 ttl=64 time=6.76 ms

#在客户端上ping服务端
[root@pub-db ~]# ping 10.1.1.5
PING 10.1.1.5 (10.1.1.5) 56(84) bytes of data.
64 bytes from 10.1.1.5: icmp_seq=1 ttl=64 time=6.95 ms
64 bytes from 10.1.1.5: icmp_seq=2 ttl=64 time=6.75 ms
64 bytes from 10.1.1.5: icmp_seq=3 ttl=64 time=6.97 ms

我在深圳,而腾讯云我选择了广州的数据中心,因此延迟在10ms以内,这有非常利于数据库集群的组建。

数据库集群中位于我家中的节点的配置文件如下:

[galera]
wsrep_on=ON
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_name='wsrep_cluster'
wsrep_cluster_address='gcomm://10.1.1.5:4567'
wsrep_node_address='10.10.1.1:4567'
wsrep_sst_receive_address='10.10.1.1:3306'
binlog_format=row
wsrep_node_name='db-3'
wsrep_sst_auth='db_username:db_passwd'
wsrep_sst_method=mysqldump
bind-address=0.0.0.0

腾讯云中的数据库节点的配置文件如下:

[galera]
wsrep_on=ON
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_name='wsrep_cluster'
wsrep_cluster_address='gcomm://10.10.1.1:4567'
wsrep_node_address='10.1.1.5:4567'
wsrep_sst_receive_address='10.1.1.5:3306'
binlog_format=row
wsrep_node_name='db-2'
wsrep_sst_auth='db_username:db_passwd'
wsrep_sst_method=mysqldump
bind-address=0.0.0.0

0x06 结语

腾讯云和别的大型云服务商一样,服务器上的IP为内网IP,而公网IP支持动态分配,这时候就需要NAT。因此在配置ipsec服务,在建立配置文件时需要注意IP地址的填写。