0x01 前言

 因为工作学习的关系,我家里的网络结构非常复杂,而且网线都没有标签。当有故障需要排查的时候也总是忘记网线的对端是哪里,所以今天我在这里把我的网络架构记录下来。

这篇文章只记录网络结构,接下来的两篇将记录esxi、pfsense与交换机的配置方式。

因为我从事运维工作,所以对网络安全十分重视。同时需要学习与测试一些新技术和病毒,因此我的网络架构并不适用与普通家庭,而且普通家庭也并不会花大价钱购买这些设备。但如果你住的是复式房子或别墅,则可以找一个小地方放个小机柜。

0x02 硬件与规划

先放一张拓扑图:

然后是实际环境的图片:

上图中还没连接H3C 5008 G1/0/7 口,因为这张图片是上个月拍的,实际的连接方式已经改变了,但不影响这篇文章的主要内容。

0x02.1 R720

R720这2U的机架式服务器安装了esxi 6.5,同时运行着一个vcenter虚拟机。因为需要配置Distributed Switch,所以需要安装vcenter。

Distributed Switch可以提供比较完整的功能,但我目前只有一台服务器,只能使用一些基础功能。如果你有多台服务器,则可以配置Distributed Switch提供高可用的网络服务。而我配置Distributed Switch则是为了限制同一交换机中的虚拟机相互通讯,强制流量经过路由器,然后在路由器中配置防火墙规则。

因为端口不足,所以只有一个uplink,其实有两个以上会更好,可以提供高可用或主备。

两个Distributed Switch分别为两个不同的虚拟机群组提供网络服务,在配置虚拟机的时候选择所需要的Distributed Switch即可:

0x02.2 H3C 5008

Distributed Switch的uplink分别是服务器的两个千兆电口,对端分别是H3C 5008交换机的两个千兆端口。

H3C 5008有多个版本,我的这个版本并不支持POE,但所有版本都有两个千兆的SFP端口,8个电口。

我将奇数端口划分为VLAN1,偶数端口划分为VLAN2,其中光纤口9和10分别为VLAN1 uplink和VLAN2 uplink。两个uplink口通过光纤连接至R720的光纤网卡,并使用直通功能分配给软路由虚拟机pfsense。

0x02.3 pfsense

因为我在Distributed Switch限制了虚拟机之间的通讯,同时在5008交换机中配置了VLAN,所以所有流量都会经过pfsense,这时候就可以在pfsense中配置IDS和IPS,用于入侵检测和入侵防御。

IDS的日志测试用ELK套件进行分析:

目前仅针对公网进行入侵检测,内网因为流量过于庞大则没有启用。

在pfsense中,两个uplink口的网段也是不一致的,这也迫使跨网关访问需要经过pfsense。

同时pfsense还提供DNS解析和DHCP服务,为了方便监控还需要安装ntopng、zabbix agent和vmware-guestd:

当然我还需要上网,公网服务由电信提供的百兆光纤,光纤先经过光猫,然后通过网线连接到服务器的电口,再配置esxi直通该电口给pfsense。所有需要访问公网的流量就经过公网网关出去:

对于IP的使用也是需要有规划的,例如我的:

因为分配好IP后就可以针对某个IP段配置ACL或限速,例如我针对非固定IP的DHCP用户做了限速,这样就不怕客人占用网络了,尤其是上行:

0x02.4 管理端口

另外还有esxi的管理端口和R720的管理端口,连接这两个端口可以通过zabbix等监控软件监控服务健康度。

其中R720的管理模块叫IDRAC,esxi的管理则需要占用一个R720的千兆电口。其实这个esxi的管理口也可以为虚拟机提供数据交换服务,但没办法控制虚拟机之间的相互通讯。

上述两个管理口分别通过网线连接H3C 5008交换机的VLAN1。

而H3C则不需要连接console,因为我为VLAN分别配置了IP地址,只需要通过我允许的IP即可访问交换机的配置界面或通过Telnet进行连接:

0x03 VLAN2

其实我的网络环境可以将H3C 5008交换机看作是分水岭,左侧是核心服务的VLAN1,右侧是公共服务VLAN2。

我家里的WiFi也是一个核心设备,型号是:

这款路由器支持手机客户端管理,然而我不相信这类产品的安全性。所以我将其联网的功能给屏蔽了,因为他自身有一个IP,只需要将该IP禁止联网即可。其实我将他设为桥接模式后,这些功能一个也用不了。

我买这个型号的无线路由器很重要的一个原因是它的wan口是千兆的!这很重要。

这个路由器还需要给三个监控探头提供无线网络服务:

当然,这三个摄像头也都是不允许联网的,录像会有两份,一份存在摄像头内的内存卡里,另一份存在服务器R720中。

另外还需要给小米盒子提供wifi,建议给小米盒子使用5GHz的信号,观看在线视频或是plex内的媒体都非常流畅。当然还需要给手机、平板、电脑、打印机和访客提供无线接入服务。

自己的设备都在pfsense设定了固定IP,而访客则通过DHCP获取IP,DHCP的IP段为上面表格内所写的IP段,但并不是10.1.1.0/24,而是10.1.2.0/24:

为了让房间里的电脑、PS4和其他设备有优质的网络可用,还需要在房间里放置一个傻瓜交换机。这个我在2015年购买的水星千兆交换机居然还在售卖:

0x04 结语

其实网络结构并不复杂,只是这拓扑图看起来很复杂。

在配置上也只有esxi、vcenter、pfsense和交换机需要配置,其他设备只需要稍作连接即可。

最后是图片上的APC UPS,这个UPS并没有联动模块,其实主要功能是给服务器提供稳定的电压和防止瞬间断电的情况。

如果要配置USP,建议购买有联动模块的,这样就可以通过串口或网线连接服务器,使用监控程序通过UPS监控市电状态,一旦断电就启动关机程序。

为了在市电恢复供电后能自动启动服务器,还需要配置服务器通电后自行启动,服务器都有这个功能,甚至一些台式机主板也有这个功能。

0x05 相关视频

https://www.bilibili.com/video/av15823557/