最近經(jīng)常需要搭建實(shí)驗(yàn)環(huán)境做測(cè)試，重復(fù)的系統(tǒng)部署工作無(wú)疑是枯燥的體力活。DarkRay大師先前也分享過(guò)基于ESXi虛擬化的Homelab方案，詳見(jiàn)窮人的虛擬化實(shí)驗(yàn)室方案。這里記錄一下我用Proxmox VE搭建實(shí)驗(yàn)環(huán)境的過(guò)程。

安裝Proxmox VE

官網(wǎng)下載iso后燒到u盤后引導(dǎo)安裝，一般情況下使用默認(rèn)參數(shù)即可，沒(méi)有特殊需要配置的地方。簡(jiǎn)單說(shuō)明一下我的機(jī)器：

• 主板：ASRock J3455-ITX
• CPU：板載 Intel? Quad-Core Processor J3455 (up to 2.3 GHz)
• 內(nèi)存：8g ddr3 1600
• 硬盤：三星 850 evo 120g

這是今年春節(jié)后配的NAS方案，最近將nas遷移到HPE MicroServer Gen10后便空閑了出來(lái)。

配置宿主網(wǎng)絡(luò)

Proxmox支持Linux Bridge和OVS Bridge，安裝完成后默認(rèn)建立了一個(gè)Linux Bridge：vmbr0，并將宿主網(wǎng)卡加入該Bridge。我們創(chuàng)建vm時(shí)網(wǎng)絡(luò)選擇vmbr0，就會(huì)將虛擬機(jī)橋接進(jìn)宿主網(wǎng)絡(luò)，而選擇NAT模式則會(huì)通過(guò)宿主機(jī)NAT聯(lián)網(wǎng)，這兩種模式和vmware的橋接模式和NAT模式是一致的。但是我們搭建實(shí)驗(yàn)環(huán)境時(shí)可能會(huì)需要模擬復(fù)雜的網(wǎng)絡(luò)環(huán)境，如不同VLAN、ACL等。因此我們還是和DarkRay大師的方案一樣，使用pfSense來(lái)處理虛擬機(jī)的網(wǎng)絡(luò)。

安裝OVS

由于我這個(gè)主板的原因，網(wǎng)卡在OVS Bridge下性能會(huì)稍微好點(diǎn)，因此我選擇使用OVS Bridege。OVS可以通過(guò)ssh或者在控制面板pve -> System -> Shell中執(zhí)行命令apt install openvswitch-switch安裝。

創(chuàng)建宿主網(wǎng)絡(luò)Bridge

進(jìn)入網(wǎng)絡(luò)設(shè)置界面pve -> System -> Network中，記錄默認(rèn)的vmbr0中的參數(shù)，然后將vmbr0刪除。創(chuàng)建OVS Bridge，填入原參數(shù)，保存為vmbr0。

創(chuàng)建VLAN Bridge

創(chuàng)建OVS Bridge，僅勾選Autostart，保存為vmbr1。重啟proxmox使網(wǎng)絡(luò)設(shè)置生效，正確配置后如圖所示。

安裝pfSense

上傳pfSense的iso到proxmox后新建虛擬機(jī)掛載安裝即可。一般情況下沒(méi)有特殊需求，配置給1物理cpu，1核心，512M內(nèi)存就夠了。創(chuàng)建完成后再添加一塊虛擬網(wǎng)卡，使用vmbr1，然后開(kāi)機(jī)按照向?qū)О惭b。

配置pfSense

安裝完成后啟動(dòng)pfSense，wan/lan口均自動(dòng)識(shí)別并配置完成，wan口從宿主網(wǎng)絡(luò)（vmbr0）通過(guò)DHCP獲取IP，lan口為192.168.1.0/24的網(wǎng)段，提供DHCP服務(wù)（vmbr1）。如果wan/lan口沒(méi)有正確識(shí)別或有特殊需求，請(qǐng)自行設(shè)置。

默認(rèn)配置配置下，pfSense禁止從wan口管理。選擇菜單8進(jìn)入shell，使用命令pfctl -d關(guān)閉防火墻。然后訪問(wèn)pfSense的wan口ip進(jìn)入管理頁(yè)面，使用admin/pfsense登錄，根據(jù)向?qū)瓿膳渲谩Ｗ⒁庠赟tep 4 of 9時(shí)取消勾選Block private networks from entering via WAN和Block non-Internet routed networks from entering via WAN以便能從wan口訪問(wèn)pfSense。完成Step 8 of 9后，會(huì)重載配置，此時(shí)再?gòu)膕hell使用pfctl -d關(guān)閉防火墻。從Firewall -> Rules -> WAN中添加規(guī)則，允許ICMP和TCP 443從wan口通過(guò)，點(diǎn)Apply Changes后生效。

配置VLAN

完成了以上配置后，新建虛擬機(jī)并使用vmbr1網(wǎng)絡(luò)且不進(jìn)行VLAN配置時(shí)，已經(jīng)可以接入pfSense的LAN區(qū)域并正常上網(wǎng)。

接下來(lái)通過(guò)pfSense來(lái)創(chuàng)建VLAN并將虛擬機(jī)接入VLAN中。

在pfSense菜單Interfaces -> Assignments -> VLANs中創(chuàng)建VLAN，Parent Interface選擇LAN接口，VLAN Tag按需配置，VLAN Priority默認(rèn)。這里創(chuàng)建10和20兩個(gè)VLAN。


回到菜單Interfaces -> Assignments，會(huì)出現(xiàn)Available network ports，依次添加兩個(gè)VLAN接口。


依次配置OPT1、OPT2。更改接口名稱方便管理，啟用接口，并分配IP。這里VLAN10使用10.0.10.1/24的網(wǎng)絡(luò)，VLAN20使用10.0.20.1/24的網(wǎng)絡(luò)。

為VLAN配置DHCP服務(wù)。菜單Services -> DHCP Server中編輯VLAN10接口和VLAN20接口，啟用DHCP服務(wù)并設(shè)置DHCP地址池。

配置完成后新建虛擬機(jī)，網(wǎng)絡(luò)使用vmbr1，VLAN設(shè)置為對(duì)應(yīng)VLAN號(hào)。

開(kāi)機(jī)后成功獲取VLAN10網(wǎng)絡(luò)內(nèi)的地址，但無(wú)法ping通VLAN10網(wǎng)關(guān)10.0.10.1。

防火墻

在pfSense菜單Firewall -> Rules中配置防火墻規(guī)則。
添加簡(jiǎn)單規(guī)則使VLAN10內(nèi)的虛擬機(jī)能ping通網(wǎng)關(guān)10.0.10.1。

pfSense默認(rèn)Outbound NAT模式為Automatic outbound NAT rule generation，即不需要額外配置VLAN就能正常訪問(wèn)外網(wǎng)。因此需要通過(guò)防火墻規(guī)則來(lái)限制VM的網(wǎng)絡(luò)行為，如僅能訪問(wèn)外網(wǎng)，不能訪問(wèn)宿主網(wǎng)絡(luò)；或者完全隔離外網(wǎng)等，這里不做詳細(xì)說(shuō)明。

虛擬機(jī)模板使用

在Proxmox中安裝完虛擬機(jī)后，可以將其轉(zhuǎn)換成模板，以便從模板創(chuàng)建新虛擬機(jī)。操作方法是將安裝完成后的虛擬機(jī)關(guān)機(jī)，然后從pve中右擊該虛擬機(jī)，Convert to template。

從模板創(chuàng)建虛擬機(jī)：右擊模板，Clone，選擇克隆類型與參數(shù)即可。

克隆完成后根據(jù)需要修改虛擬機(jī)配置，然后啟動(dòng)。

最后

大體架構(gòu)上使用Proxmox VE和ESXi都大同小異，只是在不使用vCenter的情況下ESXi無(wú)法使用克隆功能，也就無(wú)法通過(guò)模板機(jī)快速部署測(cè)試環(huán)境，這一點(diǎn)上Proxmox VE有一定優(yōu)勢(shì)。另外虛擬化環(huán)境下IO性能尤其重要，使用SSD做虛擬化環(huán)境的存儲(chǔ)能很大程度地提升使用體驗(yàn)。