Proxmox Virtual Environment

Nova epoha u svetu virtuelizacije

Od VMwarea do Proxmoxa: virtuelizacija i disaster recovery u enterprise okruženju – iskustva iz prakse

Akvizicijom VMwarea od strane kompanije Broadcom, novembra 2023, otpočela je nova epoha u svetu virtuelizacije. Ako bismo tzv. Y2K bug mogli nazvati glavoboljom, onda bismo višestruke izmene cena i licencnih modela koje je Broadcom objavljivao, u cilju maksimizacije profita, mogli uporediti sa klaster glavoboljom, sve sa uključenom high availability funkcionalnošću.

Prema istraživanju kompanije Veeam, upotreba VMware proizvoda opala je sa 82% na 60% u periodu od dve godine. Više od polovine organizacija prijavilo je povećanje troškova od 150% ili više, a manje organizacije (SMB), javni sektor i pojedini provajderi cloud servisa pogođeni su uvećanjem troškova i za preko 1000%.

Povlačenjem besplatne verzije ESXi hipervizora, februara 2024, Broadcom je od sebe otuđio i mlade profesionalce, entuzijaste i home lab zajednicu. U kompanijama širom sveta ubrzo su otpočeli planovi za migraciju na alternativna rešenja za private cloud virtuelizaciju. Kod mnogih, jedno ime čulo se češće od drugih – Proxmox Virtual Environment.

Rast popularnosti Proxmoxa

Proxmox VE je open source, type 1 baremetal virtuelizaciona platforma, koju od 2008. razvija kompanija Proxmox Server Solutions GmbH iz Austrije. Višegodišnji ljubimac home lab entuzijasta zasnovan je na Debian Linux distribuciji i integriše punu virtuelizaciju hardvera kroz KVM i QEMU, dok je kontejnerizacija rešena uz pomoć LXC-a. Proxmox VE, pored SAN i NAS uređaja, nativno podržava i hiperkonvergentnu infrastrukturu (HCI) kroz softverski definisana storidž rešenja, poput Cepha i ZFS-a.

Ljubimac home lab entuzijasta, Proxmox VE je open source platforma koja integriše punu virtuelizaciju hardvera

Integrisana klasterizacija omogućava sledeće funkcionalnosti:

• žive migracije virtuelnih mašina;
• automatizaciju visoke dostupnosti;
• rebalansiranje opterećenja hostova.

Osnovne potrebe rešene su dobro poznatim Linux Bridgeom, dok za naprednija i zahtevnija okruženja postoje Open vSwitch (OVS) i Proxmox SDN stack. Proxmox se distribuira pod GNU AGPLv3 licencom, a sve funkcionalnosti dostupne su bez nadoknade i vremenskog ograničenja. Za primenu u enterprise i mission critical okruženjima dostupan je subscription model sa više nivoa, koji omogućavaju direktnu podršku od strane proizvođača softvera i pristup enterprise repozitorijumima koji sadrže pakete koji su prošli detaljnu kontrolu stabilnosti i kompatibilnosti.

Proxmox se distribuira pod GNU AGPLv3 licencom, a sve funkcionalnosti dostupne su bez nadoknade i vremenskog ograničenja

U poslednjih nekoliko godina zabeležen je rast popularnosti Proxmoxa, zahvaljujući uvođenju novih funkcionalnosti, podrške od strane backup rešenja poput Veeama i Commvaulta, alata za automatizaciju Ansible i ulazak u NVIDIA Mission Control ekosistem.

Zbog potreba za administriranjem i nadgledanjem većeg broja Proxmox klastera i Proxmox Backup Server instanci, nedavno je predstavljen i Proxmox Datacenter Manager. Omogućene su operacije poput live migracije virtuelnih mašina između različitih klastera, nadgledanje izvršavanja backupa i unifikacija dozvola pristupa kroz zajednički dashboard. Pored x86-64 arhitekture, Proxmox je sada dostupan i za ARM64 sisteme, šireći se i u moderne AI i HPC data centre.

Migracija na novu platformu

Kompanija COMING – Computer Engineering uspešno je završila nekoliko projekata migracije workloada korisnika sa VMware platforme na Proxmox VE, učestovala u planiranju, dizajnu i pružila konsultantske usluge.

Pojedini korisnici su VMware vSphere zamenili hibridnim rešenjem – migracijom većine virtuelnih mašina u COMING cloud, dok je on-premises oprema prenamenjena u single node ili two node klastere za potrebe lokalnog domen kontrolera, fajl servera, WSUS i sl. Izazov prilikom implementacije Proxmoxa u klasterima od dva noda je omogućavanje visoke dostupnosti prilikom pada servera. Ukoliko dođe do prekida u mrežnoj komunikaciji između dva ispravna noda, postoji opasnost da jedan startuje virtuelne mašine drugog, pod pretpostavkom da je on nefunkcionalan. Ovo može dovesti do korupcije podataka kod deljenog storidža ili drugih problema sa dostupnošću servisa i validnošću podataka. Rešenje ovog problema je QDevice, servis koji se podiže na nezavisnom hardveru ili u cloudu, u mrežnom segmentu koji ne koristi Corosync.

Kao alternativu deljenom storidžu u dvonodnim klasterima, a u cilju omogućavanja visoke dostupnosti (HA), COMING je kod korisnika implementirao ZFS replikaciju storidž prostora na lokalnim diskovima. ZFS je napredni fajl sistem i menadžer logičkih volumena koji kombinuje verifikaciju integriteta i self-healing, keširanje i kreiranje snapshotova u okviru storage poola. ZFS replikacija koristi snapshot funkcionalnost da periodično transferuje izmenjene blokove podataka sa jednog noda na drugi, čime se stvara asinhrona, warm standby kopija virtuelnih diskova. Minimalni ponuđeni period izvršavanja ove replikacije je 15 minuta kroz GUI upravljački interfejs, a moguće je manuelno uneti i period od jednog minuta. Ovaj pristup je posebno interesantan za primenu u proizvodnim postrojenjima, gde je moguće dva noda razdvojiti na dve odvojene hale i kreirati postavku koja kombinuje jednostavnu arhitekturu, HA i DR funkcionalost.

Za veće sisteme sa lokalnim diskovima preporučuje se implementacija integrisanog HCI rešenja – Ceph. Za ovo skalabilno, softverski definisano storidž rešenje potrebna su minimalno tri noda, a u produkcionim okruženjima preporučeno je implementirati Ceph na pet ili više nodova. Za disaster recovery potrebe preporuka je implementacija stretched clustera baziranog na Proxmoxu i Cephu. Na svakoj lokaciji potrebno je imati po tri noda i Qdevice instancu na trećoj lokaciji. Preporuka je da su lokalni diskovi bazirani na NVME tehnologiji.

Treću opciju pronalazimo u 3-tier arhitekturi, gde uključujemo i deljeni storidž uređaj, pored mreže i servera koji predstavljaju compute resurse. Prema dosadašnjem iskustvu, korišćenje NFS fajl protokola pokazalo je najbolje rezultate, u vidu mogućnosti kao što je nativna podrška za snapshotove i brzinu transfera nakon optimizacije nconnect parametra. U DR scenariju koristi se storidž replikacija. Na primer, kod NetApp storidž uređaja moguće je koristiti Asynchronous SnapMirror za active-passive arhitekturu, dok je za near zero RPO zahteve potrebno konfigurisati SnapMirror Active Sync ili MetroCluster. Zbog podrške za NFS, preporuka je MetroCluster.

Nakon dizajniranja i implementacije Proxmox klastera, sledeći korak je sama migracija virtuelnih mašina sa VMware okruženja. COMING-ovi inženjeri imali su dva pristupa.

Za korisnika koji je već imao implementiran Veeam Backup&Replication u svom okruženju, bila je izvršena restore procedura virtuelnih mašina na Proxmox klaster. Prvobitno bi se iz operativnog sistema mašine uklonili VMware Tools, zatim bi se napravio novi inkrement ugašene mašine i na kraju započeo restore proces.

Drugi pristup je korišćenje integrisane ESXi Import opcije. Jednostavnim dodavanjem ESXi hostova u Storage sekciji Proxmoxa, moguće je pristupiti vmx fajlovima na VMware datastoreovima. Biranjem opcije Import pokreće se Wizard, gde je moguće prilagoditi virtuelni hardver novom okruženju.

U dosadašnjim implementacijama Proxmoxa COMING-ovi inženjeri uverili su se u zrelost i stabilnost ove virtuelizacione platforme. Dnevno administriranje je lako, zahvaljujući jednostavnom i dobro dizajniranom grafičkom interfejsu. Linux inženjeri se u Shellu osećaju kao kod kuće. API zasnovan na REST principima omogućava visok stepen prilagođavanja i automatizacije, a 3rd party ekstenzije, integracije i prilagođeni portali su dostupni i redovno se unapređuju.

Proxmox VE već dugo nije izbor samo entuzijasta, inadžija i malih korisnika. Interesovanje za ovu VMware alternativu pokrenulo je ubrzan razvoj, optimizaciju, sazrevanje koda i sve širu i brojniju primenu. VMware i dalje ostaje superioran proizvod, ali će Broadcom zbog Proxmoxa i drugih rivala u budućnosti morati da pomeri svoj fokus.

Marko Grgurević, COMING