ROCE v2

pierwsze testy wydajności rozwiązania RDMA w naszej sieci SAN

ROCE v2 to protokół transmisji danych dyskowych, który ma zastąpić stare iSCSI oraz może w przyszłości namieszać w trendach komunikacji serwer – macierz.
iSCSI jest cały czas stosowane w wielu środowiskach – szczególnie tam, gdzie nie ma dużych wolumenów ruchu storage i nie jest on bardzo krytyczny. Brak switchy FC i kart HBA jest częstym argumentem budżetowym. Niestety iSCSI nie jest przystosowane do nowoczesnych macierzy NVME i opiera się cały czas na transmisji komend SCSI. Nasza macierz jest macierzą NVME i niestety kontrolery muszą całą komunikację od hosta tłumaczyć z NMVE na SCSI i odwrotnie.
ROCE v2 to protokół komunikacji pomiędzy serwerem i macierzą, którego rozwinięcie to RDMA over Converged Ethernet. W telegraficznym skrócie jest to komunikacja NVME bezpośrednio pomiędzy hostem a macierzą/dyskami. Teoria mówi, że będą mniejsze opóźnienia i większe transfery.

W dzisiejszym artykule chciałem przedstawić pierwszy krótki test, który realizujemy w naszym labie. Bohaterem jest tutaj Huawei Dorado 3000v6. Bardzo ciekawa i wydajna macierz NVME.

Do naszej macierzy podłączyliśmy klaster 3 hostów z ESXI Vmware w wersji 7.0.3 zarządzanych przez vCenter. Hosty to serwery może nie najnowsze, ale zasobów całkiem szybkich trochę mamy:

Hosty połączone są portami 10G do switcha Cisco NEXUS a ten z kolei jest podłączony do dwóch kontrolerów Dorado. Niestety maksymalne pasmo dla iSCSI to właśnie 10G.

W celu uruchomienia ROCE i RDMA, każdego hosta wyposażyliśmy w karty 2x25G

Karty to sprawdzone Mellanoxy ConnectX-4!

Nasze dorado ma dedykowaną kartę do RDMA z 4 portami 25G, więc nie posiadając pod ręką switcha z portami 25G, połączyliśmy hosty bezpośrednio do obydwu kontrolerów.

Vmware od wersji 7 wspiera RDMA i ROCEv2, więc konfiguracja poszła bez problemu. Trochę adresacji, trochę klikania na Dorado i po 30 minutach było!

Zobaczyliśmy dyski NVME po interfejsach RDMA.

To może jakiś szybki test?
Akurat miałem wirtualkę z Windowsem 10 pod ręką, więc zastosowałem najprostszy tool – CrystalDiskMark. Oczywiście tak – to nie jest może super profesjonalne – na testy przy użyciu FIO i VDbench przyjdzie też czas.
Zostawiłem domyślne parametry, zaznaczyłem opcję z Nvme i testujemy. Najpierw na iSCSI.

UWAGA: na macierzy trochę się dzieje – mamy tam z 50 VMek…wyniki poniżej pokazują wartości dla naszej produkcyjnej macierzy.

Następnie szybko przerzuciłem poprzez vMotion maszynę na dysk RDMA i uruchomiłem ten sam test:

Jestem dość zaskoczony aż tak dużą różnicą prędkości! To, że będzie szybciej i lepiej to wiadomo ? Ale aż dwa razy to sporo, szczególnie że jak rozmawiałem ze specjalistami Huawei, to oczekiwali poprawy o ok 30-50%. Nasz wynik tłumaczy produkcyjny charakter macierzy i fakt, że mamy większość ruchu na iSCSI. Kontrolery miały już co robić dla iSCSI, stąd może nie najlepsze wyniki.

Mam jednak wrażenie, że RDMA i ROCE będzie w mniejszym stopniu obciążać kontrolery i to może być kolejny argument za pełnym przejściem na środowisko RDMA.

W kolejnych artykułach na pewno opiszę dalsze testy.