超融合NVMe方案 快閃儲存技術躍進

nutanix
Nutanix的AOS 5.18版本,在Stargate的用戶空間,加人的區塊式儲存(Blockstore)技術,儲存效率已明顯高於傳統的EXT4檔案系統。

新科技速遞

快閃記憶SSD價格下跌,消費產品不少以NVMe介面,發揮SSD性能,不過數據中心改用NVMe介面,卻有不少技術挑戰。

超融合系統(HCI)可利用NVMe介面SSD,減低系統延遲率,紛紛加入不少新功能,令系統的儲存效率更高,能夠安裝更多虛擬機器而運行應用的反應更快。

Nutanix在年度的Nutanix .NEXT Digital Experience大會上發表了新的SSD儲存技術,可充份利用NVMe介面,較利用SATA的SSD再快上2倍。

Nutanix亦與英特爾合作支援Optane SSD和3D NAND術,達到了更低延遲的要求對於了純NVMe平台搭載了Optane SSD技術。

作業系統管理的虛擬記憶分為用戶空間(User space)與核心空間(Kernel space)兩個區段;劃分兩者是作為記憶體保護其中一環,以免應用影響核心操作運行用戶空應用,統稱為用戶級(Userland)。不過傳統的作業系統技術有時會妨礙了新技術的創新SSD就是一個例子

檔案系統遷移

Nutanix虛擬的平台作業系統稱為AOS,每個Nutanix節點上都安裝一個虛擬儲存控制器(Controller Virtual Machine,CVM),控制系統IO輸出輸入,稱為Stargate。Stargate位於用戶空間,以往Nutanix的AOS利用了一般Unix系統的EXT4檔案系統,位於虛擬記憶內的核心空間。

Nutanix工程師巧妙地想到在用戶空間,打造另一個檔案系統,再與CVM整合如此一來,用戶空間內同時放置檔系系統和區塊管理層,減少了用戶空間和核心空間之間,數據來回抄寫的次數,以減少延遲度。

Nutanix的AOS 5.18版本加人的區塊式儲存(Blockstore)技術,就是在用戶空間加入檔案系統,儲存效率已明顯高於傳統檔案系統。

不過AOS 5.18在用戶空間加入Blockstore後,還有額外好處,就是用戶空間可直接安裝英特爾開發的開源的存儲性能開發套件(SPDK)。

以往CVM靠系統核心SCSI次系統,才跟能儲存設備通訊,與核心空間交換內容,檔案系統搬至了用戶空間,SPDK完全擺脫了SCSI次系統,直接在用戶空間透過直接記憶存取(Direct Memory Access,DMA)技術,與NVMe的儲存完成數據交換進一步減低延遲。

SPDK如虛添翼

SPDK是由英特爾發起,用於加速NVMe SSD作後端存儲的應用軟件加速函式庫。函式庫的核心就是在用戶空間、非同步的輪詢NVMe驅動(因為SSD相當快,毋須再以interrupt requests (IRQ)決定IO)。相比內核NVMe的驅動程式,SPDK也大幅降低了NVMe 指令的延遲,提高處理器IO速度。

SPDK為完全針對NVMe開發的新一代SSD驅動,用戶空間上的應用,直接存取經NVMe介面的SSD,毋須經作業系統或內核空間。據英特爾的數據SATA SSD隨機讀取為103 µs,而隨機寫入則為54 µs。Nutanix以搭載了Optane SSD,讀寫延遲為10-12 µs

分離SSD令人期待

另一家HCI,VMware也在vSphere 7加入NVMe-oF (Non-Volatile Memory Express over Fabric),支援NVMe over Fibre Channel及NVMe over RDMA (RoCE v2),同樣毋須經SCSI次系統,配合Marvell的Qlogic光纖通道與FastLinQ以太網卡,vSphere 7.0利用NVMe-oF存取以SSD建立的資源池。

傳統vSAN為HCI超融合的部署,運算和存儲聚合在服務器節點,組成對等集群而支援NVMe-oF後,vSAN可將SSD遷移JBOF專用機箱,安裝多條SSD的資訊池供多個VM或應用共用。

NVMe-oF存儲和計算可單獨擴展;超融合的運算和記憶體往往耗用很低,儲存卻不足夠,結果要再增節點。NVMe-oF可遠程配置SSD,以資源池方式分配,充份利用,也可隨時擴展SSD數量。

NVMe over TCP是更令人期待系統,成本更低,儲存的服務更多。Lightbits Labs在上次的VMworld 2019上討論以在超融合上實現分離式SSD,Lightbits Labs的vSAN服務器節點的功能更高,加下更多管理功能,就像存儲的管理網關,仍可靠上層的鏡像實現高可用性。

Nutanix改善了NVMe的性能,但有關SSD技術的競爭,才剛剛開始。

Leave a Reply

Your email address will not be published.