內存數據及微服務起飛 廠商推固態硬碟方案

 

Ultrastar DC ME200內存記憶擴展固態硬碟,支援內存數據庫、ERP、金融應用,經常快速寫入的場景,並與EPYC整合:Redis應用場景更有望更令此類產品需求大幅上升。

商業分析和實時應用愈來愈多,內存數據庫也應用更廣泛,現時主流數據庫均支援內存(In memory),最著名內存數據庫可數SAP Hana,支援columnar為格式數據庫。

內存數據庫有很多優點,尤其實時分析及加速產生報表,更對未來類似IoT應用,有重要影響,工業4.0針對實時的數據,要即時作出反應,內存數據庫正好就有實時性的優點。

傳統商業數據庫支援內存,快速從實時數據產生分析;亦大量應用於商業分析,類似Power BI和Tableau都靠內存支援分析引擎,發揮迅速視覺化數據功能,內存數據庫的身影已無處不在。

但是,一般服務器配置DRAM數量,卻有一定限制,受制於處理器匯流排限制,加上DRAM的成本較高,內存數據庫配置成本偏高,因此以「非易失性記憶體」(Non-volatile memory,NVM)的固態硬碟,取代DRAM記憶體以支援內存數據庫,可節省成本。不少雲服務商紛紛宣佈NVMe的SSD內存,已經進入正式作業。

近期,英特爾力推Optane DC(Optane DRAM extension),就是以NVM固態硬碟來擴充DRAM的記憶體,從DIMM介面加上硬碟,以NVDIMM的驅動程式直接為內存數據庫提供更多記憶體。

剛過去RedisConf19選址三藩市金融區Embarcadero海旁27號碼頭舉行,原本當地有高架高速公路經過,1989年受地震破壞,市政府多年討論,1991年終於移除高架公路,海旁反重拾了生氣,成為市區規畫的經典。

記憶體大戰

上星期,三藩市舉行RedisConf19,Western Digital也展示較早前推出Ultrastar DC ME200內存記憶固態硬碟,針對內存數據庫和ERP,經常快速寫入的應用,優化以固態硬碟擴充記憶體,與Optane正面交鋒,又宣佈兼容AMD EPYC處理器每枚處理器隨著內存分析愈來愈普遍,預計更多人以類似方法降低成本,以支援運作內存數據庫,甚至更快部署內存數據庫。

雖然Optane每個DIMM可支援最高每枚512GB,卻必須新一代的處理器架構,每枚處理器可支援3TB的容量;Optane宣稱從開發硬件階段,已經與RadisLab合作,可深度支援Radis企業版。

Western Digital支援PCIe介面,基本上可兼容主流的英特爾處理器,加上容量更大(最高達7.68 TB),性價比有優勢。理論上Optane速度會略快;但Ultrastar價格低和部署容易,不過以軟件定義方式優化NVMe SSD至接近DRAM速度,兼容問題始終造成顧慮,這也許是英特爾選擇推出Optane DC,直接通過DIMM介面的原因。

英特爾不是省油的燈,加上財雄勢大,又是RedisConf19金牌贊助商(Western Digital只是銀牌贊助),也同時在會上展示Optane深度支援Radis企業版;以擴展更大Redis內存記憶數據組。

RedisConf19參與人數只有約1500人,兩家廠商大張旗鼓,全因Redis應用前景看俏,尤其針對容器化的微服務(Microservices), Redis可優化數據管理與操作,部署多雲端架構,甚至構建出Web級的應用。

開源數據庫之中,Redis可數是當今最流行,以分佈式架構的內存數據庫,甚至是速度最快的內存數據庫。Redis是基於<key,value>儲存的NoSQL數據庫,但相較其他NoSQL,Redis能處理多種數據格式,一向有甚多應用場景,應付不同數據結構,甚至是支援機率式的數據結構(Probabilistic data structures),可用於人工智能(AI)、串流、文件、時序、搜尋等,Redis支援內存讀寫速度之快,經常用於一次性登入SSO數據,或者網頁共享session網頁個人化、搜尋會員資料。AWS上的Redis服務就經常用於處理串流數據、社交媒體分析、IoT等。

Redis也是可作關聯數據庫的緩存,大幅減少了傳統RDBMS的讀寫IO工作量,取代流行的Memcached,也支援作為message broker,逐漸取代RabitMQ提供訊息佇列功能。

Redis應用方興未艾,隨著微服務的興起,微服務在開發和維護成本,均有極大優勢,也是實現DevOps最佳途徑。微服務也支援分散開發和測試,相比於傳統單一套裝的軟件開發,無論是測試環境、正式環境,開發人員都要可以快速部署服務,支援更快的應用更迭。

但不同服務各自執行和獨立的程序,只透過標準的API(一般是Rest)溝通。同時,服務功能都是以業務邏輯為基礎發展和開發,可自動化和獨立部署。微服務支援敏捷開發和彈性擴充,某些服務需求一旦增高,可選擇局部擴充應用。

但不同服務有不同的開發人員,部分可能更是從第三方提供;例如連接到外部API,雖然微服務可以NGINX等作負載平衡器,以應付突然大量查詢,如果沒有負載平衡的服務,突然不能應付大量請求,Redis的訊息佇列(Message queue)功能,就可以暫時作為緩衝,即使某個服務暫時停頓,亦不丢失數據。

微服務另一問題仍是通訊之間的複雜性,Redis也在服務之間通訊有重要作用,Redis有極高可用性,加上容易部署,又具備高速處理能力,處理微服務程序之間的訊息交換,可說不貳之選。

Redis在傳統數據以外,微服務架構找到新的應用場景。換言之,微服務會推上步推高記憶體的需求,甚至令Redis進入企業應用。

內存數據庫Redis

Redis從記憶體以存取數據,記憶體的數量,當然多多益善,現今處理器速度之高,其實可處理海量數據;只要增加了記憶體,內存數據庫的硬件成本,就可顯著下降。

英特爾針對上述性能加以優化了Optane硬碟,作緩存和加速用途。但Optane技術不太可能支援競爭對手AMD的處理器,Western Digital和 AMD就一拍即合,補充AMD缺乏緩存方案,宣佈支援AMD EPYC處理器,與英特爾分庭抗禮。Ultrastar DC ME200內存記憶擴展固態硬碟可配合EPYC,可針對實時分析、內存記憶數據庫和時間敏感型的工作負載,突破服務器DRAM限制,尤其針對Redis配合微服務的應用場景。

EPYC是AMD針對數據中心應用,性價比甚高的處理器,今年即將推出AMD Epyc Rome更是7nm製程,64核心再加上128執行緒的設計。EPYC已取得多家數據中心合約,Western Digital與AMD合作,希望以合理價格,與英特爾在內存數據庫和微服務市場競爭。

AMD EPYC處理器與Ultrastar DC ME200內存記憶擴展固態硬碟的組合,能通過更高的內核內存記憶 (memory-to-core) 比,擴展內存記憶容量。

內存擴展固態硬碟

AMD數據中心生態系統和應用工程高級副總裁兼首席技術官Raghu Nambiar表示:「對於需要引入更高內核內存記憶比的客戶來說,採用AMD EPYC和Ultrastar內存記憶固態硬碟的伺服器,可擴展新型伺服器的記憶體位置空間大小,用於內存記憶應用和數據庫,通過更高的記憶體位置密度以及更少資源消耗,節省更多成本。」

Ultrastar DC ME200內存記憶擴展固態硬碟,兼容PCIe設備,實現可擴展內存記憶計算。Ultrastar支援AMD EPYC處理器後;可擴充DRAM適應數據組增長,又毋須更改Linux作業系統和應用堆疊。

據Western Digital表示,相比以DIMM傳統橫向擴展DRAM計算集群相比,Ultrastar DC ME200內存記憶擴展固態硬碟,提高AMD EPYC服務器內核內存記憶比。Ultrastar內存記憶固態硬碟的內存記憶可擴展性,亦可降低內存記憶基礎架構的總成本,假設內存記憶中有30TiB數據,原來每1TiB要使用30個節點的集群,每個節點配備4TiB系統內存,節點數量可減少到8個,節點減少當然也減少能耗,同時提高節點CPU使用率。Ultrastar內存記憶固態硬碟也適用於SAP HANA、Oracle、IBM和Microsoft等內存記憶數據庫,也可應用於Memcached和Apache Spark。

Ultrastar內存記憶固態硬碟可與大多數伺服器PCIe設備兼容,提供1TiB、2TiB和4TiB容量(800 GB–7.68 TB)選擇,無須更改操作系統、系統硬件、韌體或應用堆疊。為了實現擴展性,1U服務器通常可以針對內存記憶計算集群使用Ultrastar內存記憶固態硬碟,從而支持高達24TiB的系統內存記憶。支持服務器介面包括NVMe和PCIe,有U.2或AIC(附加卡)HH-HL等版本。

Leave a Reply

Your email address will not be published. Required fields are marked *