Slide
Slide
previous arrow
next arrow

Red Hat推出推理服務器 vLLM普及AI成本下降

RedHat-vLLM
與傳統的靜態批次不同,靜態批次等待批次中的所有序列完成(由於輸出長度可變且導致 GPU 利用率不足,因此效率低下),連續批次在每次迭代時都會動態地用新序列替換已完成的序列。

[RedHat][vLLM]

人工智能的主要算力都是用在推理(Inference)方面,如何降低推理成本和提高推理效率,一直是業界最關心AI問題。

vLLM(Virtual Large Language Model)是加大柏克萊分校 2023 年開發LLM大語言模型推理框架並開源, 提供高輸送量的LLM推理並大大降低GPU記憶用量,迅速成為最受關注的開源項目。 Continue reading “Red Hat推出推理服務器 vLLM普及AI成本下降”

疫情下技術人手短缺 自動化成大勢所趨

redhat
左起,RedHat港台暨澳門區總經理文志鋒、友邦保險集團資訊科技營運主管Marcel Malan、香港賽馬會資訊科技營運,系統保證及深圳科技中心總監溫定成 (Neil Whiteing)

企業轉型

新冠疫情之下,除了不少人在家工作,另外就是對於數碼人才的需求急升,不少企業必須數碼轉型,將IT基建虛擬化,以自動化取代人手的工作。 Continue reading “疫情下技術人手短缺 自動化成大勢所趨”

虛疑化網絡迎5G大時代

IDC 國際數據資訊亞太區客席研究總監Bill Rojas、紅帽亞太區電訊行業銷售總監Ben Panic、紅帽香港、台灣暨澳門區總經理文志鋒、紅帽電訊及商業銷售總監劉影輝

隨著5G推出,很少人會想到跟虛擬化有何關係。事實上,5G並非4G,架構和網絡設計上更完全不同。 Continue reading “虛疑化網絡迎5G大時代”