Slide
Slide
previous arrow
next arrow

RedHat

Red Hat推出推理服務器 vLLM普及AI成本下降

RedHat-vLLM
與傳統的靜態批次不同，靜態批次等待批次中的所有序列完成（由於輸出長度可變且導致 GPU 利用率不足，因此效率低下），連續批次在每次迭代時都會動態地用新序列替換已完成的序列。

[RedHat][vLLM]

人工智能的主要算力都是用在推理（Inference）方面，如何降低推理成本和提高推理效率，一直是業界最關心AI問題。

vLLM（Virtual Large Language Model）是加大柏克萊分校 2023 年開發LLM大語言模型推理框架並開源， 提供高輸送量的LLM推理並大大降低GPU記憶用量，迅速成為最受關注的開源項目。 Continue reading “Red Hat推出推理服務器 vLLM普及AI成本下降”

疫情下技術人手短缺 自動化成大勢所趨

redhat
左起，RedHat港台暨澳門區總經理文志鋒、友邦保險集團資訊科技營運主管Marcel Malan、香港賽馬會資訊科技營運，系統保證及深圳科技中心總監溫定成 (Neil Whiteing)

企業轉型

新冠疫情之下，除了不少人在家工作，另外就是對於數碼人才的需求急升，不少企業必須數碼轉型，將IT基建虛擬化，以自動化取代人手的工作。 Continue reading “疫情下技術人手短缺 自動化成大勢所趨”

虛疑化網絡迎5G大時代

IDC 國際數據資訊亞太區客席研究總監Bill Rojas、紅帽亞太區電訊行業銷售總監Ben Panic、紅帽香港、台灣暨澳門區總經理文志鋒、紅帽電訊及商業銷售總監劉影輝

隨著5G推出，很少人會想到跟虛擬化有何關係。事實上，5G並非4G，架構和網絡設計上更完全不同。 Continue reading “虛疑化網絡迎5G大時代”