Slide
Slide
previous arrow
next arrow

Red Hat推出推理服務器 vLLM普及AI成本下降

RedHat-vLLM
與傳統的靜態批次不同,靜態批次等待批次中的所有序列完成(由於輸出長度可變且導致 GPU 利用率不足,因此效率低下),連續批次在每次迭代時都會動態地用新序列替換已完成的序列。

[RedHat][vLLM]

人工智能的主要算力都是用在推理(Inference)方面,如何降低推理成本和提高推理效率,一直是業界最關心AI問題。

vLLM(Virtual Large Language Model)是加大柏克萊分校 2023 年開發LLM大語言模型推理框架並開源, 提供高輸送量的LLM推理並大大降低GPU記憶用量,迅速成為最受關注的開源項目。 Continue reading “Red Hat推出推理服務器 vLLM普及AI成本下降”

新科技速遞| 短兵相接燒錢加速 人工智能各顯神通

OpenAI
OpenAI啟動為期 12 天新產品發佈,創辦人Sam Altman(左)參加了首日發佈,完整版o1推理模型改進推理和邏輯能力,提高答案準確性和實用性,推出新的付費版本ChatGPT Pro,月費200美元。

[新科技速遞]

生成式人工智能發展,AI商業應用前景,基礎模型如何落地,幾乎是百花齊放,上周美國AI行業有多項重要公佈,可窺見生成式AI發展。另一方面,OpenAI啟動為期 12 天新產品發佈, 連續公佈多項產品和改進,即場示範OpenAI驚人的推理能力。 Continue reading “新科技速遞| 短兵相接燒錢加速 人工智能各顯神通”

NVIDIA應用大爆發 DPU打入保安市場

OmniverseAvatar
黃仁勳也介紹了Omniverse Avatar出場,以Omniverse生成出酷似黃仁勳的卡通人物Toy Jensen,仿照其口音和神態,舉手投足都維肖維妙,在Toy Story背景與真人對話。

新科技速遞

GPU廠商NVIDIA舉行GTC秋季大會,股價亦再創新高,市值超越7,000億美元。不少人以為NVIDIA升上萬億市值,指日可待。 Continue reading “NVIDIA應用大爆發 DPU打入保安市場”

NVIDIA與華大基因合作 完整測定人類基因

Parabricks利用NVIDIA的CUDA-X平台,加上cuDNN及TensorRT 推論軟件,可在 NVIDIA T4以至DGX建立的超算系統,甚至雲端上執行。

新科技速遞

NVIDIA的CUDA一向用於AI模型訓練和推理加速,CUDA也加入了其他數學應用,利用平行運算加快特定項目。CUDA平台 加入了基因組處理應用項目。獲得在基因組學領域內華大基因(BGI)的支持,有望加快基因組的測序。 Continue reading “NVIDIA與華大基因合作 完整測定人類基因”