[RedHat][vLLM]
人工智能的主要算力都是用在推理（Inference）方面，如何降低推理成本和提高推理效率，一直是業界最關心AI問題。
vLLM（Virtual Large Language Model）是加大柏克萊分校 2023 年開發LLM大語言模型推理框架並開源， 提供高輸送量的LLM推理並大大降低GPU記憶用量，迅速成為最受關注的開源項目。 Continue reading “Red Hat推出推理服務器 vLLM普及AI成本下降”
[新科技速遞]
生成式人工智能發展，AI商業應用前景，基礎模型如何落地，幾乎是百花齊放，上周美國AI行業有多項重要公佈，可窺見生成式AI發展。另一方面，OpenAI啟動為期 12 天新產品發佈， 連續公佈多項產品和改進，即場示範OpenAI驚人的推理能力。 Continue reading “新科技速遞| 短兵相接燒錢加速 人工智能各顯神通”
新科技速遞
GPU廠商NVIDIA舉行GTC秋季大會，股價亦再創新高，市值超越7,000億美元。不少人以為NVIDIA升上萬億市值，指日可待。 Continue reading “NVIDIA應用大爆發 DPU打入保安市場”
新科技速遞
NVIDIA的CUDA一向用於AI模型訓練和推理加速，CUDA也加入了其他數學應用，利用平行運算加快特定項目。CUDA平台 加入了基因組處理應用項目。獲得在基因組學領域內華大基因（BGI）的支持，有望加快基因組的測序。 Continue reading “NVIDIA與華大基因合作 完整測定人類基因”
