Slide
Slide
previous arrow
next arrow

Red Hat推出推理服務器 vLLM普及AI成本下降

RedHat-vLLM
與傳統的靜態批次不同,靜態批次等待批次中的所有序列完成(由於輸出長度可變且導致 GPU 利用率不足,因此效率低下),連續批次在每次迭代時都會動態地用新序列替換已完成的序列。

[RedHat][vLLM]

人工智能的主要算力都是用在推理(Inference)方面,如何降低推理成本和提高推理效率,一直是業界最關心AI問題。

vLLM(Virtual Large Language Model)是加大柏克萊分校 2023 年開發LLM大語言模型推理框架並開源, 提供高輸送量的LLM推理並大大降低GPU記憶用量,迅速成為最受關注的開源項目。 Continue reading “Red Hat推出推理服務器 vLLM普及AI成本下降”

影像監控進入高階AI時代 ARTPEC-9強化智能保安系統佈局

ARTPEC-9
(左起)安訊士網絡通訊公司香港及台灣銷售總監商漪君及安訊士網絡通訊公司研發總監鄒毓帆

[智能保安][AXIS][ARTPEC-9]

Axis 推出第九代自研晶片 ARTPEC-9,邊緣 AI、影像壓縮與資安全面升級。隨著全球數位轉型持續推進,影像監控系統正從傳統被動記錄邁向主動預警與智能決策。面對日益複雜的安全威脅與多樣化的營運需求,企業對即時分析、高畫質影像以及強化資訊安全的需求不斷提升,影像處理晶片已成為推動監控系統升級的核心關鍵。 Continue reading “影像監控進入高階AI時代 ARTPEC-9強化智能保安系統佈局”

AI 開發新局:多場大會透視行業的機遇與隱憂

microsoft-build
Microsoft Build大會以開發為主題,AI輔助開發工具成為最主流,取代不少初級程序開發人員,通過LLM一些簡單編程,幾乎馬上可利用AI生成代碼

上星期AI有多項重要公佈,其中Microsoft Build 2025的 AI智慧體(Agent)大爆發,以及Google 年度 I/O 開發者大會,以及Anthropic的首屆開發大會Code with Claude,Microsoft和Google都是Magic 7成員, AI浪潮下科企似乎形勢大好,實際上有危有機,家家有本難唸的經。 Continue reading “AI 開發新局:多場大會透視行業的機遇與隱憂”

智能家居| Arlo以AI革新智能家居市場 個人化監察擴應用場景

Arlo
Arlo的新AI功能提供不少具創意應用場景,監控鏡頭應用更多樣化。通過人臉識別技術,用戶可設置僅檢測陌生人時發送警報,家人回家保持靜默。

[智慧城市] [智能家居]

智能家居進步,不少人都在家安裝監控鏡頭,以加強保安和監控,近年加入AI功能,Arlo是家居監控鏡頭智能安防領導品牌,缺乏安全隨時會私隱外洩。

Arlo曾獲消費者委員會《選擇》監控鏡頭評選之中,安全性脫穎而出,眾多品牌之中唯一符合歐洲網絡安全標準,其餘品牌均有網絡安全隱患,甚至不加密就傳送影像。 Continue reading “智能家居| Arlo以AI革新智能家居市場 個人化監察擴應用場景”