
[RedHat][vLLM]
人工智能的主要算力都是用在推理(Inference)方面,如何降低推理成本和提高推理效率,一直是業界最關心AI問題。
vLLM(Virtual Large Language Model)是加大柏克萊分校 2023 年開發LLM大語言模型推理框架並開源, 提供高輸送量的LLM推理並大大降低GPU記憶用量,迅速成為最受關注的開源項目。 Continue reading “Red Hat推出推理服務器 vLLM普及AI成本下降”
[RedHat][vLLM]
人工智能的主要算力都是用在推理(Inference)方面,如何降低推理成本和提高推理效率,一直是業界最關心AI問題。
vLLM(Virtual Large Language Model)是加大柏克萊分校 2023 年開發LLM大語言模型推理框架並開源, 提供高輸送量的LLM推理並大大降低GPU記憶用量,迅速成為最受關注的開源項目。 Continue reading “Red Hat推出推理服務器 vLLM普及AI成本下降”
[智能保安][AXIS][ARTPEC-9]
Axis 推出第九代自研晶片 ARTPEC-9,邊緣 AI、影像壓縮與資安全面升級。隨著全球數位轉型持續推進,影像監控系統正從傳統被動記錄邁向主動預警與智能決策。面對日益複雜的安全威脅與多樣化的營運需求,企業對即時分析、高畫質影像以及強化資訊安全的需求不斷提升,影像處理晶片已成為推動監控系統升級的核心關鍵。 Continue reading “影像監控進入高階AI時代 ARTPEC-9強化智能保安系統佈局”
上星期AI有多項重要公佈,其中Microsoft Build 2025的 AI智慧體(Agent)大爆發,以及Google 年度 I/O 開發者大會,以及Anthropic的首屆開發大會Code with Claude,Microsoft和Google都是Magic 7成員, AI浪潮下科企似乎形勢大好,實際上有危有機,家家有本難唸的經。 Continue reading “AI 開發新局:多場大會透視行業的機遇與隱憂”
[Alibaba]
二月底,阿里巴巴開源了四款萬相2.1系列模型,上個月開源支持首尾幀視頻生成的模型。截至目前,上述模型在開源社區Hugging Face和ModelScope下載量超過330萬次。
其中萬相2.1(Wan2.1)T2V版本模型,專門用於文本到視頻生成,開源僅6天登上模型熱榜、是近期全球最受歡迎大模型。 Continue reading “阿里巴巴視頻模型更新 統一接口支援局部修改”