[RedHat][vLLM]
人工智能的主要算力都是用在推理（Inference）方面，如何降低推理成本和提高推理效率，一直是業界最關心AI問題。
vLLM（Virtual Large Language Model）是加大柏克萊分校 2023 年開發LLM大語言模型推理框架並開源， 提供高輸送量的LLM推理並大大降低GPU記憶用量，迅速成為最受關注的開源項目。 Continue reading “Red Hat推出推理服務器 vLLM普及AI成本下降”
[科技創新]
雲原生（Cloud Native）加快開發速度，實現可靠應用擴展，提供更高安全性，更重是加快企業數碼轉型，對企業競爭力至關重要，所以大部分企業正加將淘汰傳統應用，過渡至雲原生平台，以容器為基礎的「微服務」架構正成為主流。 Continue reading “科技創新| 數碼轉型| 雲原生成企業應用主流 數據保護助應用現代化”
企業轉型
新冠疫情之下，除了不少人在家工作，另外就是對於數碼人才的需求急升，不少企業必須數碼轉型，將IT基建虛擬化，以自動化取代人手的工作。 Continue reading “疫情下技術人手短缺 自動化成大勢所趨”
企業轉型
藍巨人IBM分拆基礎架構管理服務Kyndryl（勤達睿）獨立上市，以股票代碼 「KD」 在紐約證券交易所交易。IBM 董事長暨執行長Arvind Krishna發表公開信，介紹新IBM。 Continue reading “IBM推混合雲人工智能 聚焦商業專長再出發”
