[RedHat][vLLM]
人工智能的主要算力都是用在推理（Inference）方面，如何降低推理成本和提高推理效率，一直是業界最關心AI問題。
vLLM（Virtual Large Language Model）是加大柏克萊分校 2023 年開發LLM大語言模型推理框架並開源， 提供高輸送量的LLM推理並大大降低GPU記憶用量，迅速成為最受關注的開源項目。 Continue reading “Red Hat推出推理服務器 vLLM普及AI成本下降”
[自主科技]
中國矽光子產業快速發展，最近研究人員在矽基光電的異質集成，攻克了矽光子研究的最後一哩。
人工智能爆發，存儲和傳輸需求增長，電晶體尺寸又接近物理極限，製程持續微縮後，不斷縮小後，大量數據傳輸，發熱和功耗大增，須靠液冷才能解決散熱。 Continue reading “自主科技| 「晶片出光」現突破 片上光連成實現”
[新科技速遞]
全球雲服務在打一場沒煙硝的戰爭，不過大家只一家軍火商，就是輝達（NVIDIA）。AWS在今年re:Invent 大會重頭戲是生成式AI，推出大量服務，站台也是輝達的創辦人黃仁勳。
Microsoft押注130億美元的OpenAI而一騎絕塵，雲服務Azure的OpenAI Services和Copilot成為王牌，據說OpenAI大模型再有突破，導致董事會分裂辭退Sam Altman。 Continue reading “新科技速遞| AWS 與 NVIDIA 策略合作 全新超級電腦”
[自主創新]
中國是全球新能源車最大市場，也是最大生產國，而且發展海外市場。能源車大量出口，以香港作為跳板，成為香港的新機遇。創新科技及工業局和引進重點企業辦公室等各部門共同推動，國內量產的哪吒汽車落戶科學園，成立國際總部、研發中心和數據中心。 Continue reading “新能源車落戶香港 產業聯動帶動研發”
