Microsoft Research 的一組計(jì)算機(jī)科學(xué)家與中國科學(xué)院大學(xué)的一位專家合作，推出了 Microsoft 的新 AI 模型，該模型在常規(guī) CPU 而不是 GPU 上運(yùn)行。研究人員在 arXiv 預(yù)印本服務(wù)器上發(fā)布了一篇論文，概述了新模型的構(gòu)建方式、特性以及迄今為止在測試過程中的表現(xiàn)。

在過去的幾年里，LLM 風(fēng)靡一時(shí)。ChatGPT 等模型已向全球用戶開放，引入了智能聊天機(jī)器人的理念。它們中的大多數(shù)都有一個(gè)共同點(diǎn)，那就是它們都經(jīng)過訓(xùn)練并在 GPU 芯片上運(yùn)行。這是因?yàn)樗麄冊(cè)谑褂么罅繑?shù)據(jù)進(jìn)行訓(xùn)練時(shí)需要大量的計(jì)算能力。

最近，人們擔(dān)心數(shù)據(jù)中心使用大量能源來支持所有用于各種目的的聊天機(jī)器人。在這項(xiàng)新的工作中，該團(tuán)隊(duì)找到了一種更智能的方式來處理這些數(shù)據(jù)，并且他們建立了一個(gè)模型來證明這一點(diǎn)。

運(yùn)行 AI 模型最耗能的部分之一涉及權(quán)重的使用和存儲(chǔ)方式，通常為 8 位或 16 位浮點(diǎn)數(shù)。這種方法涉及大量內(nèi)存和 CPU 處理，這反過來又需要大量能量。在他們的新方法中，研究人員完全取消了浮點(diǎn)數(shù)的使用，而是建議使用他們所描述的 1 位架構(gòu)。

在他們的創(chuàng)新中，僅使用三個(gè)值來存儲(chǔ)和處理權(quán)重：-1、0 和 1。這允許在處理過程中只使用簡單的加法和減法 - 這些作可以使用基于 CPU 的計(jì)算機(jī)輕松完成。

對(duì)新模型類型的測試表明，它能夠在同類規(guī)模中與基于 GPU 的模型相媲美，甚至超越了其中一些模型，同時(shí)使用的內(nèi)存要少得多，最終能耗也要低得多。

為了運(yùn)行這樣的模型，該團(tuán)隊(duì)為其創(chuàng)建了一個(gè)運(yùn)行時(shí)環(huán)境。新環(huán)境稱為 bitnet.cpp，旨在充分利用 1 位體系結(jié)構(gòu)。

如果團(tuán)隊(duì)的說法成立，BitNet b1.58 2B4T 的開發(fā)可能會(huì)改變游戲規(guī)則。用戶無需依賴海量數(shù)據(jù)農(nóng)場，而是很快就可以在他們的計(jì)算機(jī)或手機(jī)上運(yùn)行聊天機(jī)器人。除了減少能源需求外，本地化 LLM 處理還將大大提高隱私性，并允許在沒有連接到 Internet 的情況下工作。

BitNet b1.58 2B4T 在性能與內(nèi)存方面推進(jìn)了帕累托前沿，該前沿是由 3B 參數(shù)下領(lǐng)先的開放權(quán)重 LLM 定義的，展示了卓越的效率。