比GPU快幾百倍!曦智科技首發(fā)新一代光電混合計(jì)算卡:128×128光子矩陣
3月26日消息,曦智科技今天正式發(fā)布全新光電混合計(jì)算卡“曦智天樞”,首次實(shí)現(xiàn)了光電混合計(jì)算在復(fù)雜商業(yè)化模型中的應(yīng)用。
本文引用地址:http://www.ljygm.com/article/202503/468675.htm曦智科技是全球領(lǐng)先的光電混合算力提供商,在集成光子領(lǐng)域取得了開(kāi)創(chuàng)性的突破,掌握了光子矩陣計(jì)算(oMAC)、片上光網(wǎng)絡(luò)(oNOC)、片間光網(wǎng)絡(luò)(oNET)三大核心技術(shù),打造了光子計(jì)算、光子網(wǎng)絡(luò)兩大產(chǎn)品線。
2021年12月,曦智科技首次對(duì)外發(fā)布光電混合計(jì)算產(chǎn)品,成功驗(yàn)證了光電混合計(jì)算在特定算法下,相較于主流GPU的速度優(yōu)勢(shì)多達(dá)數(shù)百倍。
曦智科技認(rèn)為,光電混合將會(huì)為人工智能、大語(yǔ)言模型、智能制造等領(lǐng)域帶來(lái)算力革新。
本次發(fā)布的曦智天樞,深度融合了光芯片、電芯片各自的優(yōu)勢(shì),并采用3D先進(jìn)封裝技術(shù),支持可編程。
它在光電集成度、光子矩陣規(guī)模、精度、可編程性等方面,都比前代產(chǎn)品實(shí)現(xiàn)了明顯的性能提升。
比如在支持科學(xué)計(jì)算(如伊辛算法)基礎(chǔ)上,加強(qiáng)了對(duì)于ResNet50等商業(yè)算法應(yīng)用的支持,既保持了光計(jì)算優(yōu)勢(shì),還大幅提升了產(chǎn)品通用適配性。
天樞采用非相干架構(gòu),不僅易于系統(tǒng)擴(kuò)展,還具備出色的抗干擾能力、更高的計(jì)算精度。
它的核心處理器包括光學(xué)處理單元(OPU)、電學(xué)專用集成電路(ASIC),光芯片和電芯片通過(guò)3D TSV硅通孔、FlipChip倒裝芯片封裝技術(shù)進(jìn)行整合、協(xié)同工作,可顯著降低延遲、提升信號(hào)傳輸完整性,其中光芯片面積達(dá)到600平方毫米,比上代增大3倍。
芯片主頻為1GHz,輸出精度8bit,比上代提升8倍。
光芯片上的器件數(shù)量超4萬(wàn)個(gè),但器件尺寸進(jìn)一步縮小,集成度顯著提升。
最大可支持128x128矩陣規(guī)模,是上一代64×64的4倍,運(yùn)算能力、靈活性都得到了極大的提升。
此外,用戶可以通過(guò)API自由配置計(jì)算矩陣系數(shù),擁有更強(qiáng)的適應(yīng)性和優(yōu)化空間。
據(jù)悉,光子計(jì)算是一種被動(dòng)運(yùn)算,運(yùn)算任務(wù)在光通過(guò)光子矩陣的過(guò)程中即可完成,顛覆了傳統(tǒng)CMOS電子芯片的運(yùn)算邏輯。
光子芯片的性能提升與光子矩陣規(guī)模、主頻速率、波長(zhǎng)數(shù)量等參數(shù)相關(guān),而不依賴晶體管的密度及芯片制程的提升。
曦智科技還首次提出了等效光算力(EOPP)標(biāo)準(zhǔn),是一種考慮了矩陣規(guī)模、輸出精度、權(quán)重刷新速度等的綜合算力評(píng)價(jià)方法,相比當(dāng)前主流的電芯片指標(biāo)計(jì)算方法,更符合光計(jì)算的原理和特點(diǎn)。
軟件方面,天樞搭載了曦智光電混合計(jì)算軟件棧,算子庫(kù)包含RVV(RiscV Vector)算子,電矩陣(dMAC)加速算子、光矩陣(oMAC)加速算子,支持CV類和LLM類模型,以及包括Ising、LineSolver在內(nèi)的non-AI算子。
用戶借助曦智編譯器,可以靈活地運(yùn)用這些算子來(lái)構(gòu)建高效的應(yīng)用模型。
此外,平臺(tái)還支持用戶自定義算子,通過(guò)OpenCL C/C++語(yǔ)言進(jìn)行編譯和優(yōu)化,進(jìn)一步擴(kuò)展了算法開(kāi)發(fā)的靈活性。
曦智科技的軟件棧與Pytorch、ONNX等主流框架深度集成,可通過(guò)軟件棧直接使用天樞的光矩陣和電矩陣加速單元對(duì)模型和算法進(jìn)行加速和驗(yàn)證,也可以將模型通過(guò)曦智編譯框架編譯部署在端側(cè)進(jìn)行推理。
通過(guò)軟件棧,天樞成功運(yùn)行了ResNet50深度卷積神經(jīng)網(wǎng)絡(luò)模型、Llama 2 AI大語(yǔ)言模型,首次實(shí)現(xiàn)了光電混合計(jì)算在商業(yè)化場(chǎng)景中的應(yīng)用。
目前,曦智科技已啟動(dòng)下一代光電混合計(jì)算產(chǎn)品的研發(fā),將會(huì)進(jìn)一步提升計(jì)算能力。
評(píng)論