海量數(shù)據(jù)爆發(fā),大數(shù)據(jù)與云計算進入發(fā)展快車道,對計算能力的需求持續(xù)提升,人工智能(AI)芯片已經(jīng)成為加速產(chǎn)業(yè)智能化轉(zhuǎn)型的硬科技。近年來,AI市場呈現(xiàn)爆發(fā)式增長態(tài)勢,AI場景廣泛落地。另一方面,AI云端市場中訓練芯片和推理芯片的占比正在發(fā)生遷移,推理芯片比例逐漸提升。從IDC數(shù)據(jù)可以看出,預(yù)計到2025年,推理芯片已經(jīng)占比達60.8%。“面對人工智能海量的云端推理應(yīng)用,燧原科技正不斷拓展和完善產(chǎn)品線?!膘菰萍紕?chuàng)始人兼COO張亞林表示,該公司的AI業(yè)務(wù)已經(jīng)從傳統(tǒng)單一的機器視覺、聲音文字處理、決策推理等算法,轉(zhuǎn)變成多場景多應(yīng)用的落地,不斷滿足用戶廣泛的推理業(yè)務(wù)和市場需求。
針對以上趨勢,燧原科技發(fā)布了其第二代云端人工智能推理加速卡云燧i20及人工智能推理芯片邃思2.5?!半S著該產(chǎn)品的推出,燧原科技完善了第二代訓練與推理產(chǎn)品線,成為國內(nèi)第一家擁有完整第二代訓練推理產(chǎn)品線的企業(yè)?!睆垇喠直硎荆磥?,燧原科技將會繼續(xù)推動產(chǎn)品創(chuàng)新和迭代。
基于邃思DTU2.5,云燧i20以其高性能、高能效、模型覆蓋面廣、易部署、易運維等特點,廣泛應(yīng)用于計算機視覺、語音識別、自然語言處理、搜索與推薦等推理場景。與前代產(chǎn)品相比,云燧i20的浮點算力提升了1.8倍,整型算力提升了3倍,在存儲帶寬和精度等方面也有巨大的提升。與次旗艦GPU相比,云燧i20浮點算力和INT8算力提升了兩倍,內(nèi)存帶寬增加了2.6倍。在基準測試benchmark中,云燧i20模型跨越了從圖像分類識別、NLP到目標檢測、圖像分割,再到圖像超分,整體性能提升了2.5至3.5倍。
據(jù)張亞林介紹,邃思2.5是專門為云端推理芯片和應(yīng)用場景設(shè)計的架構(gòu)。為了滿足云端推理場景的應(yīng)用落地需求,以及性價比和能效比的苛刻要求,燧原科技綜合設(shè)計了算力、帶寬和存儲,同時對性能、功耗和成本因素進行了極致的平衡。此外,隨著推理場景增多,客戶對不同方向、不同類型的場景泛化性要求越來越高。燧原科技進一步打造更加泛化易用的推理軟件棧,并推出增強的訓推一體化系統(tǒng),滿足客戶日益增長的需求。
邃思DTU2.5具備高性價比、高能效比、高精度等優(yōu)勢,全面支持從FP32、TF32、FP16、BF16到INT8的計算精度。單精度FP32峰值算力達到32 TFLOPS,單精度張量TF32峰值算力達到128 TFLOPS,整型INT8峰值算力達到256 TOPS。
“燧原科技始終遵循‘做大芯片,拼硬科技’的使命和初心”,成立三年以來,已經(jīng)完成了兩代AI訓練和推理產(chǎn)品的迭代。燧原科技擁有超級智能算力集群系統(tǒng)等核心產(chǎn)品庫,包括靈活的拓撲結(jié)構(gòu)、完整的部署運維、高速分布式通信和一體化訓推,協(xié)助客戶部署高能效、大算力、強互聯(lián)、分布式的系統(tǒng)。在軟件方面,燧原科技擁有全棧自主軟件馭算TopsRider,能夠廣泛適配所有框架和算法,靈活擴展編譯系統(tǒng),高性能泛化計算庫,以及高效應(yīng)用工具鏈,為客戶開發(fā)遷移、運維更多場景和應(yīng)用提供可能性。