a&s 功能實測比特大陸AI邊緣計算模組算豐SM5

2020-03-16 08:54 來源：互聯(lián)網(wǎng) 我來投稿撤稿糾錯

隨著人工智能在安防、泛安防等領(lǐng)域迅速落地和普及，各類圖像視覺類AI算法落地的精度和實際效果在提升，獲得了更深廣的業(yè)務(wù)價值，如安防領(lǐng)域的人臉布控、人車視頻結(jié)構(gòu)化等，泛安防的社區(qū)園區(qū)通行，新零售的VIP客戶識別等，都是AI技術(shù)商業(yè)化的典型場景。

同時，視覺類AI算法的深度學(xué)習(xí)計算，也逐步從云端部署擴(kuò)展到邊緣部署。邊緣的設(shè)備比云端多1-2個數(shù)量級，業(yè)內(nèi)對邊緣AI計算硬件的需求快速升溫，大家呼喚高算力、低功耗、接口豐富的芯片和模組方案的出現(xiàn)，來替代原來的CPU、GPU方案。

而比特大陸算豐AI計算模組SM5，定位為國內(nèi)最強(qiáng)算力的AI邊緣計算模組，成為讓人眼前一亮的選擇。它基于AI專用芯片(ASIC)，在算力上突破了17 TOPS量級，達(dá)到了驚人的16到30路的潛在視頻計算分析能力。難得的是，在高算力同時保持了相對低功耗、被動式無風(fēng)扇散熱、接口豐富等優(yōu)點(diǎn)。可以說是國內(nèi)AI邊緣計算模組中的領(lǐng)軍產(chǎn)品，吸引了諸多安防、泛安防客戶的眼球。不僅如此，作為國產(chǎn)廠商的純自主研發(fā)產(chǎn)品，也為特種行業(yè)領(lǐng)域提供了新的選擇。比特大陸算豐AI計算模組SM5實測效果如何，我們一一驗證。

小體積大集成

從外形來看，比特大陸算豐AI計算模組SM5 (Sophon SM5)極為小巧，尺寸僅為普通信用卡大小，算連接器為87×65×8mm，不算連接器為87×65×3mm。底座為144針高密接口，供客戶開發(fā)底板，嵌入到各類設(shè)備之中。

該模組采用寬溫設(shè)計，散熱方案可以選配比特大陸的被動或主動散熱方案，客戶也可自行設(shè)計?？蛇m應(yīng)-20℃到+55℃的工作環(huán)境，有效降低惡劣環(huán)境對模組的影響，從而支持系統(tǒng)的持續(xù)運(yùn)作。模組滿足極端環(huán)境的作業(yè)需求，可應(yīng)用在室外半封閉場所。

比特大陸該模組采用雙模驅(qū)動，內(nèi)置12G內(nèi)存，既可作為AI計算的從設(shè)備(PCIE mode)，也可作為主設(shè)備獨(dú)立運(yùn)行(SOC mode)，可支持FP32(2.2T)高精度的計算，INT8計算經(jīng)過自動化編譯校準(zhǔn)的精度損失可小于<0.5%。

另外，該模組接口豐富，具有10+接口類型。支持PCIE EP/ PCIE RC / Ethernet / RS485/ RS232/ GPIO /SDIO / PWM等接口。擴(kuò)展性強(qiáng)，可擴(kuò)展USB/SATA/HDMI等，可擴(kuò)展SATA存儲，可擴(kuò)展4G/5G/wifi等。

總的來說，比特大陸算豐AI計算模組SM5體積小、低功耗、雙網(wǎng)口、接口豐富，工作寬溫，高集成度，可以方便的被集成在各類邊緣計算設(shè)備、嵌入式設(shè)備、自動化機(jī)器之中。

SM5模組頂面圖

SM5模組底面圖

自主研發(fā)芯片算力強(qiáng)大

比特大陸算豐AI芯片是其純自主研發(fā)產(chǎn)品，具備200+專利申請。比特大陸算豐AI計算模組SM5基于比特大陸算豐AI芯片BM1684，為比特大陸的第三代云端AI芯片，屬于歷代規(guī)格最高，算力最強(qiáng)，同時3代的產(chǎn)品研發(fā)迭代，在客戶持續(xù)使用反饋中，產(chǎn)品的成熟度得到了諸多行業(yè)客戶的打磨和提升，進(jìn)入了成熟階段。

判斷芯片的主要標(biāo)準(zhǔn)即為算力、功耗。a&s實測該模組的算力達(dá)到17.6TOPS，在Winograd卷積加速下最高可達(dá)35.2TOPS。ARM CPU下算力最強(qiáng)，8核A53主頻2.3GHz，邊緣AI芯片內(nèi)最強(qiáng)，可靈活開發(fā)應(yīng)用。

實測中，該模組Resnet50的測試吞吐可達(dá)到1000 張/秒以上。安防的應(yīng)用要從整體的視覺應(yīng)用層面，端到端的來看性能指標(biāo)。典型的安防視覺AI計算過程包含從外部視頻流/圖片流進(jìn)入模組，網(wǎng)口取數(shù)據(jù)，視頻/圖片解碼，視頻前后處理，AI計算，同時CPU參與部分計算，最終輸出等。從該模組的測試結(jié)果看，其最高支持32路30FPS的1080P解碼，支持H264/H265格式，支持視頻編碼最高960 FPS;具備硬加速的圖像前后處理能力(Crop/Resize/色域變換)，有效提升應(yīng)用性能。

常見Resnet50等神經(jīng)網(wǎng)絡(luò)運(yùn)行典型功耗12W以內(nèi)，16路視頻流全流程分析典型功耗為16W。在滿載情況下，典型功耗也不到20W功耗?？梢栽跓o風(fēng)扇的被動散熱方案下，持續(xù)有效的長期運(yùn)行。

業(yè)界比對測試效果良好

除了從典型安防視覺AI計算過程衡量模組的算力和整體性能，a&s將英偉達(dá)TX2、華為ATLS200等模組方案與比特大陸算豐AI計算模組SM5進(jìn)行橫向?qū)Ρ葴y試，同類對比技術(shù)規(guī)格來看，算豐SM5的技術(shù)指標(biāo)在CPU、AI算力、視頻解碼、內(nèi)存、以太網(wǎng)端口等等都具備較大的優(yōu)勢，可以說說得上是業(yè)內(nèi)超強(qiáng)算力。

從測評數(shù)據(jù)中可以看出以下幾點(diǎn)：

在AI算力方面，與TX2 、ATLS200相比具有明顯優(yōu)勢;

在視頻解碼上，是TX2 、ATLS200的兩倍;

內(nèi)存為12GB，是TX2 、ATLS200的1.5倍;

以太網(wǎng)端口是2個，而TX2 、ATLS200均只有1個;

從測評數(shù)據(jù)來看，比特大陸算豐AI計算模組SM5的優(yōu)勢相對英偉達(dá)TX2、華為ATLS200優(yōu)勢明顯，雖然功耗相對較大，但與其余對比項相結(jié)合后，性價比仍然最高。

測試數(shù)據(jù)來源為比特大陸實驗室

算力和AI分析路數(shù)

從實際應(yīng)用和神經(jīng)網(wǎng)絡(luò)benchmark兩個角度測試比特大陸算豐AI計算模組SM5。

該模組在安防的實際應(yīng)用主要指標(biāo)為可接入的視頻路數(shù)和視頻分析應(yīng)用能力。在安裝1塊SM5模組搭載的測試底板后，引出來網(wǎng)絡(luò)、電源等接口，將視頻流服務(wù)器發(fā)過來視頻進(jìn)行多路處理和分析，并將檢測人臉框打在視頻流上編碼輸出顯示。在16路1080p視頻流輸入的情況下，每路視頻實時畫面達(dá)到10人臉以上，單個SM5模組可以實現(xiàn)完全實時的滿幀的處理人臉檢測和跟蹤。

上圖是16路1080P的滿幀處理情況，僅僅為初步部署，并未進(jìn)行優(yōu)化。用戶可以自行開發(fā)算法軟件，并進(jìn)行適度優(yōu)化，完全有可能實現(xiàn)單個模組超過16路甚至30路視頻流的人臉檢測分析，或者視頻結(jié)構(gòu)化的業(yè)務(wù)分析能力，可以說在應(yīng)用端到端的算力非常強(qiáng)大。SM5模組的實際應(yīng)用算力實測非常強(qiáng)，相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型速度肯定也很快。a&s將SM5模組、Nvidia TX2模組，以及Huawei ATLAS 200模組做了性能實測比對，在幾種典型的神經(jīng)網(wǎng)絡(luò)分類模型測試中，吞吐數(shù)據(jù)如下表：

測試數(shù)據(jù)來源為比特大陸實驗室

從實測結(jié)果來看，在性能上，SM5相比TX2有十倍級別的性能優(yōu)勢。相比ATLAS 200，雖然理論峰值標(biāo)稱算力SM5和ATLAS200很接近(17.6T vs 16T)，但是從實測來看，SM5的性能倍數(shù)在最典型Resnet 50上有1.5倍的優(yōu)勢，在Mobilenet上有2.38倍的優(yōu)勢!這說明，標(biāo)稱算力和實際獲得的算力具有一定的差別。算豐SM5具有較高的有效計算利用率。

總的來看，無論是實際應(yīng)用的性能，還是神經(jīng)網(wǎng)絡(luò)模型的速度吞吐，SM5模組都是很強(qiáng)大的，和業(yè)內(nèi)其他產(chǎn)品相比也有較大的優(yōu)勢。

工具鏈完備，易用度高

對于開發(fā)者而言，都希望開發(fā)簡單易用，特別是從CPU，GPU等的以前的模型和算法，能夠比較輕易的轉(zhuǎn)到新的AI硬件上來。而比特大陸的算豐AI芯片的多種產(chǎn)品(板卡、模組、盒子)，保持統(tǒng)一的工具鏈和系統(tǒng)軟件。

其中工具鏈完備，開發(fā)友好：

包括底層驅(qū)動環(huán)境、編譯器、推理部署工具等一系列軟件工具；

支持Caffe、Tensorflow、PyTorch、PaddlePaddle等深度學(xué)習(xí)框架，離線編譯和校準(zhǔn)工具易用；

完備的性能監(jiān)控工具、神經(jīng)網(wǎng)絡(luò)運(yùn)行庫、視頻編解碼庫、圖像編解碼庫、圖像處理庫；

可提供算法測試用例，包括人臉檢測、物體檢測等。

可應(yīng)用場景廣泛

比特大陸算豐AI計算模組SM5的定位是被集成，所以應(yīng)用場景是多種多樣的，包括了AI邊緣計算服務(wù)器，智能NVR，AI邊緣計算盒，機(jī)器人，大中型無人機(jī)等等。模組的主要功能就是進(jìn)行視覺AI的計算，能夠為傳統(tǒng)產(chǎn)品附加AI功能，支持人臉檢測與識別、面部表情分析、物體檢測與識別、車牌識別、聲紋識別等，可應(yīng)用于人臉識別、自動駕駛、城市大腦、智能安防、智能醫(yī)療等人工智能場景，應(yīng)用領(lǐng)域廣泛。

可以說，BM1684作為比特大陸多年AI技術(shù)積累和沉淀的第三代AI芯片，構(gòu)建的AI模組具有鮮明的特點(diǎn)，優(yōu)勢諸多。

產(chǎn)品特色

1、超強(qiáng)算力、低功耗、自主芯片。

2、易被集成、低功耗、雙網(wǎng)口、接口多。

3、體積小，被動散熱，易集成。

4、雙模驅(qū)動，接口豐富，擴(kuò)展性強(qiáng)。

5、工具鏈完備，易用度高。

點(diǎn)評

這是一款算力超強(qiáng)的AI計算模組，從應(yīng)用性能和神經(jīng)網(wǎng)絡(luò)實測來看，算力非常強(qiáng)大，可以說是目前階段業(yè)內(nèi)最強(qiáng)。同時具備視頻解碼、后處理、CPU強(qiáng)大能力，有可能在視覺AI全流程起到完美的加速效果。

同時還保持了易集成，低功耗等特點(diǎn)，如此強(qiáng)大的邊緣計算模組，確實是業(yè)內(nèi)的強(qiáng)算力模組的最佳選擇之一。預(yù)計算豐SM5模組會在安防、智慧城市、機(jī)器人、新零售等領(lǐng)域，加速AI在業(yè)務(wù)中的普及和落地。

主要規(guī)格參數(shù)