|
摘要: 在深度學(xué)習中,為了提升數據傳輸帶寬和計算性能,經(jīng)常會(huì )使用NCHW、NHWC和CHWN數據格式,它們代表Image或Feature Map等的邏輯數據格式(可以簡(jiǎn)單理解為數據在內存中的存放順序)。本文以百度的AI端上推理設備EdgeBoard為原型,介紹EdgeBoard選擇NHWC數據格式的技術(shù)考量。 EdgeBoard簡(jiǎn)介 EdgeBoard是百度基于FPGA芯片研發(fā)的嵌入式AI解決方案,高性能的加速引擎可提供3.6Tops的強大算力,完整的嵌入式參考設計使硬件集成輕松便捷。目前EdgeBoard提供了FPGA軟核和計算卡模塊兩種形態(tài)供硬件集成,面向項目部署也提供了抓拍機和計算盒兩種基礎硬件產(chǎn)品。EdgeBoard深度兼容百度大腦模型資源與工具平臺(EasyDL/AI Studio),極大降低了開(kāi)發(fā)驗證、產(chǎn)品集成、科研教學(xué)、項目部署門(mén)檻,適用于安防監控、工業(yè)質(zhì)檢、醫療診斷、農作物生長(cháng)監控、無(wú)人駕駛、無(wú)人零售等場(chǎng)景 數據格式的邏輯表示與物理表示 深度學(xué)習中經(jīng)常會(huì )使用NCHW、NHWC和CHWN數據格式來(lái)表示數據,其中N、H、W、C定義如下: N:一個(gè)batch內圖片的數量,一次處理的圖片數量 H:垂直高度方向的像素個(gè)數,圖片的高 W:水平寬度方向的像素個(gè)數,圖片的寬 C:通道數。例如灰度圖像為1, 彩色RGB圖像為3 下圖表示N=2,C=16,H=5,W=4的數據排列,其中左圖是邏輯表示,右圖是物理表示。 以NCHW為例,其邏輯表示如左上圖,n=0時(shí),三個(gè)坐標分別標識了C、H、W的方向。第一個(gè)元素是000,第二個(gè)元素沿著(zhù)w方向,即001,隨后是002, 003;然后沿H方向,即004, 005, 006, 007...如此反復到019后;再沿C方向,020,021, 022 .....一直到319;再沿N方向,也就是n=1,然后重復W方向,H方向和C方向。 根據以上NCHW的劃分,物理地址表示定義如下(如右上圖): [a:0] 表示W(wǎng)方向,在一行內從左到右 [a:1] 表示從H方向,一行一行的從上到下 [a:2] 表示在C方向,從一個(gè)通道到另外一個(gè)通道 [a:3] 表示從N方向,從n=0 到n=1 最終NCHW數據格式的物理分布(在內存中的一維表示)表示為000 001 002 003 004 ... 018 019 020 ... 318 319 320 ... ... 637 638 639�？梢岳斫獬砂岩粋�(gè)通道的所有像素一行一行地排列起來(lái),然后排下一個(gè)通道,即n=0排列完后再排n=1。 同理NHWC表示是先沿C方向,再沿W方向,再沿H方向,最后沿N方向。所以在內存的存放順序是,第一個(gè)元素是000,第二個(gè)沿C方向,即020,040, 060 ...一直到300,之后切換到W方向,001 021 041 061...301..到了303后再切換到H方向,即004, 024 ... 304,最后到了319,再切換到N方向,320,340 ...一直到639。 [b:0] 表示C方向,第一個(gè)像素從一個(gè)通道到另外一個(gè)通道 [b:1] 表示從W方向,最后一個(gè)通道第一個(gè)像素回到第一個(gè)通道的第二個(gè)像素 [b:2] 表示在H方向,最后一個(gè)通道第一行最后一個(gè)像素回到第一個(gè)通道的第二行的第一個(gè)像素 [b:3] 表示從N方向,從n=0 到n=1 NHWC其物理表示為000 020 ... 300 001 021 ... 283 303 004 ... 319 320 340 ... ... 339 359 ... 639�？梢岳斫獬砂岩粋�(gè)batch的一個(gè)像素的所有通道先排列起來(lái),然后排下一個(gè)像素。n=0排列完成后,再排n=1。 同理CHWN其邏輯表示,先沿N方向,再沿W方向,再沿H方向,最后是沿C方向。 [c:0] 表示從N方向,從n=0的第一個(gè)像素到n=1的第一個(gè)像素 [c:1] 表示從N方向,從n=1的第一個(gè)像素回到n=0的第二個(gè)像素 [c:2] 表示在H方向,從n=1的第一行最后一個(gè)像素回到n=0的第二行第一個(gè)像素 [c:3] 表示從N方向,從n=1的第一個(gè)通道最后一個(gè)像素回到n=0的第二個(gè)通道第一個(gè)像素 CHWN其物理表示為 000 032 001 321 ... 003 323 004 324 ... ... 019 339 020 ...�？梢岳斫獬上劝岩粋�(gè)batch中N幅圖像的第一個(gè)通道第一個(gè)像素排列起來(lái),然后排第二個(gè)像素;再排第二個(gè)通道,第三個(gè)通道... 數據在內存中的偏移地址 深度學(xué)習中涉及大量的數據計算,計算需要從內存中取出數據,因此需要計算出數據的偏移地址以便進(jìn)行取數。有了上面的邏輯表示和物理表示,可以推導出4維邏輯表示(n,c,h,w)映射到一維內存中偏移地址的公式。 定義位置(n,c,h,w)表示第n個(gè)batch的第c通道的第h行的第w列,那么該位置在不同數據格式下,在內存中的偏移地址計算公式如下: NCHW: offset_nchw(n, c, h, w) = n * CHW + c * HW + h * W + w NHWC: offset_nhwc(n, c, h, w) = n * HWC + h * WC + w * C + c CHWN: offset_chwn(n, c, h, w) = c * HWN + h * WN + w * N + n 其中N、C、H、W為常量,n、c、h、w為變量 在NCHW中,CHW=C*H*W,表示一個(gè)Batch,可以理解成一個(gè)BGR 3通道的圖片,表達的是一個(gè)立方體。HW=H*W,表示一個(gè)平面,可以理解成是BGR 3通道圖片的一個(gè)通道(灰度圖就是一個(gè)通道圖片)。W是一行,可以理解成一個(gè)通道上的一行。 以上圖為例,如果想計算出綠色圈,即341的位置(n=1,c=1, h=0, w=1)。我們需要先跳過(guò)n=0的數據(CHW),圖中箭頭1指向的藍色框區域;再跳過(guò)n=1的第一個(gè)通道(HW),圖中箭頭2指向藍色框區域;這時(shí)進(jìn)入到了n=1的第二個(gè)通道,跳過(guò)h=0行(0*W);最后跳過(guò)w個(gè)數到達偏移位置。 EdgeBoard為何使用NHWC 下面來(lái)分析EdgeBoard選擇NHWC數據格式的原因。 上圖表示卷積的計算過(guò)程。根據卷積的運算特點(diǎn),相同位置窗口所有通道數與卷積的參數相乘后累加,可以有下面兩種計算方式: 先通道后像素:先把一個(gè)像素點(diǎn)的所有通道數與卷積的參數相乘后累加,再進(jìn)行下一個(gè)像素,直到卷積核窗口乘累加完成。比如第一次滑窗的計算公式 (w0,0,0)*(x0,0,0) + (w1,0,0)*(x1,0,0) + (w2,0,0)*(x2,0,0) + (w0,0,1)*(x0,0,1) + (w1,0,1)*(x1,0,1) + (w2,0,1)*(x2,0,1) + (w0,0,2)*(x0,0,2) + (w1,0,1)*(x1,0,2) + (w2,0,2)*(x2,0,2) + (w0,1,0)*(x0,1,0) + (w1,1,0)*(x1,1,0) + (w2,1,0)*(x2,1,0) + (w0,1,1)*(x0,1,1) + (w1,1,1)*(x1,1,1) + (w2,1,1)*(x2,1,1) + (w0,1,2)*(x0,1,2) + (w1,1,1)*(x1,1,2) + (w2,1,2)*(x2,1,2) + (w0,2,0)*(x0,2,0) + (w1,2,0)*(x1,2,0) + (w2,2,0)*(x2,2,0) + (w0,2,1)*(x0,2,1) + (w1,2,1)*(x1,2,1) + (w2,2,1)*(x2,2,1) + (w0,2,2)*(x0,2,2) + (w1,2,1)*(x1,2,2) + (w2,2,2)*(x2,2,2) = 0*-1 + 0*-1 + 0*0 + 0*1 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*1 + 1*0 + 2*1 + 1*0 + 0*0 +1*0 + 0*0 + 0*0 + 0*1 + 2*1 + 0*-1 + 1*-1 + 2*1 + 0*0 + 0*-1 + = 5 先像素后通道:先把一個(gè)通道滑動(dòng)窗口與卷積參數相乘后累加,再進(jìn)行下一個(gè)通道,直到所有通道乘累加完成。比如第一次滑窗計算公式 (w0,0,0)*(x0,0,0) + (w0,0,1)*(x0,0,1) + (w0,0,2)*(x0,0,2) + (w0,1,0)*(x0,1,0) + (w0,1,1)*(x0,1,1) + (w0,0,2)*(x0,1,2) + (w0,2,0)*(x0,2,0) + (w0,0,1)*(x0,2,1) + (w0,0,2)*(x0,2,2) + (w1,0,0)*(x1,0,0) + (w1,0,1)*(x1,0,1) + (w1,0,2)*(x1,0,2) + (w1,1,0)*(x1,1,0) + (w1,1,1)*(x1,1,1) + (w1,0,2)*(x1,1,2) + (w1,2,0)*(x1,2,0) + (w1,0,1)*(x1,2,1) + (w1,0,2)*(x1,2,2) + (w2,0,0)*(x2,0,0) + (w2,0,1)*(x2,0,1) + (w2,0,2)*(x2,0,2) + (w2,1,0)*(x2,1,0) + (w2,1,1)*(x2,1,1) + (w2,0,2)*(x2,1,2) + (w2,2,0)*(x2,2,0) + (w2,0,1)*(x2,2,1) + (w2,0,2)*(x2,2,2) = 0*-1 + 0*1 + 0*0 + 0*0 +0*1 + 1*0 + 0*0 + 2*1 + 2*1 + 0*-1 + 0*-1 + 0*0 + 0*0 + 1*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 0*0 + 0*0 + 0*-1 + 0*0 + 2*1 + 1*0 + 0*1 + 1*-1 + 0*-1 = 5 可以看出兩種方式計算的結果是一樣。 而對于NHWC格式,即先通道后像素,是把一個(gè)像素的所有通道的數據放在一起。這樣對應上圖第一個(gè)像素的3個(gè)通道值,第二個(gè)像素的3個(gè)通道值,第三個(gè)像素的3個(gè)通道值,它們在內存中的地址都是連續的,也就是說(shuō)一次就可以把kernel第一行需要計算的數取出,3x3的kernel需要3次取數。 而對于NCHW格式,即先像素后通道,是把一個(gè)通道的所有像素按順序排列,這樣對于一個(gè)3*3的卷積核,需要每取3個(gè)數就需要跳躍n個(gè)數后,再取3個(gè)數。一個(gè)通道需要取3次,3個(gè)通道需要取9次。 在實(shí)際網(wǎng)絡(luò )中,通常通道數會(huì )遠大于卷積kernel數(不會(huì )像上圖只有3個(gè)通道,通常是幾十、幾百個(gè)通道)。這樣對于NHWC格式來(lái)說(shuō)說(shuō),取數的次數會(huì )比NCHW少很多。對EdgeBoard來(lái)說(shuō),為了增加其所支持網(wǎng)絡(luò )的廣泛性,減少對大輸入尺寸和高存儲量權重網(wǎng)絡(luò )的限制,采用NHWC的格式可以實(shí)現分批次地把Feature Map和Weight數據讀取到FPGA的片上緩存,例如對于3x3的Kernel,我們可以只讀取三行(3WC)Feature Map的數據到FPGA內進(jìn)行計算,即可得到一行輸出數據,并傳輸到片外大容量緩存DDR,而不需依賴(lài)下一個(gè)3WC的Feature Map輸入數據就可完成每一批次的輸入輸出數據傳輸。 再例如,我們也可將Weight數據根據FPGA片上緩存的不同大小分割成N份,一份一份發(fā)送到FPGA分別做卷積運算后,再傳輸回DDR做相應拼接,這等同于做一次大的卷積運算,好處在于可以根據不同容量的FPGA器件做不同匹配,大大提高了代碼的硬件適配性。此外,由于C維度之間數據相關(guān)性較弱,采用NHWC格式更能發(fā)揮FPGA高并行度的計算特點(diǎn),充分利用FPGA的算力。 下表為EdgeBoard使用NHWC數據格式的網(wǎng)絡(luò )性能: 參考鏈接: [1] Intel MKL github https://intel.github.io/mkl-dnn/understanding_memory_formats.html [2] 零基礎入門(mén)深度學(xué)習 https://www.zybuluo.com/hanbingtao/note/485480 福利 據可靠消息:EdgeBoard正在打折中,歷史最低價(jià),直降1000元,有興趣可以看看:https://aim.baidu.com/product/5b ... c-ae58-640e2815dfd4 |
