|
本文根據十接口千兆以太網(wǎng)線(xiàn)路接口卡設計的功能需求和性能需求，按照數據處理流程劃分功能模塊，以PM3388作為鏈路層處理芯片和兩片高性能FPGA作為鏈路層處理芯片完成了系統設計，并給出了具體實(shí)現方案。對兩片FPGA控制功能的實(shí)現做了重點(diǎn)闡述，對實(shí)現難點(diǎn)做了深入的分析。 1 前言 隨著(zhù)網(wǎng)絡(luò )規模的持續膨脹和新型網(wǎng)絡(luò )應用需求的不斷增長(cháng)，目前基于IPv4技術(shù)的因特網(wǎng)在可擴展性、IP地址空間、安全、服務(wù)質(zhì)量控制、移動(dòng)性、運營(yíng)管理和盈利模式等諸多方面面臨著(zhù)挑戰，尤其是地址空間匱乏、可擴展性差等缺陷嚴重制約了因特網(wǎng)的發(fā)展，需要探索新的技術(shù)來(lái)解決這些問(wèn)題。IPv6通過(guò)采用128位的地址空間替代IPv4的32位地址空間來(lái)擴充因特網(wǎng)的地址容量，使得IP地址在可以預見(jiàn)的時(shí)期內不再成為限制網(wǎng)絡(luò )規模的一個(gè)因素，同時(shí)在安全性、服務(wù)質(zhì)量及移動(dòng)性等方面有了較大的改進(jìn)，使其成為構建下一代互聯(lián)網(wǎng)絡(luò )的最佳選擇。 以太網(wǎng)是當前最基本、最流行的局域網(wǎng)組網(wǎng)技術(shù)，為了適應各種新開(kāi)展的業(yè)務(wù)如流視頻等，其速率也在不斷提高。千兆以太網(wǎng)是建立在以太網(wǎng)標準基礎之上的技術(shù)，具有高效、高速、高性能的特點(diǎn)，目前 2 網(wǎng)絡(luò )接口功能分析 千兆以太網(wǎng)原先是作為一種交換技術(shù)設計的，采用光纖作為上行鏈路，用于樓宇之間的連接，之后在服務(wù)器的連接和骨干網(wǎng)中，千兆以太網(wǎng)獲得了廣泛應用。目前，千兆以太網(wǎng)已經(jīng)發(fā)展成為主流網(wǎng)絡(luò )技術(shù)，大型企業(yè)和中小型企業(yè)在建設企業(yè)局域網(wǎng)時(shí)都把千兆以太網(wǎng)技術(shù)作為首選的高速網(wǎng)絡(luò )技術(shù)。千兆以太網(wǎng)技術(shù)甚至正在取代ATM技術(shù)，逐漸應用到了城域網(wǎng)建設中。 基于千兆以太網(wǎng)的發(fā)展現狀和良好的應用前景，當前國內外研制各種核心路由器和高性能交換機的公司不再滿(mǎn)足于能夠提供低密度（單接口、雙接口等）千兆以太網(wǎng)線(xiàn)路接口卡模塊，紛紛推出或開(kāi)始研制高密度（四接口、八接口等）的線(xiàn)路接口卡模塊，高密度千兆以太網(wǎng)線(xiàn)路接口卡的研究正在成為一個(gè)熱點(diǎn)。但各公司出于技術(shù)保密的考慮，公開(kāi)的高密度千兆線(xiàn)路接口卡的文獻資料很少。經(jīng)分析，十接口千兆以太網(wǎng)線(xiàn)路接口卡的設計主要存在以下三個(gè)難點(diǎn)： 1).多種數據包的分類(lèi)處理：本文研究的十接口千兆線(xiàn)路接口卡兼容IPv4、IPv6雙協(xié)議棧，需要實(shí)現三種二層協(xié)議封裝格式的拆封與封裝處理、兩種三層協(xié)議的查表處理和一種MPLS協(xié)議的處理，在高速環(huán)境下實(shí)現多種協(xié)議的正確處理是一個(gè)難點(diǎn)； 2).幀重組合路加速功能的實(shí)現：需要實(shí)現以太網(wǎng)幀的重組、十接口數據合路調度與加速三種功能，這是千兆線(xiàn)路接口卡滿(mǎn)足線(xiàn)速處理功能的關(guān)鍵； 3). 十接口數據合路調度功能的實(shí)現：需要研究一種具有良好擴展性和時(shí)延性能的調度算法，實(shí)現高速環(huán)境下十接口數據合路調度的功能。 從功能角度來(lái)看, 以太網(wǎng)線(xiàn)路接口主要完成輸入處理、輸出處理和系統維護管理等三種功能。如圖1所示。輸入處理：從千兆以太網(wǎng)上接收編碼數據流，解碼恢復成為以太網(wǎng)幀，再經(jīng)過(guò)地址過(guò)濾、完整性校驗、差錯控制、IP地址查表、MAC幀拆封、內部數據格式封裝等處理后送給轉發(fā)處理子系統或板級處理機處理（協(xié)議包）。輸出處理：從端口調度模塊或板級處理機模塊接收數據包或協(xié)議包，經(jīng)過(guò)MAC幀封裝，經(jīng)過(guò)數據編碼等處理后從正確的接口發(fā)送到千兆以太網(wǎng)上。系統維護管理：主要是接受板級處理機的控制命令，對輸入分類(lèi)表項、ARP表項和鄰居發(fā)現表項進(jìn)行維護，定時(shí)或按照板級處理機的命令將線(xiàn)路接口卡的性能統計信息向板級處理機報告。 圖1 千兆以太網(wǎng)線(xiàn)路接口卡功能示意圖 3 硬件設計與實(shí)現 經(jīng)過(guò)對十接口千兆以太網(wǎng)線(xiàn)路接口卡功能和性能需求進(jìn)行認真分析，按照功能清晰、接口簡(jiǎn)單、實(shí)現容易的原則，設計了其實(shí)現方案，并按照設計方案對千兆以太網(wǎng)線(xiàn)路接口卡進(jìn)行了子模塊劃分，共分為光電轉換子模塊、MAC層處理子模塊、輸入處理子模塊、輸出處理子模塊、輸入IP地址表子模塊、輸出IP地址表子模塊和協(xié)議報文緩存子模塊等七個(gè)子模塊。千兆線(xiàn)路接口卡各子模塊和外部接口關(guān)系如圖2所示。 圖 2 十接口千兆以太網(wǎng)線(xiàn)路接口卡模塊結構圖 其中MAC層處理子模塊是千兆線(xiàn)路接口卡設計的核心，選用PMC-Sierra公司的PM3388芯片為MAC層處理芯片， PM3388芯片是目前市場(chǎng)上唯一支持十接口的千兆以太網(wǎng)控制器，其功能特性如下：
PM3388工作流程包括接收處理和發(fā)送處理兩部分。1.接收通路：PM3388從光電轉換子模塊接收串行差分電信號,經(jīng)過(guò)串/并轉換、8B/10B解碼后,進(jìn)行以太網(wǎng)幀完整性檢驗和地址過(guò)濾，如果該以太網(wǎng)幀無(wú)誤,則寫(xiě)入為該接口分配的PL4模塊中的FIFO,否則丟棄。為了充分利用帶寬，PL4接口把MAC幀劃分為數據片（以64字節或MAC幀尾之前數據為一片）調度輸出，并采用帶內控制字的形式指示幀頭、數據、幀尾、線(xiàn)路接口號、填充字節數、空閑控制字等信息。接收通道還通過(guò)兩位的信號指示接收設備的緩存狀態(tài)（空、滿(mǎn)、半滿(mǎn)）。2.發(fā)送通路：發(fā)送通道的PL4接口與接收通道的工作模式相同，數據從PL4接口進(jìn)入PM3388后，經(jīng)過(guò)8B/10B編碼,并/串變換等處理步驟,以串行差分信號的形式輸出到光電轉換子模塊。 為了保證PL4接口達到十路1Gbps的速率，PM3388的參考時(shí)鐘引腳接160MHz時(shí)鐘晶振，輸入輸出接口的采樣時(shí)鐘通過(guò)將該時(shí)鐘倍頻獲得320MHz時(shí)鐘，輸入輸出數據分別在時(shí)鐘雙沿采樣，可以獲得640Mbps的數據數率，總帶寬達10.24Gbps，可以滿(mǎn)足0丟包率性能對帶寬的要求。 此外，輸入處理FPGA是千兆以太網(wǎng)線(xiàn)路接口卡模塊設計的重點(diǎn)之一，主要的功能是將各種標準的MAC幀數據格式轉換為網(wǎng)絡(luò )層統一的數據格式，為網(wǎng)絡(luò )層處理屏蔽掉底層物理接口。 輸入處理FPGA采用Altera公司Stratix GX系列的EP1SGX25F芯片，該芯片具有25660個(gè)邏輯單元，16個(gè)高速收發(fā)器通道，39個(gè)源同步IO和總數為1944576比特的RAM，可以滿(mǎn)足實(shí)現輸出處理功能對資源的要求。 輸入處理子模塊主要完成輸入處理和配置統計兩大功能：第一、接收MAC層處理子模塊發(fā)送過(guò)來(lái)的數據片，完成MAC幀重組和十路數據合路處理，再根據MAC幀封裝的三層協(xié)議類(lèi)型實(shí)現數據包的分類(lèi)處理，按照不同的處理要求把數據包分別送B接口、F接口或者同時(shí)送兩個(gè)接口。送往B口的數據包經(jīng)過(guò)MAC幀格式拆封和B口格式封裝后輸出到轉發(fā)模塊，送往F口的數據經(jīng)過(guò)數據寬度和時(shí)鐘頻率的變換后輸出到協(xié)議FIFO。第二、線(xiàn)路接口卡上電初始化時(shí)，輸入FPGA通過(guò)板級處理機獲取本線(xiàn)路接口卡所在的機架號和端口號等信息，并把這些信息插入到送往轉發(fā)處理模塊的數據包的B口格式字中。輸入處理FPGA還要實(shí)現大量的統計功能，統計項包括每個(gè)接口接收到的總幀數、錯誤幀數、丟棄幀數、IPv4單組播包數、IPv6單組播包數、MPLS單播包數、送往B口包數和送往協(xié)議FIFO包數等，并根據命令把統計信息送往板級處理機。 4 系統調試 FPGA的調試包括輸入FPGA和輸出FPGA兩部分，主要檢查FPGA的焊接、時(shí)鐘和程序下載等是否正確，調試方法是用VHDL編寫(xiě)一個(gè)計數器的程序，用JTAG下載到FPGA中，利用SignalTap軟件和指示燈測試FPGA是否工作正常。實(shí)現系統輸入輸出處理功能的大規模VHDL程序的調試放在整個(gè)線(xiàn)路接口卡的調試中進(jìn)行。 PM3388芯片是千兆線(xiàn)路接口卡完成MAC層控制功能的芯片，其調試是整個(gè)千兆線(xiàn)路接口卡調試的重點(diǎn)。PM3388芯片的調試需要板級處理機軟件、板級處理機、輸入輸出FPGA和網(wǎng)絡(luò )測試儀配合，調試內容依次為寄存器配置、PL4系統側環(huán)回、SERDES系統側環(huán)回、SERDES線(xiàn)路側環(huán)回、PL4線(xiàn)路側環(huán)回。 PM3388芯片寄存器配置的調試過(guò)程為：首先往一個(gè)可讀寫(xiě)寄存器（選擇地址為0x6的寄存器）中寫(xiě)入一個(gè)數，再讀出來(lái)比較是否正確，如果不正確，通過(guò)SignalTap軟件分別抓輸出FPGA與PM3388芯片的微處理機接口的讀寫(xiě)控制信號，確定錯誤是發(fā)生在寫(xiě)操作還是讀操作上，排除錯誤。單個(gè)寄存器的配置調試通過(guò)后，再進(jìn)行多個(gè)寄存器的連續配置，調試方法是配置PM3388進(jìn)入不同工作模式，通過(guò)檢查狀態(tài)寄存器的值判斷是否配置成功，如果不成功，檢查相鄰寄存器的配置是否發(fā)生了干擾，通過(guò)SIGNALTAP軟件查看邏輯和時(shí)序問(wèn)題,再加以解決。 而PL4系統側環(huán)回主要是為了驗證輸出FPGA與PM3388的輸入PL4接口、輸入FPGA與PM3388的輸出PL4接口是否正常，調試方法是使用板級處理機向輸出處理FPGA發(fā)送協(xié)議包，輸出處理FPGA再把該數據包發(fā)送到PM3388的PL4接口的接收側，接收側把該數據包環(huán)回到PL4接口的發(fā)送側，從發(fā)送側發(fā)送到輸入處理FPGA，最后該數據包被板級處理機讀回來(lái)進(jìn)行比較。調試中發(fā)生的錯誤可以通過(guò)PM3388內部的統計寄存器和SIGNALTAP軟件進(jìn)行定位，再采取相應的措施排除錯誤； 5 總結 本文的創(chuàng )新點(diǎn)在于采用合理的設計方案和調試方案，完成了十接口千兆線(xiàn)路接口卡的設計與實(shí)現，研制的千兆線(xiàn)路接口卡完全滿(mǎn)足了T比特路由器項目對十接口千兆線(xiàn)路接口卡設計的功能與性能要求。采用FPGA設計并實(shí)現了十接口千兆以太網(wǎng)線(xiàn)路接口卡設計與實(shí)現中的幀重組與加速功能，能夠提供更高的帶寬，具有更好的加速性能。 |
|
FPGA、S3C6410、S3C2410、S3C2440、S3C2450、S5PV210、STM32 擴展網(wǎng)絡(luò )接口方案。 深圳市僑峰科技有限公司 （DAVICOM中國總代理） 嵌入式以太網(wǎng)絡(luò )接口芯片供應商，軟件及硬件設計服務(wù)與咨詢(xún) 聯(lián)絡(luò )方式：Jonny.chu@qftek.com 電話(huà):13554902206 DM9000A DM9000C DM9161A DM9161C DM8203 DM9620 DM9162N |
