|
機器學(xué)習和 tinyML 可以為嵌入式系統工程師解決許多應用問(wèn)題。有一個(gè)很難從頭開(kāi)始編碼的獨特問(wèn)題，那就是圖像中物體的檢測和識別。恰好，物體的檢測和識別是 tinyML 的一個(gè)完美應用。然而，啟動(dòng) tinyML 和機器視覺(jué) (MV) 項目可能會(huì )很復雜。在接下來(lái)的幾篇文章中，我們將探討如何使用 OpenMV 攝像頭啟動(dòng) MV。 介紹 OpenMV Cam H7 假設你對使用微控制器的低功率應用 MV 感興趣。在這種情況下，你要么定制設計攝像頭模塊，要么找一個(gè)市面上有售的攝像頭模塊。從頭創(chuàng )建模塊會(huì )很有趣，但費錢(qián)、耗時(shí)。一個(gè)有趣的市售解決方案是 OpenMV Cam。 OpenMV Cam 是一款類(lèi)似 Arduino 的小型開(kāi)發(fā)板，包括開(kāi)發(fā)者實(shí)現 MV 入門(mén)所需的一切。首先，必須明白硬件是有不同版本的。最新版本是 OpenMV Cam H7（圖 1）。Cam H7 基于 STMicroelectronics STM32H743VI 的微控制器，采用 Arm Cortex-M7 架構，時(shí)鐘速度為 480 MHz。該零件還具有 1 MB SRAM 和 2 MB 閃存。在使用 MV 和學(xué)習應用工作時(shí)，有大量的內存可用總是一件好事。Cam H7 使用 MT9M114 攝像頭模塊，可以每秒 40 幀 (fps) 的速度捕捉 640 x 320 8 位灰度圖像，或以 40 - 80 fps 的速度捕捉 320 x 240 QVGA 圖像�？梢愿鶕眯枨蟾淖償z像頭模塊。 
圖 1：OpenMV Cam H7 模塊擁有開(kāi)始 MV 設計所需的一切。（圖片來(lái)源：OpenMV） OpenMV 的開(kāi)發(fā)環(huán)境 OpenMV 集成開(kāi)發(fā)環(huán)境 (IDE) 如圖 2 所示，是開(kāi)發(fā)者與 Cam H7 的互動(dòng)途徑。有了 IDE，開(kāi)發(fā)者能夠對將在模塊上運行的 Python 腳本進(jìn)行編輯。Cam H7 使用 MicroPython，這是一個(gè)專(zhuān)門(mén)用于在基于微控制器的系統上運行的 C Python 端口。開(kāi)發(fā)人員可以連接 Cam H7，將腳本加載到設備上并運行應用。集成開(kāi)發(fā)環(huán)境也可用于獲取 Cam H7 幀緩沖器圖像的實(shí)時(shí)反饋。
圖 2：OpenMV 的開(kāi)發(fā)環(huán)境包括開(kāi)發(fā)者對 Cam H7 進(jìn)行編程并與之互動(dòng)所需的一切，如文本編輯器、終端和圖像捕捉顯示窗口。（圖片來(lái)源：OpenMV） 對于那些希望使用該模塊實(shí)現機器視覺(jué)并最終進(jìn)行機器學(xué)習的開(kāi)發(fā)者，不需要看得很遠。OpenMV 集成開(kāi)發(fā)環(huán)境包含的示例腳本涵蓋從將系統置于低功耗模式，到物體和人臉檢測等示例腳本。還有將模塊與諸如 Wi-Fi、慣性測量裝置 (IMU) 等外部開(kāi)發(fā)板連接的示例，以及其他選項。 檢測圖像中的一個(gè)圓 OpenMV IDE 包括一個(gè) HelloWorld 腳本，允許開(kāi)發(fā)人員連接攝像頭并拍攝圖片，為幀緩沖器提供信息。在這篇文章中，用具體的示例講解更能激發(fā)我們的興趣。在本示例中，可以檢測圖像中的一些東西，比如圓。 如果你打開(kāi) OpenMV IDE，點(diǎn)擊 File->Examples->Feature-Detection->find_circles.py（見(jiàn)圖 3），就會(huì )出現用于檢測圓的腳本。測試這個(gè)腳本超級簡(jiǎn)單；首先，我們需要準備一張紙或一張便條，畫(huà)一個(gè)圓（請不要評價(jià)我的繪畫(huà)能力，會(huì )驚掉你的下巴�。�。接下來(lái)，在 IDE 左下方，你會(huì )發(fā)現一個(gè)連接按鈕。點(diǎn)擊該按鈕，連接 Cam H7。然后，點(diǎn)擊連接按鈕下房的綠色播放按鈕。最后，將 Cam H7 對準你畫(huà)的圓圈，并在 OpenMV IDE 中監視幀緩沖區。
圖 3：在 OpenMV IDE 中導航至 find_circles.py 示例腳本。（圖片來(lái)源：Beningo Embedded Group） 你將看到，在幀緩沖器中會(huì )周期性地畫(huà)出一個(gè)紅色的圓，與你畫(huà)的圓重疊，如圖 4 所示。請注意，盡管我的繪畫(huà)能力有待提高，但 Cam H7 仍然能夠檢測到所拍攝的圖像中有一個(gè)類(lèi)似圓的圖形。在這個(gè)系列博客文章中，這是我們第一次檢測圓圈，但不是最后一次！讓我們看一下示例腳本，了解其工作原理。
圖 4：find_circles.py 示例腳本將在幀緩沖區添加一個(gè)紅色的圓，并在檢測到圓時(shí)突出顯示。（圖片來(lái)源：Beningo Embedded Group） 分析 find_circles.py 示例 OpenMV IDE 提供的圓檢測腳本直截明了。首先，該腳本導入所需的 Python 庫，并初始化攝像頭傳感器和時(shí)鐘，如列表 1 所示。 副本 import sensor, image, time sensor.reset() sensor.set_pixformat(sensor.RGB565) # grayscale is faster sensor.set_framesize(sensor.QQVGA) sensor.skip_frames(time = 2000) clock = time.clock() 列表 1：攝像頭傳感器的初始化示例代碼。（代碼來(lái)源：OpenMV） 接下來(lái)，一個(gè)無(wú)限循環(huán)會(huì )持續運行該應用，就像在任何標準嵌入式應用中一樣。然后，也是最后，就是促使檢測進(jìn)行的魔法。我們花點(diǎn)時(shí)間來(lái)研究列表 2。 副本 while(True): clock.tick() img = sensor.snapshot().lens_corr(1.8) for c in img.find_circles(threshold = 2000, x_margin = 10, y_margin = 10, r_margin = 10, r_min = 2, r_max = 100, r_step = 2): img.draw_circle(c.x(), c.y(), c.r(), color = (255, 0, 0)) print(c) print("FPS %f" % clock.fps()) 列表 2：讀取攝像頭傳感器并搜索圖像中的圓代碼示例。（代碼來(lái)源：OpenMV） 列表 2 中的代碼從截取圖像開(kāi)始。然后，使用 OpenMV 庫中一種名為 find_circles 的方法搜索圖像中的圓。你可以閱讀實(shí)際源代碼例子中的注釋?zhuān)私鈪导毠�，但我們最感興趣的是 r_min、r_max 和 r_step 參數。r_min 參數指定可以檢測的圓的最小半徑。r_max 參數設定圓的最大半徑值。在此例子中，程序將看到 2 到 100 像素之間的圓。 檢測到圓時(shí)，draw_circle 方法以及圓的 x、y 和半徑值被用來(lái)在檢測到的圓上畫(huà)一個(gè)圓。你會(huì )注意到，顏色是用 R、G 和 B 符號指定的，在此例中，所畫(huà)的圓為紅色。 總結 開(kāi)發(fā)者可以使用機器視覺(jué)和 TinyML，并應用于幾乎無(wú)限的用例。在這篇博客中，我們只是介紹了 OpenMV Cam H7 和 OpenMV IDE，讓你開(kāi)始運行，檢測圓。不過(guò)，檢測圓并不需要 tinyML，只需要一些庫函數。在下一篇博客中，我們將探索內置的機器學(xué)習示例，然后再引入一個(gè)更復雜的示例，然后以此為例訓練、部署我們的檢測項目。 |
