【原】RK3399的Yolo-Fastest模型部署

beginnow1 2022-12-06 發(fā)布于廣東

展開全文

Vehicle-Detection-MNN-Yolo-Fastest

介紹

本項目為“openEuler”高校開發(fā)者大賽--城市關鍵路徑機動車流量智能化監(jiān)控項目。本項目利用RK3399與HopeEdge OS，通過深度學習方法對車輛進行實時檢測，利用MNN深度學習推理框架與OpenCV實現(xiàn)車輛檢測模型的移動端部署，利用檢測結果，根據(jù)檢測目標的歐氏距離判斷前后幀檢測車輛是否為同一輛車，對車輛進行計數(shù)。

源文件：https://github.com/yss9701/Vehicle-Detection-MNN-Yolo-Fastest

軟件架構

目錄說明：

./lib為部署于開發(fā)板的動態(tài)鏈接庫，需放置于開發(fā)板/usr/lib目錄下，或放置于其他目錄下并指定搜索路徑。

./src為Qt工程，其中.pro文件需根據(jù)主機實際路徑更改。

./script為腳本，包括編譯腳本、視頻處理腳本等。

./model為MNN轉換后的模型與量化后的模型及MNN編譯產物。

./demo為車輛檢測結果展示，視頻左上角展示出車輛計數(shù)與檢測幀率。

硬件環(huán)境：Firefly-RK3399開發(fā)板

開發(fā)環(huán)境：Ubuntu20.04.2 Lts，Qt 5.12.9，gcc-linaro-4.9.4-2017.01-x86_64_aarch64-linux-gnu，MobaXterm 11.0

模型訓練：TensorFlow-gpu 2.2

模型部署：MNN 1.0.2，OpenCV 3.4.9，protobuf 3.12.0，gcc/g++ 4.9

安裝教程

1、利用TensorFlow2.2，搭建Yolo-Fastest模型。將UA-DETRAC數(shù)據(jù)集處理為VOC格式，對模型進行訓練，后對檢測頭進行剪枝，壓縮模型，重訓練恢復精度，將模型結構保存與參數(shù)分開保存，并進行模型固化，產生pb文件，具體過程可參考此項目。

2、在Ubuntu16.04中安裝交叉編譯工具鏈, 安裝qt, 安裝GCC工具鏈與protobuf。

交叉工具下轉地址：https://download./archive/qt/5.12/5.12.9/

交叉編譯工具搭建：https://blog.csdn.net/hl1796/article/details/90205218

執(zhí)行sudo ./auto.sh時，出現(xiàn)Project ERROR: Cannot run target compiler 'aarch64-linux-gnu-g++'. 的報錯。是由于用sudo執(zhí)行會重設環(huán)境變量，而sudo的環(huán)境變量沒有aarch64-linux-gnu-g++的目錄路徑，可以用sudo -i ./auto.sh表示使用root的權限但環(huán)境不變?；蛘咛砑迎h(huán)境變量到/etc/sudoers，參考：https://cloud.tencent.com/developer/article/1650340

3、在主機端源碼編譯MNN，編譯產物為模型轉換與模型量化工具。

http://www.qqstock.cn/content/22/1202/16/40492717_1058541855.shtml

4、在主機端源碼交叉編譯MNN，編譯產物為MNN動態(tài)鏈接庫。

5、在主機端源碼交叉編譯OpenCV，編譯產物為OpenCV動態(tài)鏈接庫，編譯腳本為./script/build_3399.sh。

http://www.qqstock.cn/showweb/0/0/1059122850.aspx

6、利用./script/pb.py進行模型輸入尺寸固化，利用MNN進行模型轉換與量化，將量化模型通過MobaXterm傳送到開發(fā)板執(zhí)行目錄。

6、利用Qt Creator編程，交叉編譯產生可執(zhí)行文件，利用MobaXterm傳送到開發(fā)板。

7、利用./script/video2img.py進行視頻處理，將處理過的圖像傳送到開發(fā)板執(zhí)行目錄，執(zhí)行可執(zhí)行文件，得到檢測與計數(shù)結果。

8、利用./script/img2cv.py對檢測過的圖像處理，合成視頻。

記得修改圖片尺寸大小，不然會有OpenCV(3.4.9) Error: Assertion failed的報錯

還有路徑、圖片數(shù)量需要修改