|
邊緣智能應用實驗平臺
一、 基礎功能：
1. 實驗平臺為一體化教學實驗平臺，是以認知教學、技術教學、應用教學來展開學生多維度能力層次培養(yǎng)的教學解決方案。滿足人工智能認知、基礎應用開發(fā)等課程的實驗教學。
2. 實驗平臺基于邊緣計算框架設計，須具有單獨AI計算加速能力，支持多sensor輸入，具有POE受電的千兆網(wǎng)絡。集成豐富的硬件接口，包括藍牙/WIFI、4G、5G、PCIE、擴展GPIO等接口，且須內(nèi)置多種算法API（目標檢測、人臉識別、人臉屬性分析、車牌識別等）。
二、 平臺硬件資源
1． 邊緣計算終端：
1） 處理器內(nèi)核：處理器不少于五核，至少包含不低于雙核Cortex-A72和三核Cortex-A53。（提供圖片蓋章佐證）
2） GPU處理器不少于雙核；
3） NPU:須支持8bit/16bit運算，須支持TensorFlow、Pytorch模型，運算性能不低于3.0TOPs；
4） 終端搭載內(nèi)存≥4GB DDR4,存儲≥32GB EMMC5.1。
5） 終端搭載Emmc5.1存儲器，容量不低于32GB。
6） 有線通信：千兆以太網(wǎng)口，須支持POE受電；
7） 無線通信:需支持藍牙及雙頻WiFi。藍牙需要支持 5.0，支持 class1，class2和class3功率級傳輸，調(diào)制方式: GFSK，π/4-DQPSK,8DPSK;WiFi需滿足IEEE802.11 a/b/g/n/ac 2x2 MIMO；
8） 須支持M.2接口的無線4G/5G模塊擴展；（提供圖片蓋章佐證）
9） 串行接口：須支持RS232/RS485；（提供圖片蓋章佐證）
10） USB口：不少于2個USB 3.0 HOST的TYPE-A接口；（提供圖片蓋章佐證）；
11） 板載擴展：須可接1*I2S、2*I2C、ADC1_CHO、ADC1_CH1，3路電源（5V\3.3V）（提供圖片蓋章佐證）
12） 視頻編解碼：須支持4K VP9 and 4K 10bits H265/H264 視頻解碼，高達60fps；1080P 多格式視頻解碼 (WMV, MPEG-1/2/4, VP8)，支持6路1080P@30fps解碼；1080P 視頻編碼，支持H.264，VP8格式，須支持2路1080P@30fps編碼；視頻后期處理器：反交錯、去噪、邊緣/細節(jié)/色彩優(yōu)化。
13） 智能視頻處理：須支持實時圖像縮放、裁剪、格式轉換、旋轉等功能；
14） 視頻接口輸出: 1路HDMI2.0(Type-A)接口，須支持4K/60fps輸出；1路MIPI接口，須支持1920*1080@60fps輸出；
15） 音頻接口：不少于1路HDMI音頻輸出；不少于1路Speaker，喇叭輸出；不少于1路耳麥，用于音頻輸入輸出；不少于1路麥克風，板載音頻輸入；
2． 高清攝像頭模塊：
1) 模塊須搭載不低于800萬像素工業(yè)級無畸變攝像頭。
2) 支持自動曝光控制AEC。
3) 支持自動增益控制AGC。
4) 支持自動白平衡。
5) 支持自動對焦功能。
3． 麥克風陣列
1) Sensor數(shù)量≥6；
2) 輸入電壓不大于12V；
3) 音頻輸入 1*2pin；
4) 音頻輸出 1*USB 兼容燒寫和通信口；
5) 工作電壓不大于3.3V；
6) 支持串口通信。
4． 指紋采集模塊
1) 模塊圖像大小256*288pixel。
2) 對比速度不高于6ms。
3) 圖像處理時間（s）<0.4(S)。
4) 上電延時（s）<0.1(S)。
5) 搜索時間（s）<0.3(S)。
6) 拒真率<1%。
7) 認假率<0.001%。
8) 指紋存容量不少于300枚。
5． 人體測溫模塊
1) 工作電壓支持3V~5V；
2) 環(huán)境溫度支持10~40°C；
3) 分辨率：0.1°C
4) 最大允許誤差:
35.0°℃~43.0℃范圍以內(nèi)，±0.2℃
32.0°℃~43.0°℃范圍以內(nèi)，0.3℃"
6． 執(zhí)行器模塊
a) 紅、藍、綠燈各1個。
b) 風扇1個。
7． 圖像識別實驗模塊
1) 模塊須配備不低于2個人偶模型。
2) 模塊須配備不低于3種動物種類模型，至少包括貓、奶牛、狗動物。
3) 模塊須配備不低于2種水果模型，至少包括蘋果和香蕉。
4) 模塊須配備不低于2種交通工具模型，至少包括汽車和摩托車。
8． 實驗器材收納模塊
模塊須配置具有防震、防摔、收納功能的收納箱，支持IP67防水防塵，支持耐溫最低到-10℃最高到80℃。
三、 平臺軟件資源：
1、 操作系統(tǒng)：
1) 邊緣計算終端須支持linux嵌入式操作系統(tǒng)，滿足嵌入式操作系統(tǒng)教學。
2) 邊緣計算終端須內(nèi)置Python3.0以上板本的運行環(huán)境，滿足Python 的AI教學。
3) 邊緣計算終端須內(nèi)置QT、PYQT5的運行環(huán)境，滿足AI的可視化教學。
4) 邊緣計算終端須內(nèi)置語音喚醒、語音識別、語音合成、語音播報的離線SDK，滿足AI的語音技術應用教學。
5) 邊緣計算終端內(nèi)置的AI算法至少包括目標檢測、人臉識別、車牌識別、人臉多屬性分析、人體骨骼關鍵點檢測，滿足AI的基礎應用與開發(fā)教學。（提供功能截圖蓋章佐證）
6) 邊緣計算終端須內(nèi)置人臉多屬性分析算法，具有不少于2個維度的分析結果，比如（表情、是否佩戴眼鏡、是否佩戴口罩、年齡、性別）；（提供功能截圖蓋章佐證）
7) 邊緣計算終端須內(nèi)置人體骨骼關鍵點檢測算法，具有不少于16個關鍵點的檢測。（提供功能截圖蓋章佐證）
2、 端側應用軟件：
1) 應用軟件具有不少于5個內(nèi)置AI算法應用，程序界面應包括攝像頭調(diào)用、圖像采集、算法調(diào)用、結果呈現(xiàn)等功能與代碼對照教學演示，可展開關鍵技術分解教學。在認知和關鍵步驟上進行實際操作，滿足AI的通識教學（提供功能截圖蓋章佐證）。展開的內(nèi)置AI算法應用至少包括物品分類識別、物品目標檢測、人臉識別、車牌識別和人臉屬性識別。
2) 應用系統(tǒng)應不少于3個人工智能綜合項目案例，滿足AI行業(yè)應用實驗教學。
3、算法模型訓練工具：
供可視化模型訓練工具，支持學生零代碼構建高精度模型,支持檢測預訓練模型，載入標注后的數(shù)據(jù)后，工具提供“數(shù)據(jù)預處理”、“數(shù)據(jù)生產(chǎn)”、“訓練參數(shù)配置”、“模型訓練”和“模型驗證”功能（提供功能截圖蓋章佐證）。訓練好的模型無需交叉編譯可直接部署到邊緣計算終端進行端側推理驗證。
4、虛擬仿真實訓軟件：
虛擬仿真實訓軟件是一款功能強大的三維物理仿真平臺，具備強大的物理引擎、高質(zhì)量的圖形渲染、方便的編程與圖形接口。
1）動力學仿真：支持多種高性能的物理引擎，例如ODE、Bullet、SimBody、DART等。
2）三維可視化環(huán)境：支持顯示逼真的三維環(huán)境，包括光線、紋理、影子。
3）傳感器仿真：支持傳感器數(shù)據(jù)的仿真，同時可以仿真?zhèn)鞲衅髟肼暋?br>
4）可擴展插件：支持用戶可以定制化開發(fā)插件，擴展系統(tǒng)功能，滿足個性化的需求。
5）多種機器人模型：內(nèi)置不少于三款機器人模型，包含智能移動機器人、智能搬運機器人、智能復合巡檢機器人等多種機器人模型（提供圖片蓋章佐證）。
6）終端工具：支持用戶可以使用命令行工具在終端實現(xiàn)仿真控制。
7）具備虛擬仿真實驗功能，通過軟件可以運行巡線駕駛、倒車入庫、交通標識識別、障礙物識別等虛擬仿真實驗案例。（提供功能截圖蓋章佐證）。
8）虛擬仿真實訓系統(tǒng)支持開展ROS相關實驗，如定位與地圖構建、路徑規(guī)劃與導航、機器人運動規(guī)劃與控制等。
四、 平臺資源
平臺須配套不少于兩門的課程資源，至少包含《嵌入式人工智能技術應用》、《邊緣智能計算應用》兩門課程。
1、《嵌入式人工智能技術應用》
教學資源須配套《嵌入式人工智能技術應用》課程實訓指導手冊、教學PPT、教學視頻、案例源碼及數(shù)據(jù)集等內(nèi)容。
1）需滿足不低于64課時教學。
2）符合項目式教學模式，每個項目圍繞某一領域工作任務或知識點開展，每個項目中包含2-4個實操任務，每個實操任務滿足約2個課時的實操教學。
3）提供不低于16份實訓指導手冊，每份實訓指導手冊匹配一項實操任務，若該實操任務采用JupyterNotebook方式開展，該實訓指導手冊可以.ipynb格式文件提供，若不是，可以word或pdf格式文件提供。
4）提供不低于16份教學視頻，對實操任務的教學過程進行講解，講解過程清晰，涵蓋實操任務完整過程。
5）提供不低于16份教學PPT。根據(jù)教學內(nèi)容配套，教學課件內(nèi)容須貼合實際教學。
6）提供相關案例源碼及數(shù)據(jù)集文件。
7）教學資源內(nèi)容須涵蓋但不限于以下內(nèi)容：
使用OpenCV實現(xiàn)人臉檢測、使用計算機視覺算法實現(xiàn)圖像識別、利用串口實現(xiàn)邊緣硬件控制、基于人臉檢測算法實現(xiàn)家用設備的控制、基于計算機視覺技術實現(xiàn)稻麥監(jiān)測系統(tǒng)、基于語音識別實現(xiàn)智能家居控制、基于人臉屬性檢測的疫情防控應用開發(fā)。
2、《邊緣智能計算應用》
教學資源須配套《邊緣智能計算應用》課程實訓指導手冊、教學PPT、教學視頻、案例源碼及數(shù)據(jù)集等內(nèi)容。
1) 需滿足不低于64課時教學。
2) 符合項目式教學模式，每個項目圍繞某一領域工作任務或知識點開展，每個項目中包含2-4個實操任務，每個實操任務滿足約2個課時的實操教學。
3) 提供不低于14份實訓指導手冊，每份實訓指導手冊匹配一項實操任務，若該實操任務采用JupyterNotebook方式開展，該實訓指導手冊可以.ipynb格式文件提供，若不是，可以word或pdf格式文件提供。
4) 提供不低于14份教學視頻，對實操任務的教學過程進行講解，講解過程清晰，涵蓋實操任務完整過程。
5) 提供不低于14份教學PPT。根據(jù)教學內(nèi)容配套，教學課件內(nèi)容須貼合實際教學。
6) 提供相關案例源碼及數(shù)據(jù)集文件。
7) 教學資源內(nèi)容須涵蓋但不限于以下內(nèi)容：
a.邊緣計算開發(fā)板基礎應用：開發(fā)板介紹及應用案例體驗、基于OpenCV的USB攝像頭的使用。
b.邊緣計算算法SDK應用：目標檢測算法接口應用、人臉識別算法接口應用、人體關鍵點算法接口應用、車牌識別算法接口應用。
c.基于TensorFlow的圖像上色模型部署：基于TensorFlow的圖像彩色化、TensorFlow模型轉RKNN模型并進行預測。
d.基于Pytorch目標檢測模型部署：基于Pytorch的YOLOv5模型訓練及轉換、ONNX模型文件轉RKNN模型文件、基于YOLOv5的實時檢測模型部署。
e.基于TFLite的手掌檢測模型部署：基于Mediapipe的手勢識別模型轉換、基于RKNN模型的手掌檢測、邊緣端手掌檢測應用的部署和運行。
|
