人工智能邊緣計算開發實戰：基於NVIDIA Jetson Nano（簡體書）

本書選取當下大熱的AIoT（人工智能物聯網）為應用場景，以NVIDIA Jetson Nano為硬件平臺，系統介紹了人工智能的開發知識，重點講解了人工智能中邊緣計算技術的應用。首先介紹了NVIDIA Jetson Nano開發平臺和開發環境的配置，然後通過具體的案例介紹了人工智能邊緣計算在物體檢測、深度學習等領域的應用。
本書適合人工智能初學者、嵌入式開發技術人員、對人工智能技術感興趣的青少年及創客教師自學使用，同時也可用作高等院校人工智能相關專業的教材及參考書。

本書具有如下特色：
1.內容新穎實用。對於人工智能這種高端學科來說，知難行易，比較好的學習方式就是上手實踐。本書將高大上的人工智能技術拉下神壇，通過不同應用場景下的實實在在的案例來實現人工智能，使讀者能夠更具體地感受人工智能的魅力。
2.講解細致，通俗易懂。書中不會基於學理去探索各種AI技術的內容，沒有任何數學公式的解說，不過分關注與分析各種神經網絡和深度學習框架，只要跟著一步步實踐起來，就能從中有所收獲。
3.配套資源豐富，贈送教學視頻、所有程序源代碼、開發軟件工具包等，方便讀者學習與練習。

人工智能是一種計算的技術，必須依附在可執行人工智能計算的設備上，才能成為可落地的應用，而“邊緣智能設備”是最具有發展前景的搭配載體，其也成為近年來最被看好的產品，於是“在邊緣智能設備上開發人工智能應用”就成為最具有商業價值的新藍海，掌握這方面的技能就能為自己創造大好的前景。
絕大部分人的困擾點在於“缺乏足夠的人工智能知識，能開發智能應用嗎？”
好消息是，只要找到提供完整開發生態的設備，即便是不具備人工智能技術的人，跟著本書的內容扎扎實實地操作，也有機會在兩周內獨立完成（如下圖）性能優異的智能視頻分析應用，能在所設定的區域內、跨越線內，實時統計行人、車輛的數量與行走、行駛的方向，這是一個實用價值很高的商業應用。
本書面向應用開發人員，即專注於使用場景與流程管理的工程師，對他們來說找到一種具備完整開發生態的設備至關重要，即便不了解人工智能、深度學習、神經網絡這些煩瑣的理論知識，也不熟悉TensorFlow、PyTorch這些框架，依舊可以輕鬆自如地開發出性能優異的人工智能應用，這是本書的重點。
目前在所有具備智能計算的眾核（many cores）架構設備中，英偉達（NVIDIA）基於CUDA（統一計算設備架構）的開發生態是最完整的，並具備“高效/易用/兼容”三大特性，只要具備基本的計算機知識與Python編程技巧，然後跟著本書的節奏就能輕鬆開發出視覺類的人工智能應用，正常情況下大約能在兩周內完成上圖所示的高級智能視頻分析應用。
本書使用英偉達Jetson系列AIoT（人工智能物聯網）邊緣計算設備作為學習平臺，並且以性能最弱的Jetson Nano 2GB進行示範，所有內容均適用於Jetson全系列AIoT設備，包括國內很多第三方廠商所生產的設備，主要有以下3個用意。
① 低成本：包括設備的成本與配置開發環境的時間成本。
② 適用性廣：體積緊湊並提供豐富的周邊接口，能滿足更多使用場景。
③ 商業價值大：具備根據環境因素自主決策動作的能力，能應用於飛行（無人機）、陸行（無人車）、機械手臂（機器人）等高商業價值的領域。
為了幫助讀者按部就班地掌握AIoT的開發資源，本書內容分為4部分9章，主要內容如下。
（1）基礎開發資源
第1章　說明深度學習的深度神經網絡與眾核架構的關係；
第2章　用Jetpack為Jetson設備一步到位地安裝完整的開發環境；
第3章　在Jetpack開發環境中，調用各種攝像頭與計算機視覺工具實現人臉、眼睛定位。
（2）深度學習入門
第4章　基於英偉達“Hello AI World”項目快速實現高性能的深度學習推理應用；
第5章　基於英偉達“Hello AI World”項目簡單訓練自己的深度學習模型；
第6章　在Jetson中用YOLO算法與Darknet框架，訓練自己的“口罩識別”模型。
（3）智能應用開發
第7章　用deepstream-app工具配合設置文件，開發簡單的視覺類智能分析應用；
第8章　用Python語言基於DeepStream套件，開發自主的視覺類智能分析應用。
（4）智能小車應用
第9章　用Jetson Nano搭建Jetbot無人車模擬系統（需要額外配件）。
科學存在知難行易的法則，最好的學習方式就是以“使用場景”作為起點，然後觀察解決這個問題需要使用哪些技術，再有針對性地找到可用的技術資源，加以應用即可，這是最實際的學習流程。畢竟人工智能的發展已經超過70年，涵蓋幾乎整個信息領域高深的知識與技術。
讀者只需要一臺英偉達Jetson系列的AIoT設備，就能在兩周內輕鬆學會前3部分（第1～8章）的內容，並且掌握深度學習的模型訓練與推理識別兩大板塊的技術。即便讀者從未學過任何神經網絡的算法，不熟悉TensorFlow、PyTorch這些複雜的機器學習框架，也不會對閱讀本書形成障礙。
最後的智能小車部分是很有價值的延伸應用，不過需要額外的車架、電機、控制板、供電設備的配合。提供了全部完整的執行腳本，對用戶實現了零代碼。用戶只要組裝好車體，就能非常輕鬆地操控無人車進行模擬任務。
通過這樣的內容安排，能讓讀者在最短的時間內，輕鬆地學會開發具有實用價值的AIoT人工智能應用，快速躋身人工智能應用開發的技術人員行列。

編著者　

第1章　初識邊緣AI計算 001
1.1　人工智能驅動的邊緣計算 002
1.2　適配深度神經網絡的眾核架構 003
1.3　選擇合適的人工智能學習平臺 006
1.4　英偉達的“高效/易用/兼容”開發生態 009
1.5　學習邊緣AI計算從Jetson上手 012
1.6　Jetson的AIoT成功案例與配套資源 015
1.7　本章小結 017

第2章　為Jetson設備安裝開發環境 019
2.1　Jetpack提供完整的AIoT開發資源 019
2.2　用Jetpack安裝Jetson設備 022
2.3　首次啟動Jetson設備 026
2.4　遠程控制Jetson設備 027
2.5　檢查系統狀態的基礎指令 031
2.6　監控與調試Jetson設備的性能 032
2.7　配套的輔助工具 034
2.8　本章小結 036

第3章　體驗Jetpack開發環境 037
3.1　CUDA並行計算的加速性能 037
3.1.1　編譯CUDA samples 038
3.1.2　nbody（粒子碰撞模擬） 038
3.1.3　oceanFFT（海洋波動模擬） 040
3.1.4　smokeParticles（煙霧粒子光影模擬） 041
3.2　高階計算機視覺開發工具包 041
3.2.1　VisionWorks工具包與範例 042
3.2.2　VPI簡介 047
3.2.3　VPI簡易Python範例 050
3.3　攝像頭的選擇與調用 053
3.3.1　GStreamer流媒體框架 054
3.3.2　V4L2 應用庫 055
3.3.3　libargus 應用庫 056
3.4　檢測攝像頭 057
3.4.1　用v4l2-ctl檢測攝像頭參數 057
3.4.2　用NvGstCapture啟動攝像頭 059
3.4.3　用gst-launch啟動攝像頭 060
3.5　好用的OpenCV計算機視覺庫 061
3.5.1　通過UVC調用USB攝像頭 062
3.5.2　通過GStreamer調用CSI攝像頭 063
3.5.3　體驗三種計算機視覺算法 064
3.5.4　簡易的人臉定位應用 066
3.5.5　簡易的眼睛定位應用 067
3.6　本章小結 068

第4章　深度學習之推理識別 070
4.1　智能視覺類三大基礎應用 071
4.1.1　圖像分類（image classif?ication） 071
4.1.2　物體檢測（object detection） 073
4.1.3　語義分割（semantic segmentation） 074
4.2　進入Hello AI World 076
4.2.1　完整的深度神經網絡（DNN）視覺庫 076
4.2.2　主要功能模塊 078
4.2.3　安裝Hello AI World項目 079
4.3　立即體驗深度學習推理效果 081
4.3.1　總體參數選項說明 082
4.3.2　imagenet成批圖像的分類檢測 084
4.3.3　imagenet的參數說明 086
4.3.4　detectnet物體檢測指令 088
4.3.5　其他深度學習推理應用 091
4.4　用Python開發自己的深度學習推理應用 094
4.4.1　10行代碼的物體識別應用 094
4.4.2　獲取推理檢測的信息 095
4.4.3　添加參數解析功能，擴大適用範圍 097
4.5　jetson.utils視覺處理工具 100
4.5.1　videoSource()負責全部輸入源處理 101
4.5.2　videoOutput() 負責全部輸出處理 104
4.5.3　簡單的輸入/輸出範例 105
4.5.4　RTP/RTSP視頻流轉向應用 106
4.6　本章小結 109

第5章　深度學習之模型訓練 110
5.1　調試Jetson的模型訓練環境 111
5.2　圖像分類的模型訓練 113
5.2.1　整理圖像分類的數據 113
5.2.2　用train.py執行訓練模型 114
5.2.3　用訓練好的模型執行推理識別 117
5.2.4　從ImageNet獲取圖像 119
5.3　目標檢測的模型訓練 122
5.3.1　從Open Images獲取目標檢測數據 123
5.3.2　train_ssd.py參數說明 126
5.3.3　執行目標檢測的模型訓練 128
5.3.4　模型訓練的參數與時間比較 131
5.3.5　轉成ONNX格式進行推理識別測試 131
5.4　更豐富的數據集資源 134
5.4.1　VOC目錄結構與標注格式 134
5.4.2　從VOC數據集提取所需要的類別 136
5.4.3　從COCO數據集抽離類別並轉成VOC格式 138
5.4.4　從ImageNet數據集抽離類別並轉成VOC格式 140
5.4.5　匯總多種數據集來源進行模型訓練 140
5.5　對自己收集的數據進行標注 141
5.5.1　手動收集圖像數據 141
5.5.2　圖像標注工具 142
5.5.3　標注過程需要注意的重點 144
5.6　本章小結 146

第6章　在Jetson上執行YOLO算法 147
6.1　YOLO神經網絡簡史與算法演進 147
6.2　搭配YOLO算法的Darknet框架 150
6.2.1　安裝Darknet框架 150
6.2.2　Darknet使用說明 152
6.2.3　執行YOLO目標檢測的推理計算 154
6.3　用Darknet訓練YOLO口罩識別模型 157
6.3.1　在Jetson使用YOLOv4-Tiny訓練模型 158
6.3.2　整理數據集與格式轉換 159
6.3.3　修改YOLOv4-Tiny網絡結構文件 161
6.3.4　執行訓練模型的步驟 163
6.3.5　檢測口罩識別模型的效果與性能 165
6.4　調用Darknet的Python接口提取識別內容 168
6.4.1　darknet_video.py的使用方法 168
6.4.2　修改darknet_images.py獲取所識別物體的信息 170
6.4.3　用darknet_video.py獲取識別物件信息 172
6.5　本章小結 173

第7章　上手DeepStream智能分析工具 175
7.1　基於GStreamer框架的DeepStream 177
7.1.1　GStreamer框架簡介 177
7.1.2　GStreamer通道結構的組件與襯墊 179
7.1.3　GStreamer箱柜的管理機制 180
7.2　DeepStream的運作體系 183
7.2.1　DeepStream的功能組件 183
7.2.2　DeepStream的數據流 186
7.2.3　DeepStream組件與硬件引擎之對應 189
7.3　執行DeepStream經典範例 191
7.3.1　安裝DeepStream 開發套件 191
7.3.2　deepstream-app範例簡介 193
7.3.3　deepstream-app配置文件與相關資源 194
7.3.4　開始deepstream-app實驗 197
7.4　深入deepstream-app配置文件設置組 200
7.4.1　系統類設置組 201
7.4.2　輸入源設置組 202
7.4.3　預處理設置組 205
7.4.4　智能計算設置組 206
7.4.5　信息匯總之視覺顯示設置組 209
7.4.6　信息匯總之IoT傳送設置組 211
7.5　deepstream-app更多應用 213
7.5.1　添加多個輸入源 214
7.5.2　調整顯示輸出的細節 216
7.5.3　目標跟蹤功能 217
7.5.4　多神經網絡的組合識別 219
7.6　本章小結 221

第8章　開發DeepStream應用 223
8.1　開始DeepStream的Python應用 223
8.1.1　配置DeepStream的Python開發環境 224
8.1.2　從deepstream-test1上手 226
8.1.3　創建DeepStream應用的7步驟 228
8.2　DeepStream的輸入與輸出 230
8.2.1　添加USB攝像頭 231
8.2.2　添加多路多類型輸入源功能 233
8.2.3　動態增減數據源 235
8.2.4　添加RTSP視頻流輸出 236
8.3　DeepStream的智能計算插件 240
8.3.1　nvinfer推理插件的角色與工作原理 240
8.3.2　nvinfer控制參數與配置文件 242
8.3.3　nvtracker目標跟蹤算法 246
8.3.4　nvtracker控制參數與配置文件 248
8.4　DeepStream的智能範例說明 249
8.4.1　deepstream-test2多神經網絡組合識別 249
8.4.2　導入自定義YOLO神經網絡插件 251
8.4.3　視頻動態遮蔽私密信息 254
8.4.4　中文車牌號識別 257
8.4.5　善用NGC豐富的預訓練模型資源 262
8.5　DeepStream的統計分析插件 263
8.5.1　nvdsanalytics插件工作流與元數據 264
8.5.2　nvdsanalytics的配置文件 266
8.5.3　執行deepstream-nvdsanalytics範例 267
8.6　性能優化基本原則 270
8.7　本章小結 271

第9章　Jetbot智能車學習系統 273
9.1　安裝Jetbot操作環境 274
9.1.1　用鏡像文件燒錄 275
9.1.2　在Jetson用腳本安裝 275
9.1.3　下載容器鏡像安裝（推薦） 277
9.1.4　檢測環境：登錄Jupyter操作界面 277
9.2　安裝無線網與配置Wi-Fi連線 278
9.2.1　安裝無線網卡 278
9.2.2　為Jetbot配置獨立的無線連接方式 280
9.2.3　將Jetbot無線網卡設置為熱點 280
9.2.4　將控制臺PC無線網卡設置為熱點 282
9.2.5　通過便攜無線路由器協助 283
9.3　組裝Jetbot智能車所需要注意的細節 284
9.3.1　非標準件的注意細節 285
9.3.2　OLED顯示屏的選型與處理 287
9.3.3　TT電機的選購與測試 288
9.4　跑動Jetbot 289
9.4.1　基本運動（basic_motion） 290
9.4.2　遊戲搖桿控制（teleoperation） 293
9.5　避撞功能 295
9.5.1　Jetbot環境識別原理 295
9.5.2　現場演示（live_demo） 297
9.5.3　數據采集 302
9.5.4　模型訓練 304
9.6　剖析Jetson的40針引腳 304
9.6.1　分清楚GPIO與SFIO的不同 306
9.6.2　jetson-io引腳配置工具 308
9.6.3　Jetson.GPIO應用開發庫 309
9.7　淺談I2C總線與周邊設備 311
9.7.1　I2C總線的特性 311
9.7.2　i2c-tools總線檢測工具 312
9.7.3　Jetbot控制OLED顯示屏的代碼 314
9.7.4　Jetbot的控制元件與代碼 315
9.8　本章小結 317