面向航天測發任務的動作識別與追蹤研究

　　摘要：航天測發任務精度要求高、任務周期長，且長期暴露在陽光直射下。為了提高測發任務的成功率，在虛擬工作環境中進行無接觸式動作標定與較正是一種高效的方式。針對航天工作人員動作的實時檢測與追蹤問題，提出了一種關鍵幀優化的動作識別算法。依據深度圖像中的骨骼數據，提取骨骼特征，并使用特征閾值提取關鍵幀。將關鍵幀的特征數據輸入雙向長短期記憶神經網絡(Bi-directional Long Short-Term Memory)，優化整體動作識別的精確度。數據驅動的骨骼識別與動作追蹤，能有效識別航天工作人員的動作，輔助其更高效、安全地完成測發任務。

　　本文源自任彬; 汪小雨， 系統仿真學報 發表時間：2021-06-30

　　關鍵詞：航天測發任務;骨骼識別;關鍵幀;雙向長短期記憶神經網絡;動作追蹤

　　引言

　　航天測發任務時間長、風險高、光照強度變化劇烈，且需要極高的作業精度。所以，對航天員的動作進行精確識別并加以標定成為了關鍵任務。 Kinect 是微軟推出的一款 Xbox360 主機的體感外設，代表著動力學(Kinetics)與連接(connection)的組合，常用于三維重建和人機交互等應用中。作為一種使用紅外攝像頭的光學感知設備，Kinect 不受光照強度的影響，不需隨身攜帶等優點[1-4]，使其完全能夠勝任檢測航天工作人員動作的任務。 Kinect 的虛實交互手段能夠非常直觀地為航天工作人員展現一個虛擬工作環境[5-7]，為精確判斷真實環境及人員操作提供依據。在對航天測發任務的判定中，Kinect 需獲取航天工作人員信息、標定航天工作人員位置，最終實現航天工作人員動作的檢測與識別。

　　通過在三維空間中測量人體運動的動作數據，可將 Kinect 采集數據輸入計算機處理，構建人體骨骼的運動模型，實現人體骨骼、動作、人臉、語音等識別[8-13]。Alexiadis Dimitrios S 等[14]將 Kinect 應用于評估人體動作，通過對比測量關節信息和標準動作關節信息判斷動作的精確度。尚華強[15]通過 Kinect 獲取人體骨骼信息，運用骨骼信息驅動虛擬人物，完成人體運動仿真。敖琳[16]使用 Kinect 確立靜態姿勢骨骼數據庫，根據數據庫提取人體各關節的三維骨骼信息，用于識別人體動作。國內外研究者將數據挖掘與深度學習算法引入 Kinect 應用，提升其圖像的識別率。Zhu等[19]通過引入深度CNN 網絡訓練長方體模型，證明動作識別的有效性。 Donahue J 等[20]使用融合長時遞歸層和卷積層的長時 遞 歸 卷 積 網 絡 ( Long-term recurrent convolutional，LRCN)實現人體動作識別。

　　本文針對航天測發任務中的動作安全性等問題，提出了關鍵幀優化的 Bi-LSTM 動作識別算法。依據航天工作人員相關動作的人體骨骼數據，獲取骨骼特征。通過引入特征閾值，提取連貫動作中的關鍵幀，優化動作識別的效率與準確度。雙向長短期 記 憶 人 工 神 經 網 絡 (Bi-directional Long Short-Term Memory, Bi-LSTM) [21-23]可實現動作識別與優化，通過 Kinect 數據驅動 Unity3D 完成動作的模擬。此方法能夠實時觀測、模擬與評估特定環境中航天工作人員的特定動作。

　　1 骨骼識別與特征提取

　　1.1 人體骨骼特征提取

　　依據航天工作人員深度圖像，實現骨骼識別，表示為：? ?? ? ? ? , I I I I u v f I x d x d x d x d x ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? (1) 其中，x 為像素值，dI(x)為像素值處于圖像中的深度值，參數 θ=(u，v)，u 與 v 是一對偏移向量， 1/dI(x)是偏移正規化，用于人體尺寸縮放處理[24]。

　　選取 Kinect 獲取的航天工作人員骨骼的 25 個關節點中對人體動作時影響較大的 8 個關節點：左肘、右肘、左腕、右腕、左膝、右膝、左腳踝、右腳踝。計算這 8 個關節點與脊柱底部(1)的距離組成特征。定義為：d1,i(i=6,7,10,11,14,15,18,19)。通過引入脊柱長度 d1,21，消除因身高不同而造成的特征差異，表示為：

　　身高特征 H、實時觀測時頭頂距離腳底的實時高度 h 也為人體重要評估數據，分別表示為：? ? 1 4 1 3 1 5 1 7 1 9 1 + + 2 H d d d ? , , , (3) 4 , (1 9 ,1 5 ) m id h d ? (4) 其中，mid(19,15)為 19、15 的空間坐標中點。通過公式(3)、(4)，消除特征差異，生成 τH、τh。

　　依據不同動作，提取對應角度特征，如圖 2 所示。

　　根據右肩(圖 2 中點 9)、右肘(圖 2 中點 10)、右腕(圖 2 中點 11)的坐標，可求出其關節向量：? ? ? ? 1 1 1 0 1 0 1 0 1 0 1 1 1 1 1 1 n x y z x y z ? ? , , , , (5) ? ? ? ? 9 1 0 1 0 1 0 1 0 9 9 9 n x y z x y z ? ? , , , , (6) 依據關節向量，求得其角度特征： 9 1 1 1 0 1 0 9 1 1 1 0 1 0 a rc c o s R H ? ? n n n n (7)

　　依據骨骼數據共提取 9 個長度特征和8 個角度特征，如圖 3 所示。

　　9 個長度特征和 8 個角度特征，加上身高特征 τH。共 10 個長度特征與 8 個角度特征。定義為： 1 , 6 1 ,1 9 , , , , , , , H h L B R X F ? ? ? ? ? ? ? ? ?? ? (8)

　　1.2 人體動作的關鍵幀

　　關鍵幀是一個人在一個動作中體現肢體變化的幀。一個動作中，動作骨骼數據過于密集，前后幀之間變化過小，不利于動作識別。因此，通過提取關鍵幀的方法篩選關鍵數據，用于提升動作識別的準確度與效率。

　　第一步，將第一幀作為第一個關鍵幀索引值;第二步，重置角度誤差累計值 Sum;第三步，計算前后兩幀 αj=[αLBj,…,αRXj]、 αk=[αLBk,…,αRXk]的角度誤差值 St，將 St累計至 Sum，表示為：? ? ? ? 2 2 t L B k L B j R X k R X j S ? ? ? ? ? ? ? ? ? (9) t S u m S u m S ? ? (10)

　　第四步，逐幀累計至第 n 幀時，若 Sum 超過特征閾值 sum_s，則 n 為下一個關鍵幀的索引值，并將第 n+1 幀設為下一關鍵幀初始，返回第二步。

　　最后，依據索引位置提取出動作識別所需關鍵幀;使用關鍵幀的特征 F 實現動作識別。

　　2 Bi-LSTM 算法中的動作識別

　　人體動作的骨骼數據包含明顯的時序特征。依據提取的關鍵幀骨骼數據的特征，搭建 Bi-LSTM 分類器，用于分類識別動作。

　　神經網絡輸入為某個動作的骨骼特征數據。每個動作的數據包含 7 到100 幀不等的關鍵幀對應數據。每個關鍵幀數據為對應幀的 18 維骨骼數據 F。輸入網絡之前需要刪除無效數據。

　　將處理后數據輸入 Bi-LSTM 分類器訓練，用于動作識別，如圖 4 所示。

　　本文采用基于時間序列的神經網絡，并使用實際 Kinect 采集的數據，驗證訓練網絡的準確性。

　　該數據集包含 60 種人類動作(40 類日常動作、 9 類健康動作、11 類雙人動作)與 56880 個視頻樣本，比如：站立、坐下、揮手、跳躍等。該數據集通過三個角度采集志愿者的深度信息、骨骼信息等。本文采用數據集中的 3D 骨骼(身體節點，如圖 1 所示)數據驗證動作的準確性。

　　航天測發任務中，航天工作人員動作較為繁瑣，且經常需要樣本采集等工作。該動作中，工作人員從操控工位出發到獲取采集樣本的過程共經過站立→指向(樣本)→單手揮手(揮手示意)→ 拾取(樣本)→雙手握持(樣本)→雙手并舉(樣本)→行走→坐下等過程。在該動作的整個流程中，由于缺失重力，行走等動作不具有代表性。選取其中具有代表性的 7 個動作進行識別，包括：站立、坐下、拾取、指向、單手揮手、雙手握持、雙手并舉。

　　選取 NTU-RGB+D 數據集中 7 個航天測發任務相關動作數據，提取骨骼特征并識別關鍵幀，作為訓練集輸入 Bi-LSTM 模型。7 個動作共 2341 個時間段數據。訓練模型中，設置學習率為 0.0001，隱藏單元為 100，以小批量 20 訓練 100 次。

　　使用 Kinect 采集的實時數據作為測試集驗證訓練模型。

　　使用 Kinect 采集圖像，用于獲取人體骨骼數據，如圖 6 所示。分別采集 5 個人的站立、坐下、拾取、指向、單手揮手、雙手并舉、雙手握持等 7 個動作，標記為動作 1~7。每個動作均采集 100 組數據。

　　采集獲取 7 種動作骨骼，如圖 6 所示。通過對 700 組數據進行特征與關鍵幀提取，獲得關鍵幀特征數據，用于驗證算法模型對動作的識別準確率。

　　Kinect 采樣頻率為 90ms/次。設置閾值 sum_s 在 0.1~0.25 之間以 0.01 為梯度提取關鍵幀，每段時間的關鍵幀個數為 7 至 100 幀不等，如表 3 所示。

　　由表 3，分析可得如下結論：

　　(1)sum_s = 0，通過原始數據訓練 Bi-LSTM 模型。由于相鄰幀數據變化量過小，數據可辨別性缺失，在此學習率與訓練批量下動作識別率為 0。應降低學習率或降低訓練批量，用于提高訓練次數，完成識別。但這會大幅度增加識別時間，與真實航天測發任務要求相違背;

　　(2)動作 1、動作 2、動作 3、動作 7 識別率穩定在 0.9 左右，識別率高，識別相對容易;

　　(3)sum_s 低于 0.13 或高于 0.16 時，動作 4 識別率過低，不適合。故閾值在 0.13~0.16 之間識別率達到最佳。

　　取 sum_s = 0.14 。 對相 同 訓 練 參 數 下 的 LSTM[23]、雙層 LSTM[25]、GRU[26]、雙層 GRU[27]、 LRCN[20]訓練模型進行對比驗證。

　　表 4、表 5 分別為 6 種模型的動作識別率與綜合識別率。圖 7、圖 8、圖 9 分別為 LSTM、雙層 LSTM、Bi-LSTM 三種模型的動作識別混淆矩陣。

　　分析得出如下結論：

　　(1)LRCN 是將 CNN 融入 LSTM，需對數據進行時間同步化處理：依據最短時間步長，對整體數據幀率進行分割。分割后，數據丟失率過高，算法不收斂;

　　(2)對于動作 1，識別率 Bi-LSTM > 雙層 LSTM > LSTM > GRU > 雙層 GRU;

　　(3)對于動作 2、動作 3，5 種網絡模型的識別率均較高;

　　(4)對于動作 4，識別率 Bi-LSTM > 雙層 LSTM > LSTM > 雙層 GRU > GRU。依據圖 7~圖 9，LSTM 與雙層 LSTM 較容易將動作 4 識別為動作 5 或動作 6，而在 Bi-LSTM 中，識別錯誤率明顯減少;

　　(5)對于動作 5、動作 6，5 種模型識別率接近，在 0.65~0.81 之間;

　　(6)對于動作 7，識別率 Bi-LSTM > 雙層 GRU ≈ LSTM > GRU ≈ 雙層 LSTM。Bi-LSTM 識別率顯著提高;

　　(7)綜合識別率：Bi-LSTM > 雙層 LSTM ≈ LSTM > GRU > 雙層 GRU > LRCN。其中，LRCN 算法不適合數據驅動的動作識別，Bi-LSTM 在識別動作中達到最優。

　　針對航天工作人員，Kinect 數據驅動動作識別的算法中，Bi-LSTM 的綜合識別率最高。7 種動作中，站立、坐下、拾取動作的識別率較高，在 0.9~1 之間;單手揮手、雙手并舉動作的識別率在 0.7~0.8 之間;對于指向與雙手握持動作，Bi-LSTM 算法的識別率明顯優于其他算法，且在關鍵幀提取特征閾值 sum_s = 0.13~0.16 時收斂。

　　3 數據驅動的 Kinect 動作追蹤

　　移動 Kinect 設備，使人體在其視野中位于最佳位置，以 Kinect 數據驅動 Unity3D 人體模型實現動作追蹤。通過在 Unity 中建立一個虛擬人物模型與控制器腳本，將 Kinect 實時測得的人體數據與 Unity3D 中的環境變量綁定，實現虛擬人物模型對于實驗者動作的實時模擬。

　　Kinect 的視野呈錐形，對人體的識別有一個最佳識別區(距離 Kinect 0.8m 到 4m 的距離，橫向左右各為 2.5m，高度上下各 2m)。如圖 10 所示，調節 Kinect 離地高度為 0.9m，距離人體距離為 2.4m，使人體剛好位于視野正中央。

　　圖 11(a)為普通相機采集的動作數據，通過 Kinect 獲取圖 11(b)所示深度數據與圖 11(c)所示骨骼數據。依據骨骼數據與算法，識別動作為坐下;最終利用數據在 Unity3D 中實現動作模擬，如圖 11(d)所示。

　　通過 Kinect 數據驅動 Unity3D 人體模型，不僅能對航天工作人員的當前行為進行判斷，而且能對特殊環境中工作人員的動作進行模擬規劃，避免危險事故的發生。

　　4 結論

　　針對航天測發任務中的動作安全性等問題，提出了關鍵幀優化的 Bi-LSTM 動作識別算法。并借由 Unity3D 平臺，實現了對動作的模擬。具體包括：

　　(1)確定航天測發任務，通過人體骨骼數據特征，實現關鍵幀提取;

　　(2)針對原始數據辨別性差、訓練時間長的問題，使用關鍵幀數據實現對航天工作人員的動作識別;

　　(3)針對人體動作識別精度不高的問題，使用 Bi-LSTM 神經網絡分類器，提高航天工作人員常規 7 個動作的識別精確度。

　　在航天測發任務中，需要及時判斷工作人員的動作是否安全、是否符合標準，也需要在特殊環境中對工作人員進行動作規劃，輔助其更高效、安全地完成相關作業。本文提出的動作識別與追蹤方法，為檢測航天工作人員動作、標定航天工作人員位置、獲取航天工作人員信息，提供了一種解決思路。