美開發OpenMonkeyStudio，基于深度學習研究獼猴的3D姿勢

明尼蘇達大學的研究人員最近開發了OpenMonkeyStudio，這是一個基于深度學習的運動捕獲系統，可用于研究自由移動的獼猴的行為。該系統發表在《自然通訊》上的一篇論文中，可以估計獼猴3-D自由移動的姿勢，這對于研究動物彼此之間，以及與周圍環境的相互作用特別有價值。在這種情況下，“姿勢”一詞是指動物的主要身體部位相互之間以及周圍環境的位置。

OpenMonkeyStudio旨在以3D方式重建13個人體標志。該系統具有62個攝像頭，環繞著一個大的開放空間，可以從各個有利位置同步捕捉獼猴的運動。彩色跡線對應于關節標簽。顯示了多視點圖像和與重建的投影疊加的四個任意裁剪的圖像。圖片來源：Bala等。

為了更好地了解人類的行為和認知，以及它們的神經基礎，研究人員經常研究具有類似特征的其他哺乳動物。這些研究中最常見的物種之一是恒河猴，這是一種古老的猴子，原產于南亞，中亞和東南亞。

恒河猴作為無數神經科學，心理學醫學和人類學研究的動物模型，因為它們與人類共享許多行為模式和生物學特征。例如，它們被證明對研究感染中風，艾滋病和其他健康狀況有用。

研究人員在論文中解釋說：“目前，可以通過基于商業標記的運動捕捉系統（例如，Vicon，OptiTrack和PhaseSpace）完成高精度的姿勢預測，” “但是，獼猴特別不適用于這些基于標記的系統。”

由于多種原因，大多數使用標記的傳統捕獲系統很難應用于獼猴。首先，獼猴的皮毛長而致密，這使標記物的附著特別具有挑戰性，并且隨著動物在周圍環境中的行動，高度靈活的皮膚會導致標記物移動。此外，由于獼猴是高度敏捷和好奇的生物，因此它們通常會嘗試去除標記，并在被迫穿緊身衣或夾克時感到非常不舒服。

因此，研究人員一直在嘗試設計新的運動捕捉系統，從而不依賴可有效跟蹤獼猴運動的標記。盡管基于深度學習的圖像中，人體姿勢預測技術可能是可行的解決方案，但它們通常需要大量的訓練數據才能表現良好，有時還需要手動對其進行注釋。

明尼蘇達大學團隊開發的OpenMonkeyStudio，是用于3D姿勢估計的無標記系統，它使用完全監督的學習方法進行訓練。與先前提出的用于跟蹤獼猴運動的深度學習技術相反，該系統不需要在大量現有的手動注釋數據集上進行訓練。

研究人員在論文中寫道：“我們的系統使用62臺攝像機，這些攝像機可提供多視圖圖像流，這些圖像流可通過利用3-D多視圖幾何來顯著擴展注釋數據。” “盡管如此大量的攝像頭對于訓練姿勢檢測器至關重要，但生成的模型可以在攝像頭較少的其他系統中使用（例如，由其他實驗室使用），而無需進行訓練。”

研究人員通過一系列涉及四只雄性恒河猴的實驗，對OpenMonkeyStudio進行了評估。在這些測試中，他們的系統達到了驚人的精度，優于當今市場上一些最佳的基于標記的運動捕捉系統（即OptiTrack，NaturalPoint，Corvallis和OR）。此外，發現OpenMonkeyStudio可以很好地概括不同獼猴，并且還可以同時跟蹤兩個對象的運動。

除了開發可以幫助研究獼猴行為的運動捕捉系統之外，研究人員還編譯了一個新的數據集，其中包含195,228個帶注釋的圖像，稱為OpenMonkeyPose。將來，該數據集（可在GitHub上獲得）可用于訓練基于深度學習系統，以跟蹤恒河猴的運動。