用單顆芯片實現(xiàn)出色的處理性能、能效和安全性
研究發(fā)現(xiàn)，我們?nèi)祟惿瞄L與外界進行可視化互動，因為我們處理視覺圖像的速度遠遠快于其它形式的媒介，如書面文字。增強現(xiàn)實（AR）跟虛擬現(xiàn)實（VR）比較類似，能幫助我們更好地體驗周邊環(huán)境，二者的主要區(qū)別在于AR 能通過文字或其它視覺信息實現(xiàn)自然界的增強，從而讓我們更加安全高效地在自然環(huán)境中實現(xiàn)互動，而VR則能讓我們浸入在綜合創(chuàng)建的環(huán)境中。增強現(xiàn)實和虛擬現(xiàn)實相結(jié)合通常被稱為混合現(xiàn)實（MR）。許多人已經(jīng)在日常生活中接觸過AR 了，但卻沒有意識到，比方說我們用移動設(shè)備實現(xiàn)街道導航或者玩Pokémon Go這樣的 AR 游戲。
圖1 - 虛擬現(xiàn)實、增強現(xiàn)實和混合現(xiàn)實。
抬頭顯示器（HUD）就是 AR 及其應(yīng)用的一個很好的例證。就比較簡單的 AR 應(yīng)用而言，諸如HUD用于航空和汽車應(yīng)用領(lǐng)域，可讓駕駛?cè)藛T無需低頭看儀表盤就能直接了解車輛信息。有的AR 應(yīng)用可提供更高級的功能，比方說可穿戴技術(shù)（通常稱為智能AR），Tractica預(yù)計這樣的高端應(yīng)用到 2020 年將實現(xiàn) 23 億美元的市值。
增強現(xiàn)實有助于改善我們的生活AR正全面進軍工業(yè)、軍事、制造、醫(yī)療和商業(yè)等各個不同應(yīng)用領(lǐng)域，顯著改善我們的生活。在社會商業(yè)領(lǐng)域，AR 用于社交媒體應(yīng)用，可添加生物信息，甚至能識別每個人。
許多 AR 應(yīng)用需要操作人員佩戴智能眼鏡。智能眼鏡通過取代手動作業(yè)或者提供零部件組裝信息等，可大幅提高制造業(yè)的工作效率。在醫(yī)療領(lǐng)域，智能眼鏡能分享病例以及創(chuàng)傷和損傷細節(jié)等，從而讓抵達現(xiàn)場的急救人員獲得必要信息，隨后再提供給急診室。
圖2 - 智能眼鏡用于工業(yè)領(lǐng)域的實例。
一家大型快遞公司目前正采用AR智能眼鏡讀取包裹條碼。掃描條碼后，智能眼鏡能通過 Wi-Fi 連接與公司服務(wù)器通信，明確包裹的最終目的地。知道目的地后，智能眼鏡能告知包裹應(yīng)該堆放在什么位置，以便發(fā)運。
除了考慮最終應(yīng)用之外，AR 解決方案還要考慮性能、安全性、功耗、面向未來等一系列要求。不同要求之間可能會存在沖突，因此設(shè)計人員必須同時考慮到所有這些要求，力爭推出最佳AR 系統(tǒng)解決方案。
利用AR系統(tǒng)贏得成功復雜的 AR 系統(tǒng)要求能夠連接多個攝像頭傳感器并處理其提供的數(shù)據(jù)，以便了解周圍環(huán)境。這些攝像頭傳感器可能要處理電磁（EM）頻譜的不同頻段信息，包括紅外線或近紅外線等。此外，就像 MEMS 加速計和陀螺儀一樣，傳感器可能提供 EM 頻譜之外的信息，結(jié)合全球衛(wèi)星導航系統(tǒng) (GNSS) 提供的位置數(shù)據(jù)，可檢測移動和旋轉(zhuǎn)情況。對不同類型傳感器進行傳感器融合的嵌入式視覺系統(tǒng)統(tǒng)稱為異構(gòu)傳感器融合系統(tǒng)。
AR系統(tǒng)還需要實現(xiàn)高幀率，能逐幀進行實時分析，從而提取和處理每幀所含的信息。能否為系統(tǒng)提供處理功能，滿足上述要求，這就成了組件選擇的一個決定性因素。
圖3 - 增強現(xiàn)實系統(tǒng)剖析
設(shè)計人員還可將All Programmable Zynq®-7000 SoC或Zynq®UltraScale+™MPSoC用作AR處理系統(tǒng)的核心。這些 SoC將 ARM®處理器和高性能可編程邏輯完美結(jié)合在一起，本身就是異構(gòu)化處理系統(tǒng)。作為新一代Zynq-7000 SoC 的 Zynq UltraScale+ MPSoC還采用了 ARM®Mali-400 GPU，該系列產(chǎn)品中有些產(chǎn)品還采用了硬化的視頻編碼器，能支持 H.265 和 HEVC 高效視頻編碼標準。
上述復雜器件有助于設(shè)計人員對其系統(tǒng)架構(gòu)進行細分，優(yōu)化利用處理器進行實時分析，并把傳統(tǒng)處理器任務(wù)轉(zhuǎn)交給生態(tài)系統(tǒng)來完成。設(shè)計人員可運用可編程邏輯來支持傳感器接口和處理功能。這樣做的好處包括：
·可根據(jù)應(yīng)用要求，并行實現(xiàn) N 個圖像處理流水線。
·支持任意連接，能定義和連接任何傳感器、通信協(xié)議或顯示標準，確保靈活性和未來升級路徑。
支持嵌入式視覺和機器學習
為實現(xiàn)圖像處理流水線和傳感器融合算法，開發(fā)人員可采用支持嵌入式視覺和機器學習應(yīng)用的reVISION™加速堆棧。reVISION主要是在軟件定義的 SoC 或 SDSoC™工具集環(huán)境中開發(fā)的，能讓設(shè)計人員采用OpenVX 等業(yè)界標準框架實現(xiàn)視覺處理、OpenCV 計算機視覺庫和Caffe Flow 的跨平臺加速，以滿足處理器系統(tǒng)和可編程邏輯的要求。reVISION可加速大量 OpenCV函數(shù)（包括核心 OpenVX 函數(shù)）。
reVISION還支持在可編程邏輯中直接用Caffe prototxt 文件實現(xiàn)機器學習推斷引擎，這就能采用業(yè)界標準框架，不僅可縮短開發(fā)時間，盡可能減少高級系統(tǒng)模型和設(shè)計成品之間的差距，同時還可打造出響應(yīng)速度更快、能效更高（單位功耗像素更高）的靈活解決方案，而這一切要歸功于處理系統(tǒng)和可編程邏輯的完美結(jié)合。
圖4 – reVISION堆棧。
設(shè)計人員還必須考慮AR 系統(tǒng)的獨特因素，其不僅要連接攝像頭和傳感器以觀察周邊環(huán)境并根據(jù)應(yīng)用要求和使用情況執(zhí)行算法，而且還要跟蹤用戶的眼部，明確他們看什么東西，往什么方向看。這通常要采用額外的攝像頭來實現(xiàn)，既要觀察用戶面部，又要實現(xiàn)眼部跟蹤算法，讓AR 系統(tǒng)能跟蹤用戶的視線，從而確定向 AR 顯示屏提供什么內(nèi)容，并高效利用帶寬，確保處理要求得到滿足。執(zhí)行這種檢測和跟蹤工作可能是一項高計算強度的任務(wù)，可用reVISION實現(xiàn)加速。
高度關(guān)注便攜式設(shè)備的功耗問題
大多數(shù) AR 系統(tǒng)具有可移植性、不受限制性，而且許多情況下可搭配可穿戴產(chǎn)品，如智能眼鏡。這就帶來了獨特的挑戰(zhàn)，需要在功耗要求嚴格的環(huán)境中完成處理工作。Zynq-7000 SoC 和 Zynq UltraScale+ MPSoC 系列產(chǎn)品都能提供最佳單位功耗性能，進一步降低工作期間的功耗，為此可采用不同選擇，如讓處理器進入睡眠狀態(tài)，工作時候再喚醒，這可讓器件上一半的可編程邏輯斷電。檢測發(fā)現(xiàn)未被使用就進入睡眠狀態(tài)，這樣AR 系統(tǒng)的電池使用壽命會延長。
在 AR 系統(tǒng)工作期間，當前未使用的處理器元件可采用門控時鐘來降低功耗。設(shè)計人員可根據(jù)簡單的設(shè)計原則實現(xiàn)可編程邏輯元件的極高效電源解決方案，包括高效利用硬宏、認真規(guī)劃控制信號、考慮就當前不需要的器件區(qū)采用智能門控時鐘等。這樣，相對于采用CPU 或 GPU 的方法而言，能提供用電效率更高、響應(yīng)速度更快的單芯片解決方案。單芯片Zynq-7000 SoC 或 Zynq UltraScale+ MPSoC解決方案采用 reVISION 來加速機器學習和圖像處理元件，這相對于類似的 GPU 解決方案而言能將單位功耗每秒幀率提高 6 倍（機器學習）到 42 倍（圖像處理）之間，而時延則縮短到原來的五分之一。
滿足敏感的安全性要求
分享病例和生產(chǎn)數(shù)據(jù)這樣的AR 應(yīng)用需要信息安全（IA）和威脅防護（TP）領(lǐng)域的安全性，而AR系統(tǒng)具有高度移動性、可能錯放，這就讓安全問題變得尤其重要。信息安全（IA）要求我們能夠信任系統(tǒng)中存儲的信息以及該系統(tǒng)接收和發(fā)送的信息。
就綜合而全面的信息安全而言，設(shè)計人員需要采用Zynq 器件的安全啟動功能，該功能支持加密。設(shè)計人員還應(yīng)通過高級加密標準（AES）、HMAC 和 RSA 公共密鑰加密等算法來進行確認。器件正確配置并運行后，開發(fā)人員可用ARM®Trustzone和系統(tǒng)管理程序?qū)崿F(xiàn)正交世界，也就是說能確保自身安全性，別人無法訪問。
就威脅防護而言，設(shè)計人員可用系統(tǒng)中內(nèi)置的賽靈思ADC（XADC）宏來監(jiān)控供電電壓、電流和溫度，并檢測有沒有修改AR 系統(tǒng)的企圖。如果出現(xiàn)威脅性事件，Zynq 器件提供保護選項，包括記錄威脅企圖、擦除安全數(shù)據(jù)、避免AR 系統(tǒng)再次連接支持基礎(chǔ)設(shè)施等。
結(jié)論AR系統(tǒng)會在商業(yè)、工業(yè)和軍事領(lǐng)域變得無所不在。這種系統(tǒng)的高性能、系統(tǒng)級安全性和能效要求之間往往是相互沖突的。設(shè)計人員可將Zynq-7000 SoC 或 Zynq UltraScale+ MPSoC用作處理系統(tǒng)的核心，并結(jié)合 reVISION 加速堆棧來支持嵌入式視覺和機器學習應(yīng)用，從而應(yīng)對有關(guān)挑戰(zhàn)。
XQ4VLX100-10FF1148M
XQ4VLX100-10FF1148I
XC4VFX100-10FFG1152I
XCVU095-2FFVB2104E
XCVU095-2FFVD1517I
XCVU095-2FFVC2104E
XCVU095-1FFVB2104I
XCVU095-2FFVD1517E
XCVU095-1FFVC2104E
XC6VLX550T-2FF1759C
XC6VLX760-3FFG1760C
XC6VLX365T-1FF1156I
