機器人先要看懂世界

當機器人離開圍籬，走進醫院或走廊、商場與家庭，它首先面對的問題，不是能不能辨識一張人臉，而是能不能知道自己站在哪裡、對方正在往哪裡走，以及眼前看似空白的地方，究竟能不能通過。這些問題把視覺感測從影像辨識推向空間理解，也重新定義感測元件在智能機器人中的價值。

過去，工程師可以固定光源、工件與相機位置，讓演算法在已知條件下尋找答案。社會環境卻不會主動配合機器：陽光穿過玻璃、兒童突然奔跑、推車遮住行人下半身，地面還可能出現透明物件。機器人若只把畫面辨識得更清楚仍未必知道下一步該怎麼走。3D 視覺的重要性，正在於把「看見什麼」轉換成「我與世界是什麼關係」。

固定場景的成功為何不能直接複製

工業視覺的高可靠度，往往同時來自演算法與環境管理。治具限制物件姿態，遮光罩穩定照明，輸送帶讓目標依固定方向前進。相機辨識孔位後，機械手臂便可依事先校正的座標抓取。這套方法非常有效，但其成立條件是環境變化受到控制；一旦相機本身移動，背景與目標同時變動，原有座標便不再足以描述整個世界。

移動機器人必須一邊觀察，一邊估計自己的運動。畫面中的人變大，可能是人走近，也可能是機器人前進；箱子移到畫面右側，可能是箱子滑動，也可能只是頭部轉向。若不能把自身運動與外界運動分開，就容易把錯誤的速度與距離交給路徑規劃器。這也是為何定位與感知必須共同設計，而不能把相機當作獨立的辨識配件。

深度只是第一個維度

Depth描述距離，Pose描述物件或機器人的位置與朝向，Velocity描述運動趨勢，Semantic Understanding則賦予物件用途與情境意義。機器人看到一張椅子，除了要知道椅腳在哪裡，也要知道座面不能當成通行地面；看到一扇門，還要區別門板、門把、轉軸，以及門正在開啟或關閉。幾何與語意結合，才可能把可見空間轉化為可行動空間。

Machine Vision通常著重特定影像任務；Robot Perception 把影像、距離與自身狀態組成可供控制使用的估計；Spatial Intelligence 更進一步，涉及物體關係、遮蔽、可通行性與行動後果。三者並非互相取代的產品分類，而是由量測走向理解的能力層次。所謂 Physical AI，也必須依靠這些與物理世界對得上的感知，才能讓模型輸出的動作具有實際意義。

服務型、人形與移動機器人的環境感知，需要兼顧前後左右及上下方的障礙。360 度覆蓋是重要設計目標，卻不代表一顆全景相機就能消除盲區：

手臂、搬運物件與機身都可能遮擋視線，地面附近和桌面高度也需要不同觀測角度。真正的需求是隨姿態變化維持必要的空間可見度，並讓控制器知道哪些區域尚未被可靠觀察。

以醫院送物為例，機器人可能先在電梯口等待，再穿過推床與行人混行的走廊。辨識到「人」只是開始，它還要估計對方是否即將進入路徑、自己的煞停空間是否足夠，以及側邊是否有未看見的移動物。這些是用來說明設計需求的情境，並非特定產品已完成的能力。從應用反推感知，可以避免把展示影片中的單次通行誤當成完整部署證據。

同時，環境的語意會隨時間改變。一扇原本開著的門關上後，地圖仍可保留門的位置，但通行狀態必須立即更新；暫時擺在路上的紙箱，也不應永遠寫成建築物的一部分。空間理解因此需要區分長期結構與短期狀態，才能兼顧穩定定位及動態反應，而不是每一張新影像都把過去全部推翻。

視覺、深度與自身運動資料先完成同步及校正，再支援環境理解與行動；主動觀測可修正不確定性。

三角測量與飛行時間各有位置

雙目視覺利用兩個視點的視差估算深度，不必主動照射光線，適合需要兼顧影像與立體資訊的系統。然而，白牆缺少紋理、重複圖案容易配錯，遠處目標的視差也較小。增加兩鏡頭間的基線有助遠距量測，卻增加體積與近距遮蔽。這說明深度能力取決於光學幾何、影像品質與運算方法，不能只用相機畫素判斷。

結構光主動投射已知圖案，利用圖案的變形或視差重建表面，對近距、受控環境下的細部形狀具有優勢。它把原本沒有紋理的物件變得容易量測，但強烈環境光會削弱投影對比，透明與高反射表面也可能使對應關係失效。若多部設備投射相似圖案，還必須處理相互干擾。

工業掃描器的精度，不能直接推論為移動中的戶外表現。

間接飛行時間 iToF 以調變光的相位差估計往返時間，容易取得面狀深度影像；直接飛行時間 dToF 則統計光脈衝的返回時間，常搭配 SPAD 單光子雪崩二極體與時間量測電路。前者須面對相位歧義、多重反射等問題，後者須處理背景光、暗計數、時間抖動與有限光子數。兩者都需要訊號品質判斷，而非每個像素永遠都有可信距離。

Sony 的 IMX560 顯示 SPAD 深度感測已發展為可供工業系統採用的元件路線；ST 的 VL53L8CX 則以多區域ToF 呈現另一種小型化方向。兩類產品服務不同解析度、距離與整合需求，不能因為都使用飛行時間原理，就視為可直接互換的「3D 相機」。設計者必須區別接收像素、輸出深度區域，以及真正可用的空間解析能力。

光學以外還需要不同物理機制

LiDAR是以光進行偵測與測距的系統類別與 dToF 並不是完全平行、互斥的分類；許多 LiDAR 正是採用直接飛行時間。掃描式、面陣式與其他架構的視野、密度、更新率各不相同。它適合導航與建圖，但雨霧、髒污、低反射物以及透明表面仍會影響回波。遠距量測能力也不能保證看得到腳邊的小障礙。

毫米波雷達藉由射頻回波估測距離與速度，在黑暗或部分光學能見度不佳的環境具有互補價值；部分非金屬外罩可以讓電波通過，利於隱藏式安裝。不過，「穿透式感知」不等於能看穿所有遮蔽物，更不等於全場景安全保證。金屬、多路徑與有限角解析度都會影響結果，仍須依材料、頻段與天線配置驗證。

事件相機不依固定影格傳送整張影像，而是回報像素亮度的變化，適合高速動作及高動態範圍的觀察。Sony 的 EVS 技術說明呈現這種與傳統影格不同的資料形式。但事件本身不是深度：要取得立體資訊，仍須配合雙目、運動或其他感測。靜止且亮度不變的物體也不會持續產生足夠事件，故它較適合作為互補眼睛。

選型因此不能只做「誰看得最遠」的排名。近距抓取在乎表面細節與盲區，走廊導航在乎視野與可靠更新，戶外配送在乎環境干擾與防護。成本還包含光源、運算、散熱、校正與清潔維護。低單價元件若需要大量現場調校，系統成本未必更低；規格較高的感測器若大部分資料用不到，也可能只是增加負擔。

精度與解析度也應分開閱讀。解析度說明可以區分多小的空間或數值差異，精度則涉及結果與真值的偏離；重複量測很穩定，仍可能帶有固定偏差。比較深度模組時，還應對齊目標反射率、距離、照度、積分時間及視野。若一款產品是在室內白板測試，另一款是在戶外深色物件測試，直接排列其數字並沒有工程意義。

視野和像素數影響細部觀察。相同解析度下，較寬的視角使每個量測單元涵蓋更大角度，導致遠處小障礙可能在同一單元內。設計者可使用廣角模組監控周圍，再用窄視野觀察操作區，但需承擔額外的同步與校正成本。因此，多鏡頭系統在不同任務間配置有限的觀測資源。

SPAD的價值不只在於靈敏

SPAD 可以把單一光子觸發的事件放大成可讀取訊號，TDC 則把事件發生時間轉成數位數值。提高陣列密度，有機會取得更細的空間資訊，卻也同時帶來資料量、功耗、像素串擾與填充率的取捨。時間解析度再高，若接收光子不足或背景光太強，仍難以得到穩定結果。有效距離因此是整套發射、接收與統計處理的共同成果。

微型化也會改變熱與封裝問題。感測器、雷射驅動器、處理器靠得更近，布線更短，卻可能互相加熱；溫度變化又會影響光源與量測偏移。堆疊與異質整合能改善空間配置，但不會消除熱設計和校正需求。供應商真正要交付的，是在指定溫度、反射率、環境光與更新率下可重現的性能，而不只是最佳條件下的展示數字。

光源與微光學決定可用性

VCSEL垂直共振腔面射型雷射適合陣列化與模組化，940 nm 也是常見的近紅外選擇之一。然而波長不是設計的全部：發散角、脈衝能量、占空比、接收濾光片及光學效率共同決定訊雜比。看不見的紅外光並不天然安全，完整模組仍須依適用的雷射安全要求評估正常與故障條件，不能把元件的標示直接等同整機結論。

DOE 繞射光學元件可用於光束整形或圖案投射，WLO 晶圓級光學有助縮小體積與批次製作，微透鏡陣列則可改善光的收集與分配。這些元件看似配角，卻會左右量測一致性。若投射圖案因溫度或裝配偏移而改變，演算法就得面對不同的輸入；若保護玻璃的反射進入接收路徑，微小的包裝改版也可能迫使模組重新校正。

CIS、ToF IC、ISP 與 AI 處理器的整合，因而不是把更多功能塞進一顆晶片而已。ISP 處理影像品質，深度處理器估計距離與信心值，AI 再辨識物體與關係，彼此需要保留可追溯的時間與校正資訊。手機供應鏈累積了小型鏡頭、主動光學、封裝與量產測試能力，進入機器人市場後，還得面對更長工作時間、機械震動與維修後一致性。

2025 年 1 月 7 日，Lumotive 發布將MD41 開發套件與 Sony IMX459、IMX560 SPAD 深度感測器整合的消息，提供光學控制與接收元件協同設計的產業案例。[5] 這則消息的意義，是不同供應商以開發平台降低客戶整合門檻；它本身並不證明所有機器人應用都已達到量產條件。對零組件商而言，與其他關鍵元件共同驗證，往往比單獨提高某一項規格更容易轉化成設計導入。

對台灣零組件業而言，可爭取的價值不只在單顆晶片，也包括低雜散光模組、主動光學校正、耐環境封裝及量產測試設備。若能把模組的誤差模型、溫度補償與健康狀態一起交給客戶，就更接近可直接導入的感知子系統。這類工程知識很難只靠採購清單複製，也是成熟電子供應鏈轉向機器人應用的重要入口。

另一個容易忽略的商機是模組測試。量產線不應只檢查是否有輸出，還要確認不同距離的系統性偏移、光學外罩造成的干擾，以及發射與接收方向是否一致。測試時間太長會拉高成本，測試過少又可能把校正問題留給客戶。能縮短測試時間且保留必要品質證據的設備與方法，可能成為感測模組擴大量產的重要配套。

互補比堆疊數量更重要

Camera 加 ToF，可用彩色影像補語意、用深度補幾何；Camera 加LiDAR，可把較穩定的空間量測與細緻外觀結合；Camera 加 Radar，則有機會在光學條件惡化時保留距離與速度線索。Vision 加 IMU，利用慣性量測支撐短時間快速運動估計，再由視覺修正累積誤差。每一種搭配都應回答：新增感測器補的是哪一種失效，而不是只增加幾個資料通道。

Sony 公開的走廊人物點雲比較圖，呈現深度資料的空間密度差異；屬原廠展示條件，不是通用效能排名。來源：Sony Semiconductor Solutions，IMX560 SPAD ToF Depth Sensor

假設機器人穿過玻璃門廳，影像可能看到門後的人，深度量測卻可能得到玻璃、背景或無效回波。融合系統若把所有資料直接平均，反而可能產生一個不存在的表面。較合理的作法，是辨認量測衝突、保留玻璃區域的不確定性，必要時降低速度或改變觀測角度。多感測融合的核心，在於管理證據的可信度，不是投票選出看似最一致的答案。

先把時間與座標對準

相機拍到的位置與 LiDAR 掃到的位置，必須轉換到共同座標；IMU 的姿態也須對準感測器安裝方向。當機器人移動時，毫秒級時間差就可能造成點雲與影像錯位。機構受撞擊、支架熱膨脹或更換相機後，原有外部參數也可能失準。因此量產系統不能只有出廠校正，還需要追蹤同步狀態與幾何一致性，讓失準能被發現。

感知提供眼前物件與可通行區域，Localization 回答自己在地圖中的位置，SLAM 則在定位的同時建立或更新地圖。它們相互支援，卻不等同於世界模型。World Model 還要表達物件狀態、相互關係與可能變化：推車會移動、門可能關上、人可能從遮蔽物後出現。地圖可以記住牆的位置，但不能把每個行人都當成永久的牆。

系統也應區別「沒有量到障礙」與「已證明沒有障礙」。前者可能只是光線不佳或視線遮蔽，後者需要足夠觀測證據。以未知空間作為獨立狀態，能讓機器人在盲角前先減速，再透過移動視點取得新資料。這種保守策略看似降低效率，卻避免把量測空洞誤當成自由空間，是感知真正服務行動的重要觀念。

冗餘也須檢查共同失效。兩顆相同相機若裝在同一塊易震動的支架上，或共用不可靠的電源，並不會因為數量加倍就自然提高可靠度。相機與深度感測同受外罩泥水遮蔽時，也可能同時退化。感測融合應把供電、通訊、視線與環境條件納入分析，才能辨別真正互補的配置與只是重複的配置。

把計算放到資料產生的地方

傳統架構由 Sensor 產生大量原始資料，再經 ISP 與中央處理器解析。當機器人同時使用多個相機、深度模組與慣性元件，資料搬移會消耗頻寬與能源，也增加排程延遲。智慧感測器因此把部分處理前移，例如壞點處理、背景光抑制、深度信心估計、區域事件偵測與資料壓縮，讓中央系統不必每次重新解讀所有細節。

In-sensor processing應精確區別感測晶片內運算、同封裝邏輯，以及模組內的外部處理器。它們都可能改善效率，但在功耗、更新彈性、散熱與責任分界上不同。把一顆 MCU 放進相機外殼，不等於在感光像素內執行AI；同樣，感測器提供物件框，也不代表它能獨立理解整個場景。技術命名必須回到實際資料路徑。

局部反應與整體判斷分工

適合感測端的工作，通常具有明確、局部與低延遲特性，例如標示過曝、回報近距障礙、偵測鏡頭遮蔽。跨相機追蹤、語意關係與路徑決策，則需要中央處理器掌握更大範圍的資訊。若前端只送出最終分類而丟棄信心值與必要原始片段，中央系統便很難回溯錯誤，也難以在新場景中重新判斷。

高更新率不必然等於低延遲。資料可能先在感測器累積，再排隊傳輸，最後等待 AI 推論；畫面每秒更新很多次，控制器用到的卻仍是較舊的狀態。因此系統規格應量測從光子進入到動作命令生效的完整時間，同時檢查抖動與最差情況。以搬運熱飲為例，偶發一次延遲，可能比平均辨識率下降更有實際後果。

NVIDIA Isaac Sim 等機器人模擬平台，提供感測模擬、合成資料及虛擬驗證的工具方向。工程團隊可先改變相機位置、物件材質與照明，找出容易失敗的配置，再進行實機測試。但數位孿生若沒有描述鏡頭污染、時間不同步與深度失效，產生再多乾淨資料也可能低估風險。模擬最有價值的用途，是提早暴露限制，而不是替現場驗證背書。

感測端先處理資料，也帶來產品責任的改變。以往模組商交付原始影像即可，如今若模組直接輸出障礙事件，客戶便需要理解偵測條件、漏失情況及版本差異。更新韌體不能只檢查分類率是否提高，還要確認時間戳記、延遲與資料格式沒有破壞上層控制。智慧模組因此需要軟硬體一起維護，其服務週期可能比消費性相機更長。

從點雲走向可推理的環境

點雲與深度圖是量測結果，不是空間理解的終點。對機器人而言，一張桌子的意義包含可放置物件的平面、桌下能否通過，以及伸手時會不會撞到桌緣；一個人則不只是移動障礙，也可能正在招手、等待交付或需要保持距離。空間模型須把幾何、時間與任務關係連起來，才能讓機器人由「我看見你」走向「我知道該如何靠近你」。

這不意味著模型必須推測所有人的心理。相反地，在意圖不明時主動停下、保持距離或詢問，往往比自信猜測更合理。模型推論可提供候選解釋，實測資料則持續修正它。若系統把過去常見的情境當成眼前事實，就可能在陌生空間中做出危險動作。智能的價值，也包含知道何時不應繼續行動。

用任務結果重新定義感測規格

未來評估 3D 視覺，應從量測精度擴大到任務中的可用性：遮蔽解除後多久恢復追蹤？換光源後有多少深度仍可信？感測器失效時能否降級運行？清潔與更換模組後是否需要專業人員重新校正？這些問題直接影響機器人的停機率、部署成本與責任歸屬，也使零組件供應商必須更深入理解終端應用。

社會場域還存在一種常被忽略的空間常識：人有權決定自己的活動範圍。能穿越人群，不表示應該擠過人群；能辨識臉部，不表示服務就需要保存身分。感知系統應依任務使用必要資訊，讓人清楚知道機器人正在做什麼，並保留拒絕互動的空間。這些要求最終會反映在鏡頭配置、資料保存與控制策略上。

要把這些要求落實到採購，可以要求供應商提供具體的測試場景與失效回報，而不是只有平均誤差。工程團隊則應保留現場問題的感測片段，檢查是光學、同步、模型還是控制造成失敗，再回饋到下一版設計。如此才能累積與場域相關的知識，讓每一次部署都改善產品，而不是在不同客戶現場重複修補相同問題。

所以，3D 感測的下一站，不是單純把世界掃描得更密，而是讓機器人的每一步都有可理解的依據。台灣供應鏈若能把光學、晶片、模組與驗證連成一套可追溯的能力，便不必只在規格表上競爭。然而，看懂空間仍只是接近世界的第一步；真正碰到人與物件時，機器人還需要知道自己施了多少力。這正是下一層感知必須接手的地方。