18884710760
技術文章
隨著汽車向智能化、場景化加速演進，智能座艙已成為人車交互的核心承載。從駕駛員注意力監測到兒童遺留檢測，從乘員識別到安全帶狀態判斷，座艙內的每一次行為都蘊含著巨大的安全與體驗價值。
然而，這些感知系統要在多樣駕駛行為、復雜座艙布局和非常見光照條件下持續穩定運行，傳統的真實數據采集方式已難以支撐其開發迭代需求。智能座艙的技術演進，正由“采集驅動"轉向“仿真驅動"。
圖1：座艙實例圖
智能座艙中的AI系統，不僅需要理解駕駛員的行為和狀態，還要同時感知乘員、兒童、寵物乃至環境中的潛在交互風險。其仿真面臨幾大挑戰：
（1）行為維度復雜：如疲勞駕駛、身體遮擋、嬰兒誤留、飲水打電話等多樣行為難以統一采集；
（2）環境變因多樣：如夜間光照、紅外反射、遮擋物等情況干擾傳感器判斷；
（3）隱私合規嚴苛：特別是在兒童檢測等場景，獲取真實數據存在法律與倫理障礙。
這些因素決定了：高質量的、多模態的合成數據與虛擬仿真，已成為智能座艙感知系統研發重要的支撐工具。
在智能座艙開發中，獲取高質量訓練數據往往面臨隱私、成本和長尾場景覆蓋不足的問題。合成數據以其可控、高效、多樣、合規等優勢，正成為訓練AI感知系統的重要資源。
圖2：多種類型傳感器下的合成數據（Anyverse）
相比真實數據，合成數據具有以下優勢：
（1）全面多樣：可靈活生成不同人群、行為、座艙結構與環境變量組合，輕松覆蓋不常見和低頻場景；
（2）精準標注：輸出像素級真值、凝視向量、關鍵點、分割圖等，省去人工標注；
（3）高效合規：不涉及真實乘員或兒童影像，天然滿足GDPR等隱私法規；
（4）可重復與可擴展：相同條件下隨時重建，便于模型對比測試與大規模數據擴增。
在 DMS、OMS、兒童存在檢測（CPD）、安全帶識別、寵物識別等多個智能座艙感知模塊中，合成數據不僅作為訓練數據使用，也廣泛應用于模型驗證、場景補全與魯棒性測試。
智能座艙的核心不再只是對駕駛員狀態的檢測，更在于理解人在車內的各種行為與交互模式。為了實現這一目標，學術界在近幾年不斷推進艙內仿真與合成數據相關研究，這些成果也為 Anyverse 的平臺能力提供了堅實的技術基礎。
其中，CVPR 2023 發表的 BEHAVE 數據集是第一個聚焦全身人-物體交互的大規模 3D 數據集。該研究通過多視角 RGB-D 采集與三維重建，精細還原了人類與日常物品之間的自然行為，包括動作接觸點、物體遮擋、身體姿態等，為仿真平臺構建乘員使用手機、飲水、與物體互動等細致行為場景提供了完整建模方案。
圖3：BEHAVE數據集
在視線與注意力建模方面，ICCV 2019 的 Gaze360 提出了無需設備佩戴的 3D 凝視估計方法。該數據集涵蓋不同光照和姿態條件下的大量受試者樣本，引入時間建模與不確定性表達，為駕駛員注意力評估和視覺交互訓練提供了更加貼近實際場景的支持，也使得 Anyverse 能夠更加自然地模擬駕駛員在不同狀態下的凝視方向和關注點。
圖4 ：Gaze360視線標注數據集
圖5：Anyverse合成的打瞌睡的司機元數據可視化
這些研究標志著艙內感知正從靜態姿態識別，逐步邁向對復雜交互行為和多模態信息的深度建模。Anyverse 正是建立在這類前沿研究成果的基礎之上，不斷拓展其在角色行為生成、傳感器仿真、多視角場景構建等方面的能力，助力智能座艙系統走向更加真實、可靠與安全的交互未來。
Anyverse 是一套專為艙內感知系統設計的多模態仿真平臺，覆蓋從駕駛員監控（DMS）到乘員識別（OMS）、兒童存在檢測（CPD）、安全帶識別、紅外仿真、雷達仿真等多場景需求。
圖6：Anyverse功能概覽
圖7：多樣化的艙內合成數據
（1）多樣化艙內合成數據生成
支持多年齡、種族、姿態的角色建模，覆蓋兒童座椅狀態、寵物遮擋、錯誤安全帶系法等復雜情境，輸出 RGB、IR、ToF、Radar 等多傳感器格式數據。
（2）快速虛擬驗證與閉環測試
適配 Euro NCAP、IIHS、China NCAP 等安全法規標準，提供像素級真值標注、行為追蹤與模型性能可視化驗證。
（3）物理級傳感器仿真引擎
支持基于 SBR 技術的雷達建模、高保真紅外與近紅外成像、MIMO 系統仿真，輸出雷達立方體與點云格式數據。
（4）開放、可復用的數據資產庫
提供可自定義的角色、座艙結構、傳感器布置與互動物體庫，快速構建多變場景，顯著降低研發成本。
憑借高保真仿真能力與多模態數據生成優勢，Anyverse 展現出在整車廠、Tier 1 與算法研發團隊中廣泛部署的潛力，正加速艙內感知系統的訓練與驗證閉環。
智能座艙的真正挑戰，不是識別駕駛員是否閉眼，而是理解“此時此刻車內發生了什么"。這需要多模態、多角色、多行為的精準感知系統，更需要背后支撐它的，一整套高保真、低成本、標準對齊的仿真機制。
從數據生成到算法驗證，從法規適配到部署測試，Anyverse 提供的不僅是一個仿真平臺，更是智能座艙走向真正“理解人"的關鍵基礎設施。
未來的人車交互，不止于響應，而源于洞察！
參考文獻：
1. Sundaram, S., et al. (2023). BEHAVE: Dataset and Method for Tracking Human-Object Interaction. CVPR 2023.
2. Kellnhofer, P., et al. (2019). Gaze360: Physically Unconstrained Gaze Estimation in the Wild. ICCV 2019.
3. Nguyen, T., et al. (2023). Synthevehicle: A Synthetic Dataset and Benchmark for Vehicle Interior Perception. WACV 2023.
關注微信