2021 年 9 月 27 日上海,晴,无风,稍感闷热。
MINIEYE I-CS(In-Cabin Sensing)座舱感知量产方案的发布会上,Mr.Yu 见到了自动驾驶技术研发公司 MINIEYE 创始人、CEO 刘国清和座舱事业部负责人杨一泓。整场活动时间不算长,发布信息的能量密度之高,和刘国清的爱笑、杨一泓的干练一道,给 Mr.Yu 留下了十分深刻的印象。
作为由一群海归博士创业、以 ADAS 技术产品见长的企业,已融资至 D 轮的 MINIEYE 这次发布的 I-CS(In-Cabin Sensing)座舱感知方案,却是由「车外」走向了「舱内」。
据了解,该方案主要是通过视觉监测追踪和识别包括乘员头部朝向、面部表情、视线方向、手势及肢体等人体特征,分析乘员意图和行为,提供安全、智能的驾乘和座舱体验。
通过这套解决方案,相关技术产品能够以驾驶员监测系统(DMS)、乘客监测系统(OMS)、物体识别与人车交互系统等产品形态,为智能汽车提供领先可靠的舱内感知技术及相关配套服务,全方位保障舱内驾乘体验的安全性与舒适性。
在 MINIEYE 这套座舱感知方案官宣发布的同时,I-CS 已经取得了超过 30 个乘用车车型定点,在商用车上的装载量也已经达到了 10 万台。
经过探索与落地的反复验证,MINIEYE 总结出,用户体验优秀的智能座舱技术,在于 看见需求、主动决策 。
当下,I-CS 方案特别针对五大应用场景提供主动式服务: 无缝入车、安全接管、疲劳监测、儿童看护以及多人娱乐 。
我们一样一样看。
无缝入车:
就体验来讲,这里我们认为称之为「无感入车」可能更贴切一些。
通过 I-CS 采用的无感式身份识别与活体检测技术,该方案具备 2D 及 3D 摄像头方案,当用户靠近车辆(传感器)时,无需用户做出任何配合指令,即可快速完成用户身份的识别和判断,主动为用户打开车门,快速登录座舱系统。
这里稍微代入下的话,有些像手机的 FaceID 快速启动——拿起手机,无需任何动作,手机识别用户身份之后自动解锁。
同时,I-CS 支持 RGB 图片与 IR 图片的交叉身份验证,来提高识别效率和安全性。也就是说,网络短视频中流行的用照片和动态图像欺骗安全算法的破解方法,在这里是行不通的。
安全接管 :
I-CS 拥有两套视线方案,通过驾驶员视线的监测,能准确判断驾驶员的视线是否落在前方路面、中控、AI 助手、内后视镜等 7 个注视区内。通过对驾驶员的注意力分析,确保其在关键时刻能及时接管自动驾驶状态下的车辆。
疲劳监测 :
先引用一处背景。
根据新的通用安全法规 Reg. (EU) 2019/2144 的规定,欧盟将对所有的 M 类车辆和 N 类车辆新认证车型强制实施 DDAW 标准——即驾驶员监测系统(Driver Drowsiness and Attention Warning System)。根据规定,在驾驶者出现疲劳驾驶时,需直接向驾驶员发出警示信号,以进一步改善道路交通安全。
再来看 I-CS。
杨一泓表示,针对个人驾驶场景,I-CS 打造了一套完善且符合 DDAW 的疲劳监测系统,并且对于在 2022 年通过欧盟 DDAW 检测充满信心。
该系统能够实时监测驾驶员头部姿态、眼睑开闭程度、视线方向以及眨眼频率等多维指标,并根据不同行为特征实现疲劳程度的量化分级。
I-CS 可以根据驾驶员不同的疲劳程度,及时进行预警或终止危险驾驶行为,减少事故发生。
这里可被认为是 MINIEYE 对国内关于自动驾驶相关政策和技术要求的一次合理预判。如果该预判成真,MINIEYE 的 I-CS 座舱方案在行业中会具备较大的先发优势。
儿童看护 :
Mr.Yu 认为这会是受到行业重点关注的场景之一。
I-CS 通过综合分析人脸属性、人体骨骼比例以及身长信息,进而准确判断车内的成人与儿童。
当识别到儿童,系统将主动触发儿童看护功能,并对儿童的表情状态、肢体动作、儿童座椅安全带等进行实时监测。并将监测到的情况实时反馈给前排的家长,提醒其采取必要措施。
杨一泓特别提到,在实际运行中,I-CS 会进行多段式逐步升级的提醒方案。
当系统监测到儿童被遗忘在车内时,会通过禁止车门上锁、语音电话、文字讯息 等方式通知驾驶员返回;若长时间未得到应有响应,系统会自动报警,来保护车内儿童乘客的安全。
面对近年来频频发生的儿童乘客被家长遗忘、受困于车内产生进而引发悲剧事故,与其社会舆论不断针对相关责任人员口诛笔伐,不如尽早在产品中普及相关解决方案,从源头上杜绝悲剧一次又一次地重演。
多人娱乐 :
I-CS 可借助车内乘员的视线、手势、头部动作等多种自然身体语言的交互方式,来进行多人多位置的互动。在该场景下,智能座舱内的功能权重不再局限于靠近中控的前排,而是整个舱内乘员都能明显感受到。
恕见识浅薄,此处 Mr.Yu 只能想起在视频里见到过的,前排乘员盯着车机屏幕、双手双臂上下翻飞玩《水果忍者》的鬼畜场面。
玩笑归玩笑,我们相信,主机厂和游戏开发团队的产品经理们肯定能够更好地利用这类能力,带给用户们更好的主动式娱乐体验。
小总结
我们能够看到,I-CS 的产品方向并非强行将行业中常见的座舱视觉感知方案进行某种程度的强化和再包装,而是通过结合一些学习成本极低、甚至接近人类自然身体语言习惯的方式,来强化其智能服务体验的「无感」。
从另一个方面来看,就像人类对「疲劳」这一概念的认知很简单,但对 AI 来说则不是。
视觉系统并不能仅凭驾驶过程中驾驶员上下眼睑开合角度是多少、打了几个哈欠这类简单客观事实来进行粗放的量化判断。
对此,MINIEYE 认为,脱离了产品化的技术是「空中楼阁」。
I-CS 座舱感知方案在针对场景化体验升级的同时,也经过了大量的产品化积累和量产交付经验进行验证。通过「产品+工具」的一站式服务,有效保证方案从算法设计、功能开发、验证测试,到最终量产交付的产品化进程。
在设计阶段,MINIEYE 提出了 自然身体语言 (Intuitive Body Language)的底层交互逻辑,将「人车交互应该像人与人交流一样自然流畅」的理念植入 I-CS 方案,充分利用直觉式肢体动作,形成自然用户界面。
这样做的好处很直观。一来有效降低了用户对交互的学习成本,二来有助于形成真实的舱内交互体验。
对于主机厂与 Tier 1 厂商各不相同的需求,MINIEYE 提供灵活封装的软件解决方案。 全栈自适应 的优势,可适配多摄像头模组及位置如方向盘管柱、仪表盘、中控屏、A 柱、内后视镜等位置,根据 I-CS 专利的 Mini-Cali 自标定系统,针对摄像头位置可变的座舱,完成摄像头坐标系向座舱坐标系的自动转换。
I-CS 自主研发的 MiniDNN 加速器,深度与 I-CS 定制化绑定。针对 I-CS 算法设计,对 I-CS 常用的神经网络模型进行优化,从而达到理论峰值。基于 ARM 架构,通过 memory access、data layout 技术,可以减少 RAM 存取、获得更高的缓存命中效率。
杨一泓表示,这项自研技术对集成式座舱方案中的资源分配和算力占比更加友好,并为未来 OTA 升级奠定了良好基础。
基于成熟的研发体系,MINIEYE 建立起一套完备的自研开发工具链以及数据半自动标注平台,通过多项真值系统和可视化测试工具,为 I-CS 的定点量产和配套验收提供了扎实的技术支撑。
对于数据安全方面,杨一泓表示,MINIEYE 很重视用户隐私的保护。不管在本地还是云端,I-CS 都不会对照片进行存储。IC-S 会将监测的用户图像转化为 512 维的矢量图片,来保护数据安全和用户隐私。
借着群访的机会,Mr.Yu 向 MINIEYE CEO 刘国清和座舱事业部负责人杨一泓提出了两个问题。
GeekCar:
在 DMS 和 OMS 系统上,MINIEYE 如何通过技术或产品规划,来平衡识别的精确度和触发灵敏度之间的关系?
刘国清:
从技术角度来讲,我们会把认为应该识别的模式,比如眼球追踪、对人脸几十个特征点的定位、各种手势姿态的识别、在各种光照条件下做到尽最大可能的准确。
但是,能够准确地识别出来只是第一步。
但实际上,灵敏度和准确度的定义并不能完全概括体验。对于算法之外,我们还是要结合整个场景以及功能来看。
这也就是说,我们一定要和客户团队的产品经理一起深度协同。
这也是为什么我们在交付的产品形态上,我们一直秉持开放的态度。因为我们认为单方面单打独斗很难形成最终体验上的革新,而我们也希望能够拿出来 MINIEYE 最有竞争力准确度最高的底层技术模块,来和我们的客户共同打磨和定义。
杨一泓:
还有就是对后处理的研究。
目前 MINIEYE 的座舱团队分为两个大的研发板块,一支是深度学习组,负责提供精准的算法结构;另一支叫做系统组,在其他公司叫做后处理团队,或运行逻辑设计团队。
因为舱外信息的探测是相对可量化的,通常来讲我们追求的是精准的判断,再由系统来进行相关决策。
而对于座舱内来说,需要强调的核心不是精确,而是体验感要好。这就决定了座舱内的技术和产品,需要两边深度地进行结合才能实现。因为体验感不好,其实对于整个产品的功能、甚至市场板块的发展,都会产生阻碍。
所以我们的团队针对每一个单一的功能做了大量的后处理逻辑相关工作。对于如何定义动作起止命令的颗粒度,比如自然点头的方式、做出手势的力度,我们的后处理团队也花了大量的时间和心血去钻研,研究人体在自然状态下的动作方式。
这些在算法精度以外的细节,也是我们关注的重点。
GeekCar:
第二个问题,我注意到今天一些关于多模态感知能力和交互的信息。请问,MINIEYE 接下来有没有相关的布局计划可以透露?
刘国清:
在多模态这部分,我们已经在着手做一些相关的技术储备,包括对一些场景的迭代和打磨。速度快的话,在今年年底之前我们会有相关信息的披露。
还有就像我们前面说的,还是要和大家一起「打群架」。包括在语音方面我们也有很好的合作伙伴,我们会一道从技术角度出发,探寻是否能够形成更好的体验。