动态视觉传感器（DVS）与自动驾驶
知识搬运工，不喜勿喷。
神经形态视觉传感器（动态视觉传感器）是受生物启发的相机，可捕捉场景的生命力，从而减轻数据冗余和延迟。这些传感器基于事件，使自治更加接近现实，并在工业自动化，消费电子和自动驾驶汽车等领域的基于视觉的高速应用中找到了实用性。
“为什么我们说基于事件的视觉传感器是神经形态的？“因为每个像素都是神经元，所以在像素旁边放置人工智能是完全有意义的。” YoleDéveloppement（法国里昂）首席分析师Pierre Cambou 表示。
多年来，神经形态视觉传感器行业一直处于休眠状态，最近几个月又卷土重来。去年11月，三星为其针对移动和平板电脑应用的动态视觉传感器技术提交了商标申请。Cambou说：“这令人惊讶，因为三星最初将DVS主要用于汽车高级驾驶员辅助系统。”
去年12月，索尼悄悄收购了位于苏黎世的Insightness，该公司的视觉传感器即使在传感器移动的情况下也可以在几毫秒内进行运动检测。2月份，总部位于巴黎的Prophesee 在筹集了额外的2800万美元后不久，在国际固态电路会议上报告了与索尼共同开发的一种新的，基于事件的堆叠式视觉传感器。
神经形态感应源自1991年神经信息学研究所和苏黎世联邦理工学院的Misha Mahowald开发的“硅视网膜”。模仿人类视网膜的Mahowald解释说，“该硅视网膜通过从图像和图像中减去平均强度水平来减少带宽。仅报告时空变化。” 这种灵感驱动了动态视觉传感器（DVS）背后的概念，并导致近年来创建了无数的初创公司。瑞士公司的创新就在其中。
这家总部位于苏黎世的公司于2015年由基于事件的视觉的先驱者创立，已经开发了一种动态视觉平台，该平台结合了用于高性能机器视觉系统的软硬件。它的神经形态DVS芯片DAVIS346模仿了人类视网膜的特性。仅发生局部像素级别的变化时才进行传输，从而导致以微秒时间分辨率显示的事件流，相当于传统的视觉传感器，但数据量却少得多。该公司声称，由于采用了本地处理技术，因此大大降低了功耗（最多降低90％），数据存储和计算需求，同时还提高了传感器的动态范围（超过120 dB）。
通过300个客户网络，invation已与宾夕法尼亚大学，苏黎世大学和美国国防高级研究计划局的研究人员合作开发了IBM TrueNorth大脑启发的芯片。这项研究集中在自主无人机飞行上。欧洲联盟的一项计划着重于智能可持续城市项目。
畅想智能制造
正在发生一场无声的革命。自治与自动化是并驾齐驱的，而机器视觉是制造自动化许多进步的背后。与简单的传感器不同，机器视觉传感器会生成大量数据以识别有缺陷的系统，了解其缺陷并进行快速干预。结果是节省了成本并提高了生产率。
iniVation称其适用于工业视觉，声称其Dynamic Vision平台可进行高速3D基础设施扫描以进行预测性维护，高速生产检查，颗粒，用于荧光成像和人体运动分析的显微镜。换句话说，它可以高速，高精度和一致性地执行平凡或复杂的重复任务。
“我们花了一段时间才制定出一个好的战略，” iniVation的首席执行官Kynan Eng在一次采访中说。尽管其他公司进行高速计数，但Eng表示“高速计数对象并不重要”，因为传统相机可以每秒“获得一千帧，甚至更多”。如果应用程序不需要立即响应，那么“使用我们的传感器毫无意义。”
至关重要的是延迟而不是数据吞吐量，并且“我们的传感器具有快速的响应时间。” 例如，“如果您有机器人在走来走去做某事，它需要实时调整其路径。它调整得越快，它就可以移动并检测到自己的错误的速度就越快。”
“我会将工业愿景归类为风险相对较低但市场规模较小的市场，” Eng说。因此，风险基金几乎没有兴趣。着眼于有机增长，创新正在考虑规模经济。通过与三星的2019年合作伙伴关系，创新技术从制造和芯片销售转变为向机器视觉行业销售相机。Yole分析师Cambou表示：“您可以出售100美元的硅，也可以将其包装在相机中并出售1,000美元的相机。”
通过朝着系统发展，创新正在向价值链上游发展。
“我们意识到，成为一家芯片公司对我们没有任何意义，” Eng说。“我们可以筹集十亿美元，但这还不足以自己制造芯片。人们在问我们为什么我们的相机很贵，以及我们如何使它们便宜。” 与三星合作，“使这个问题消失了。”
对质量的需求提高了食品，包装，消费电子，航空航天和汽车行业的机器视觉。英格说，创新的目标是进入更大的市场。
移动领域空间巨大
基于事件的相机只传输强度的变化。它们不会受到运动模糊的影响，延迟时间约为微秒级。加上很高的动态范围和很低的功耗，使基于事件的相机非常适合虚拟现实和增强现实应用（VR/AR）。“这是一个巨大的潜在市场，不过，现在还不知道什么时候会真正起量。现在，它是一个利基市场。”Eng说。
基于事件的相机也可以应用于移动设备。“重点在于说服手机制造商在手机背面再增加一颗传感器。”Eng说。最初，iniVation和其它基于事件相机的厂商只生产使用DVS像素的相机。Eng补充说：“这些特性有利于应对高速变化，但在很多情况下，人们只是想自拍或者给美食拍照。几年前，我们开始开发一种兼具基于事件像素和正常像素的传感器。用户可以拍摄普通照片，进行普通处理，但对于特定的用例，用户会用到我们基于事件的像素。”
因此，手机制造商不必做出非此即彼的决定，并能维持同样水平的价格。
Cambou说：“手机市场或将在2021年~2022年前后开启。现在，我们已经在华为手机的背面看到了5颗摄像头。除了‘永久在线’的神经形态相机，我想不出再下一颗摄像头还有谁。有人会说‘多光谱相机’，但我认为更多的可能是让智能手机始终保持‘意识’。基于事件的相机可以实现无接触的交互，如锁定和解锁手机。”
与Prophesee和索尼的合作一样，和三星的合作为iniVation在智能手机市场上提供了一条新的发展道路。Cambou说，一如既往，这是一个如何落地的问题。“永久在线意识已经提出好多年了，但现在的问题是如何实现它。这取决于应用，以及在客户体验方面可以提供哪些改善。”
自动驾驶
基于事件的相机很节能，因为像素活动微不足道；对于“静默时”的像素几乎不需要能量。这是一个卖点，因为自动驾驶汽车正从内燃机向电动引擎过渡。对于汽车公司来说，功耗比最初认为的要重要得多。Eng说，“在目前的电动汽车设计中，如果一辆汽车以恒定速度使用4 kW的总功率预算，那么其中一半会用于推动汽车，另一半则要用于计算。计算环节省下来的每一瓦特电能，都可以延长汽车的续航里程，或者使用更小的电池。”
iniVation的动态视觉传感器平台能够在恶劣的照明条件下实现车辆量距、高速即时定位和地图绘制（SLAM）以及自动驾驶辅助。“随着处理技术的发展，自动驾驶汽车的前景将会越来越明朗。”Eng说，“我们将提供一种混合传感器，它将同时具备帧速和基于事件的传感能力，这样汽车制造商就可以继续使用它们已经投入数十亿美元开发的产品。”
传感器是解锁自动驾驶的关键。Cambou表示，这些传感器会产生大量的数据，系统将严重受限于处理能力。更多的摄像头和随之而来的更多数据意味着“计算爆炸”。一个解决方案是提高数据质量。Cambou 补充说，“真的要解决自动驾驶问题，就需要更多类型的传感数据，例如激光雷达、热像仪和高光谱相机等。我认为汽车厂商也应该考虑基于事件的相机。”
神经形态工程的潜力仍有待开发。Yole称，到2029年，神经形态半导体、传感和计算将成长为71亿美元规模的市场。如果在未来4~5年内可以解决所有技术问题，神经形态计算市场将从2024年的6900万美元增长到2029年的50亿美元，以及2034年的213亿美元。神经形态传感市场将从2024年的3400万美元增长到2029年的20亿美元，以及2034年的47亿美元。
原文出处：