人工视觉的组成部分

眼睛是自然界进化杰作的结果。从光敏视网膜到携带信息的视神经再到分析神经系统，自然视觉是一种高度复杂的数据处理活动，使用低功耗神经网络。对所看到的东西的智能抽象使得人类和动物能够在不到一秒钟的时间内得出结论，眼睛捕捉到的可见光与他们的生活有什么关联。这一自然智能杰作历经数百万年才得以发展。人工智能（AI）系统的开发者需要更快地实现这一壮举。

因此，人工智能加速应用程序的开发人员正在转向紧凑、预配置的嵌入式视觉套件，以节能的方式将经过验证的人工智能硬件和软件结合起来。目前，人们对专用边缘计算解决方案特别感兴趣。对于AI加速系统，这是根据图像信息实时做出明智决策的神经痛点。通过基于云的分析所需的时间更长，并且取决于持续的网络可用性。而在边缘，你总是在动作的现场，这使得可以在几分之一秒内自动获取和评估视觉图像数据。

边缘解决方案必须稳健可靠

对于这样的视觉边缘计算系统来说，鲁棒可靠的硬件是绝对必要的，因为数据无法在受保护的空调环境中处理，就像云计算一样。无论是部署在室外还是野外，在车上旅行还是坐在制造车间，视觉边缘计算系统都必须具有弹性。

对AI视觉的需求来自视觉应用，如农业中的成熟水果检测、制造业中的自动化产品检查、建筑自动化中的访问控制，或销售点零售购物车中的产品识别。基于边缘的实时分析优于人工检查，因为它每周七天每天24小时工作。这些优势对于在不适宜居住的环境中进行工业操作尤其重要。以风力涡轮机监控为例，或生产过程的安全相关视频监控。麦肯锡的一项研究发现，通过预测性维护，人工智能系统还可以将工厂利用率和生产率提高20%。带有自动缺陷检测的视觉质量监控甚至可以使生产率提高50%。对于自动驾驶的高安全要求，基于边缘的人工智能解决方案是确保货物和人员可靠、安全运输的关键。

所有这些应用程序的共同点是，它们必须在所提供的图像、视频或机器数据中找到模式，以进行决策。此外，这些应用程序必须能够识别模式或对象，即使它们与模型100%不匹配。例如，交通标志必须正确识别，无论从哪个角度记录，或者如果一半被雪或灰尘覆盖。这需要挖掘大量数据。

标准CPU不是为此类任务而设计的，因为它们是为一次一次的计算过程而优化的，具有最高的数学正确性。因此需要另一种计算方法。人工智能需要模拟大脑直觉工作方式的人工神经网络。这使得识别和决策比精确计算每件事和每一点来做出决策要快得多。

NPU–嵌入式视觉系统的核心

神经形态处理器或神经处理单元（NPU）对于在边缘为深度学习和机器学习提供这样的计算性能是必不可少的。NPU擅长分析图像和模式，使其成为AI加速嵌入式视觉系统的核心计算单元。受大脑神经网络结构的启发，神经形态处理器是事件驱动的，偶尔需要电力。这意味着即使对于最高的计算和图形任务，NPU也只消耗几瓦。

NPU是高度专业化的计算核心，经过优化以执行机器学习算法。它们不仅能够处理高度并行的工作负载，而且能够非常快速地计算重复性任务。这对于卷积神经网络来说很重要，因为在卷积神经网络中，数据点必须经历数千范围内的折叠。例如：在全高清图像中，需要处理大约200万像素。这需要每秒处理许多操作（OPS），而NPU需要达到每秒几次操作（TOPS）的性能，以满足边缘计算要求。但是，当即使是非常强大的CPU也无法提供这种性能时，这怎么可能呢？在这里，另一个区别点开始发挥作用：单个AI指令不像x86或ARM CPU等标准应用处理器的指令集那样复杂。因此，每个计算步骤消耗的资源不像32位或64位系统那样多。然而，最终，工程师们需要这两种应用。 

为边缘定制启动器组

这就是为什么NXP的i.MX 8M Plus等处理器将这样一个NPU与四个标准Arm Cortex-A53内核和一个Arm Cortex M7控制器集成在一起，以构建一个适用于机器学习并能够高效执行AI算法的应用处理器。但在视觉应用中，只有当图像以必要的质量实时交付时，所有这些才有意义。因此，工程师还需要一个图像信号处理器（ISP），允许在采集过程中对图像和视频进行预处理。这种预处理质量越高，NPU中的后处理就越准确。因此，高质量的ISP不仅对高性能工业图像处理感兴趣；这是一个福音，只要图像处理算法可以用来产生更好的视觉效果。

AI加速眼

另一个重要的问题是如何接收视觉数据。用于视觉数据通信的一个信道是MIPI CSI-2.0。如果该接口也预先集成在处理器中，则不需要额外的转换器模块。这不仅简化了系统设计，而且最大限度地减少了物理占地面积。小尺寸、低功耗和最小散热是基于AI的视觉在物流和农业中应用的基本要求，如电池驱动的自动驾驶汽车。

同时，应用程序还应支持连接摄像头的不同通信标准，如USB 3或GigE vision，这在机器人和质量检查的工业应用中很常见。特别是GigE视觉，允许相机和NPU之间的距离更长。例如，这对于公交车和火车上的视频监控应用至关重要。

设计用于人机交互

但基于NPU的嵌入式视觉系统的应用范围远远超出了人或物体识别。例如，手势和情感识别与自然语言处理相结合，将人与机器之间的交互通信应用提升到一个新的水平。极短的响应时间和精确的定位有助于优化工业制造中的机器人产品装配或仓库物流。配备高安全标准的应用程序甚至可以在客户服务或医疗保健等敏感领域找到。

构建块灵活性

考虑到各种可能的嵌入式视觉应用，不言而喻，该行业的技术平台必须允许开发定制应用。一刀切的解决方案是不合适的。因此，开发人员需要一组预配置的构建块，它们可以轻松地适应各自的需求。这些不仅应包括硬件组件，还应包括软件支持。

在硬件方面，模块上计算机的模块化方法是一种广泛使用且高效的设计原则。模块上的计算机将所有所需组件集成在一个应用程序就绪的构建块中：集成了NPU、ISP和MIPI CSI-2.0支持的SoC，如NXP的i.MX 8M Plus、RAM和通用控制器，用于在一个具有可扩展性能的标准化模块上提供USB、以太网和MMC等附加接口。整个构建块插入到特定于应用程序的载体板上，该载体板仅执行所需的外部接口，并且可以轻松地设计为适合所需的物理占地面积和耐用性。

定制愿景

如果这些模块不仅具有标准BSP，而且具有对中间件和应用程序级别的全面软件支持，那么设计这些模块是最简单的。例如，为了获得最大的灵活性，开发人员还需要预配置的工具，如可用于MIPI CSI-2.0以及其他工业相机标准（如USB 3或GigE）的视觉相机SDK。软件解决方案应集成推理引擎和库，如Arm神经网络（NN）和基于开源的TensorFlow Lite，以最有效地提供所需的人工智能发现。NXP的eIQ机器学习环境等软件开发平台为开发人员提供了适合NXP微处理器和微控制器的专用库和开发工具。

凭借其AI入门套件（见图1），congatec制作了一个具有集成软件支持的模块，以加速NXP处理器的实施。

单击以查看全尺寸图像

图1:congatec的人工智能加速嵌入式视觉启动套件集成了人工智能眼睛的关键组件：作为眼睛的Basler飞镖相机、具有2x MIPI CSI的SMARC 2.1载体板作为视神经，以及作为大脑的SMARC 2.1module。（来源：刚果）

该套件的核心是一个信用卡大小的SMARC 2.1计算机模块（COM）（图2）。该模块基于i.MX 8M Plus处理器，可让开发人员快速、安全地将AI愿景带到其边缘应用程序中。

单击以查看全尺寸图像

图2：人工智能视觉背后的大脑：conga-SMX8-Plus SMARC 2.1模块以仅6瓦TDP的功率将神经形态智能推向了边缘。（来源：刚果）

该模块适用于-40至+85°C温度范围内的工业应用，工作功耗低，仅为2至6瓦，并配有被动冷却。这使得它非常适合各种户外和移动车辆应用。

结论

嵌入式视觉的集成对于人工智能加速系统的成功至关重要——无论是部署在自动驾驶车辆、视频监控摄像头还是协作机器人中。开发人员可以通过使用预配置的嵌入式视觉构建块（如congatec的AI入门套件）更轻松、快速地创建定制解决方案。congatec与Basler合作开发的这一构建块平台结合了NXP i.MX 8 Plus处理器及其集成神经处理单元（NPU）。

---

马丁·丹泽是产品管理总监刚果语。他在德根多夫技术大学学习电气工程，在模块计算机的技术服务、开发管理和产品管理方面拥有超过20年的经验，包括在Kontron和JUMPtec AG的工作。