消息来源：MEMS

     据麦姆斯咨询报道，近日，世界领先的视觉处理器芯片公司肇观电子发布了3D深度计算+AI加速芯片D163A，可广泛应用于包括各种形态机器人、AGV、无人机、可穿戴设备等多个领域，助力机器人时代的到来。

    我们所处的现实世界是一个三维空间，即3D立体空间；高级动物如哺乳类长了一双眼睛，通过左右眼观察到的信息的差别来判断物体的远近。而普通的照相机拍摄出来的照片却是平面的，二维的。如果要用计算机视觉的方式来获得环境空间信息，根据二维照片的输入，怎么实现呢？

颜色的冷暖代表的是人体离镜头的不同距离

       对空间立体信息的感知能力是智能设备比如无人机、无人车、机器人的最重要的能力之一。四周物体和自己的相对位置比如方向、距离、运动方向、运动速度、运动加速度等等这些信息，对于机器人在空间中判断自身位置以及和周围物体互动十分重要。我们如果想让机器人从点A到点B，机器人首先要确定什么是点A，什么是点B，如何从点A走到点B，如何规划初始路径，中间遇到障碍该如何动态调整路径，完成这些任务都需要机器人具有几何解算能力，而3D深度计算是几何解算的基础任务之一。

     双目立体视觉、结构光、飞行时间（ToF）传感器、激光雷达这些诸多技术路线都是为了解决3D深度信息获取问题而生，每一种技术路线都由信号获取（传感器）和信号处理（计算）两部分组成。

     双目立体视觉是计算机视觉的一个经典领域，其技术路线具有信息量大、不受阳光干扰、距离范围从近到远、无多径干扰问题、传感器成本低等诸多优点，颇受学术界和工业界青睐；其代表应用为斯巴鲁汽车的Eyesight高级辅助驾驶系统，无人机的飞行避障系统，火星车的视觉模块、波士顿动力的机器人的视觉系统；但立体视觉需要消耗大量的计算力来处理，因此在传统观点来看代价十分高昂。

    结构光、飞行时间（ToF）传感器、激光雷达这些技术利用了主动发射特定信息然后让接收器选择性接收这些信息的原理，本质上是通过增加传感器的复杂度来降低对计算的要求，达到在算力不足的情况下获取深度信息的目的，在各自领域有着诸多应用。随着应用日益复杂，往往工程师在通过传感器获取到这些原始信息之后，需要在后端计算引擎上面做降噪、增强、融合等各种进一步加工，这需要有充足算力的芯片来处理。

肇观电子D163A芯片

       肇观电子推出了D163A芯片，具有包括深度计算几何引擎和AI计算引擎在内的一系列加速器，将计算机视觉领域的应用推进了一大步。D163A是一个完整的SoC主控芯片，其具有CPU，DSP，ISP，Codec，CV加速引擎，MCU，AI计算引擎和丰富的接口等在内的一系列组件，支持Linux和RTOS操作系统，是一款适合作为信号处理的核心芯片。

       以下是D163A的高精度3D深度计算能力的例子：

     1. 被动光双目【高分辨率1280 x 720】

      1）近距离深度图

    在1280 x 720的分辨率下，被测人物张嘴，嘴外和嘴内的距离只有几厘米，D163V仍然能够非常明显的测出深度。

近距离五指深度图

    肇观电子D163A的稠密度和深度准确率呈现出来轮廓清晰、细节完整、代表不同深度的颜色分明的效果, 五指张开之间的距离十分有限，但即便如此，轮廓也十分清晰。

   2）中距离的前后物体展示

中距离前后物体展示

    在中距离的展示中，肇观电子D163A芯片深度图稠密度高，视角大，距离范围大，单芯片系统方案，不需要依靠任何外部芯片或者PC机而独立完成全部功能，从而达到极致精简的系统成本。

   3）阳光下远距离的自然环境可见光图和深度图

阳光下远距离的自然环境可见光图和深度图

   肇观电子D163A芯片展示出来的远距离图具有适应范围广、不受阳光干扰的特点。

  2. 被动光双目【高帧率的640 x 480】

阳光下球滚动的深度图

阳光下拍球的深度图

   可见光下踢球，肇观电子展示了D163A芯片在640*480高帧率下的成像效果，最终成像的深度图准确反映了球在地上远近滚动的不同深度。

3. 主动光双目比对

D163A和Intel Realsense的比对

在主动光双目场景中，D163A（中）和Intel Realsense（右）的对比

    以下是D163A的几何计算能力的例子：

    1. 实时特征点计算

    实时640 x 480的FAST角点计算和AI计算同时运行

    D163A有着业界领先的数字信号处理能力，支持200余种通用数学计算算子，例如三角函数、对数、快速傅里叶变换、HoG、SVM、RANSAC等等。

    除了强大的3D深度计算能力和数字信号处理能力，D163A有着业界领先的AI计算加速能力包括领先的每TOPs处理帧数，实时数据流处理能力，支持高精度FP16神经网络模型无损部署，以及高性能的INT8网络支持能力。

    以下是D163A的AI计算能力的例子。 

   1. D163A的NN性能表  

在INT8的精度下，D163A跑各项网络可以达到的每秒帧数

在FP16的精度下，D163A跑各项网络可以达到的每秒帧数

2. 网络精度 ：根据各种不同网络的测试结果，D163A INT8量化网络几乎无精度损失（1%以内）

针对七种算法网络，D163A INT8量化网络几乎无精度损失

     D163A搭配肇观电子推出的“5分钟部署”的AI应用开发平台Infer Studio™，助力AI算法快速商用。

     D163A支持双目立体视觉、结构光、飞行时间（ToF）传感器、激光雷达等各种传感器的信号处理，包括采集、降噪、增强、融合等后处理算法的加速；其高性能低功耗、适用于端侧应用；接口丰富，支持千兆以太网和USB3.0，支持各种操作系统，既可用作主控芯片也可用作协处理器芯片。

    D163A在机器人自主避障、车与车之间的距离测算、活体检测、手势识别、空间定位、工业相机、AR、VR等各个方面具有广泛的应用，搭载D163A的模组和系统已经在包括智能叉车、可穿戴设备、无人机、工业检测等多个领域批量商用。肇观电子将全力支持下游模组和系统客户，共建美好未来。