消息来源:你好张江
近日,肇观电子正式发布3D深度计算+AI加速芯片——D163A,可广泛应用于包括各种形态机器人、AGV、无人机、可穿戴设备等多个领域。
我们所处的现实世界是一个三维空间,即3D立体空间;高级动物如哺乳类长了一双眼睛,通过左右眼观察到的信息的差别来判断物体的远近。而普通的照相机拍摄出来的照片却是平面的,二维的。
如果要用计算机视觉的方式来获得环境空间信息,根据二维照片的输入,怎么实现呢?
▲颜色的冷暖代表的是人体离镜头的不同距离
对空间立体信息的感知能力是智能设备比如无人机、无人车、机器人的最重要的能力之一。四周物体和自己的相对位置比如方向、距离、运动方向、运动速度、运动加速度等信息,对于机器人在空间中判断自身位置以及和周围物体互动十分重要。
我们如果想让机器人从点A到点B,机器人首先要确定什么是点A,什么是点B,如何从点A走到点B,如何规划初始路径,中间遇到障碍该如何动态调整路径……完成这些任务都需要机器人具有几何解算能力,而3D深度计算是几何解算的基础任务之一。
双目立体视觉是计算机视觉的一个经典领域,其技术路线具有信息量大、不受阳光干扰、距离范围从近到远、无多径干扰问题、传感器成本低等诸多优点,颇受学术界和工业界青睐;其代表应用为斯巴鲁汽车的Eyesight高级辅助驾驶系统、无人机的飞行避障系统、火星车的视觉模块、波士顿动力的机器人的视觉系统;但立体视觉需要消耗大量的计算力来处理,因此在传统观点来看代价十分高昂。
结构光、飞行时间传感器(ToF)、激光雷达这些技术主要是利用主动发射特定信息,然后让接收器选择性接收这些信息的原理,本质上是通过增加传感器的复杂度来降低对计算的要求,达到在算力不足的情况下获取深度信息的目的,在各自领域有着诸多应用。
随着应用日益复杂,工程师往往在通过传感器获取到这些原始信息之后,需要在后端计算引擎上面做降噪、增强、融合等各种进一步加工,这需要有充足算力的芯片来处理。
肇观电子推出了D163A芯片,具有包括深度计算几何引擎和AI计算引擎在内的一系列加速器,将计算机视觉领域的应用推进了一大步。
D163A有着业界领先的数字信号处理能力,支持200余种通用数学计算算子,例如三角函数、对数、快速傅里叶变换、HoG、SVM、RANSAC,等等。
▲近距离人脸深度图
除了强大的3D深度计算能力和数字信号处理能力,D163A有着业界领先的AI计算加速能力包括领先的每TOPs处理帧数,实时数据流处理能力,支持高精度FP16神经网络模型无损部署以及高性能的INT8网络支持能力。
D163A搭配肇观电子推出的“5分钟部署”的AI应用开发平台Infer Studio™,助力AI算法快速商用;
可支持双目立体视觉、结构光、飞行时间传感器(ToF)、激光雷达等各种传感器的信号处理,包括采集、降噪、增强、融合等后处理算法的加速;其高性能低功耗、适用于端侧应用;
接口丰富,支持千兆以太网和USB3.0,支持各种操作系统,既可用作主控芯片也可用作协处理器芯片。
▲近距离五指深度图
D163A在机器人自主避障、车与车之间的距离测算、活体检测、手势识别、空间定位、工业相机、AR/VR等各个方面具有广泛的应用,搭载D163A的模组和系统已经在包括智能叉车、可穿戴设备、无人机、工业检测等多个领域批量商用。
让智能设备具有人一样的视觉感知和理解能力,在复杂的环境中完成复杂的工作,帮助到人们的工作和生活的方方面面,是肇观电子始终不变的追求目标。肇观电子此次发布3D深度计算+AI加速芯片D163A,是公司发展的又一项里程碑式事件,将助力打造机器人的“视觉系统”,推动智能机器人时代的加速到来。
关于肇观电子
上海肇观电子科技有限公司是一家从事人工智能计算机视觉处理芯片设计和终端应用的科创公司,总部位于张江科学城,拥有员工200多人,研发占比80%,大部分来自于AMD、Intel、高通、美满电子、海康威视、华为海思、中芯国际、猎豹移动等世界顶级科技公司。已获得诸多知名机构的多轮融资,累积完成融资5亿人民币,申请国内外专利百余件,并获得《高新技术企业》认证,得到各级政府高度关注。
肇观电子已成功发布刷新世界记录的视觉处理能力的N系列、D系列、V系列芯片,可广泛应用于专业安防、辅助驾驶、机器人、家用摄像、人脸识别等领域。在智能终端方面,肇观电子自主研发的天使眼系列助盲辅具,包括智能眼镜、智能可穿戴阅读器、智能便携阅读器、智能语音药盒,用AI技术辅助识别,已成功帮助全球万余名全盲和视力障碍人士的出行避障、阅读文字、寻找物品等生活日常需求。