随着LiDAR的加入，iPhone上的Measure测量应用显得越发精确和有用。根据专利发明，团队一直在研究相关的优化技术。当你把摄像头对准一个对象时，系统可以自动在屏幕告知你相关的测量值。它是通过AR实现，并且有利用针对不同类型对象的机器学习。

日前美国专利商标局公布了一份名为“Automatic measurements based on object classification”的专利申请。它主要介绍了如何精确测量对象的技术。简单来说，苹果将根据特定类型的对象训练算法，比如说椅子或电视机。当用户把摄像头对准椅子或电视机时，系统首先判断你选择的目标对象属于什么类别，然后经过训练的机器学习根据具体的对象类型进行精确的测量，最后系统把测量数据以数字形式自动叠加到摄像头画面。

专利描述的各种实现包括：获得基于深度数据和光强度图像数据生成的物理环境3D表示；基于3D表示生成与物理环境中的对象相对应的3D边界框；基于3D边界框和3D语义数据对对象进行分类；然后自动显示对象的测量值，其中，使用基于对象分类选择的多个类特定神经网络中的一个来确定对象的测量值。

尽管专利没有详细解释神经网络具体是如何决定，但猜测这与人像模式识别你的方式类似。

苹果进一步指出，在一个实施例中，使用物理环境的语义标记的3D表示的实现中，目标检测和目标测量的产生可以通过物理环境的语义标记3D表示来促进。对于这一点，可以对物理环境的三维点云执行语义分割和标记。

在一个实现中，首先基于深度数据生成对象的3D边界框来测量对象，并使用专利描述的各种神经网络和优化算法来优化边界框。边界框可以从确定对象的基本宽度、高度和深度开始。然后，Measure测量应用可以进一步尝试对对象进行分类，比如说确定它是椅子还是电视机。

例如，一个对象是用机器学习技术（如神经网络）对不同的对象类型进行不同类型的测量。不同类型的测量可包括椅子的座位高度、电视机的显示器直径、圆桌的桌子直径、矩形桌子的桌子长度等等。

机器学习已经能够识别和分类对象。例如，像Pixelmator Pro这样的Mac图像编辑器可以利用它来自动标记图层。

苹果希望通过“训练”机器学习来提升特定对象的测量精度。例如，可以训练一个模型训练并用于确定椅子类对象的尺寸。可以训练另一个模型并用于确定电视类对象的尺寸。

显然，如果你在测量一张椅子，你大多数时候都只是想知道包含边框的整体尺寸细节。但如果你正在测量一台电视机，你可能需要不包括边框的对角线屏幕大小。

所以，你只需把摄像头对准一个对象，系统就会自动在屏幕显示所有你可能关心的测量细节。

名为“Automatic measurements based on object classification”的苹果专利申请最初在2021年1月提交，并在日前由美国专利商标局公布。

原文来自映维网：https://news.nweon.com/87775