В этой книге представлена полная система роботизированной руки, управляемой зрением, для захвата и размещения объектов. Для распознавания и локализации объектов подход использует извлечение ключевых точек Scale Invariant Feature Transform для сегментации соответствий между моделью объекта и изображением на различные потенциальные экземпляры объекта с производительностью в реальном времени.

На основе полученных соответствий определяется наилучшая точка пикинга. Координаты этой точки затем передаются в систему координат роботизированной руки, что позволяет ей выбирать и размещать объекты в нужных местах.

Использование кластеризации на основе SIFT позволяет применять систему в экстремальных условиях окклюзии, когда стандартные подходы, основанные на внешнем виде, скорее всего, будут неэффективны. Эта система преодолевает большинство проблем, возникающих в реальном рабочем пространстве и в приложениях реального времени, обеспечивая достаточную скорость работы.

Система может эффективно обрабатывать сложные условия внешней освещенности, сложные спекулярные фоны, условия окклюзии, диффузные и прозрачные, а также спекулярные объекты. .