Authors

Abstract

This paper presents a computer vision-based methodology for evaluating the grasping performance of a soft robotic gripper fabricated from mechanical metamaterials, designed specifically for fruit and vegetables harvesting applications. Due to the fragile nature of fruits such as tomatoes or strawberries, the ability to assess and control the deformation of the gripper during interaction is critical to avoid damage while ensuring a secure grasp. A deep learning approach is proposed, leveraging convolutional neural networks (CNNs) to classify grasp outcomes from visual input. The model is trained on a custom dataset of images captured during robotic harvesting trials and optimized to detect subtle variations in gripper shape and fruit contact. The integration of soft metamaterial-based grippers with computer vision algorithms enables a robust, non-invasive grasp assessment pipeline, contributing toward fully autonomous and adaptive fruit-picking robots. The proposed method achieved an accuracy of 94.0% for correct grasps, 91.5% for failed grasps, and 95.9% for no-object cases, with an average inference time of 87 ms (ranging from 75 to 98 ms).

Abstract in Romanian

Această lucrare prezintă o metodologie bazată pe viziune artificială pentru evaluarea performanței de prindere a unui griper robotic moale, fabricat din metamateriale mecanice, conceput special pentru aplicații de recoltare a fructelor și legumelor. Având în vedere natura fragilă a fructelor, cum ar fi roșiile, capacitatea de a evalua și controla deformarea griperului în timpul interacțiunii este esențială pentru a evita deteriorarea acestora și pentru a asigura o prindere sigură. Propunem o abordare bazată pe învățare profundă, care utilizează rețele neuronale convoluționale (CNN) pentru a clasifica rezultatul prinderii pe baza informațiilor vizuale. Modelul este antrenat pe un set de date personalizat, constând în imagini capturate în timpul testelor de recoltare robotică, fiind optimizat pentru a detecta variații subtile în forma griperului și în contactul acestuia cu fructul. Integrarea griperelor moi realizate din metamateriale cu algoritmi de viziune artificială permite dezvoltarea unui sistem robust și neinvaziv de evaluare a prinderii, contribuind la crearea unor roboți autonomi și adaptivi pentru culesul fructelor. Metoda propusă a atins o acuratețe de 94,0% pentru prinderile corecte, 91,5% pentru prinderile eșuate și 95,9% pentru cazurile fără obiect, cu un timp mediu de procesare de 87 ms (între 75 și 98 ms).