Strawberry Harvester for Polytunnels and Open Fields

Målet med SHAPE-prosjektet har vært å utvikle en autonom jordbærhøster for produksjon i polytunneller og åpne marker. Mangel på manuell arbeidskraft er en av de store utfordringene for jordbær-dyrkere rundt i verden, det er behov for ny teknologi for å hjelpe dyrkerne til å automatisere denne prosessen. Prosjektet er bygd opp rundt den allerede utviklede roboten Thorvald ved NMBU, samt kunnskap om avansert bildeanalyse av frukt ved universitetet i Lincoln og ved universitetet i Minnesota. Konsortiet hadde allerede utviklet en jordbærplukker som er blitt brukt i prosjektet. En av de største utfordringene for å nå autonom høsting er identifiseringen og plukkingen av jordbærene ved hjelp av en robot-arm. Bærene må være korrekt lokalisert i feltet. I SHAPE-prosjektet har vi oppnådd en forbedret og mer robust høsting av bær. Innføringen av en ny metode for å følge etter og plukke bær i dynamiske clustere, og arbeidet med å forsterke teknikken for hinder-separering har økt presisjonen på plukkingen. Implementering og tester av disse nye algoritmene i polytunnelen ved NMBU har vist at jordbærhøsteren er effektiv og pålitelig, og i stand til å arbeide kontinuerlig for over 80 minutter, noe som er et signifikant gjennombrudd. Prosjektet tok også sikte på å utvikle metoder for å bestemme modenhet før plukking et bær. Griperen var utstyrt med interne sensorer som kan estimere bærenes modenhet og vurdere kvaliteten i et lukket og kontrollert miljø før høsting. Avansert maskinlæring har blitt brukt for å gi roboten muligheten til å resonnere og ta beslutninger i feltet, noe som gjør den istand til å inspisere hvert eneste bær før plukking. Dette vil garantere at syke bær ikke plukkes og sikre online kvalitetskontroll og gradering av bærene. Konsortiet har også laget og testet en ny og universell ikke-overvåket segmentering for frukt. Denne metoden har gitt oppmuntrende resultater, men de avanserte overvåkede algoritmene som brukes i dag overgår fortsatt denne nye og universelle metoden. Parallelt med arbeidet med robotgriperen har det vært en del arbeid med å utvikle en infrastruktur for datainnsamling i felt. Mens roboten krysser jordbærtunnelen, samler den automatisk inn data fra flere kameraer og lagrer bildene på en ekstern server hvor de enkelt kan lastes ned av forskningsmiljøet.

The project has pushed the state of the art of localization and identification of strawberries in a real operating environment. The accuracy of localization and the accuracy of ripeness detection as well as size estimates has been improved. These are important results in themselves, but also the backbone of future strawberry harvesting robots. Identification of berries allows for better mapping and potentially yield detection analysis. Yield detection has the potential to drastically reduce yield loss which will have a huge environmental impact.

The SHAPE project will develop a fully autonomous harvester for strawberry production in polytunnels and open fields. Labour shortage is one of the major concerns for strawberry growers around the globe. There is thus a need for new technology to help growers automate this process. The SHAPE project builds on existing developments within the consortium that puts us in a unique position to close the technological gaps needed to make these systems useful for farmers around the world. The first challenge that needs to be solved is robust and reliable mobility in the field, which is an unstructured environment. The consortium has already developed the Thorvald robot, which is capable of moving autonomously both in polytunnels and in open fields. The second large challenge is the identification and picking of the strawberry using a robotic arm. The fruits need to be accurately localized in the field. We find the fruits using a deep neural network and find the location in the three-dimensional space using 3D camera. We will also develop methods for determining the ripeness prior to picking the berry. The consortium has also developed a novel and patent-pending gripper that will be used in the project. The gripper picks the berries by surrounding them entirely before picking. This makes us able to pick berries in the presence of uncertainties and moving berries. We will also equip this gripper with internal sensors that can estimate the ripeness of the berries and evaluate the quality in a enclosed and controlled environment before harvest. Advanced machine learning will be used to give the robot the ability to reason and make decision in the field, substantially improving the current state-of-the-art by inspecting each and every berry before picking. This will guarantee that diseased berries are not picked and ensure online quality control and grading of the berries. Finally the full on-robot and off-robot logistics of the harvested berries will be developed.