3D shape analysis of cattle to improve data collection

For å øke genetisk framgang i storfeproduksjonen, ønsker Geno SA og TYR å forbedre datainnsamlingen. Mye manuelt arbeid kreves for øyeblikket for å registrere en del egenskaper, og vi ønsker å automatisere denne datainnsamlingen ved å utnytte 3D-bildeteknologi. For å hente ut egenskaper for avl fra 3D-bilder, må vi utvikle algoritmer som kan forutsi meningsfulle kvantitative mål om dyrets størrelse, form eller kvalitet, basert på 3D-bilder. I dette prosjektet ønsker vi å benytte maskinlæringsmetoder for å predikere tradisjonelle egenskaper, som for eksempel vekten til oksen eller plasseringen av spenene til en ku. Vi har satt sammen datasett som består av både 3D-bilder og de tradisjonelle målene vi ønsker å forbedre (fenotypene). På disse datasettene bruker vi veiledet læring for å trene dype nevrale nettverk til å forutsi de tradisjonelle egenskapene basert på 3D-bildene. Med relevante 3D-bilder skal den trente modellen kunne forutsi den tradisjonelle egenskapen, og den tradisjonelle registreringen kan deretter utelates, noe som både kan forbedre og effektivisere datainnsamlingen på disse egenskapene. Hittil har vi utviklet klassifiseringsmodeller basert på dyp læring, for å skille mellom nyttige og unyttige bilder. Siden noen uskarpe eller irrelevante bilder blir tatt i innsamlingsfasen, må slike bilder automatisk filtreres bort før videre etterbehandling. Videre har vi jobbet med å identifisere overflødige spener (ekstraspener) basert på bildene. Vi har også brukt tilnærminger for dataaugmentering for å øke antall bilder som bidrar til å forbedre ytelsen til dypelæringsmodellene. Vi har også brukt RGB-bilder, dybdebilder og fusjonerte RGB- og dybdebilder for å forbedre ytelsen til dyplæringsmodellen for analyse av spenelengde hos melkeku. Med tanke på egenskapen speneplassering foran, utforsket vi ulike dybdelæringsmodeller, med spesiell fokus på overføringslæring. Ved å benytte denne metodikken kunne vi dra nytte av den eksisterende kunnskapen som lå i forhåndstrente modeller. For estimert vekt hos storfe, utviklet vi og analyserte en rekke data modaliteter, som for eksempel RGB-bilder, dybdebilder, sammenslåtte RGB- og dybdebilder, segmenteringsbilder og fusjonerte segmenteringer med dybdebilder. Arbeidet vårt viste viktigheten av fargeinformasjonen for å produsere presise resultater, som viser effektiviteten til RGB, RGB og dybde, segmentering og fusjonerte segmenteringsmodaliteter med dybde. Imidlertid ble det funnet at å stole utelukkende på dybdeinformasjon var utilstrekkelig, da det ikke kunne fange de komplekse mønstrene som kreves for nøyaktige vektestimater.

With this project we aim to build up competence and tools that allow us to improve and streamline our routine data collection. The outcome of this project is therefore reduced amount of manual work, which could lead to increased amount of data and reduced labour costs. In addition, by digitizing the value chain, the quality of data is going up. This would impact the quality of the selection process, and further, improve the products which allow us to increase sales and/or prices in the international market. To further elaborate, the primary objective of this project is to foster proficiency and create instruments that enable the improvement and streamlining of our regular data collection procedures in the livestock sector. Through the utilization of a range of deep learning models and diverse image modalities, encompassing RGB and depth data, in conjunction with the application of transfer learning and data augmentation techniques, our objective is to significantly enhance the effectiveness and precision of numerous tasks. These tasks encompass the classification of udder and non-udder cattle images, supernumerary teat classification, analysis of front teat placement traits, teat length traits, and estimation of cattle weight. We have achieved good results in the aforementioned areas. The results and completion will result in a substantial decrease in the need for human work, therefore allowing us to handle higher quantities of data while also reducing labor expenses. Now it is a matter of deploying these developed techniques and models in the future. This will not only make our operations more efficient but also improve our competitiveness and profitability in the worldwide market.

To improve genetic gain within cattle breeding, relevant data need to be collected on a large number of animals. However, for some traits, data collection requires a lot of manual work, and automation of these processes has the potential to both save costs and improve the genetic gain. Examples of such traits are weight measurements on beef cattle (where the cattle needs to be located on the weight) and udder conformation on dairy cows, which is currently scored by visual inspection by technicians. Geno, TYR and other collaborators are now in another project testing out whether use of 3D cameras in combination with computer vision could replace traditional recording systems. Main objective: In this project, we want to develop automatic computer vision algorithms that utilize the surfaces to predict geometric properties relevant for the cattle breeding. Reference data sets are under constrcion, where both 3D images and traditional recordings are taken from the same animals. Based on computer vision and machine learning techniques (like e.g. supervised deep learning), we aim to train regression models that could be used to predict relevant phenotypes, based on 3D images. • Secondary objective1: Develop models to predict traditional udder conformation traits, based on 3D images. Traditional conformation score data and predicted traits from 3D images should be used into genetic analyses for comparison and estimation of e.g. heritability. • Secondary objective 2: Develop regression models that are able to predict weight, carcass-quality and body condition score from 3D images of cattle, taken from above. • Secondary objective 3: Develop new relevant traits for breeding. To do this, we aim to build a reference atlas of the udder surface to achieve point correspondence between individuals. Further, by using dimension techniques (like Partial least squares regression), we want to combine the 3D surfaces with health data, to find health risk indicators in complex 3D data.