Reliable and efficient high-throughput phenotyping to accelerate genetic gains in Norwegian plant breeding (virtual phenomics; vPheno)

Dette prosjektet har utviklet og testet ny teknologi innen både bildeanalyser og genomseleksjon som kan øke presisjonen i utvelgelsen av nye plantesorter og gi planteforedlerne tilgang på mer presise data om plantenes vekst og utvikling. Feltforsøk med 300 vårhvetelinjer er blitt gjennomført hvert år både på forsøksgården Vollebekk på Ås i regi av NMBU og på Staur i Stange i regi av Graminor. I tillegg registrering av avling og agronomiske egenskaper er det tatt jevnlige multispektrale dronebilder med omtrent ukentlige intervall i løpet av sesongen. Data fra disse bildeanalysene blir sammenlignet med manuelle målinger som gjøres på plantene i løpet av vekstsesongen. De fire siste sesongene er i tillegg et valideringspanel med 300 nye vårhvetelinjer fra Graminor blitt testet på begge stedene. Bruk av nye maskinlæringsmetoder har resultert i lovende prediksjonsmodeller for avling basert på vegetasjonsparametere fra multispektrale dronebilder. Dette ble publisert i 2021. I 2020 og 2021 gjennomførte vi parallell testing av to ulike multispektrale kamera med ukentlige flyvinger gjennom sesongen for å sammenligne deres datakvalitet med hensyn på avlingsprediksjon. Disse resultatene viser at en mye billigere og mer brukervennlig drone med innebygd multispektralt kamera gir like gode data som det mer avanserte og betydelig dyrere kameraet vi brukte i starten av prosjektet. Dette ble dokumentert i en vitenskapelig publikasjon som vil bidra til å gjøre multispektral fenotyping mer tilgjengelig for planteforedlere uten særlig erfaring med droneflyging. På bildeanalysefronten har vi det siste året arbeidet med forbedring av metodikken for å estimere plantehøyde og aksskytingsdato og i samarbeid med Boston University testet ulike metoder for å håndtere skyggeeffekter i sammensydde dronebilder forårsaket av skyer på himmelen. I samarbeid med CIMMYT i Mexico har vi arbeidet med å teste ut effektive statistiske modeller for genomisk seleksjon som kombinerer fenotypiske data med markørdata og multispektral informasjon fra dronebildene. En lang rekke effektive statistiske modeller som inkorporere korrelerte egenskaper, genotype-miljøsamspill og værdata fra dette arbeidet har blitt publisert og er klare til bruk. Testing av disse modellene på feltforsøksdata fra prosjektet viser at treffsikkerheten kan økes ved å inkludere multispektrale vegetasjonsdata i genomprediksjonsmodellene. I det siste har vi også sammenlignet disse klassiske statistiske modellene med modeller basert på maskinlæring og kunstig intelligens. Resultater så langt viser at disse modellene krever mer data for å oppnå samme treffsikkerhet som enklere statistiske modeller. I 2022 ble det med midler fra prosjektet gjennomført et kurs i statistisk modellering for fire gjesteforskere fra Norge mens prosjektets postdoktorstipendiat hadde utenlandsopphold der. Oppholdet ga god innsikt i både planteforedlingsmetodikk og hvordan fenotypingsdata fra feltforsøk blir analysert sammen med markørdata i hveteforedlingsprogrammene på CIMMYT. Vi har i prosjektet gjennomført avlingsforsøk med 24 historiske hvetesorter for å studere det plantefysiologiske grunnlaget for avlingsframgangen i norsk hveteforedling. Disse er de sju siste årene (2016 til 2022) blitt sådd ut på Vollebekk med to forskjellige nitrogengjødslingsnivå som tilsvarer omtrent vanlig gjødsling i dag (15 kg N per daa) og halvparten av dette (7.5 kg N per daa). I noen av disse forsøkene har vi i tillegg til vanlige agronomiske registeringer og avling også studert avlingskomponenter og gjort plantefysiologiske målinger. I alle disse forsøkene er det tatt jevnlige dronebilder med multispektralt kamera i tillegg til nærbilder med roboten. Disse forsøkene demonstrerer en tydelig avlingsframgang over de fem siste tiårene, og peker på antall korn per aks som en viktig faktor bak avlingsframgangen. Det er også en tendens til at de moderne sortene generelt viser en lengre kornfyllingsfase. En vitenskapelig artikkel om dette ble publisert i 2022. I prosjektet har vi utviklet nye måter å visualisere data fra feltforsøk på, gjennom «virtual reality». Making View ferdigstilte i 2021 en demoversjon som kombinerer tredimensjonale modeller fra dronebilder med multispektrale data og nærbilder fra roboten og annen data som er samlet inn fra feltforsøkene. Dette er et verktøy som gjør det mulig for planteforedlere å besøke forsøksfeltene virtuelt lenge etter at sesongen er over og bestemme hvilken type informasjon som skal vises. Vi har på slutten av prosjektet fokusert ressursene rundt å systematisere og automatisere prosesseringen av de store datamengdene som genereres fra dronebildene, og laget løsninger som gjør det mulig å pre-prosessere og kvalitetssjekke data samme dag som de blir samlet inn. Vi har også gjort framgang i arbeidet med å utvikle maskinlæringsmetoder for automatisk gjenkjenning og telling av aks i nærbilder fra roboten, og dette er arbeid som vil bli videreført i PhenoCrop-prosjektet

Direct outcomes achieved by the project: - an operable field phenotyping robot for close-up imaging in field trials - reliable drone imaging protocols with RGB and multispectral cameras in field trials under Norwegian growing conditions - reliable data processing-pipelines for drone imaging data - documentation of genetic yield gains by plant breeding in Norwegian spring wheat - insight into the genetics of grain yield and agronomic traits in Norwegian spring wheat - improved statistical models for predicting grain yield based on multispectral drone imaging data - improved statistical models for genomic prediction - new statistical models for combining genomic data with phenomics data in genomic prediction - a proof-of-concept prototype for displaying field trial data based on robot and drone images in virtual reality - buildup of national competence in high-throughput field phenotyping - expanded research portfolio in high-throughput field phenotyping for partners in the project Future impacts: - less costly and more precise trait estimation in field trials compared to manual measurements - faster genetic gains in plant breeding by use of high-throughput field phenotyping in combination with genomic selection - increased profitability of Norwegian plant breeding, leading to more high-yielding and better-adapted cultivars for the Norwegian market - more sustainable agriculture based on cultivars with higher yields and better resource use efficiency

New approaches are necessary to meet the goals of increased food production. Plant breeding can play a key role by developing cultivars with higher yield potential. New technologies like genomic selection and high-throughput phenotyping offer possibilities to increase genetic gains through more precise selection and shortening of the breeding cycle. However, considerable research is needed in terms of theoretical developments, statistical modeling and technical solutions to achieve this in practice. By bringing in world-leading expertise in statistical modeling and image analysis, we will develop novel statistical models to extract biologically relevant information from hyperspectral images. The work will consist of developing reliable methods for capturing high-resolution images of field plots, and utilizing novel computational solutions to integrate top view images from drones with close-up images from robots to build 3D models that retain the original resolution and hyperspectral information. Computational algorithms will then be used to extract important physical and physiological traits from these 3D models that can be used directly as selection tools in plant breeding. By coupling hyperspectral data with grain yield and other direct measurements, statistical prediction models will be developed that plant breeders can use in early-generation selection to increase yield gains. Considerable efforts will be spent on developing efficient computational solutions to manage the large amounts of data that will be generated, and finding intuitive ways of displaying relevant information to the plant breeder. User-friendly solutions will be developed through direct involvement of Graminor plant breeders in the project. By utilizing virtual reality technology, our ultimate goal is to "take the field to the breeder" and let the plant breeder observe the field plots and associated data through VR goggles.