Tilbake til søkeresultatene

FRIHUMSAM-Fri prosj.st. hum og sam

Vision shapes language: Referential communication in blind, sighted and newly-sighted individuals

Alternativ tittel: Syn former språk: Referensiell kommunikasjon blant blinde, seende og personer som får synet tilbake

Tildelt: kr 11,4 mill.

Dette forskningsprosjektet har som mål å undersøke hvordan visuelle prosesser bidrar til språklig kommunikasjon, med fokus på hvordan vi refererer til den fysiske verden rundt oss. For å undersøke dette spørsmålet vil prosjektet studere og sammenlikne kommunikativ kompetanse hos seende og blinde barn. Prosjektet vil også undersøke referensiell kompetanse hos en tredje, unik befolkning: Prakash-barna i Delhi. Dette er barn som fikk synsevner etter at de begynte å snakke. Siden språktilegnelsen foregår enten med eller uten syn, vil studien av den kommunikative utviklingen til barn som nylig har fått synsevner gi en ekstraordinær mulighet: å isolere bidraget fra visuelle prosesser i kommunikasjonsutviklingen. Mitt første forskningsspørsmål er derfor unikt: hvordan forandres blinde barns kommunikative evner når de får syn? Prosjektet vil kombinere tre forskningsfelter: kommunikasjon hos blinde, seende og nylig seende, og sammenligne kommunikative evner hos skolebarn og voksne. Hovedfokuset for de tre forskningfeltene vil være såkalt "publikumsdesign", det vil si hvordan talere skreddersyr bruken av referensielle uttrykk til sine samtalepartneres behov. For å undersøke dette spørsmålet vil jeg bruke oppgaver som omfatter referensiell kommunikasjon der deltakerpar sammen skal arrangere ulike objekter i en fremvisning. Formålet med en slik oppgave i er å se hvordan deltakerne refererer til de ulike objektene i fremstillingen, og om deres valg av referensielle uttrykk viser at de tar samtalepartnerens perspektiv (for eksempel ved å unngå tvetydighet). Deltakernes øyebevegelser blir registrert for å undersøke hvordan visuelle prosesser påvirker bruken av referensielle uttrykk. Jeg vil også ta et longitudinelt perspektiv, der jeg vil følge den kommunikative utviklingen til Prakash-barn over en periode på 4 år. Siden prosjektet startet for 7 måneder siden, har vi jobbet med å designe en oppgave med en "Eye Tracker" for å undersøke hvordan visuelle prosesser bidrar til språklig kommunikasjon i to grupper av Prakash-barn og en seende kontrollgruppe. Den den endelige versjonen av oppgaven vil være klar i løpet av første kvartal 2019. Denne studien vil se på hvordan barn følger perseptuelle signaler i referensiell kommunikasjon (for eksempel, hvordan de følger øyekontakt) og hvordan disse evnene utvikler seg i Prakash-barna. Vi har også lansert en sosial kognisjon oppgave med blinde barn, og planlegger å gjennomføre eksperimentet på nyåret. Målet med studien er å evaluere blinde barns forståelse av innsats og belønning fra andres adferd. I 2018-2019 fullførte vi 3 eksperimenter som undersøkte kommunikasjonevnen til Prakash-barna og i hvilken grad de oppmerksomme på ansikter. Selv om lommunikasjonen deres var sammenlignbar med en seende kontrollgruppe, la vi merke til at Prakash-barna ikke hadde øyekontakt eller fulgte hodebevegelser for å orientere seg mot nye objekt i samtaler. Vi er nå i ferd med å utforme en oppgave til, der vi håper at Prakash-barna begynner å vise interesse for ansikter hvis de får tilstrekkelig tilbakemelding. I 2019-2020 gjennomførte vi den siste pilotstudien for å undersøke barns oppmerksomhet på ansikter i referansekommunikasjon. Dessverre har vi ikke klart å fullføre studien på grunn av COVID-19-pandemien. Siden nedstenging av samfunnet startet i mars 2020, har vi imidlertid ferdigstilt 6 artikler, som for øyeblikket er under evaluering i ledende tidskrifter (dvs. Cognition; Journal of Memory and Language; Cognitive Psychology; Nature Communications; Journal of Child Language; Linguistics and Philosophy). Dette er i tillegg til fem artikler vi allerede har publisert i 2020. Siden det er uklart når den pågående pandemien er over, har vi også jobbet med å tilpasse våre interaktive oppgaver for at de kan gjennomføres via Skype / Zoom, både til Prakash jentene som går på skolen, Silver Linings og til barna i kontrollgruppen vi rekrutterer online fra en lokal skole i Delhi. Datainnsamlingen har startet denne uken, og vi håper å ha fullført to studier innen januar 2021. I 2020-2021 tilpasset vi våre eksperimentelle oppgaver til å bli utført online på grunn av begrensningene under COVID-pandemien. Vi klarte å fullføre to oppgaver med Prakash barn, nevrotypiske barn som kontrollgruppe og voksne i Delhi -området. Disse to studiene er allerede ferdigstilt, og er for tiden under vurdering for publikasjon hos Developmental Psychology and Neuropsychologia. I tillegg er vi ferdig med å kode og analysere en tredje studie (inkludert to separate eksperimenter) og jobber for tiden med manuskriptet. Vi har også ytterligere syv studier under vurdering i ulike tidsskrifter. Mellom 2021-2023 publiserte vi alle innsendte artikler og fullførte ytterligere fire studier: (1) en fortelleroppgave med hindi-talende barn og voksne, (2) en romlig kognisjonsoppgave med blinde barn, (3) en interaktiv oppgave med øyet -sporing med tyrkisktalende voksne, og (4) en online demonstrasjonsoppgave på 10 språk.

FROM THE GRANT PROPOSAL: "This project has groundbreaking potential in several research areas, providing cutting edge evidence that will bear on a number of theoretical and empirical debates in the cognitive sciences (e.g. theoretical pragmatics, developmental psychology and computational linguistics) and innovative applications in the design of intervention programs for blind and newly-sighted individuals. I expect that the 10 studies outlined in this proposal should provide results for at least 10 papers in top journals in Psychology (e.g. Science, Psychological Science, Nature Human Behavior, and Proceedings of the National Academy of Sciences), Linguistics (e.g. Language, Journal of Memory & Language, and Language, Cognition & Neuroscience) and Philosophy (e.g. Mind & Language). The results of our studies will also be presented at international conferences by the members of the research team (e.g. CogSci, CUNY, XPrag or Neuroscience)." ACTUAL OUTCOMES AND IMPACTS BASED ON THE PROJECT RESULTS: As promised in the grant proposal, the studies conducted in this research project addressed important debates in Experimental Pragmatics, Social Cognition, Computational Science and Neuroscience. Since the start of the project in 2018, we published a total of 26 papers, which is 16 more than I estimated in the grant proposal. These papers appeared in top journals such as PNAS (x2), Science Advances, Psychological Review (x2), Scientific Reports, Cognition (x2), Journal of Experimental Psychology: General, Journal of Experimental Psychology: Learning, Memory & Cognition (x2), Cognitive Development (x2), Infant Behavior & Development, Cognitive Science, Child Development, Neuropsychologia (x2), Journal of Memory & Language (x2), Glossa Psycholinguistics and Cognitive Psychology -- among others. The high productivity of this research project is all the more remarkable given that we had to conduct and publish many of our studies during the COVID pandemic. Despite these difficulties, we continued to present our work at international conferences such as XPrag, CUNY (now called HSP), CogSci and ESPP. Our collaboration with Silver Linings (the school for the blind where a number of Prakash girls are receiving tailored education through Project Prakash) was also a great success that improved the school experience of the Prakash girls in our studies.

This research project aims to investigate the contribution of visual processes to verbal communication; in particular, the act of referring to the physical world around us. In order to investigate this question, the referential abilities of sighted and blind individuals will be studied independently and comparatively. The project will also investigate the referential abilities of a third and unique population, the Prakash children of Delhi: newly-sighted children who gained vision after they acquired language. Since language acquisition takes place either with or without vision, studying the communicative development of newly-sighted children will give me an extraordinary opportunity: to isolate the contribution of visual processes to the development of referential communication. My first research question is therefore unprecedented: how do the communicative abilities of blind children change once they gain vision? The project will combine three research strands: blind, sighted and newly-sighted communication, and compare the referential abilities of school children with those of adults. The main focus of the three research strands will be the pragmatic process of 'audience design' in referential communication, or how speakers tailor their referential expressions to the needs of their interlocutors. To investigate this question, I will use referential communication tasks in which pairs of participants interact with one another to arrange various objects in a display. My main interest in this type of task is to see how speakers refer to the different objects in the display, and whether their choice of referential expression reveals perspective taking (e.g., by avoiding ambiguity). The speakers' eye-movements will be recorded in order to investigate how visual processes affect the generation of referential expressions. I will also adopt a longitudinal perspective, following the pragmatic development of Prakash children over a period of 4 years.

Publikasjoner hentet fra Cristin

Ingen publikasjoner funnet

Ingen publikasjoner funnet

Ingen publikasjoner funnet

Ingen publikasjoner funnet

Budsjettformål:

FRIHUMSAM-Fri prosj.st. hum og sam

Finansieringskilder