En AI-model kan ramme det rigtige svar i en materialeanalyse uden at bruge de oplysninger, som forskerne egentlig vil have den til at læse. Det viser et studie offentliggjort i Communications Materials den 19. oktober. Her opnåede to neurale netværk omtrent samme høje præcision, men byggede deres svar på vidt forskellige dele af målingerne.

Redad Mehdi og kolleger undersøgte røntgendiffraktionsdata fra titanlegeringen Ti–6Al–4V. Opgaven var at bestemme andelene af materialets alfa- og betafase. Forskerne brugte to uafhængige datasæt fra synkrotronmålinger og finjusterede modellerne med 250 eksperimentelle diffraktogrammer.

Den ene model var på forhånd trænet på almindelige billeder fra ImageNet. Den anden havde også fået træning på et stort antal simulerede diffraktogrammer. Robusthedstest og kortlægning af modellernes opmærksomhed viste forskellen: Billedmodellen udnyttede uvedkommende baggrund og pixelstøj, mens den ekstra trænede model brugte fysisk relevante Bragg-refleksioner.

Et målebillede er ikke et fotografi

Et diffraktogram kan ligne et billede på en skærm, men det skal læses på en anden måde end et fotografi. Det viser, hvordan røntgenstråling spredes i et materiale. Mønsterets intensitet opstår gennem forstærkning og udslukning af den spredte stråling og hænger sammen med materialets struktur.

Det britiske synkrotronanlæg Diamond Light Source beskriver, hvordan teknikken bruges til at undersøge krystallinske materialer. Den kraftige stråling fra en synkrotron gør det muligt at indsamle mønstrene hurtigere end med en almindelig laboratoriekilde og at registrere faser, som forekommer i lavere koncentrationer.

Det forklarer, hvorfor en model skal reagere på bestemte strukturer i dataene. En tilfældig plet eller et støjmønster kan være synligt uden at være relevant for det spørgsmål, målingen skal besvare. At computeren kan behandle begge dele som pixels, gør dem ikke lige informative.

Når genvejen virker i testen

Problemet hører til det, forskere kalder genvejslæring. I et arbejde fra 2020 beskrev Robert Geirhos og kolleger, hvordan neurale netværk kan lære beslutningsregler, der fungerer godt på kendte testdata, men bryder sammen under mere udfordrende betingelser.

Det er ikke nødvendigvis en fejl i beregningen. Modellen optimerer den opgave, den får, og kan udnytte en statistisk sammenhæng, som udvikleren ikke havde tænkt som en del af løsningen. Hvis den samme sammenhæng også findes i testmaterialet, kan den give et overbevisende resultat.

Et tænkt eksempel er et system, der skal skelne mellem to slags metalprøver. Hvis alle billeder af den ene slags er taget på et mørkt bord, og alle billeder af den anden på et lyst, kan bordet blive en effektiv ledetråd. Systemet kan bestå en test med de samme bordtyper og fejle, når en ny prøve fotograferes et andet sted. Det er en forklaring af princippet, ikke et forsøg fra det nye studie.

Præcision og robusthed besvarer forskellige spørgsmål

En præcisionsmåling fortæller, hvor tæt modellens svar ligger på facit i det valgte datasæt. En robusthedstest undersøger derimod, om svaret holder, når forholdene ændres. Begge dele er relevante, når en model skal bruges uden for den samling af målinger, den er udviklet med.

For et laboratorium kan det derfor være nyttigt at stille et meget konkret spørgsmål: Hvilke ændringer burde lade resultatet være uændret? Hvis baggrunden ændres, mens det relevante signal bevares, bør en metode ikke pludselig beskrive materialet helt anderledes. Sådanne kontroller kan gøre skjulte afhængigheder lettere at opdage.

En konkret advarsel, ikke en dom over al AI

Studiet undersøger en bestemt legering, måleopgave og sammenligning af modeller. Det viser ikke, at alle billedbaserede netværk fejler i materialeforskning. Publikationen er fagfællebedømt og accepteret, men tidsskriftet viser foreløbig en tidlig udgave før den afsluttende redigering.

Den praktiske pointe er, at et godt resultat bør ledsages af en undersøgelse af, hvordan det er opnået. Ekstra træning med relevante fysikbaserede data kan være en vej frem. Den fritager ikke forskere for at teste nye måleforhold, kontrollere usikkerhed og afgrænse, hvilke materialer deres model faktisk er dokumenteret til at analysere.

Kilder og videre læsning

Har du fundet en fejl? Læs om rettelser.