AI-modeller kan få væsentligt bedre arbejdsbetingelser på Mac med den kommende PyTorch 2.15. Hugging Faces PyTorch-hold offentliggjorde den 20. oktober målinger, hvor sprogmodellen Qwen3.6-35B-A3B steg fra 9,4 til 61,3 tokens i sekundet på en M3 Ultra med torch.compile, sammenlignet med version 2.14.

Det er omkring 6,5 gange så høj hastighed i den konkrete test. Holdet beskriver blandt andet nye beregningsrutiner i Metal og færre synkroniseringer mellem processor og grafikchip. Resultatet gælder den målte model og opsætning, ikke automatisk alle AI-programmer på en Mac.

Version 2.15 er stadig en udgivelseskandidat. PyTorch-projektets officielle plan angiver den 28. oktober som forventet udgivelsesdato og understreger, at fremtidige datoer kan ændres. Nyheden er altså udviklernes aktuelle resultater og muligheden for at afprøve forbedringerne før den endelige udgivelse.

Softwaren mellem modellen og grafikchippen

PyTorch er et værktøj, som udviklere bruger til at arbejde med maskinlæringsmodeller. På Mac kan beregninger sendes til grafikchippen gennem MPS, forkortelsen for Metal Performance Shaders. Apple beskriver dette som et lag, der forbinder PyTorch med grafikaccelererede operationer.

Apples dokumentation forklarer, at beregningsrutiner tilpasses egenskaberne ved forskellige Metal-grafikchips. Udviklere kan desuden anvende egne Metal-rutiner. Det betyder, at ydelsen ikke alene afhænger af, hvilken chip der sidder i computeren, men også af, hvordan softwaren bruger den.

Det er denne type forbedring, der kan gøre en eksisterende computer mere anvendelig uden en fysisk opgradering. En model består af mange gentagne beregninger. Hvis en ofte brugt operation bliver hurtigere, kan gevinsten slå igennem mange gange, mens modellen producerer et svar.

Hukommelsen er også en flaskehals

Hugging Face rapporterer også et stort fald i maksimal driverhukommelse under en bestemt Wan2.2-videoafkodning: fra cirka 270 GiB til cirka 8 GiB. Ændringen vedrører en konkret VAE-afkodning og må ikke læses som hukommelseskravet for enhver komplet videogenerering.

Derudover kommer understøttelse af FP8-data, som bruger én byte pr. værdi, mod to for BF16. Ifølge holdets vejledning kræver Mac-funktionerne Apple silicon og mindst macOS 15. PyTorchs kompatibilitetsoversigt angiver Python 3.11 som minimum for version 2.15.

Hastighed og hukommelse løser forskellige problemer. En opgave kan være hurtig nok, men stadig kræve mere plads, end maskinen har. Omvendt kan en model godt være lille nok til at indlæse, men svare så langsomt, at den er upraktisk i daglig brug. Derfor er begge slags målinger relevante.

Hvad fortæller tokens i sekundet?

En token er en tekstbid, som en sprogmodel arbejder med. Den svarer ikke nødvendigvis til et helt ord. Målingen beskriver her, hvor hurtigt modellen producerer nye tekstbidder under den undersøgte afkodning.

Det er ikke det samme som ventetiden på hele svaret. Brugeren kan også vente på, at modellen indlæses, og på at den behandler spørgsmålet og eventuelle vedhæftede tekster. En forbedring af selve tekstproduktionen kan derfor opleves forskelligt i en kort chat og i en opgave med et langt dokument.

Der er heller ingen direkte forbindelse mellem flere tokens i sekundet og bedre svar. En hurtigere beregningsvej kan gøre samme opgave mere praktisk, men tallet siger ikke, om svaret er korrekt, nyttigt eller skrevet på godt dansk.

Et konkret fremskridt for lokal AI

For udviklere er den nyttige sammenligning derfor deres egen arbejdsopgave før og efter en opdatering: samme model, samme input og samme kvalitetskrav. Det gør det muligt at skelne en forbedring i beregningen fra forskelle i, hvad man beder modellen om.

En udgivelseskandidat giver mulighed for at finde fejl, før en version bliver gjort endelig. PyTorchs udgivelsesproces omfatter netop validering af kandidater og rettelser inden overgangen til en stabil udgave.

De nye målinger viser, at arbejdet med software tæt på hardwaren stadig kan flytte meget. Den praktiske gevinst skal dog vurderes i den konkrete anvendelse, og forbedringer i næste version bør holdes adskilt fra det, der allerede kan afprøves i 2.15.

Kilder og videre læsning

Har du fundet en fejl? Læs om rettelser.