TorchNeuron werkt samen met PyTorch, een gratis open-source toolkit waar ontwikkelaars gebruikmaken om AI-modellen uit te bouwen, trainen en draaien laten gaan. Volgens Amazon maakt dit ervoor mogelijk dat AI-toepassingen geschreven in PyTorch zonder codeherprogrammering kunnen worden uitgevoerd op Trainium; slechts één regel configuratie hoeft dan nog aangepast te worden. Amazon stelt ongeveer 85% van alle applicaties in de kunstmatige intelligentie wordt gebouwd met behulp van PyTorch oorspronkelijk door Facebook ontworpen maar sinds 2022 is het onderdeel geworden van de Linux Foundation die zich bezighoudt met open-source software.
projecten. Nvidia heeft jarenlang ervoor gezorgd dat hun CUDA-software — de softwareinfrastructuur die zorgt voor soepele ondersteuning van AI-apps geschreven met PyTorch op Nvidia GPU's en andere hardware — naadloos werkt. Hierdoor zit Nvidias hardware nu diep verankerd in het toolkit, vrijwel standaard. TorchNeuron is aangepast aan PyTorch, dus ontwikkelaars die al bekend staan met PyTorch weten hoe ze dit kunnen gebruiken.
Amazon is niet het eerste bedrijf om te proberen zijn chips eenvoudig naar het platform over te brengen. Gebruikers van PyTorch kunnen hun apps ook porteren naar AMD-GPU's of zelfs Apple-chips door een eenvoudige configuratieverandering. Echter, Amazon betoogt dat migreren naar Trainium niet alleen makkelijk is; het geeft AI-startups bovendien toegang tot Amazons volledige cloud.
Ongeveer verwonderlijk stelt AWS dat deze optie beter geschikt is voor start-ups dan gebruikmaken
neoclouds, waarvan velen verbonden zijn aan Nvidia en hun hardware zoals Coreweave, Nebius en Firmus. "Je bouwt op AWS. Je wedt niet op een compute-provider voor één doel die alles om zich heen moet bouwen terwijl je worstelt," vertelde Colin Brace, vicevoorzitter van Technology Software bij AWS Annapurna Labs (de afdeling dat Amazons eigen chips maakt), TechCrunch per e-mail. "Op AWS" vervolgde hij, "zit de infrastructuur al klaar om te gaan van prototype naar productie, waardoor oprichters snel kunnen werken en schalen wanneer ze het nodig hebben." Volgens Amazon bespaart zijn cloud startups geld omdat dezelfde chip zowel training (onderwijzen aan het AI-model) als inferentie (het inzetten van het afgeronde model, zoals toen een vraag wordt beantwoord door een gebruiker) behandelt en nauw geïntegreerd is met de cloudfaciliteiten die startersbedrijven nodig hebben.
"Geld", zelfs als AWS niet de goedkoopste prijs per token biedt. "De waarde van Trainium ligt in het verhouding tussen prestatie en prijs én feit dat het één platform is voor zowel training als inferentie, wat de economische haalbaarheid verbetert over een volledige werklast," zei Brace. "Kijk naar Deepgram; ze schakelden over op Trainium via native PyTorch-ondersteuning en zij verwerken 70% meer audio per dollar bij productie-grade nauwkeurigheid." Deepgram is een AI-voice-appleverancier, concurrent van ElevenLabs.
Maar Amazon wil zich niet tevreden stellen met alleen maar ontwikkelaars van PyTorch-toepassingen een gemakkelijke optie te bieden om overstap maken naar zijn cloud. Ook zegt het bedrijf dat het werkt aan minder afhankelijkheid van NVIDIA binnen de standaardinstellingen voor PyTorch en zal deze code ter beschikking stellen aan het hoofddossierproject van PyTorch. In de blogpost waarin ze nieuwe tool aankondigen schreef het bedrijf: "De benadering van Amazon strekt uit"
buiten hun eigen hardware heen. Het bedrijf draagt wijzigingen bij aan de upstream-versie van PyTorch zelf en werkt samen met de PyTorch-community om code te verwijderen die het framework koppelt aan specifieke chips. Doel is dat PyTorch voor de hele ontwikkelaarscommunity meer onafhankelijk wordt van hardware, niet alleen voor gebruikers van Trainium.
ramificaties voor de reus van GPUs dan alleen het omgaan met concurrenten op gebied van chips. Zoals Brace zei: 'Het echte verhaal gaat over het wegnemen van de afhankelijkheid die ontwikkelaars ervan weerhield een echt keuzerecht te hebben.'
