Nvidia publiceerde onderzoek dat suggereert dat de 'harness'—de software-omgeving rond een AI-model—voor langdurige taken belangrijker is dan het model zelf. Met een aangepaste harness, inclusief een 'supervisor'-component, haalde het model Claude Opus 5 100% op de ARC-AGI-3-benchmark. Zonder harness werd slechts 30% behaald.
De test op de interactieve redeneerbare benchmark (ARC-AGI-3) vergelijkt AI-prestaties met menselijke vaardigheden. Nvidia benadrukt dat de harness verantwoordelijk is voor geheugenbeheer, context en feedback. OpenAI ontdekte vergelijkbare verbeteringen door aanpassingen in de harness.
Langdurige taken vereisen meerdere beslissingen over dagen. Nvidia benadrukt dat openbare harnessen gebruikers meer controle bieden, terwijl onjuiste harnessen AI-kosten kunnen verdubbelen. De studie benadrukt dat het 'harness' de kern is van agentele systemen, niet het model zelf.
Nvidia benadrukt rol van 'harness' in AI-ontwikkeling
Nvidia's onderzoek toont dat de software-omgeving ('harness') van een AI-model belangrijker is dan het model zelf voor complexe taken. Met een aangepaste harness haalde het model Claude Opus 5 100% op een benchmark, terwijl zonder harness slechts 30% werd behaald.
Bronnen
- TechCrunch AI (ai_news)