Een paar maanden geleden haalde ik mijn sites van WordPress af. Niet als project met een planning en een go-live, maar op een middag. Ik beschreef wat ik wilde, Claude vertaalde het naar code, en tegen het einde van de dag draaide er iets wat ik daarvoor in weken niet voor elkaar had gekregen.
Ik schreef daar al over. Wat me sindsdien bijbleef was niet de overstap zelf, maar het gevoel van die middag. Het gevoel dat de verhouding tussen wat ik wilde en wat ik kon maken ergens stilletjes was gekanteld.
Deze week zette Anthropic een getal op dat gevoel.
De cijfers
In een draad over wat zij “recursive self-improvement” noemen, AI die AI helpt bouwen, deelde Anthropic interne data. De kern: hun eigen engineers shippen gemiddeld acht keer zoveel code per kwartaal als in de jaren ervoor.
Het bleef niet bij volume. Op open coding-problemen, het soort waar het antwoord niet vooraf vastligt, haalt Claude nu een succesratio van 76 procent. Een half jaar eerder lag dat vijftig punten lager. Veel van hun engineers zeggen dat de codekwaliteit inmiddels op het niveau van mensenwerk zit, en ze verwachten dat het binnen een jaar beter is.
Er was een test die me langer bijbleef dan de rest. Geef het model code die een klein AI-model traint, en vraag het die sneller te maken. Een goede engineer doet er vier tot acht uur over om het viermaal sneller te krijgen. In mei 2024 haalde hun model gemiddeld een verdrievoudiging. Dit voorjaar haalde het nieuwste model een factor 52.
Anthropic is eerlijk over de grens van wat dit betekent. Ze schrijven zelf dat niets hiervan garandeert dat AI zichzelf gaat verbeteren, en dat onduidelijk blijft of het model research judgment heeft: het vermogen om de juiste problemen te kiezen. Onthoud die zin. Ik kom erop terug.
De spiegel
Ik ben geen frontier-lab. Ik ben één persoon met een paar sites, een nieuwsbrief en een hoop ideeën die vroeger bleven liggen omdat de uitvoering te duur was.
En toch herken ik de grafiek. Niet het getal, dat is van hen, maar de vorm. De honderd kleine overdrachten die een dag vol maakten, het kopiëren, het schakelen tussen tabbladen, het opmaken, zijn grotendeels verdwenen. Wat ik vroeger uitstelde omdat het te veel gedoe was, doe ik nu tussen de middag. Mijn eigen acht keer zit niet in slimmere gedachten. Het zit erin dat de gedachten sneller de deur uit gaan.
En daar komt nog iets bij dat met mij te maken heeft. Ik ben creatief en eigenwijs. Ik denk makkelijk en snel in concepten, ik zie iets al voor me voordat er een letter staat. Typen was lang de flessenhals tussen dat beeld en iets wat bestond. Nu typ ik dit nog, maar wat ik het liefste doe, en het vaakst, is invoeren met mijn stem. Voice First. Daar vertel ik later nog wel een keer over. Het is dezelfde beweging als die acht keer. Niet dat ik beter denk, maar dat er minder tussen de gedachte en de uitvoer zit.
Dat is precies waar ik voorzichtig word.
Wat het getal niet meet
Drie dingen houd ik tegen het licht voordat ik meega in het verhaal.
Het eerste: Anthropic beoordeelt zijn eigen huiswerk. Dit is interne data, gedeeld door het bedrijf dat het meeste belang heeft bij precies dit verhaal. Dat maakt de cijfers niet onwaar, maar het maakt ze geen onafhankelijke meting. Een bedrijf dat een versneller verkoopt en vervolgens meet hoe hard het zelf versnelt, vertelt een verhaal waarin het zelf de hoofdrol speelt.
Het tweede, en dit is het echte: acht keer zoveel code is niet acht keer zoveel waarde. Code is het makkelijke deel om te tellen. Het is volume, en volume is precies wat een machine goed kan opvoeren. Maar de waarde zit zelden in de hoeveelheid. Die zit op de laatste meter, waar je beslist welk probleem het waard is om op te lossen. Anthropic zegt dit eigenlijk zelf, in die ene zin die ik je vroeg te onthouden. Hun model verbetert in 64 procent van de gevallen de volgende stap van een onderzoeker. Indrukwekkend. Maar de stap kiezen is iets anders dan de richting kiezen.
Het derde volgt daaruit. Meer output is niet meer denken. In een eerder stuk noemde ik het onderscheid tussen het sjouwen en het denken. De versnelling die ik voel, en die Anthropic meet, zit bijna helemaal in het sjouwen. Het verplaatsen, het bouwen, het uitvoeren. Het denken, het bepalen of iets de moeite waard is, is niet acht keer sneller geworden. Bij mij niet, en aan hun eigen voorbehoud te zien bij hen ook niet.
Wat ik eraan overhoud
De verleiding bij een getal als dit is om het door te trekken. Acht keer dit jaar, dus stel je voor wat volgend jaar. Maar een lijn die omhoog loopt op de as die je makkelijk meet, zegt niets over de as die je niet meet.
Ik gebruik de versnelling, dagelijks, en ik zou niet meer terug willen. Maar ik probeer me één vraag te blijven stellen. Niet hoeveel ik de deur uit krijg, want dat antwoord is inmiddels gemakkelijk. Wel of ik nog steeds de goede dingen de deur uit krijg. Dat is de maat die in de grafiek ontbreekt, en het is de enige die er op de lange duur toe doet.
Acht keer zoveel kunnen maken is een geschenk. Het wordt pas een probleem als je vergeet dat sneller produceren en beter kiezen niet hetzelfde zijn, en dat alleen de tweede iets is wat een machine je voorlopig niet uit handen neemt.
Dit stuk hoort bij een doorlopende lijn over AI als uitvoerder. Lees ook hoe ik van WordPress afstapte en de assistent die uitvoert.