Het is jammer dat OpenAI minder rigoureus was met hun GPT-5 testen dan met hun veel zwakkere OS-modellen. OpenAI heeft de datasets beschikbaar om GPT-5 te finetunen en de biowapenrisico's van GPT-5 nauwkeuriger te meten; ze kiezen er gewoon voor om dat niet te doen.

OpenAI gebruikt dezelfde bio-tests voor de OS-modellen en GPT-5, maar heeft geen "bio max" versie van GPT-5 gemaakt, hoewel ze dat wel voor het zwakkere model hebben gedaan. Dit kan een reden zijn dat OpenAI "geen definitief bewijs heeft" over GPT-5 dat het een hoog risico vormt.

Natuurlijk, als GPT-5 wordt gestolen - iets waarvan alle grote AI-laboratoria geloven dat het mogelijk is - dan kan OpenAI geen misbruik voorkomen, net zoals ze dat niet kunnen voor een OS-model. Dit is de reden voor het uitvoeren van fijn afgestemde evaluaties: om het werkelijke maximale risico te kennen als het gestolen wordt.

Helaas is het niet duidelijk of OpenAI diefstal van zijn hoog-risico model heeft voorkomen, zoals vereist door zijn Voorbereidingskader. De beschrijving van de beveiligingsmaatregelen door OpenAI is vrij summier en zegt niet 'we hebben geïnvesteerd op het specifieke niveau dat we beloofd hebben.' Ik zou graag meer willen weten.

Ik ben behoorlijk in de war over waarom OpenAI geen fijn afgestelde evaluaties voor GPT-5 heeft uitgevoerd; ze hebben de datasets en de fine-tuning infrastructuur. Eens had OpenAI zich aan deze strengheid gecommitteerd. Ik begrijp waarom ze zouden terugkrabbelen als ze de middelen niet hebben, maar op dit moment lijkt het erop dat ze die duidelijk wel hebben.