On mielenkiintoista, että ajatus vaarallisten kykyjen arvioinnista sai alkunsa kontekstista, jossa suuri osa julkisista kommenteista ankkuroitui stokastisiin papukaijoihin ja "tekoäly ei voi tuottaa sormia, miten se voisi koskaan olla ennakkoluulojen ulkopuolinen uhka?" Joten oli erittäin järkevää rakentaa leluversioita haitallisista käyttötavoista, jotta se kommunikoisi paremmin siitä, mikä oli mahdollista, varsinkin kun otetaan huomioon turvallisuusihmisten oikea intuitio siitä, että edistys ei lopu tähän: vaikka tekoälyt epäonnistuisivat, olisi helppo osoittaa, että ne paranevat ajan myötä. Ongelmana on, että tämä toimi hieman liian hyvin ja ihmiset unohtivat evalsin "leluversion" osan, jossa tiedotusvälineet raportoivat "kiristyksestä" tai malleista, jotka pärjäsivät hyvin virologian perus-MCQ:issa tai peruskoodin luomisesta haittaohjelmille suurina sopimuksina - he eivät olleet. Mutta tietysti monet puolestapuhujat rakastivat käyttää niitä havainnollistamaan, miksi sääntelyä tarvitaan enemmän kuin koskaan, tai liioittelemaan asioiden huonoutta ("tämä on hienoa", meemit jne.). Ihmiset esittivät kyseenalaisia väitteitä "vaarallisista malleista", joita ruokki alalle ominainen syvä riskiaversio. Siitä lähtien ala on kypsynyt ja arvioinnit näyttävät paremmilta, osittain siksi, että turvallisuuspuolen oli todella tehtävä yhteistyötä alan bio- tai kyberasiantuntijoiden kanssa sen sijaan, että se olisi yrittänyt selvittää kaiken ensimmäisistä periaatteista. Vaikka pidän edelleen monia evalteja perustavanlaatuisina, staattisena ja ulkoisesti kelpaamattomina, ne ovat edelleen tärkeitä indikaattoreita. Erityisistä uhkamalleista keskustellaan kuitenkin edelleen, ja on edelleen avoin kysymys, muuttaako tekoäly olennaisesti kyberturvallisuuden hyökkäyspuolustuksen tasapainoa. Tuore Anthropic -raportti on hienoa työtä, mutta se ei vaikuta suurelta jutulta, koska tämäntyyppiset hyökkäykset ovat melko yleisiä; Toki siihen liittyy enemmän automaatiota, ja sitä pitäisi tutkia, mutta pelkästään se olisi ilmeisesti tilanne tietyllä diffuusiotasolla. Sinun pitäisi odottaa, että myös pahikset käyttävät teknologiaa. Meidän pitäisi pitää silmällä, luoko tämä asteittaista epäsymmetriaa ja lisääkö merkittävästi vahinkoja/kustannuksia/lunnaita + missä määrin kyberpuolustus/kriittinen infrastruktuuri kovenee rinnakkain. Imo meillä pitäisi olla priorit, jotka suosivat "sotkuista tasapainoa" "yksipuolisen hyökkäysedun" sijaan.