Interesujące jest to, że pomysł oceny niebezpiecznych możliwości po raz pierwszy pojawił się w kontekście, w którym wiele publicznych komentarzy opierało się na stochastycznych papugach i "AI nie może generować palców, jak mogłoby stanowić zagrożenie poza uprzedzeniami?" Dlatego miało to sens, aby stworzyć zabawkowe wersje szkodliwych zastosowań, aby lepiej komunikować, co jest możliwe, szczególnie biorąc pod uwagę poprawną intuicję ze strony osób zajmujących się bezpieczeństwem, że postęp się na tym nie zatrzyma: nawet jeśli AI zawiodą, łatwo będzie pokazać, jak z czasem stają się lepsze. Problem polega na tym, że to zadziałało trochę zbyt dobrze i ludzie zapomnieli o części 'zabawowej wersji' ocen, a media donosiły o 'szantażowaniu' lub modelach radzących sobie dobrze w podstawowych pytaniach wielokrotnego wyboru z wirusologii lub generujących podstawowy kod dla złośliwego oprogramowania jako wielkich sprawach - nie były. Ale oczywiście wielu zwolenników uwielbiało używać ich, aby ilustrować, dlaczego regulacje są potrzebne bardziej niż kiedykolwiek, lub przesadzać, jak złe były rzeczy ('to jest w porządku' memy itd.). Ludzie składali wątpliwe twierdzenia o 'niebezpiecznych modelach', napędzane głęboką awersją do ryzyka, która charakteryzuje tę dziedzinę. Od tego czasu dziedzina dojrzała, a oceny wyglądają lepiej, częściowo dlatego, że strona bezpieczeństwa musiała rzeczywiście zaangażować ekspertów z dziedziny biologii lub cybernetyki, zamiast próbować wszystko rozwiązać od podstaw. Chociaż nadal uważam, że wiele ocen jest podstawowych, statycznych i nie mających ważności zewnętrznej - pozostają ważnymi wskaźnikami. Jednak konkretne modele zagrożeń wciąż są przedmiotem debaty, a pytanie, czy AI materialnie zmieni równowagę między ofensywą a obroną w cyberbezpieczeństwie, pozostaje otwarte. Niedawny raport Anthropic to świetna praca, ale nie wydaje się być wielką sprawą, ponieważ tego typu ataki są dość powszechne; oczywiście jest więcej automatyzacji, a to powinno być badane, ale to samo w sobie było oczywiście nieuniknione na pewnym poziomie dyfuzji. Powinieneś oczekiwać, że źli ludzie również będą korzystać z technologii. Na co powinniśmy zwracać uwagę, to czy to tworzy stopniową asymetrię i znacząco zwiększa szkody/koszty/okupy + w jakim stopniu obrony cybernetyczne/krytyczna infrastruktura są wzmacniane równolegle. Moim zdaniem powinniśmy mieć priorytety sprzyjające "nieuporządkowanemu równowadze" nad "jednostronną przewagą ofensywną".