Waarom bevindingen met een lage ernst meer zeggen over uw audit dan kritieke bugs Veel accountantskantoren richten hun verkooppraatje op het aantal gevonden highs alsof dit aantal niet alleen ruis is zonder de context in te pluggen: eerdere audits, peer review, testdekkingsniveaus, complexiteit van de code, aantal regels en vele andere statistieken. Het is de laagste vorm van verkoop, niet anders dan het vergelijken van bijvoorbeeld de kwaliteit van USB-drives op basis van hun lengte in millimeters. Om een alternatief aan te tonen, moeten we eerst de juistheid van verschillende ondersteunende beweringen bevestigen: - De kans op onbedoelde buginjectie heeft geen voorkeur voor hogere effecten (ontwikkelaars zijn niet roekelozer in code met hoge inzetten, meestal het tegenovergestelde). - Dezelfde uitgebreide methodologieën die worden gebruikt om gebreken van verschillende ernst te ontdekken, zouden ook problemen met een hoge ernst aan het licht brengen (het tegenovergestelde geldt niet). - Er zijn veel hogere vereisten voor een willekeurige bug om als zeer ernstig te kwalificeren (vaak wordt deze afgeschermd achter onbereikbare omstandigheden of raakt deze niet-kritieke functionaliteit aan). - Uit basisstatistieken: een hogere bemonsteringsfrequentie correleert met een lagere verwachte afwijking/variantie en dus een nauwkeurigere meting. Laten we een auditrapport definiëren als het resultaat van het bemonsteren van de kwaliteit van een codebase. We leiden af dat het verwachte werkelijke (geen missers) aantal hoogtepunten veel lager is dan dieptepunten, en dat de verwachte afwijking eromheen veel hoger is (vanwege een kleinere steekproef). Met andere woorden, het aantal Highs vertelt ons heel weinig over het aantal gemiste highs. Dus verrassend genoeg is een rapport van 1 High, 10 Lows geruststellender dan een rapport van 10 Highs, 1 Low-rapport als al het andere gelijk is. Al zou het overgrote deel van de verkopers dat laatste liever laten zien als een indicatie van kwaliteit. Het punt is dat een hoogfrequente metriek een beter hulpmiddel is om laagfrequente resultaten te meten. Web3-bouwers, de volgende keer dat bedrijven u hun Crit/High-tellingen en X miljarden $ beveiligde lijn zwaaien, weet u waar u zich op moet concentreren om naar een echt signaal te zoeken. Web3-auditors, erken dat er geen consistente geheime formule is om alle hoogtepunten te vinden zonder ook naar de dieptepunten te zoeken - elk dieptepunt dat niet volledig is onderzocht, is een potentieel hoogtepunt - en geef je beste aandacht aan elke afzonderlijke regel. Uw klant zal u er dankbaar voor zijn. Lage ernst wordt gedefinieerd als concrete coderingsfouten die niet resulteren in effecten op een hoger niveau. Omvat geen opmaak, best practices en opvulbevindingen.