Por que as descobertas de baixa gravidade dizem mais sobre sua auditoria do que bugs críticos Muitas empresas de auditoria concentram seu discurso de vendas no número de altas encontradas como se esse número não fosse apenas ruído sem se conectar ao contexto: auditorias prévias, revisão por pares, níveis de cobertura de teste, complexidade de código, contagem de linhas e muitas outras métricas. É a forma mais baixa de vendas, não diferente de comparar, por exemplo, a qualidade da unidade USB pelo seu comprimento em milímetros. Para mostrar uma alternativa, primeiro devemos afirmar a correção de várias alegações de apoio: - A probabilidade de injeção acidental de bugs não tem viés para impactos mais altos (os desenvolvedores não são mais imprudentes em códigos de alto risco, geralmente o oposto). - As mesmas metodologias abrangentes usadas para descobrir falhas de várias gravidades também descobririam problemas de alta gravidade (o oposto não se sustenta). - Há requisitos muito mais altos para que um bug aleatório se qualifique como de alta gravidade (muitas vezes ele seria fechado atrás de condições inalcançáveis, ou tocar em funcionalidades não críticas). - A partir de estatísticas básicas: maior taxa de amostragem correlaciona-se com menor desvio/variância esperado e, portanto, uma medição mais precisa. Vamos definir um relatório de auditoria como o resultado da amostragem da qualidade de uma base de código. Deduzimos que o número esperado de Altas verdadeiras (sem falhas) é muito menor do que Baixas, e o desvio esperado em torno dele é muito maior (devido à amostra menor). Por outras palavras, o número de Máximos diz-nos muito pouco sobre o número de Máximos perdidos. Então, surpreendentemente, um relatório de 1 Alto, 10 Baixos é mais tranquilizador do que um relatório de 10 Altos, 1 Relatório Baixo sendo tudo igual. Embora, de facto, a grande maioria dos vendedores prefira mostrar este último como uma indicação de qualidade. A questão é que uma métrica de alta frequência é uma ferramenta melhor para medir resultados de baixa frequência. Construtores Web3, da próxima vez que as empresas lhe acenar suas contagens Crit/High e X bilhões de $ linha segura, você sabe onde se concentrar para procurar o sinal verdadeiro. Auditores Web3, reconheçam que não existe uma fórmula secreta consistente para encontrar todos os Altos sem também procurar os Baixos - cada Baixo não totalmente investigado é um Alto em potencial - e dêem a sua melhor atenção a cada linha. O seu cliente agradecer-lhe-á por isso. Baixa severidade é definida como erros concretos de codificação que não resultam em impactos de nível mais alto. Não inclui formatação, práticas recomendadas e descobertas de preenchimento.