Algunos ejemplos que discutimos también en la sesión con el marco IE y los desafíos que tienen: Ej 1: Finanzas de Conservación Proceso de Emisión de Créditos Cómo funciona - Los créditos se derivan de métricas medibles - ej: un propietario de tierras contrata a un evaluador externo para evaluar si los árboles están en pie - el evaluador traduce estos datos en créditos que pueden ser emitidos en un mercado como una función de recompensa Desafíos: 1. Problemas de Estimación: - el paso de estimación a menudo es inexacto 2. Fricción en cada paso - asignar proyectos dentro del alcance implica una fricción significativa - fuera del dominio digital, los procesos se vuelven aún más lentos y engorrosos Ej 2: Publicación Científica Cómo funciona - Las revistas actúan como IEs para el conocimiento - Cada lugar de publicación tiene un puntaje de reputación (ej: factor de impacto) Bucle de Incentivos - Objetivo para los científicos: acumular reputación a través de publicaciones Problema/Desafío: - Los evaluadores (revistas y conferencias) han estado arraigados durante más de 100 años. - Su bucle de recompensa no se ha actualizado, lo que crea rigidez, ineficiencia y incentivos desalineados.
Devansh Mehta
Devansh Mehta30 jul 2025
In today's open session we ran an analysis on the application of impact evaluator or block reward type systems for 2 domains: academic publishing & environment We derived 5 useful features in their design 1. All impact evaluator functions require credible conversion into fungibility Hash power for btc, storage for fil, etc. are clear mathematical functions allowing for issuance against some formula But people only buy into the issuance if they accept its neutrality. For eg, carbon credits are fungible but many coal polluters use some slightly better technology and receive credits so it's not entirely credible 2. If properly obtained, impact evaluator systems become knobs by which we can align long term actors around an ideal outcome we want They should also be metrics that are hard to obtain but easy to verify, similar to btc or storage capacity 3. We want to ideally first solve some problem locally like "is this paper enough to be accepted to the conferences" And make those inputs onto more global problems like "is the conference high impact", "how good is a researcher as measured by their publication in good conferences" 4. We want impact evaluators to be self upgrading systems, otherwise they can ossify into bastions of power A good example is the implementation of plurality in community notes or cluster QF. If 2 people normally disagree but now agree, that has a higher weight. But if they again agree next time it has a lower weight since last time they voted together 5. Finally, we have impact evaluators as hard mathematical functions that release some emissions vs more soft & irrational forces like market prices of that currency, which need to be squared against each other
588