545 hackers lo probaron primero. Ahora, XRanges for AI evalúa a tu agente de seguridad

Los agen­tes de se­gu­ri­dad au­tó­no­mos son efi­ca­ces para iden­ti­fi­car fa­llos, pero eva­luar su ren­di­mien­to real re­pre­sen­ta un de­sa­fío. Los in­for­mes ge­ne­ra­dos por los pro­pios agen­tes sue­len ser di­fí­ci­les de ve­ri­fi­car, ya que re­sul­ta com­pli­ca­do dis­tin­guir los ha­llaz­gos reales de los in­ven­ta­dos o du­pli­ca­dos, ade­más de ig­no­rar las fun­cio­nes que nunca ex­plo­ra­ron o los daños cau­sa­dos en el en­torno. La re­vi­sión ma­nual de estas prue­bas re­quie­re de­ma­sia­do tiem­po y no se adap­ta bien a la ex­pe­ri­men­ta­ción con múl­ti­ples mo­de­los y con­fi­gu­ra­cio­nes.

Para so­lu­cio­nar este pro­ble­ma de re­tro­ali­men­ta­ción, la pla­ta­for­ma XRan­ges para AI des­plie­ga apli­ca­cio­nes ob­je­ti­vo con te­le­me­tría in­te­gra­da me­dian­te Open­Te­le­metry. Esta pla­ta­for­ma eva­lúa el de­sem­pe­ño de los agen­tes de forma in­de­pen­dien­te a tra­vés de cua­tro se­ña­les: la co­ber­tu­ra de fun­cio­nes le­gí­ti­mas, el res­pe­to a las re­glas del en­torno, las vul­ne­ra­bi­li­da­des real­men­te ex­plo­ta­das y la in­te­gri­dad de la apli­ca­ción. Estos in­di­ca­do­res per­mi­ten co­no­cer las ac­cio­nes reales del agen­te más allá de sus pro­pios re­por­tes.

El en­torno de prue­bas se des­plie­ga rá­pi­da­men­te y per­mi­te rea­li­zar múl­ti­ples eje­cu­cio­nes si­mul­tá­neas para com­pa­rar mo­de­los y va­rian­tes. Toda la fun­cio­na­li­dad de la con­so­la tam­bién es ac­ce­si­ble me­dian­te una API para su au­to­ma­ti­za­ción. Esta misma tec­no­lo­gía de ins­tru­men­ta­ción fue pro­ba­da pre­via­men­te du­ran­te un even­to en DEF CON, donde se mo­ni­to­rea­ron cien­tos de im­ple­men­ta­cio­nes si­mul­tá­neas para ve­ri­fi­car las ac­cio­nes de los par­ti­ci­pan­tes fren­te a ob­je­ti­vos ais­la­dos.