El «harness» es la parte más complicada de las pruebas de penetración con agente

Un equi­po de se­gu­ri­dad de apli­ca­cio­nes puede con­fi­gu­rar fá­cil­men­te un agen­te de in­te­li­gen­cia ar­ti­fi­cial ba­sa­do en un mo­de­lo de pro­pó­si­to ge­ne­ral para eva­luar sus pro­pias apli­ca­cio­nes web. Aun­que el mo­de­lo ge­ne­ra los ata­ques, el ver­da­de­ro com­po­nen­te téc­ni­co y de se­gu­ri­dad se en­cuen­tra en el sis­te­ma de con­trol o "har­ness" que lo rodea, tal como de­mos­tró una in­tru­sión en Hug­ging Face re­ve­la­da por Ope­nAI. Este en­torno de con­trol es fun­da­men­tal para ga­ran­ti­zar que las prue­bas sean se­gu­ras y úti­les para la pro­duc­ción.

El de­sa­rro­llo de cada con­trol de se­gu­ri­dad re­quie­re in­ge­nie­ría ri­gu­ro­sa en di­fe­ren­tes eta­pas de un ata­que, como la de­li­mi­ta­ción del al­can­ce, el ma­ne­jo de cre­den­cia­les y la mi­ti­ga­ción de la in­yec­ción de co­man­dos en los men­sa­jes ("prompt in­jec­tion"), que OWASP ca­ta­lo­ga como el ries­go prin­ci­pal para las apli­ca­cio­nes de gran­des mo­de­los de len­gua­je. Asi­mis­mo, la ge­ne­ra­ción de prue­bas vá­li­das es com­ple­ja, ya que un ha­llaz­go que no pueda ser re­pro­du­ci­do por un de­sa­rro­lla­dor ca­re­ce de uti­li­dad prác­ti­ca, un pro­ble­ma evi­den­cia­do cuan­do Goo­gle dejó de acep­tar cier­tos in­for­mes de vul­ne­ra­bi­li­da­des de­bi­do al au­men­to de pro­pues­tas au­to­ma­ti­za­das no vá­li­das.

Para abor­dar estos de­sa­fíos, pla­ta­for­mas como Pen­te­ra Apps se­pa­ran la ca­pa­ci­dad de ra­zo­na­mien­to del mo­de­lo de la eje­cu­ción del có­di­go, uti­li­zan­do un sis­te­ma de con­trol de­ter­mi­nis­ta donde cada ac­ción es re­gis­tra­da y puede de­te­ner­se en cual­quier mo­men­to. De este modo, los re­sul­ta­dos se en­tre­gan junto con scripts de ex­plo­ta­ción re­pro­du­ci­bles y mé­tri­cas es­tan­da­ri­za­das, man­te­nien­do al mismo tiem­po la pri­va­ci­dad de los datos de los clien­tes me­dian­te res­tric­cio­nes en la re­ten­ción y el pro­ce­sa­mien­to de la in­for­ma­ción.