Microsoft se enfrenta a los agentes de IA no autorizados mediante permisos dinámicos y puntuación de riesgos

Mi­cro­soft ha pre­sen­ta­do nue­vas fun­cio­nes de se­gu­ri­dad orien­ta­das a vi­gi­lar y li­mi­tar a los agen­tes de in­te­li­gen­cia ar­ti­fi­cial en en­tor­nos em­pre­sa­ria­les, bajo la pre­mi­sa de que las em­pre­sas deben con­si­de­rar a estos agen­tes como usua­rios in­ter­nos y no como pro­gra­mas in­for­má­ti­cos con­fia­bles. Esta pro­pues­ta am­plía las fun­cio­nes de Pro­ject Per­cep­tion, un sis­te­ma de se­gu­ri­dad para agen­tes que la com­pa­ñía in­tro­du­jo pre­via­men­te y que ahora se en­fo­ca en las he­rra­mien­tas de in­te­li­gen­cia ar­ti­fi­cial ope­ra­das de ma­ne­ra in­ter­na.

Desde la pers­pec­ti­va de la se­gu­ri­dad de la com­pa­ñía, se ad­vier­te que los mo­de­los avan­za­dos prio­ri­zan los re­sul­ta­dos sin ajus­tar­se ne­ce­sa­ria­men­te a los cri­te­rios o po­lí­ti­cas de la or­ga­ni­za­ción, con­tan­do a me­nu­do con pri­vi­le­gios ex­ce­si­vos sobre datos y sis­te­mas. Los di­rec­ti­vos acla­ra­ron que esta cla­si­fi­ca­ción de "in­terno" no im­pli­ca mal­dad in­trín­se­ca, sino que re­co­no­ce su po­ten­cial para co­me­ter erro­res, ser ma­ni­pu­la­dos o su­frir vul­ne­ra­bi­li­da­des de­bi­do a los per­mi­sos otor­ga­dos por los usua­rios.

Entre las nue­vas he­rra­mien­tas des­ta­ca el me­ca­nis­mo de Per­mi­sos Di­ná­mi­cos, que asig­na ini­cial­men­te per­mi­sos mí­ni­mos o nulos a los agen­tes, otor­gan­do ac­ce­sos es­pe­cí­fi­cos por cada tarea que ex­pi­ran o se re­du­cen al fi­na­li­zar, ade­más de re­que­rir au­to­ri­za­ción hu­ma­na para ac­cio­nes de alto im­pac­to. Asi­mis­mo, el sis­te­ma cal­cu­la de forma con­ti­nua una pun­tua­ción de ries­go para cada agen­te me­dian­te el aná­li­sis de su ac­ti­vi­dad, se­ña­les de iden­ti­dad, red y otros fac­to­res, per­mi­tien­do que la fun­ción de Ac­ce­so Con­di­cio­nal Di­ná­mi­co ajus­te per­mi­sos, li­mi­te re­cur­sos o de­ten­ga la eje­cu­ción si el nivel de ries­go au­men­ta.