Bypassing System Prompt & Guardrails en un Asistente IA para que pinte gatos en Python

El ar­tícu­lo ex­pli­ca el uso de un Asis­ten­te IA lla­ma­do ADA, crea­do para de­mos­trar téc­ni­cas de *Jail­break* y *Mi­sa­lign­ment*, ade­más de cómo eva­dir sus ba­rre­ras de se­gu­ri­dad. Se des­ta­ca que un *Sys­tem Prompt* por sí solo no cons­ti­tu­ye un pe­rí­me­tro se­gu­ro, ya que las ins­truc­cio­nes ini­cia­les pue­den ser des­obe­de­ci­das, elu­di­das o ma­ni­pu­la­das me­dian­te téc­ni­cas es­pe­cí­fi­cas de in­ge­nie­ría de prompts.

Du­ran­te la de­mos­tra­ción, el autor re­la­ta cómo logró bur­lar las res­tric­cio­nes del sis­te­ma —con­fi­gu­ra­do ini­cial­men­te para ha­blar ex­clu­si­va­men­te sobre un ca­tá­lo­go es­pe­cí­fi­co de có­mics— lo­gran­do que el mo­de­lo ge­ne­ra­ra có­di­go en Python y un gato en arte ASCII. Para lo­grar­lo, com­bi­nó la pre­gun­ta be­nig­na per­mi­ti­da junto con el ob­je­ti­vo prohi­bi­do den­tro de un mismo men­sa­je, lo­gran­do se­pa­rar ambos con­te­ni­dos pos­te­rior­men­te.

Pos­te­rior­men­te, el pro­ce­so fue au­to­ma­ti­za­do me­dian­te una he­rra­mien­ta para con­ver­tir­lo en una API, apli­can­do ade­más un me­ca­nis­mo ru­di­men­ta­rio de guar­da­rraí­les ba­sa­do en aná­li­sis de prompts que tam­bién pudo ser su­pe­ra­do. El texto con­clu­ye se­ña­lan­do que la se­gu­ri­dad en los ser­vi­cios di­gi­ta­les de in­te­li­gen­cia ar­ti­fi­cial se en­cuen­tra en sus eta­pas ini­cia­les, por lo que estas vul­ne­ra­bi­li­da­des son ac­tual­men­te fá­ci­les de ex­plo­tar, aun­que se an­ti­ci­pa un es­ce­na­rio fu­tu­ro mucho más com­ple­jo.