Desarrollan IA para detectar Outpusts Peligrosos

[Wimex]

Como la inteligencia artificial poco a poco se ha abierto campo en las innovaciones en la actualidad me pareció propicio mencionar en este foro los avances que se han logrado obtener con la IA como herramienta para agilizar aún más las actividades diarias de las personas, y en este caso ser utilizada para mejorar la seguridad en los sistemas y así bridar garantía a los usuarios que interactúen con ciertos programas o quieran desarrollar nuevos, me parece interesante que se quiera enfatizar en la seguridad cibernética de las personas.

No es nuevo el caso de que, así como hay personas que aprenden a crear grandes innovaciones tecnológicas hay de aquellos que se educan para entrometerse en estos y estafar o robar, es por esta razón que considero tan importante el hecho de que se quiera invertir y proteger cada vez más los datos y activos virtuales de los usuarios…la IA aún está en sus inicios, pero puede llegar a ser muy útil para este campo .

Fuente: https://es.cointelegraph.com/news/scientists-developed-artificial-intelligence-ai-monitoring-agent-detect-stop-harmful-outputs

En este link se expone uno de esos intentos por aumentar dicha seguridad, donde científico provenientes de “la empresa de inteligencia artificial (IA) AutoGPT, la Universidad Northeastern y Microsoft Research ” se unieron para generar un controlador a base de IA con la intención de que este pueda detectar y evitar que “ outpusts peligrosos”  se ejecuten.

En el artículo describen a este proyecto de la siguiente manera:

Las acciones de los agentes son auditadas por un monitor sensible al contexto que impone un límite de seguridad estricto para detener una prueba insegura, con un comportamiento sospechoso clasificado y registrado para ser examinado por humanos

¿Qué opinan sobre este proyecto  ?

[Don Pedro Dinero]

¿Qué opinan sobre este proyecto  ?

La duda que tengo es quién ganaría en el caso de una IA entrenada para estafar a la gente y una como ésta para evitarlo. Me pasa como cuando veo que se quiere vender trading con IA, si al final todo el mundo la usa, ¿quien va a ganar dinero? Supongo que en principio algunas IAs serán mejores que otras, pero como no paran de aprender, no se si llevaría a empate.

[Porfirii]

A mí también me surgen dudas similares: lo mismo que se puede entrenar a una IA buena, también de puede entrenar a una IA mala que sirva de soporte para temas de hacking, fraudes, etc? y quién lo decide?

Por otro lado, veo más encaminada esta tecnología a facilitar tareas que de otra manera vienen siendo tediosas para el ser humano, pero en entornos competitivo como el poker o el trading no lo sé, puede que acaben no aportando gran cosa porque todo el mundo podría acceder a ella (y que quien no la use esté en peores condiciones), que haya "clases" en función de la versión que puedas contratar, etc.

[DdmrDdmr]

Y yo buscando los outputs de Bitcoin en el artículo ….

El artículo no es que se explique demasiado bien a mi entender, pero infiero que la utilidad que le quieren dar es la de poder verificar código en busca de instrucciones potencialmente perjudiciales o deliberadamente alejadas de los objetivos. Es como crear un agente que revise el código para ciertos aspectos (seguridad en esencia) en un nivel 1, para luego escalar potenciales problemas a un nivel 2.

Chat GPT ha creado una store donde intenta encontrar su próximo filón de oro, creando aplicaciones de todo tipo targetizadas, con su producto de sustrato subyacente.