Una más (de los males) de la IA:clonar la voz de alguien para sisar bitcoin/fiat

[DdmrDdmr]

Se venía venir la posibilidad, y ya la tenemos campando, por lo menos en EEUU, donde se han reportado múltiples casos de personas a las cuales les han clonado la voz mediante IA, para luego usarla a fin de simular ser la persona y reclamar el envío de dinero a algún familiar/amigo/conocido con el pretexto urgente de turno.

Uno de los casos abajo descritos narra cómo una persona, haciéndose pasar por abogado, llamó a los padres de una persona que, supuestamente, se vio involucrada en un accidente fatal. El abogado les reclamó 21K $ para los gastos judiciales de su hijo (el de los padres que recibieron la llamada) con urgencia, y para ser más convincente, puso a "su hijo" al teléfono, el cual les acabó de convencer para que les enviase el dinero. Los padres sacaron los 21K$ del banco, y los enviaron al "abogado" a través de un bitcoin ATM.

¿Y cómo clonaron la voz? Pues probablemente a partir de todos los video en las redes sociales que tenía el hijo publicados, los cuales sirvieron para entrenar la IA de voz.

Esto ya no mola tanto ...

Ver: https://www.elconfidencial.com/tecnologia/novaceno/2023-03-07/timos-inteligencia-artificial-estafa-voz-clon_3588329/

[Hispo]

Yo estaba al tanto de la tecnología de clonación de voz por medio de inteligencia artificial, es un tipo de deepfake.
Pero yo tenía entendido que esa tecnología estaba por ahora en manos de laboratorios y empresas privadas, o al menos así es como lo entendí luego de ver un documental en la Deutsche Welle un año o dos atrás.

Claro, se puede ver videos de deepfakes en internet de personas haciendo memes de personas famosas, pero esto ya es otra liga.

¿alguna idea de como las compañías de tecnología impedirán que esto siga ocurriendo en el futuro?
Yo tengo una solución relativamente fácil:

Antes o durante la llamada, que la persona tenga que hacer uso del detector de huellas dactilares de su teléfono para que al receptor de la llamada se le de un mensaje de verificación. ¿Que opinan?

[DdmrDdmr]

<…>

En el ínterin, lo que sugiere el hijo (víctima del clonado) en el video que figura en el artículo me parece bien: pactar con los allegados una palabra de paso determinada para dar por válida una conversación delicada.

Viene a ser como la contraseña que puedes asociar a determinas cuentas de Exchanges para validar la procedencia de los comunicados, pero hecho a la "familiar".

Ahora bien, hasta que no se prodiguen los casos con mucha más recurrencia, supongo que no nos pondremos a esto …

[seoincorporation]

Que locura, esto es nuevo para mi, ni si quiera se me había pasado por la mente.

Hace unos años me compré un aparato para hacer efectos de voz que se llama VoiceLive 3, y me impresionaba el echo que podíamos cambiar nuestra voz a un efecto femenino, y efectivamente como le decía a mis amigos "Con este aparato un gangoso puede cantar como shakira". Pero el pensar que ahora se puede clonar la voz se me hace algo muy loco y futurista.

[Artemis3]

Si ya yo había leído sobre ese tema. Le das a oir varias palabras a la AI de la voz y te la reproduce.

Que si es "bueno" o "malo", la AI no tiene la culpa. Y esto no puede evitarse, está generando mucha polémica pero no hay marcha atrás. Hay artistas con mucho miedo y bueno que se puede hacer, nada, prohibirlo no lo va desaparecer, es una realidad que lo que hace es crecer. El ChatGPT, el Stable Diffusion y otros mas tienen al mundo de cabeza pero esa es la nueva realidad.

Escuché hablar de que mejor se eliminen los derechos de autor porque en cualquier momento ya estas AI hacen todo. Son verdaderamente impresionantes y eso aterroriza algunos. Claro que hay estafadores usando, en Telegram hay cualquier cantidad de cuentas falsas con chicas diciéndote hola y todas son generadas con algo similar al Stable Diffusion. Si les contestas te van a hablar de una maravillosa propuesta de inversión....

Necesitas actores? Ai, Necesitas voces? Ai, necesitas música? Ai, mundos virtuales? Ai. Una novela nueva? Ai... Es que mira que lo impresionantes que son pero que en cualquier momento tenemos la Skynet determinando la redundancia de la humanidad.

Y mucho charlatán que dirá que hizo esto o aquello y fue la Ai que la puso a trabajar.

No, no hay forma de impedirlo. No usen la voz como método de acceso...

[DdmrDdmr]

En un video posterior, la persona impersonada indica que el timador volvió a llamar a sus padres a fin de solicitarles todavía más dinero. Los padres le indicaron que ya sabían que era un timo y el timador entró en conversación para averiguar cómo los padres se dieron cuenta.

A la postre, el timador confiesa que lo hace a modo de trabajo, y que con ello ganó 1K $. No se especifica quién se quedó los demás 20K $ en BTC, pero se intuye que hay alguien detrás facilitando la infraestructura y los casos de uso a timar.

En este otro video, otra persona muestra cómo funciona una de estas IAs de voz.

[Porfirii]

<...>
¿alguna idea de como las compañías de tecnología impedirán que esto siga ocurriendo en el futuro?
Yo tengo una solución relativamente fácil:

Antes o durante la llamada, que la persona tenga que hacer uso del detector de huellas dactilares de su teléfono para que al receptor de la llamada se le de un mensaje de verificación. ¿Que opinan?

Parece la solución ideal, aunque algo difícil de implementar (hace falta una herramienta o app específica para llevarlo a cabo). Mientras tanto, una simple "palabra de seguridad" debería bastar.

-"Mamá, si alguna vez te llamo pidiéndote dinero para una emergencia, la palabra clave es <pon aquí tu palabra escogida>".

Esto mismo ya lo hacían desde cárceles de Sudamérica (no recuerdo el país), pero lo de la IA es otra vuelta de tuerca muy peligrosa.

En un video posterior, la persona impersonada indica que el timador volvió a llamar a sus padres a fin de solicitarles todavía más dinero. Los padres le indicaron que ya sabían que era un timo y el timador entró en conversación para averiguar cómo los padres se dieron cuenta.

A la postre, el timador confiesa que lo hace a modo de trabajo, y que con ello ganó 1K $. No se especifica quién se quedó los demás 20K $ en BTC, pero se intuye que hay alguien detrás facilitando la infraestructura y los casos de uso a timar.

En este otro video, otra persona muestra cómo funciona una de estas IAs de voz.

Esto ya sería el colmo: que haya alguna organización muy potente que se dedique a estafar de esta manera por medio de simples "manos ejecutoras" dispuestas a hacer el trabajo sucio a cambio de un porcentaje ridículo del botín.

Pues nada oye, sigamos compartiendo nuestros datos biométricos a diestro y siniestro en RRSS. Lo que tengo claro es que a mi casa nadie va a llamar con mi voz haciéndose pasar por un tal "Porfirii" de la Rusia de hace dos siglos.

[Hispo]

<...>
¿alguna idea de como las compañías de tecnología impedirán que esto siga ocurriendo en el futuro?
Yo tengo una solución relativamente fácil:

Antes o durante la llamada, que la persona tenga que hacer uso del detector de huellas dactilares de su teléfono para que al receptor de la llamada se le de un mensaje de verificación. ¿Que opinan?

Parece la solución ideal, aunque algo difícil de implementar (hace falta una herramienta o app específica para llevarlo a cabo). Mientras tanto, una simple "palabra de seguridad" debería bastar.

-"Mamá, si alguna vez te llamo pidiéndote dinero para una emergencia, la palabra clave es <pon aquí tu palabra escogida>".

Esto mismo ya lo hacían desde cárceles de Sudamérica (no recuerdo el país), pero lo de la IA es otra vuelta de tuerca muy peligrosa.

En lo personal creo que no sería suficiente con eso de tener una palabra secreta para autenticar emergencias.
Para muestra un botón solo hace falta ver como la ingeniería social ha hecho estragos con los fondos de compañías de criptomonedas y como el spear fishing hace de las suyas.

Si los cyber-criminales pueden engañar a un empleado que supuestamente tiene entrenamiento de seguridad y mantiene sus credenciales cerca de su pecho. No será más difícil sacarle esa información a un o una adolescente o joven adulto durante una conversación en Tinder con quién cree que es su próxima cita.

Creo que la solución de la huella dactilar implementada con la app de llamadas que vienen con los teléfonos de hoy en día haría mejor el trabajo. Aunque, el scammer se enterase de la medida de seguridad, es poco práctico que se invierta en un ataque físico desde las estepas rusas o los valles indios.

[famososMuertos]

Mierda! es eso Mierda, es que se pasan, para el timador el contexto no importa, pero como dicen los especialistas no es lo mismo matar con arma blanca... y es que la ley es ciega, pues es lo que hacen, pero las condenas por este tipo de delito son tan flacidas que eso mismo es su principal vitamina.

Este tipo de "estafa" social no es nueva, es lo de siempre, en este caso parece que al colocar IA/AI es nueva estafa, debo decir que por ejemplo, si uno llama a un banco y/o cualquier empresa de servicios, el operador esta escuchando una voz, pero no sabe si realmente es el cliente quien llama... y te hace ciertas preguntas "flojas" para mi opinión, pero es lo que hay. Y esas preguntas existen por esa misma causa, pero en el objetivo explicito de la estafa, la información privilegiada es dominante siempre en cualquier tipo de estafa.

Lo comente en otro hilo, hay centro telefónicos en la India haciendo miles o cientos de miles de llamadas automatizadas solamente en un día, este proceso puede llegar hacer tan automatizado, que en el random del asunto puede resultar tan irreal caer, pero no importa, porque el porcentaje de ataque es tan alto, que un pequeño porcentaje lo hace rentable.

Tantos años después de existir las redes sociales, hoy en día, incluso la frecuencia de cualquier dato es conocido al instante y llega a estos centros de proceso de información de estafa.

Y la inclusión de la AI/IA no es un problema cuando es un negocio mil millonario al año.

Estafas por teléfono

Ese link es una fuente tradicional del fenómeno clásico telefónico, pero esto ha evolucionado a un nivel tal que estos centros tienen un manejo de la data impresionante con equipos avanzados que pueden seleccionar victimas con una rapidez de miles de llamadas.

Algo curioso de esa "vieja" o tradicional fuente, es lo efectivo de una de sus recomendaciones, "cuelgue el Teléfono".

[DdmrDdmr]

Lo malo del caso es que le da un punto más (fuerte) de credibilidad, al oír la voz impersonada. Esto, no obstante, supongo que funciona mejor con el clásico condicionante de presión, como es el caso del OP, dado que a poco que se alargase una conversación, uno debería intuir que el interlocutor está dopado de alguna manera.

Lo curioso adicional, que no sorprendente a estas alturas, es como algunas personas pueden ser engañadas ya no digo para sacar dinero del banco, sino para ir a un cajero de bitcoin, y seguir unas instrucciones al teléfono para operar sobre un entorno totalmente ajeno para ellos. Presión + desconocimiento son malos acompañantes.

Yo sigo con mi práctica de casi nunca coger el teléfono a números que desconozco, aunque no siempre puedes evitar alguna llamada procedente de alguien que no esté ya fichado.

Edit:
Anecdóticamente, el uso de la voz clonada por IA sale en la película reciente "Operation Fortune Ruse de Guerre"

[Artemis3]

Eso tiene años pasando en la India, hay varios videos en youtube de vigilantes atacándolos y de como estos se vuelven a recomponer.

Lo que ocurre ahora es que aumentan sus herramientas para cometer robos y estafas. Si buscan sobre "centros de llamada" para estafas en la india (sobre todo en inglés) van a encontrar (y ver / escuchar) montones.

Ya si la Unión Europea no actúa en bloque contra la India esto no se va mover. Cada que Interpol les avisa, hacen un allanamiento para aparentar que si los persiguen, pero es algo así como que cierran uno aparecen 3, generalmente con los mismos dueños detrás ligados al poder seguramente.

Y se fijan, van contra la tercera edad de países desarrollados, ese es su objetivo principal, explotar la brecha digital de las generaciones anteriores.

Mucha gente al día de hoy no conoce lo que la inteligencia artificial es capaz de hacer. Parece de "ciencia ficción" a veces, pero ya es real.