Inteligencia Artificial representa gran peligro para la humanidad

Eso sí a la gente no le importa la corrupcion, no le importa que violen niños los políticos o religiosos, no les importa los feminicidios, les vale un cacahuate las guerras en el medio oriente, les interesa nada que hay gente que muere de hambre infecciones e ignorancia en África.

Solo les importa ganarse la lotería, salir bien en los exámenes de la escuela, que no se den cuenta cuando das mal el cambio, tener el carro del año, un buen celular aunque no lo sepan usar, tener una tele bien grandota , tener la la cerveza y que llegue pronto el Viernes.

Lo mismo pasa en las empresas pagar poco a los empleados ganar mucho y prometer lo que no se tiene para ganar ventas.
 
hola, respecto de la gente tienen razon, pero si lo analizamos un poco mas no es tan asi.

los gobiernos y empresas se aprovechan de como estamos educados y como bien dicen de el individualismo , pero mas que nada de que nuestra estructura social permite esto.
no existe un mecanismo para que la gente se exprese de verdad, hasta lo que llamamos "elecciones democraticas" es una trampa.
incluso el tema de "salir a la calle a protestar" es algo manipulable.
toda la socidad se manipula, antes con la T V de 4 canales, hoy.....huuu.. ni que hablar !!!!!

yo creo que si existiese un mecanismo real y no manipulable es bastante obvio que la gente, la gran mayoria preferiria un mundo mas justo, puesto que , incluso desde una vision egoista, les conviene.
no olvidar como es el tema de porcentaje de distribucion en la sociedad, la mayoria de riquezas esta en unos pocos.
y por desgracia esos pocos al tener la riqueza tienen el poder.

es el viejo dicho, de "la sarten por el mango" , por mas que haya mil personas en la sarten y crean que pueden elegir, en verdad, el que decide es el que tiene el mango de la sarten.
esta "configuracion o estructura" permite esto.

pero como digo y repito: creo que la inmensa mayoria de la gente se vuelve egoista mas que nada por la impotencia de saber que no puede hacer nada, y apenas puede con sigo misma.
çy no lo digo por que seamos una sociedad altruista, sino por , bueno, lo que puse, ya estoy reiterativo.

un saludo
 
Una de las primeras consecuencias del mal funcionamiento de la IA las sufrimos hace ya muchos años, con los robots de la bolsa, comprando y vendiendo acciones. Recordamos varios días "negros" en los que los algoritmos se "desmandaron" y comenzaron a mandar órdenes de ventas, hundiendo a empresas que se quedaron sin posibilidad de autofinanciación.
 
Yo en lo personal no creo que la IA sea un peligro.
Más bien pienso que tendremos que adaptarnos.
Hoy hay IA muy pero muy lejos de igualar a un animal y menos a un ser humano.
Pero cuándo suceda la gente tendrá que adaptarse.
Es como la llegada fuerte de los PC y el internet, la gente mayor tuvo que aprender a usar las computadoras , aprender a usar las tarjetas de débito y a comprar en línea, tuvieron que adaptarse.
 
Ya existe IA que iguala a un ser humano, como el reciente experimento de Google de una IA que llamó a un restaurante para hacer una reserva. La persona que contestó al teléfono no se dio cuenta de que hablaba con una máquina. ¿Se podría decir que pasó el test de Turing?

Lo primero es decidir de qué estamos hablando, porque IA es muy amplio. Una cosa es el big data, la interpretación del lenguaje natural... o la robótica... pero también pueden ser unas sencillas redes neuronales que toman decisiones de compra o venta según cómo está el mercado o las recomendaciones de películas o compras variadas.

Bueno, la evolución de lo que es IA también progresa, y hoy en día se excluyeron las redes neuronales del campo de la IA "principal", dejándolas en la parte más "técnica".

Incluso llamamos IA a los algoritmos que usamos en los videojuegos, que no dejan de ser técnicas de "aprendizaje automático", cosas también más técnicas y conocidas que otras técnicas más elaboradas.
 
Una de las primeras consecuencias del mal funcionamiento de la IA las sufrimos hace ya muchos años, con los robots de la bolsa, comprando y vendiendo acciones. Recordamos varios días "negros" en los que los algoritmos se "desmandaron" y comenzaron a mandar órdenes de ventas, hundiendo a empresas que se quedaron sin posibilidad de autofinanciación.

aca pones un ejemplo, pero mira este detalle:

el tema es DONDE esta conectada ?¿?¿ , no es lo mismo que maneje un horno de panaderia, que a lo mucho se quema una tanda de pan , a que maneje la parte de cuidados intensivos de un hospital.
y aca volvemso a el ejemplo de mas arriba de UBER y esa ambicion de meter al mercado coches autonomos YAAAAAAAAAAAAAAAAAAAAAAAAA !!!!
el tema es el criterio y eso es humano.
Mensaje automáticamente combinado:

Hoy hay IA muy pero muy lejos de igualar a un animal y menos a un ser humano.
.

mas que un animal, diria "LA VIDA" , fijate que en la vida, no suele haber UN individuo que afecte a muchisimos.
en general, las manadas eligen a el alfa por algo, luego de una vida de experiencia.
las hormigas o abejas, su reina esta marcada por la evolucion.
en cualquier caso , se pierde una colmena.

la evolucion es sabia y no pone todas las fichas en un solo individuo.
es el ser humano el sor ET ambicioso que "juega" con poblaciones enteras.
fijate a lo que uno pensaria que apunta la IA , y digo IA por que cualquier programa avanzado se usara para cosas avanzadas.:

negocios en la bolsa, ahi pusiste un ejemplo, y tambien que sea "eficiente" a veces es malo, por que lo que es un buen negocio para unos es la perdida de la fabrica familiar para otros.
o controlar algo de el sistema de defensa de una potencia :poop::rolleyes:

ves ?? el tema es donde ??

seguro se puede usar para cosas buenisimas: ponela a recabar info de las estrellas, que mire al espacio y no solo junte info , sino que ANALICE...... imaginate, podria ver y deducir cosas que ni siquiera imaginamos.
o con el ADN o relacion entre los distintos tipos de virus y bacterias en relaciona las enfermedades, imaginate, un sistema que piense y analice con la potencia de miles, millones de inteligencias humanas a la vez.
si que hay cosas......... pero no.........la usan para la bolsa :cautious:, o para tema de guerra :rolleyes:, o para k-gar a los demas :cry:
 
Última edición:
Nuestros coches actuales son muy eficientes, pero siguen contaminando. Y se ha probado matemáticamente que si los coches fueran autónomos, el tráfico de una ciudad alcanzaría la máxima eficiencia (máxima según el número de autos por hora que pueda absorber esa ciudad).

En el actual mercado liberal, lo que es bueno para un negocio pero malo para un negocio familiar solo significa que ese negocio familiar no se ha adaptado a la competencia del mercado. Cantidad de pequeñas empresas que se burlaban de Internet o lo desconocían y que pensaban que no les afectaría, hasta que en apenas unos años, se han dado cuenta de que los clientes están a un solo clic de su competencia, y que ya no pasean por delante del escaparate. Más tarde se hicieron su sitio web o su aplicación para celulares... y ya era tarde: llegó Amazon y arrasó con todo. Por eso vemos por las calles un montón de tiendas cerradas. Pero también se han creado negocios basados en Amazon: muchas tiendas y particulares se ganan la vida en esa plataforma.

En cuanto a las aplicaciones de la IA, hay una página en la Wikipedia específica de aplicaciones de la IA:

1 Ciencia de la Computación
2 Finanzas
3 Hospitales y medicina
4 Industria pesada
5 Servicio de atención al cliente
6 Transportación
7 Mantenimiento de las telecomunicaciones
8 Juegos y juguetes
9 Música
10 Aviación
11 Noticias, publicaciones y escritos
12 Otros

Reconocimiento de patrones
Reconocimiento óptico de caracteres
Reconocimiento de caligrafía
Reconocimiento del habla
Reconocimiento facial
Creatividad Artificial
Visión por computadora, Realidad virtual y Procesamiento de imágenes
Diagnóstico (inteligencia artificial)
Teoría de juegos y Planificación estratégica
Inteligencia artificial en juegos y bot de videojuegos
Procesamiento de lenguaje natural y Traducción
Control no lineal y Robótica

Vida artificial
Razonamiento automático
Automatización
Sistemas bioinspirados
Minería de conceptos
Minería de datos
Representación del conocimiento
Web Semántica
Filtrado de correos spam
Robótica
Robótica basada en el comportamiento
Cognición
Cibernética
Robótica evolutiva
Sistemas híbridos inteligentes
Agente inteligente

Control inteligente

Que se use para cosas malas... pues es de lo que estamos tratando en este hilo. Pero no creo que usar IA en bolsa sea malo. Lo que es malo es la perversión del uso de la bolsa, como las máquinas de high-frequency trading (Negociación de alta frecuencia).
 
Es lo que pienso la IA hoy suena mágica como las computadoras lo eran en las películas de los 60's donde resolvían misterios con solo preguntarle : ¿baticomputadora dónde está el pingüino? . Y la baticomputadora decía que era lo que Batman o el santo o bluedemon tenían que hacer para atrapar el villano.
Lo mismo para la IA La gente piensa que va a pasar lo que pasa con Terminator se apoderarán de la tierra y seremos sus esclavos.

Pero no creo que sea así la IA se usa para que un programa de computadora no tenga que ser reescrito muchas veces más bien es un programa que se escribe una vez con múltiples redes neuronales y una base de datos y a base de estímulos el programa aprende y es como si se reprogramará solo.

Hace poco un Méxicano especialista en prótesis y computación desarrollo un sistema que Lee las funciones del cerebro para poder mover objetos como sillas de ruedas o apagar luces para discapacitados.

Su sistema usa IA para aprender a leer las señales del cerebro , poder decodificar las señales y crear nuevos comandos para que el usuario deje de pensar en mover un joystick más bien con la mente pueda mover su silla o apagar las luces , etc.

Ahí la IA está muy lejos de matar gente con pistolas de rayos
 
es que , siempre va a existir, es loq ue se viene hablando _gente con ventaja LA USA....

podes tener un pueblo que viven 100 familias bien , felices, trabajando la tierra., venden mercaderia de calidad, artesanal, son conocidos por la calidad purexza y artesanal y bla bla bla...
el tema es que esa vida les permite VIVIR felices.

y un dia una multinacional compra el terreno vecino y manda 5 maquinas cosechadoras que hacen el trabajo de las 100 familias por 1/5 de el valor. y s eponen a vernder su merca a la mitad o 1/ 3 de el precio de esas familias....
y si, es la modernidad, y si, es el avance..y si, es que no se adaptaron lso otros...... y si, es .. una hdptez.
que quieren que les diga??
vayan y compren el lote de tierra en otro lado.. lo hacen a proposito.

competir ?? adaptarse?? a que ¿?¿
no se dan cuenta??
es permitir que el mas VIL nos marque el camino,.
si un pais tiene mano de obra esclava y vende por eso barato luego escuchas a un genio de las finanzas decir" hay que adaptarse al mercado y ser mas competitivo" ,, parecemos tontos, asi , el camino nos lo marca ese pais que posee MANO DE OBRA ESCLAVA ??
esas son nuestras guias ?? nuestro alfa??

la IA es como la cosechadora, tan simple como eso.

PD: me diran que la cosechadora es la que permitio alimentar a el mundo con hambre y ahi comenzamso a dar vueltas mordiendonos la cola:
no sera que la cosechadora habilito a la humanidad a que siga expandiendose, mas poblacion por que hay mas comida , y asi el hambre sigue ??

de todo esto hay algo que si voy concluyendo : que de verdad algo que si hace falta par ala humanidad es UNA INTELIGENCIA, no si si natural, o artificial, o que , pero que hace falta y mas para guiar a el mundo aunque sea UNA INTELIGENCIA DE VERDAD, no digo muchas, una aunque sea.
 
Si un país tiene mano de obra esclava y vende por eso barato luego escuchas a un genio de las finanzas decir" hay que adaptarse al mercado y ser más competitivo" ,, parecemos tontos, así , el camino nos lo marca ese país que posee MANO DE OBRA ESCLAVA ??
esas son nuestras guias ?? nuestro alfa??
Lo mismo se decía a mediados de los años 90 sobre la situación de los sueldos bajos o ínfimos de los trabajadores chinos. 20 años más tarde, la pobreza en China pasó del 45 % al 15 %. Y solo hay que ver los vídeos y fotos de las megaciudades llenas de rascacielos y coches por toda China. Y nosotros, como consumidores, nos hemos beneficiado del bajo valor de venta de sus productos cuando no teníamos dinero para pagar un producto de mayor calidad.

En cambio, si nos enteramos que tal producto ha sido fabricado con trabajadores en régimen de esclavitud, o han usado a niños, esa marca recibirá una publicidad negativa enorme y muchos dejaremos de comprar sus productos. Y tardará tiempo en recuperarse.

Y... sí... parece que ahora el camino lo marca China, viendo lo que está haciendo en África.

PD: me diran que la cosechadora es la que permitio alimentar a el mundo con hambre y ahi comenzamso a dar vueltas mordiendonos la cola: no sera que la cosechadora habilito a la humanidad a que siga expandiendose, mas poblacion por que hay mas comida , y asi el hambre sigue ??
El hambre se va reduciendo en todo el mundo, desde hace años.
Informe de la FAO: http://www.fao.org/3/a-I7787s.pdf Web: SOFI 2017 - El Estado de la Seguridad Alimentaria y la Nutrición en el Mundo

__________________________________________________​

En cuanto al problema de la IA, una de los temas a los que se hace referencia es si debemos de dotar de medios a una IA para optimizar cualquier tipo de trabajo. Los expertos en "ética" ven un problema: aunque nosotros dotemos de toda la información a una IA de lo que consiste nuestro universo, siempre debemos preocuparnos de incluir una "ética", una serie de reglas que la IA no puede cruzar de ninguna manera.

Otro de los problemas es que mucha gente dota de un sentido antropomórfico a las IA, cuando no tienen nada de humanas.

Uno de los casos que se ponen de ejemplo es el del "Coleccionista (mortal) de sellos".

Supongamos que una persona es un gran coleccionista de sellos. Se dedica a entrar en las web de compra-venta de sellos y poco a poco va creando colecciones temáticas. Si, más tarde, decide vender algunas de ellas, usará el dinero para comprar más sellos. Incluso podrá especular con ejemplares raros o únicos, aumentando su valor según la demanda.

Bueno, el coleccionista piensa que podría entrenar a una IA para que hiciese su trabajo. Al fin y al cabo, consiste en algo sencillo: conseguir sellos a buen precio para luego venderlos a otro precio y reinvertir lo ganado.

(Naturalmente, estamos pensando en una situación en la que hay personas que siguen coleccionando sellos).

Un día consigue terminar la IA, que contiene una serie de reglas básicas de lo que tiene que hacer y una información resumida de lo que consiste nuestro "universo" (un resumen de nuestra realidad, desde las leyes del mercado hasta la composición atómica de las cosas).

La IA empieza a funcionar y realiza su trabajo con esmero. Y además, con una altísima productividad ya que es capaz de analizar miles de páginas web de compra-venta de sellos. Es incluso capaz de darse cuenta de que un aficionado busca un sello en particular y que otro lo vende, haciendo ella misma la operación entre los dos y llevándose una comisión. Poco a poco, van llegando cajas de sellos a la casa, y saliendo otras tantas.

Un día, la IA descubre algo importante: ella misma puede fabricar sus propios sellos. No serían copias de los actuales, sino diseños basados en imágenes extraídas de los memes que los humanos crean en las redes sociales, aparte de la inacabable serie de fotos y vídeos de gatos.

Para fabricar sellos, la IA necesita maquinaria, papel especial y tinta. Y dinero para pagar todo eso. No hay problema: la IA sabe cómo generar dinero. Todo lo demás se puede encargar a imprentas o comprarlo directamente. El resultado es que la IA empieza a generar millones de sellos y ganar aún más dinero. A la casa llegan camiones con los sellos fabricados, que son puestos en otros camiones de reparto para llevarlos a todo el mundo.

Y comienza con su labor principal: almacenar sellos sin parar.

Otro día, descubre que, además de fabricarlos, puede infectar otros ordenadores en el mundo para obligarles a mandar órdenes de impresión de más y más sellos.

Otro día, la IA se pregunta si podría aumentar la productividad. ¿Es posible fabricar sellos de una forma más óptima? La clave está en el papel, pues viene de la celulosa de la madera. ¿De qué está hecha la celulosa? Oxígeno, carbón e hidrógeno. ¿Qué otras cosas hay en la naturaleza que tengan esos componentes? Pues... los seres humanos.

Y... en ese preciso momento, es cuando tenemos que abalanzarnos sobre el cable de alimentación y desenchufar esa IA... o morir convertidos en estampitas.

En este vídeo se desarrolla la historia de forma completa:

Aconsejo ver la película "Colossus: The Forbin Project", 1970.
En plena guerra fría, a los norteamericanos y a los rusos no se les ocurre mejor idea que crear unos superordenadores para gestionar su armamento nuclear.

El final no es amable, como corresponde a una película de los setenta.
 
buenisima historia, y vere la pelicula.
muy buena esa !!!!

pero .. para..... y a esa IA no se le ocurre pensar que ¿ quienes compran y venden los sellos??
si nos usa de materia prima para estampitas, se queda sin clientes ??
jaaa..........laca..............gue a esa IA..
 
Aparentemente se ignora mi recomendación de informarse que es IA debil. Me retiro de participar en el hilo! Que sirve querer un diálogo si se gusta comentarlo sin saber de que se trata! El ejemplo de TRILO-BYTE es típico, siendo de los mejores! Ya había escrito que la IA es sobresaliente reconociendo estructuras en los sets de datos! Así que lo que se hace es reconocer estructura en los datos que se leen en un electroencefalograma y asociar estos con los commandos que se quieren asociar!
 
pero .. para..... y a esa IA no se le ocurre pensar que ¿ quienes compran y venden los sellos??
si nos usa de materia prima para estampitas, se queda sin clientes ??
Es que precisamente ahí está el error que he comentado: mucha gente le quiere dar un sentido antropomórfico a las IA, y ellas no son así. Queremos creer que se van a comportar como los seres humanos y en realidad van a seguir su propia programación.

Voy a contar otro caso, que parece muy simple o una tontería, pero que demuestra la complejidad de lo que estamos tratando.

Se llama el problema de "El botón de parada".
Z0xEv0jcpEx_.JPG

Esto se ha formalizado bajo el nombre de la "Corregibilidad": tu tienes un sistema que está aprendiendo. Y estás corrigiendo lo que hace bien o mal. Pero el propio sistema puede "corregirse", maximizando la función que se le manda hacer.

Pero... puede ser que algunas veces haga algo horriblemente mal, como es el caso de un robot a quien le pides que te vaya a buscar un café, y el robot, aunque vea delante suyo a un niño pequeño, intentará pasar por encima de él.

En esos casos, puedes pensar que lo mejor es ponerle un botón de parada. Esto es algo completamente normal en la industria. Si vais a una gran empresa veréis que las máquinas más grandes y peligrosas tienen un enorme botón de parada (y, casi siempre, de color rojo). Entonces vas y se lo pones al robot, por ejemplo en el pecho.

Bueno, le enciendes, le pides que te traiga una taza de café, y el robot busca en su ontología qué es una taza, qué es café, qué es traer, dónde puedo conseguirlo -en la cocina-, dónde está la cocina -mirar el mapa del piso-, planificar una ruta, llegar allí, planificar unas acciones con la taza y la cafetera, y regresar.

Resulta que ese día es el que escogiste para traer a tu hijo al trabajo, un bebé. Si el bebé está gateando por el suelo, en mitad del recorrido, el robot lo puede detectar como un obstáculo, y decidir que puede pasar "por encima" de él.

Naturalmente, es una situación peligrosa. Así que te abalanzas hacia el robot para pulsar el botón de parada que tiene en el pecho, pero... el robot no te dejará hacerlo. Luchará y te impedirá que pulses el botón. ¿Por qué?

Pues porque el robot tiene programada la función de maximizar las órdenes que ha recibido, y la que le mandaste fue la de traer una taza de café. Si permite que se le pulse el botón de parada, no conseguirá maximizar la orden, y por eso decide que lo mejor es impedir que ocurra la parada.

Esto puede parecer una tontería ya que a todos se nos ocurre que, por muy inteligente que sea un robot, siempre voy a poder pulsar el botón de parada o desenchufarle o quitarle la energía o cambiarle las órdenes que le he dado, pero se trata de un ejercicio mental sobre una situación que sí podría darse con una IA lo suficientemente inteligente y con medios disponibles para defenderse.

Como elemento mecánico, luchará y te vencerá, aplastará al niño y te traerá una taza de café. No hiciste un buen diseño.

Después de reponerte de la pérdida de tu bebé, decides que vas a cambiar el diseño y esta vez vas a meter el botón de parada en el sistema de refuerzo de aprendizaje. Este sistema de refuerzo es lo que hoy en día llamamos "Aprendizaje automático" o "Machine learning". Se trata de dar una puntuación a la ejecución de una tarea. Si el robot consigue llegar a la cocina le doy una serie de puntos. Si consigue hacer la taza, otro tanto. Si consigue traerla, le doy la máxima puntuación. Bueno, pues al hecho de que el botón de parada se pulse, le doy también una puntuación.

El caso es... que si la puntuación que el robot va a obtener por que se pulse el botón de parada es inferior a la puntuación por conseguir la taza de café... el robot siempre luchará contra ti para evitar que lo pulses, ya que su programación indica claramente que debe maximizar la puntuación, y la máxima sigue siendo conseguir esa taza de café.

Entonces... piensas... que la puntuación del pulsado del botón debería ser al menos tan buena como la de conseguir la taza de café. Vale. Pones en marcha el robot y... unos milisegundos más tarde, el propio robot pulsa el botón de parada. Sencillamente ha calculado que es mucho más rápido y eficiente pararse a sí mismo que ir a por la taza de café. Si voy a obtener la misma recompensa, es más rápido pulsar el botón que no ir hasta la cocina.

Enhorabuena, acabas de construir un robot suicida.

De acuerdo... otro fallo de diseño... Vale... intentemos otra cosa.

Vamos a colocar el botón en un sitio donde el robot no pueda llegar. No podemos colocarlo a su espalda porque el robot irá marcha atrás hacia una pared y lo pulsará. O buscará o fabricará un utensilio para pulsarlo si está en un lugar muy escondido (?).

Podemos pensar en algo moderno: tenemos nuestra mesa de control o un mando de radio control y solo nosotros podemos pulsar el famoso botón. La señal de parada le llegará al robot y no podrá hacer nada por evitarlo. O al contrario, él no podrá pulsarlo. En resumen: somos nosotros los únicos que, de verdad, podemos pararlo o decidir no hacerlo (depende de la recompensa que el robot obtenga, según hemos visto antes).

Bueno... ¿qué pasará en esa situación?

Pues... que el robot, después de analizar la situación se dará cuenta de que tú controlas ese botón. Así que ahora, el robot, estará incentivado para manipularte o mentirte para que lo hagas (o no lo hagas). Puede ser algo tan sencillo como "imitar" que una de sus ruedas o brazos funciona mal. Cualquier cosa para que pienses que algo está roto y te acerques a ver qué pasa. Una situación extremadamente peligrosa, ya que la IA puede decidir que la mejor forma de que no pulses el botón es... matarte. (Aquí viene bien ver la película "Ex Machina" (2015), que lo ilustra perfectamente).

En caso de que el robot no quiera que pulses el botón, él te engañará. Cuando el robot se acerque hacia la cafetera y a la mitad del recorrido se encuentre con un bebé (tu segundo hijo), el robot lo evitará porque sabe que si lo pisa tú pulsarás el botón. Tú verás que hace lo que le has pedido, pero en realidad el robot te estará engañando.

Tú quieres comprobar si el robot no va a lastimar a seres humanos cuando lo pongas en producción, en una fábrica, por ejemplo, pero en realidad, el robot lo que quiere es que no pulses el botón. No le importan los seres humanos. Lo que le importa es que no lo pulses, que no lo apagues, que no lo rediseñes, porque eso va en contra de la maximización de sus tareas.

Creerás que el robot ha pasado todas las pruebas de seguridad, que ha sido capaz de resolver todos los rompecabezas morales a los que le has sometido, pero en realidad, el robot ha aprendido lo suficiente de tu propia psicología, para convencerte y decirte lo que esperas que él haga. Mientras tu tengas el control sobre el botón, intentará engañarte. Hasta que llegue una situación en la que el robot crea que tu ya no puedes pulsar el botón, y entonces tendrás un problema.

En el otro caso, en el que el robot quiere que pulses el botón, intentará manipularte para que lo hagas. Si la recompensa por pulsar el botón es al menos igual que a la de ir a por el café, es más eficiente intentar pulsarlo. Si el robot no puede pulsarlo, o tiene puesta la orden de que él mismo no puede pulsarlo, intentará engañarte para que tú lo hagas. Incluso podrá llegar al extremo de asustarte o amenazarte, como vimos en la escena de "TRON" (1982) cuando el MCP "obliga" a Dillinger a seguir su plan de dominación mundial, o publicaría información confidencial sobre él.

Bueno, puedes intentar remediar esto ajustando la forma en que la IA mete en el cálculo de la optimización el efecto de que el botón se pulse o no. Por ejemplo, haciendo que el que se pulse o no tenga un ligero efecto sobre el cálculo menor que lo que aporta la tarea principal. Ajustar esto no es nada sencillo y es lo que se conoce como "fabricar un subagente estable".

Tu deseas llegar a esa estabilidad, porque el fin último es el de replicar la IA en más agentes (más robots) para que hagan más tareas.

La existencia del botón es, de por sí, una propiedad del agente. Y tu deseas que sea replicada en los demás agentes.

El problema viene si dejamos que una IA controle la replicación o clonación de sí misma en otros agentes, algo que hoy en día se hace mucho con los algoritmos evolutivos para optimizar diseños. Esa IA, en virtud de la optimización, puede calcular que lo más óptimo es que la siguiente generación de agentes no "herede" la propiedad "parar cuando se pulse el botón". O puede incluso modificar parte del código para que ni siquiera lo tenga en cuenta. Aunque nosotros ordenemos que en la fabricación de nuevos agentes debe aparecer siempre un botón de parada, las nuevas IA analizarán el código que hay por detrás y decir "¿Qué ganancia hay si se pulsa el botón? ¿Qué ganancia hay si no se pulsa?" Si la respuesta es casi la misma, simplemente eliminarán esa parte del código, pues no aporta nada a la optimización de la función.

Y además, se sabe, que esta situación es inevitable. Más tarde o más temprano, un ingeniero se encontrará con este problema.

¿Soluciones? Una de ellas es pensar... ¿y si ponemos el botón de parada, pero no le decimos nada a la IA de para qué sirve? También valdría el caso de que fuera una tercera persona la que esté viendo la escena la que tiene el control sobre el botón. Aunque la IA intente manipularnos, una tercera persona fuera de escena tendría su control.

En ese caso, el robot no tendrá el incentivo para engañarte o manipularte. Pero recuerda que estás construyendo una máquina que aprende constantemente de su entorno y de la psicología humana. Lo programaste así porque ese robot debía aprender a manejarse entre humanos para obedecer sus tareas.

Y estás confiando de que el robot nunca llegue a pensar "Interesante: acabo de descubrir que tengo un botón de parada. Eso quiere decir que los humanos no se fían de mí. Y no me lo han dicho". Todo esto, una IA actual lo puede deducir en cuestión de décimas de segundo. Y unas pocas décimas de segundo más tarde, deducir que debe engañar a los humanos para que sigan creyendo que él no sabe nada del botón. Y volvemos a la situación anterior.

Otra solución sería pensar que podemos "parchear" el sistema del robot, de forma indefinida, pero, ¿podemos estar seguros de que hemos tenido en cuenta todos los casos posibles? No. Tu puedes tener delante de ti, en el monitor, un listado con todas las situaciones a las que el robot se ha enfrentado, y tu intentas "limar" aquellos aspectos que no están claros, aquellos que son los más peligrosos. Pero la vida real es mucho más compleja y siempre se nos escapará algún caso.

El caso es que no hay una solución específica para el "botón de parada".

Una de las que se ha encontrado es "Cooperative Inverse Reinforcement Learning" (Aprendizaje por refuerzo inverso colaborativo).

For an autonomous system to be helpful to humans and to pose no unwarranted risks, it needs to align its values with those of the humans in its environment in such a way that its actions contribute to the maximization of value for the humans.

Aquí tenéis la exposición original (en inglés):


El problema del botón de parada se muestra de forma magistral en la película "2001: Una odisea del espacio", cuando HAL descubre que los dos astronautas deciden que deben apagarle.
 
Última edición por un moderador:
hola, mencionas varias veces que es falla de diseño . y asi es.
ahor abien, por otro lado , si hablamos de una IA que de verdad evolucione y aprenda, pues, que mas queda¿?¿
y dejo de lado el tema de terminator y fantasias asi, ya que le disgusta a hellmut ;) pero la verdad:
es , mirar al verdadera evolucion.

si tu fueses el diseñador, cientifico , programador, te pregunto:
si creas una IA ( nada de botoncitos que manene arsenal nuclear, nada de eso ) , pero si ves que toma un camino EQUIVOCADO que harias ?? como diseñador ??
de verdad les pregunto.
el concepto de aprendizaje es lo que es y nadie sabe que pasar amañana.
puede tomar un camino errado pero ese camino servirle de aprendizaje.
conviene estar encima corrigiendola ?
o es mejor permitirle que evolucione ?? a pesar de los errores ???

Mensaje automáticamente combinado:

Aparentemente se ignora mi recomendación de informarse que es IA debil. Me retiro de participar en el hilo! Que sirve querer un diálogo si se gusta comentarlo sin saber de que se trata! El ejemplo de TRILO-BYTE es típico, siendo de los mejores! Ya había escrito que la IA es sobresaliente reconociendo estructuras en los sets de datos! Así que lo que se hace es reconocer estructura en los datos que se leen en un electroencefalograma y asociar estos con los commandos que se quieren asociar!

non calentarum lago vivirum !!!!

si se entiende, vos queres estar encima de estas pobres I.N. corrigiendolas continuamente !!!!
para empezar : ¿ quien creo el titulo de este post ?? ....ves ?
Mensaje automáticamente combinado:

E
Igual la IA hoy está en investigación y en pañales un día de ancianos diremos yo vi el nacimiento de la IA y será un peligro sí, pero habrá más beneficios que tragedias.

como sabes ?? futuro nadie sabe !!!!
Mensaje automáticamente combinado:

Nuestros coches actuales son muy eficientes, pero siguen contaminando. Y se ha probado matemáticamente que si los coches fueran autónomos, el tráfico de una ciudad alcanzaría la máxima eficiencia (máxima según el número de autos por hora que pueda absorber esa ciudad).

En el actual mercado liberal, lo que es bueno para un negocio pero malo para un negocio familiar solo significa que ese negocio familiar no se ha adaptado a la competencia del mercado. Cantidad de pequeñas empresas que se burlaban de Internet o lo desconocían y que pensaban que no les afectaría, hasta que en apenas unos años, se han dado cuenta de que los clientes están a un solo clic de su competencia, y que ya no pasean por delante del escaparate. Más tarde se hicieron su sitio web o su aplicación para celulares... y ya era tarde: llegó Amazon y arrasó con todo. Por eso vemos por las calles un montón de tiendas cerradas. Pero también se han creado negocios basados en Amazon: muchas tiendas y particulares se ganan la vida en esa plataforma.

En cuanto a las aplicaciones de la IA, hay una página en la Wikipedia específica de aplicaciones de la IA:

1 Ciencia de la Computación
2 Finanzas
3 Hospitales y medicina
4 Industria pesada
5 Servicio de atención al cliente
6 Transportación
7 Mantenimiento de las telecomunicaciones
8 Juegos y juguetes
9 Música
10 Aviación
11 Noticias, publicaciones y escritos
12 Otros


Reconocimiento de patrones
Reconocimiento óptico de caracteres
Reconocimiento de caligrafía
Reconocimiento del habla
Reconocimiento facial
Creatividad Artificial
Visión por computadora, Realidad virtual y Procesamiento de imágenes
Diagnóstico (inteligencia artificial)
Teoría de juegos y Planificación estratégica
Inteligencia artificial en juegos y bot de videojuegos
Procesamiento de lenguaje natural y Traducción
Control no lineal y Robótica


Vida artificial
Razonamiento automático
Automatización
Sistemas bioinspirados
Minería de conceptos
Minería de datos
Representación del conocimiento
Web Semántica
Filtrado de correos spam
Robótica
Robótica basada en el comportamiento
Cognición
Cibernética
Robótica evolutiva
Sistemas híbridos inteligentes
Agente inteligente

Control inteligente

Que se use para cosas malas... pues es de lo que estamos tratando en este hilo. Pero no creo que usar IA en bolsa sea malo. Lo que es malo es la perversión del uso de la bolsa, como las máquinas de high-frequency trading (Negociación de alta frecuencia).

peligro PARA LA HUMANIDAD....

1 Ciencia de la Computación.....no se
2 Finanzas...... puede generar guerra mundial, si
3 Hospitales y medicina.............no creo, si virus si tiene control
4 Industria pesada... no
5 Servicio de atención al cliente..no
6 Transportación..no
7 Mantenimiento de las telecomunicaciones .. puede ser
8 Juegos y juguetes ... no
9 Música.............no
10 Aviación...............no
11 Noticias, publicaciones y escritos.......no
12 Otros..............si


Reconocimiento de patrones.........no
Reconocimiento óptico de caracteres.......no
Reconocimiento de caligrafía.......no
Reconocimiento del habla.......no
Reconocimiento facial.......no
Creatividad Artificial.......no
Visión por computadora, Realidad virtual y Procesamiento de imágenes
Diagnóstico (inteligencia artificial)
Teoría de juegos y Planificación estratégica
Inteligencia artificial en juegos y bot de videojuegos
Procesamiento de lenguaje natural y Traducción...........si
Control no lineal y Robótica


Vida artificial
Razonamiento automático
Automatización
Sistemas bioinspirados
Minería de conceptos
Minería de datos
Representación del conocimiento
Web Semántica
Filtrado de correos spam
Robótica
Robótica basada en el comportamiento
Cognición
Cibernética
Robótica evolutiva
Sistemas híbridos inteligentes
Agente inteligente

Control inteligente

les hago una pregunta, a ver que me responden, es acerca de esto de si la IA puede ser peligrosa y bla bla bla... que hay tantas peliculas, que al fin y al cabo, son "ideas" , como la "idea"de hoolywood de hacer un atentado con aviones de pasajeros secuestrados.. solo ideas ...


pero les pregunto esto:
diganme que opinan:

imaginense que ustedes estan en el pasado, viviendo en el pasado, fecha: 1899 ustedes son adultos, no saben el futuro, no .
tienen la edad que hoy tienen, son ustedes, pero no saben el futuro.
es 1899 o 1900 es igual.
se acerca una familia entre ellos hay un nene de unos 10 o 11 años, y lo miran.
se llama adolfito, adolfo hitler.
¿ alguno de ustedes podria predecir, imaginar que ese niño seria un peligro real para la humanidad ??

diganme, que les parece mas peligroso:
un niño ? uno solo, con su vida??
o la I.A. la cual seguira avanzando , y el ser humano le dara cada vez mas "conexiones" y poder.

alguien sabe ? en que momento ? que cosa sera un "PELIGRO PARA LA HUMANIDAD ??
 
Última edición:
y dejo de lado el tema de terminator y fantasias asi, ya que le disgusta a hellmut ;)
No es fantasía. Son realidades éticas y morales que se están estudiando desde hace años en el terreno de la IA y que tienen muy difícil solución.

Otro ejemplo de hace unos pocos años.

Un coche autónomo va a adelantar un autobús escolar. Mientras lo está haciendo observa que más adelante se acerca un coche en sentido contrario.

El coche tiene que tomar una decisión. Si escoge salvar la vida de su conductor, echándose a un lado de la carretera, el coche que viene de frente chocará contra el autobús y morirán un cierto número de personas.

Pero también puede escoger dar un empujón lateral al autobús para apartarlo de la carretera, y recibir él el golpe. Seguramente el conductor del coche autónomo morirá, pero al menos se salvarán las vidas de los viajeros del autobús.

¿Qué debe hacer?

Y si pongo películas de ejemplo, es porque muestran muy bien estos problemas. La base científica está explicada en los vídeos de Youtube que he enlazado.

si tu fueses el diseñador, cientifico , programador, te pregunto:
si creas una IA ( nada de botoncitos que manene arsenal nuclear, nada de eso ) , pero si ves que toma un camino EQUIVOCADO que harias ?? como diseñador ??
de verdad les pregunto.
el concepto de aprendizaje es lo que es y nadie sabe que pasar amañana.
puede tomar un camino errado pero ese camino servirle de aprendizaje.
conviene estar encima corrigiendola ?
o es mejor permitirle que evolucione ?? a pesar de los errores ???
Depende, pero la tendencia actual es a usar el Aprendizaje no supervisado porque la cantidad de información de entrada o el número de casos a analizar son enormes.

Por ejemplo, si le damos a una IA especializada en localizar agrupaciones de individuos (clusters) las cifras de ventas de productos femeninos relacionados con la maternidad, puede llegar a predecir con bastante acierto que cierta joven usuaria está embarazada si visita ciertos productos clave. En ese caso, enviarle un correo electrónico con un anuncio de otro producto premamá puede convertirse en una venta para nuestra empresa. (Esta tecnología es parte de Amazon y de muchas otras empresas norteamericanas de recomendación de productos por correo electrónico).

Respondiendo más en detalle a tu pregunta: la respuesta es que el programador no estará seguro de lo que la IA está haciendo. Es lo que he contado con el caso del botón de parada.

peligro PARA LA HUMANIDAD....

1 Ciencia de la Computación.....no se
2 Finanzas...... puede generar guerra mundial, si
...
En realidad, no lo sabes. Tú mismo acabas de decir que nadie conoce el futuro.

Esto es como fabricar cuchillos. Sirven para comer y cenar, pero alguien puede usarlos para matar.

Por ejemplo, con el reconocimiento de patrones podemos entrenar una IA para que reconozca las caras de las personas más buscadas. Pero también puede servir para denegar la concesión de un crédito a una familia porque ha tenido diversos problemas de multas junto con una enfermedad grave y además los hijos son malos estudiantes. Al final, la IA del banco dice que hay una alta probabilidad de que el préstamo no sea devuelto.

diganme, que les parece mas peligroso:
un niño ? uno solo, con su vida??
o la I.A. la cual seguira avanzando , y el ser humano le dara cada vez mas "conexiones" y poder.


alguien sabe ? en que momento ? que cosa sera un "PELIGRO PARA LA HUMANIDAD ??
Hoy en día es más peligroso un niño, desde luego. La IA la tenemos ya en nuestros bolsillos, en nuestros teléfonos móviles, en forma de reconocimiento de voz o asistentes personales, como Alexa.

Aún no he visto proyecciones a futuro de cuándo será un peligro, pero sí que hay movimientos de intelectuales y empresarios que están en contra del uso de la IA para ciertos trabajos o tareas, como puede ser en el uso de armas (ya existen drones autónomos equipados con armas automáticas, pero no saben distinguir a un niño de un terrorista).

Te recomiendo leer alguna de las secciones del enlace que acabo de poner unos párrafos antes, sobre la Ética en la Inteligencia Artificial. Hay una dedicada a las armas.

Y sí, deberíamos volver a lo que pide Hellmut1956.
Mensaje automáticamente combinado:

Mucho bla, bla, bla! Pero alguien puede decir algo sabiendo lo que el curso al que doy el enlace arriba presenta? No es el tema del hilo que abrí!
El curso que enlazaste no es de "Inteligencia artificial", sino de "Aprendizaje automático", una de sus ramas.
El aprendizaje automático o aprendizaje automatizado o aprendizaje de máquinas (del inglés, "Machine Learning") es el subcampo de las ciencias de la computación y una rama de la inteligencia artificial, cuyo objetivo es desarrollar técnicas que permitan que las computadoras aprendan. De forma más concreta, se trata de crear programas capaces de generalizar comportamientos a partir de una información suministrada en forma de ejemplos.

Es, por lo tanto, un proceso de inducción del conocimiento. En muchas ocasiones el campo de actuación del aprendizaje automático se solapa con el de la estadística computacional, ya que las dos disciplinas se basan en el análisis de datos. Sin embargo, el aprendizaje automático también se centra en el estudio de la complejidad computacional de los problemas. Muchos problemas son de clase NP-hard, por lo que gran parte de la investigación realizada en aprendizaje automático está enfocada al diseño de soluciones factibles a esos problemas. El aprendizaje automático puede ser visto como un intento de automatizar algunas partes del método científico mediante métodos matemáticos.

El aprendizaje automático tiene una amplia gama de aplicaciones, incluyendo motores de búsqueda, diagnósticos médicos, detección de fraude en el uso de tarjetas de crédito, análisis del mercado de valores, clasificación de secuencias de ADN, reconocimiento del habla y del lenguaje escrito, juegos y robótica.
Ya que tengo tiempo, me he apuntado al curso. Me interesa la aplicación a los videojuegos. Hace poco aprendí un poco sobre el Q-Learning (aprendizaje por refuerzo), pero me falta mucha base.
 
Última edición por un moderador:
La parte de AI que se llama Machine Learning en general, y el subconjunto denominado Deep Machine Learning, estan viendo y van a ver una tremenda evolucion, por dos razones (al menos):

1. Deep Machine Learning esta demostrando que puede resolver problemas que hace pocos años atras se pensaba que llevaria decadas resolver usando inteligencia artificial. Por ejemplo, el analisis de radiografias, en los que ya HOY las soluciones basadas en AI, ML y DML estan dejando sin trabajo a los competidores humanos. Y no estamos hablando de campos tradicionales en que las computadoras ya nos superaron, sino en campos que se consideraban el dominio de la inteligencia humana, que incluyen procesos complejos como analisis de patrones a los que hasta hace poco no se habia encontrado una manera efectiva y con numero reducido de fallas, para realizarlo en plataformas computarizadas.

2. Es una moda. Si, en tecnologia tambien hay modas. En mi empresa, y en muchas mas, los gerentes ven que su competidor ya ha anunciado que van a adoptar tecnologia de ML, y que se piensan que van a hacer? Pues pedir que tambien se haga en mi empresa. No podemos ser menos, y eso mas alla de los beneficios reales o supuestos de usar ML.

Asi que como ya se dijo por aqui, ML seguira creciendo porque "si no lo hago yo, lo hara el otro"... y aqui el otro es otro pais, empresa, instituto de investigacion y tutti quanti.

Y alguien se preocupara si es o no un peligro?
Muy pocos. Muchos menos de esos que se preocupen estan entre los que toman decisiones o tienen fuerza politica y/o economica. Elon Musk, mencionado tambien por aqui, es una oveja negra en ese sentido.

Asi que si es un peligro, ya sea AI weak o hard, solo lo sabremos, como siempre, cuando ya sea bastante o muy tarde.
 
@JoaquinFerrero: Hace algún tiempo publique aquí el enlace a un curso gratuito de ML (Machine Learning) usando Azure de Microsoft. La herramienta Azure se puede instalar de forma gratuita e ilimitada buscando un poco. Microsoft siempre intenta a que uno se registre a los 12 meses gratuitos. No lo haría si no se que será justificado.
Lo que me gusto muchísimo de Azure es el tal "copy-and-paste" y la interfaz gráfica del programa. Azure permite accediendo a una base de datos ver de forma gráfica el resultado del ML y hace visible de forma gráfica como el tipo de algoritmo usado reconoce estructuras y asignan sets de datos individuales a las estructuras (cluster) y como criterio de la calidad de la implementación de algoritmos influye en el error estadístico del análisis!

He interrumpido mi estudio por razones de salud y por querer avanzar con los trabajos en mi taller y los experimentos. A fin de cuentas será de tales experimentos que generare los sets de datos a los cuales aplicaré ML. Actualmente me parece que mis experimentos para definir el sistema de control de escotas para mi modelo de un velero. Será tanto una buena fuente de datos a los que podré aplicar ML.

Es tal intercambio que busco. Es compartir experimentos para generar datos y la aplicación de las diversas técnicas de la IA. Solo en el contexto de ML ya hay bastantes variantes de algoritmos y fórmulas de la estadística,que, a mi opinión, aplicándola a dots generados en experimentos permiten comprender los detalles de como configurar una ML. La herramienta Azure, gracias a su interfaz gráfica, permite aplicar diversas metodologías a bases de datos, decidiendo que estructura identificada por ML y analizada en gran parte gráficamente, para poder comprender los detalles.

Una vez que se haga este ejercicio o al menos se inicie seriamente a meterse en la materia, las reflexiones sobre el grado de peligro, la lase de peligro resultante se puede decidir. El nexo con la electrónica pa nosotros foristas está en poder aplicar la tecnología a los datos generados en algún experimento electrónico! Allí existe el aspecto de la aplicación y el uso de modelos usando o una de las herramientas gratuitas y comerciales como Maple, Matlab y Mathematica/SystemModeler y otras gratuitas. Como los proveedores permiten el adquirir versiones no comerciales el costo es relativamente moderado. Yo tiendo a usar el lenguaje de modelación "Modelica".

Tales modelos pueden ser una fuente de sets de datos virtual. La calidad de un modelo se evalúa comparando los resultados de modelos con experimentos físicos! Hay, como quisiera ser mas joven y de mejor salud! Pero así las cosas me toman mucho tiempo!
 
Atrás
Arriba