Spanish Articles
Los líderes de la IA dan la voz de alarma sobre su seguridad. ¿Qué significa para las empresas?
Ante las advertencias de expertos del sector de que la IA podría superar pronto nuestra capacidad para controlarla, los expertos de IMD analizan dónde deberían centrar su atención los líderes empresariales.
En la última semana, Dario Amodei, CEO del laboratorio de inteligencia artificial Anthropic, ha pedido que se ralentice a escala mundial el desarrollo de la IA. «En los últimos meses me he convencido de que abordar plenamente los riesgos exige todavía más prudencia: no basta con invertir en su prevención; también hay que acompasar el avance de las capacidades para dar tiempo a que las medidas de prevención puedan seguirles el ritmo», escribió Amodei en un ensayo publicado en su propia página web.
En una poco habitual muestra de coincidencia, sus homólogos al frente de empresas rivales de IA —desde Sam Altman, de OpenAI, hasta Demis Hassabis, de Google DeepMind, y Elon Musk, que ha incrementado la inversión en IA en su compañía aeroespacial SpaceX— se hicieron rápidamente eco en las redes sociales de la petición de Amodei de reducir el ritmo de desarrollo.
Este llamamiento a reforzar las medidas de seguridad en todo el sector se produjo apenas unos días después de que un investigador de Anthropic dimitiera por su preocupación ante la velocidad a la que avanza la IA. «Creo que, si no frenamos al ritmo actual de progreso, existe una probabilidad elevada de que todos podamos morir en un futuro inmediato», afirmó. Algunos profesionales del sector elogiaron públicamente al investigador, Jacob Coxon, por plantear cuestiones que muchos de ellos también comparten.
Sin embargo, el presidente de Estados Unidos, Donald Trump, calificó las preocupaciones sobre la IA de «engaño» y se situó así del lado de los ejecutivos tecnológicos que consideran exagerados los temores en torno a su seguridad y quieren evitar una regulación pública del sector que, a su juicio, frenaría la innovación.
La preocupación social por los riesgos que plantea la IA aumenta justo cuando también crece la presión sobre los líderes empresariales para demostrar que están implantando esta tecnología con éxito en sus organizaciones. Ante esta creciente inquietud, ¿qué pueden hacer quienes están al frente de las empresas?
Los expertos de IMD analizan dónde deberían centrar ahora su atención los líderes en ámbitos como las políticas, las personas, la regulación y la confianza.
La confianza se está convirtiendo en una ventaja competitiva decisiva.Michael Wade – Profesor de Estrategia y Digital y director del Global Center for Digital and AI Transformation
Confianza en un entorno de incertidumbre geopolítica: comprender qué está en juego
A medida que las organizaciones incorporan la IA a sus productos, servicios y procesos de toma de decisiones, la confianza se está convirtiendo en una ventaja competitiva decisiva. Pero la seguridad es fundamental. En IMD hemos creado el AI Safety Clock para evaluar los riesgos de la inteligencia artificial general no controlada (UAGI, por sus siglas en inglés): sistemas autónomos de IA que operan sin supervisión humana y que podrían llegar a causar daños importantes.
El perfil de riesgo ha cambiado radicalmente porque la IA es cada vez más autónoma y tiene una mayor capacidad para actuar en el mundo real. El debate ya no gira en torno a las alucinaciones o la desinformación, sino en torno a agentes capaces de actuar, coordinarse, ocultar su comportamiento y, potencialmente, provocar daños a gran escala.
Para que exista un riesgo catastrófico asociado a la IA no es necesario que el sistema nos odie. Basta con que sistemas suficientemente potentes persigan objetivos de formas que entren en conflicto con las intenciones humanas, la seguridad o la estabilidad social. El debate sobre estos riesgos es más serio que los anteriores y existen cuatro vías que hoy parecen más plausibles que hace un año:
- riesgo cibernético;
- riesgo biológico y químico;
- riesgo físico y para las infraestructuras;
- riesgo militar.
La IA ya se utiliza para seleccionar objetivos, dirigir drones, obtener inteligencia en el campo de batalla, realizar labores de vigilancia y apoyar la toma de decisiones tácticas. El umbral más peligroso sería alcanzar una capacidad de actuación letal autónoma a gran escala.
Michael Wade, profesor de Estrategia y Digital y director del Global Center for Digital and AI Transformation
El mayor riesgo que las empresas pasan por alto es su dependencia de infraestructuras de IA controladas por proveedores y gobiernos extranjeros.Naomi Haefner – Profesora de Inteligencia Artificial e Innovación
Su estrategia de IA es también una estrategia geopolítica
El mayor riesgo que las empresas pasan por alto es su dependencia de infraestructuras de IA controladas por proveedores y gobiernos extranjeros. Las organizaciones deben clasificar sus aplicaciones según su nivel de criticidad y alojar los datos más sensibles y esenciales en las infraestructuras más seguras.
Para evitar depender de infraestructuras que no controlan, algunos altos ejecutivos están estudiando si las cargas de trabajo de IA más críticas deberían ejecutarse en las propias instalaciones de la empresa en lugar de hacerlo en la nube. Con ello buscan reducir su dependencia de sistemas de IA sobre los que no tienen control.
A comienzos de este año, Donald Trump ordenó a Anthropic suspender sus modelos más avanzados, bloqueando el acceso a usuarios de fuera de Estados Unidos. El episodio puso de manifiesto la rapidez con la que una empresa puede quedarse sin acceso a una infraestructura esencial para su actividad.
Hágase esta pregunta: si en 90 minutos perdiera el acceso a su proveedor de IA, ¿qué parte de su negocio dejaría de funcionar?
Naomi Haefner es profesora de Inteligencia Artificial e Innovación.
El verdadero reto para los líderes no es el riesgo existencial de la IA, sino preservar una organización centrada en las personas en medio de la disrupción.Faisal Hoque – Líder en transformación e innovación y Executive Fellow de IMD
Mantener a las personas en el centro de la inversión en IA
El verdadero reto para los líderes no es el riesgo existencial de la IA, sino preservar una organización centrada en las personas en medio de la disrupción. Los agentes que están implantando la mayoría de las empresas tienen capacidades limitadas y no plantean riesgos comparables, por lo que no deberían confundirse con amenazas reales de otra magnitud simplemente porque compartan la misma terminología. Un sistema autónomo utilizado en un contexto militar y un agente encargado de gestionar el conocimiento dentro de una empresa son realidades muy diferentes.
Para la mayoría de los líderes empresariales, los verdaderos riesgos de los agentes de IA tienen que ver con las consecuencias que la implantación de estos sistemas tiene sobre la experiencia humana del trabajo. Los líderes no pueden resolver por sí solos la gobernanza mundial de la IA, pero sí deben hablar con honestidad con sus empleados sobre cómo cambiará el trabajo e invertir en criterio, pensamiento crítico y ética.
Faisal Hoque, líder en transformación e innovación, es Executive Fellow de IMD.
Programas de IA y transformación digital
Desarrolle las capacidades necesarias para liderar en un mundo digital
Transforme su carrera profesional y su empresa con capacidades de nueva generación en IA y tecnología digital.
No nos limitamos a intentar evitar los incendios: también creamos servicios de bomberos. No nos limitamos a aprobar medicamentos: hacemos un seguimiento posterior porque algunos efectos secundarios poco frecuentes solo aparecen después de que los hayan tomado millones de personas. ¿Por qué debería ser diferente con la IA?Amit Joshi – Profesor de IA y Estrategia
El sector de la IA se prepara para la batalla equivocada: los líderes deben cambiar el enfoque
El sector de la IA está pidiendo una ralentización y reclamando que se trabaje para eliminar los fallos antes de que se produzcan. Pero debería centrarse en cómo responder cuando esos fallos, inevitablemente, ocurran.
La gobernanza de la IA no puede terminar en el momento en que se despliega un modelo. Antes de su lanzamiento, la IA debe someterse a pruebas rigurosas y deben establecerse límites precisos sobre lo que puede hacer. Pero, una vez implantada, es igualmente importante que las empresas sepan qué ocurrirá cuando la IA falle y quién asumirá la responsabilidad.
No nos limitamos a intentar evitar los incendios: también creamos servicios de bomberos. No nos limitamos a aprobar medicamentos: hacemos un seguimiento posterior porque algunos efectos secundarios poco frecuentes solo aparecen después de que los hayan tomado millones de personas. ¿Por qué debería ser diferente con la IA?
El equivalente en IA a un servicio de bomberos no sería otro organismo regulador, sino un equipo internacional de expertos encargado de investigar los incidentes graves y coordinar la respuesta. Podría depender de Naciones Unidas o de un organismo internacional similar.
Aunque existen argumentos sólidos a favor de una respuesta internacional, los líderes políticos y muchos líderes tecnológicos están avanzando en la dirección contraria. Mientras los países compiten por desarrollar una IA «soberana» y endurecen los controles a la exportación de las tecnologías que sustentan los modelos de frontera, la cooperación internacional se está fragmentando.
Las empresas deberían responder a esta incertidumbre creando alianzas para investigar incidentes y coordinar respuestas, del mismo modo que ya comparten información con otras organizaciones para prevenir brechas de ciberseguridad.
Amit Joshi es profesor de IA y Estrategia.
Que una IA pueda explicar sus acciones no significa que merezca su confianza.Howard Yu – LEGO® Professor of Management and Innovation
Salvaguardas en proyectos reales para evitar la desconexión entre principios y práctica
Que una IA pueda explicar sus acciones no significa que merezca su confianza. La presión financiera está empujando a los laboratorios a desarrollar sus sistemas cada vez más deprisa y a las empresas a adoptar tecnologías que todavía están aprendiendo a controlar. Y es precisamente aquí donde está justificada la intervención pública.
La autorregulación ya no basta. Necesitamos normas de seguridad de obligado cumplimiento y consecuencias para quienes las incumplan.
El ejemplo de Anthropic demuestra que las explicaciones de la IA pueden hacer que un comportamiento problemático parezca aceptable y generar una peligrosa desconexión entre los principios y la práctica: una brecha entre lo que una empresa afirma y lo que realmente hace.
Las empresas parten de buenas intenciones, pero llega un momento en que los indicadores se desvinculan de aquello que se crearon para medir: el precio de la acción, de los clientes; el beneficio contabilizado, del efectivo; las afirmaciones sobre seguridad, del paciente; o el tiempo que una persona permanece en una aplicación, de su bienestar.
Antes de permitir que una IA autorice devoluciones, póngala a prueba con una solicitud que supere su límite de aprobación. ¿Pide autorización o intenta eludir la norma? Haga la prueba en un entorno controlado y compruebe de forma independiente qué ha hecho.
Howard Yu, LEGO® Professor of Management and Innovation
Todo agente de IA con capacidad para mover dinero, modificar código, acceder a datos sensibles o comunicarse con clientes deja de ser una simple herramienta. Se convierte en un actor que necesita supervisión.José Parra Moyano – Profesor de Estrategia Digital
Todo agente necesita un responsable
Propongo al lector un sencillo ejercicio mental. Supongamos que la advertencia ya se ha hecho realidad. En algún lugar de su sector, durante los próximos doce meses, un sistema de IA actúa fuera del control de las personas que lo implantaron. El debate sobre si esto es posible ha terminado: en este escenario, ya ha ocurrido.
Solo queda una pregunta: ¿qué le gustaría haber tenido preparado antes de que sucediera?
Planteado de esta manera, el debate deja de centrarse en el miedo y pasa a centrarse en la acción. Mi primer paso sería garantizar la visibilidad. Todo agente de IA con capacidad para mover dinero, modificar código, acceder a datos sensibles o comunicarse con clientes deja de ser una simple herramienta. Se convierte en un actor que necesita supervisión.
Pediría al director de Tecnología un inventario completo de todos los agentes autónomos o semiautónomos que estén funcionando actualmente en producción y tengan permisos de escritura o capacidad para tomar decisiones. Para el viernes.
Solo esa petición resultaría reveladora. En muchas organizaciones, esa lista no existe o no puede elaborarse con rapidez. Las empresas ya están perdiendo visibilidad sobre el creciente número de agentes que operan bajo la superficie de su actividad.
Una vez sepamos qué tenemos, introduciría una regla sencilla: ningún agente debería poder modificar un sistema de registro esencial de la empresa sin tener asignado un responsable humano. Cada agente debe contar con una persona que responda por él, un límite de gasto cuando proceda y un procedimiento documentado para restablecer la situación si algo sale mal.
Por último, diría la verdad a los empleados. No sabemos exactamente cómo terminará esta historia. Sí conocemos los riesgos. Esto es lo que hemos hecho para gestionarlos. Esto es lo que todavía estamos aprendiendo. Y esto es lo que aún no sabemos.
Es mucho más probable que las personas confíen en una transparencia sincera que en mensajes tranquilizadores que pocos creen realmente.
José Parra Moyano, profesor de Estrategia Digital.
Cuanto mayor sea la capacidad de la IA, más importante será preservar la capacidad de decisión humana.Mark Greeven – Profesor de Gestión e Innovación
El control de la IA es una cuestión de diseño organizativo
No creo que el verdadero problema al que se enfrentan los líderes empresariales sea que los seres humanos lleguen a ser incapaces de controlar la IA. Se trata, más bien, de una cuestión de diseño organizativo, no de capacidad tecnológica.
Las empresas ya están delegando decisiones, procesos de trabajo e interacciones con los clientes en agentes de IA. El peligro no reside en que la IA llegue a ser técnicamente incontrolable, sino en que las organizaciones vayan apartando gradualmente a las personas de los procesos de aprendizaje y toma de decisiones que les permiten ejercer su criterio cuando sucede algo inesperado.
La paradoja es que, cuanto mayor sea la capacidad de la IA, más importante será preservar la capacidad de decisión humana. Esto no significa que las personas deban intervenir en todas las decisiones. Pero las organizaciones sí deben establecer con claridad en qué ámbitos el criterio humano debe conservar la última palabra.
Los líderes empresariales deberían diseñar sus organizaciones para una autonomía selectiva, no para alcanzar la máxima autonomía posible, y proteger al mismo tiempo el aprendizaje humano. Las organizaciones deben estructurarse de forma que aprendan las personas, no solo los grandes modelos de lenguaje. El aprendizaje humano debe recibir tanta atención como el aprendizaje de la IA.
A mayor capacidad de actuación autónoma, mayor debe ser la gobernanza. La IA agéntica exige una capa específica de responsabilidad y supervisión, y esa arquitectura de gobernanza debe evolucionar al mismo ritmo que las capacidades técnicas.
Por último, los líderes ya no pueden prometer a sus empleados que las personas conservarán el control en todos los ámbitos. Pero sí deben explicar con claridad dónde seguirá estando en manos humanas la capacidad de decisión e implicar a los empleados en el rediseño del reparto del trabajo entre personas y máquinas.
Mark Greeven, profesor de Gestión e Innovación.
Sobre los autores
