Los agentes de IA pueden hacer cosas increíbles para facilitar la vida de la gestión de TI. Pero también tienen el potencial de hacer cosas malas increíbles, una lección que algunas compañías ya están aprendiendo de manera fuerte.
Por ejemplo, la solicitud de replicación, el equipo de desarrollo de software, en julio de 2025, anunció que un equipo de IA eliminó una base de datos de producción completa.
Aunque exactamente lo que está mal en este caso no está claro: era un problema como un agente de IA en buggy, un mensaje incorrecto o falla escrita de la LLM que realizó las actividades del agente, destaca los tipos de problemas graves que pueden ocurrir cuando los agentes de IA no deberían.
A través de la extensión, enfatiza la importancia crítica de tomar medidas para manejar los riesgos que crean los agentes de IA. Para aprovechar al máximo la extraordinaria energía proporcionada por la tecnología del Agente AI, los profesionales de TI deben adherirse a las mejores prácticas que pueden evitar que los agentes de IA usen esa energía como las personas no tienen la intención de hacerlo.
La tecnología de IA de idéntica sigue siendo muy nueva sobre cómo proteger y administrar los agentes AII, que aún se está desarrollando.
Sin embargo, tengo algunas ideas específicas sobre lo que las partes pueden hacer con cualquier compromiso con los agentes de IA para aprovechar al máximo los agentes de IA para ayudar a crear e implementar software durante una mayor parte de un año con los agentes de IA.
¿Por qué los agentes de IA cometen errores?
Los agentes de IA pueden ahorrar mucho tiempo mediante tareas automáticas, como la redacción de códigos, las pruebas y la implementación. No estoy aquí para sugerir que los agentes de IA deben ser evitados.
Sin embargo, es probable que las personas a cargo de los agentes de IA también causen daño para hacer tales cosas.
Esto se debe a la forma en que funcionan los agentes de IA: cuando le pide a un agente que maneje un trabajo, lo subcontrate de manera efectiva, dejando al agente para decidir cómo realizarlo.
Puede haber varios problemas que resultan en hacer algo que no desea hacer, p.
– errores en el argumento que controla el agente puede tratarlo de manera inesperada. Por ejemplo, el agente puede pasar el contexto ilegal con el modelo AI al que está funcionando, lo que resulta en la creación de un verbo que sea diferente de su solicitud.
– El aviso que ha emitido al agente puede ser vago o difícil para explicar el modelo, que responde al agente de tal manera que no desee.
– El modelo de IA que guía al agente puede instruir al agente que haga algo que no desea: imponga dicho comando que elimine un recurso crítico.
Es de destacar que estos riesgos generalmente no se aplican a otros tipos de software (no al menos la misma cantidad).
Cuando escribe el código que se puede deletrear una aplicación sobre cómo completar una tarea, puede tener confianza en que tratará la aplicación siempre que no haya un error en su código o configuración. Sin embargo, los agentes de IA son diferentes porque su autonomía tiene un título.
No hay forma de garantizar que cualquier agente haga lo que desea hacer, que esté solo que lo hará de cierta manera que imagine. Incluso si su aviso incluye instrucciones detalladas en su aviso, el agente puede hacer algo diferente.
Por supuesto, la responsabilidad final del error obtenido por los agentes de IA recae en las personas que usan esos agentes; es por eso que cualquier persona que dé acceso a los recursos de los agentes debe estar listo para poseer los errores cometidos por los agentes.
El agente practica lo mejor para reducir el riesgo de IA
La incapacidad para controlar el comportamiento de los agentes de IA con precisión total hace que sea imposible que no cometan errores.
Sin embargo, lo que puede hacer es implementar el sistema que pueda acceder a cualquier agente de recursos y límites que verbos puedan realizar siguiendo las siguientes prácticas.
1 Habilitar reversiones automáticas
En el contexto del agente AI, la diferencia entre un error catastrófico y una interrupción menor depende de si puede devolver fácilmente los cambios realizados por un agente.
Es por eso que es importante garantizar la capacidad de rodar los cambios realizados por los agentes, que puede aplicar aplicando sistemas de control de versiones.
Por ejemplo, si un agente elimina un archivo controlado por la versión, si simplemente puede recuperar el archivo eliminado, esto no es un gran problema. Si no hay una manera fácil de deshacer el cambio, es un mal problema.
2 Límite los beneficios de los agentes
No brindará ningún acceso humano no confiable incontrolable a los recursos de TI, ya que los agentes de IA son una mejor práctica para limitar a qué recursos pueden acceder.
Al igual que los humanos, ya que los agentes deben estar bajo los principios menores de principios, lo que significa que pueden acceder solo a los recursos necesarios para realizar sus intenciones.
Por ejemplo, si simplemente planea usar un agente de codificación para administrar una función de aplicación, puede ser incorrecto proporcionar acceso a todo su repositorio.
En su lugar, simplemente proporcione acceso al almacenamiento o archivos de origen asociados con esa característica en particular, a menos que el agente no pueda ver otros códigos para fines relevantes.
En cuyo caso solo puede obtener acceso legible para el código relevante manteniendo la capacidad de escribir o corregir el código relacionado con la función especificada.
3 registros y observar actividades de agentes
Es importante mantener la visibilidad en las acciones que toman los agentes, que implementan, a qué datos acceden y más. Con esta idea, es posible detectar el comportamiento de los agentes riesgosos y luego tomar medidas para prevenir un comportamiento similar en el futuro.
Con ese fin, aplique el registro que rastree la actividad del agente. Dependiendo del agente que use el marco AI, es posible aplicar el registro directo a los agentes creando su propio registro de actividades.
Otro método es utilizar equipos de auditoría o marcos creados en el sistema operativo o plataformas de software como Linux Audit Daemon.
4 … Aplicar controles de bucle humano en la actividad del agente
En general, es una mejor práctica mantener a las personas al tanto cuando los agentes de IA deciden o corrigen los recursos críticos.
La revisión manual o la aprobación de la actividad del agente propuesto es ralentizar el flujo de trabajo impulsado por el agente, pero proporciona una protección importante contra los errores del agente de IA que pueden tener malas consecuencias profundas.
Por ejemplo, si tiene un agente que ayuda a manejar los fondos de transferencia de clientes, puede aplicar una regla para que una persona deba aprobar la aprobación de transferencia de $ 10,000 o más.
O, al usar agentes de IA para la codificación, puede diseñarlos para crear un grupo de solicitudes antes de aplicar un cambio, contrario a permitir que los agentes corrigan el código directamente.
5. Trate a los agentes como código
Al igual que otros tipos de recursos de TI, cuando los agentes se realizan regularmente, continuamente, funcionan mejor: puede lograr tratando a los agentes como un código.
Más precisamente, las configuraciones de agentes deben ser administradas por el código que puede hacer el control de la versión y examinar. También considere usar tuberías de CI/CD para administrar la lógica y las indicaciones de los agentes.
Los LLM, que están vinculados a los agentes, también deben probarse y observarse al alimentar al agente es relevante para las actividades y evalúa su respuesta.
Cómo manejar los agentes de IA
Desafortunadamente, apenas he mencionado que aplique los tipos de gestión del agente de IA fabricado para aplicar los tipos de herramientas dedicadas. Esto puede variar como una solución a la gestión de la evolución del agente AI. Sin embargo, se espera que adopte un enfoque manual inicial para configurar agentes.
También debe entenderse que probablemente necesite administrar a sus agentes por agente por agente, ya que existen diferentes necesidades de diferentes agentes. Por ejemplo, los controles de acceso que son adecuados para cada agente pueden ser insuficientes o adicionales para el otro dependiendo de lo que cada agente debe hacer.
Se dijo que es posible hacer el método para realizar el agente de IA dependiendo del código para la implementación de la configuración y los principios. Utilizando los mismos marcos y equipos de gestión de identidad y acceso que limitan los beneficios de los usuarios humanos, también puede manejar el acceso a los agentes de IA.
Conclusión: valores de IA del agente para maximizar el riesgo de riesgo
Al final, la administración de agentes de IA no es diferente de operar ningún otro tipo de usuario. Lo importante es tomar medidas para restringir lo que los agentes pueden hacer, y de alguna manera deberían evitar tomar el tipo de solución de magia y auto-regla como la misma.
Al igual que los humanos, los agentes de IA son defectuosos, pero los riesgos potenciales derivados de estos defectos pueden probarse a través del proceso de gestión y el control de acceso adecuados.
Hemos enumerado los mejores modelos de idiomas grandes (LLM) para la codificación.
Este artículo fue producido como parte del canal de Insight Specialist TechRaderPro, donde somos la mejor y brillante mente brillante en la industria de la tecnología. Las opiniones publicadas aquí están en el autor y no son esenciales para TechroderPro o Future PLC. Si está interesado en contribuir, busque más aquí:
