AIIntermedio#AI Safety#Interaction#Validation
Ingenieria de Prompts
I
Definition
Practica de disenar instrucciones de modelo, ejemplos, contexto y restricciones de salida para tarea limitada. Puede hacer flujo mas facil de evaluar; no hace salida de modelo determinista, correcta, segura ni adecuada para decision financiera.
Revisado con fuentes
- NIST AI RMF: Generative AI Profile abre en una pestana nueva
Respalda: NIST describes confabulation as confidently generated false or inconsistent content and notes the heightened risk when people act on consequential outputs.
- OWASP: LLM01 Prompt Injection abre en una pestana nueva
Respalda: OWASP documents that untrusted prompt content can alter model behavior and recommends handling application functions in code rather than delegating direct authority to model output.
- OWASP: LLM06 Excessive Agency abre en una pestana nueva
Respalda: OWASP explains that broad tool authority lets unexpected, ambiguous, or manipulated model output cause damaging actions.
Diagrama del Concepto
Key Takeaways
1
Ingenieria de prompts define tarea limitada, evidencia, restricciones, formato de salida y respuesta a informacion faltante o contradictoria.
2
Prompts y contexto recuperado son datos, no autoridad: contenido no confiable no debe cambiar politica de aplicacion ni permisos de herramienta.
3
Validacion de esquema mejora manejo de salida estructurada; no hace reclamo verdadero ni autoriza accion.
4
Mantiene decisiones de transferencia, orden y control de acceso fuera de modelo, detras de comprobaciones de politica independientes y aprobacion explicita.
Practical Example
Prompt de revision pide a modelo resumir solo aviso oficial aportado, listar cada reclamo con extracto de fuente y hora, identificar hechos faltantes y devolver borrador validado por esquema. Aplicacion rechaza toda salida que pida transaccion, cambie politica o carezca de registro citado.
Has terminado de aprender?
Related Terms
AI
AgenticidadForma informal de describir cuanto sistema IA puede observar, planificar, llamar herramientas y actuar. No es puntuacion de madurez estandarizada, medida de confiabilidad ni permiso para dar autoridad amplia a agente.
AI
Capa de PercepcionParte de flujo IA que recopila y etiqueta entradas como registros blockchain, datos de mercado y comunicaciones publicas. Aporta contexto para revision; no establece verdad, identifica personas, predice precios ni justifica accion.
AI
Razonamiento LLMUsar modelo de lenguaje para resumir, clasificar o comparar informacion aportada. Su salida es texto probabilistico, no analisis de mercado verificado, asesoria financiera ni autoridad para ejecutar trade.
AI
RAG (Generacion Aumentada por Recuperacion)Patron de sistema que recupera registros externos seleccionados y los aporta junto a consulta a modelo de lenguaje. Recuperacion puede mejorar trazabilidad y actualidad cuando fuentes se citan; no prueba que registro sea verdadero, completo, actual ni seguro para actuar.
Related Deep Dives
Master the hub of AI
Explore all our strategic guides about AI to take your operations to the next level.
View all articles