AIAvanzado#Machine Learning#Risk
Colapso del Modelo
C
Definition
Degradacion que puede ocurrir cuando modelos generativos se entrenan repetidamente con sus propias salidas o salidas de otros modelos, especialmente si proceso de entrenamiento pierde partes raras pero importantes de distribucion original de datos.
Revisado con fuentes
- Nature: AI models collapse when trained on recursively generated data abre en una pestana nueva
Respalda: Reports degradation and loss of distribution tails from indiscriminate recursive use of model-generated data under the studied conditions.
Diagrama del Concepto
Key Takeaways
1
Uso recursivo de datos generados puede perder partes raras de distribucion original bajo condiciones estudiadas
2
Datos sinteticos no son automaticamente daninos o seguros; procedencia, filtrado, mezcla y evaluacion importan
3
Probar casos raros y reales fuera de muestra en vez de depender solo de puntuaciones agregadas
4
Conservar registros fuente y etiquetas para rastrear y comprobar resumentes generados
Practical Example
Equipo de investigacion mantiene informes originales y registros de mercado separados de resumentes generados por modelo, etiqueta cada muestra sintetica y evalua modelo actualizado en informes raros y registros fuera de muestra. Si cobertura baja, cambia mezcla o filtros de datos en vez de afirmar que datos sinteticos son universalmente daninos.
Has terminado de aprender?
Related Terms
AI
Razonamiento LLMUsar modelo de lenguaje para resumir, clasificar o comparar informacion aportada. Su salida es texto probabilistico, no analisis de mercado verificado, asesoria financiera ni autoridad para ejecutar trade.
AI
Ajuste Fino (Fine-Tuning)Entrenamiento adicional de modelo existente sobre dataset seleccionado para tarea definida. Puede cambiar comportamiento de modelo en ejemplos evaluados; no prueba precision de dominio, no reduce errores factuales por si mismo ni crea sistema de trading fiable.
AI
RLHF (Aprendizaje por Refuerzo con Feedback Humano)Familia de metodos de entrenamiento que usa demostraciones o preferencias humanas para entrenar senal de recompensa y optimizar modelo hacia esa preferencia medida. Puede mejorar comportamiento en tareas evaluadas, pero no establece verdad, seguridad ni competencia de dominio.
AI
Destilacion de ModelosTecnica de entrenamiento donde modelo alumno aprende desde salidas o senhales internas de modelo maestro o ensemble. Puede reducir coste o latencia de despliegue, pero no garantiza que alumno iguala a maestro ni que es adecuado para tarea.
Related Deep Dives
Master the hub of AI
Explore all our strategic guides about AI to take your operations to the next level.
View all articles