A través del ajuste fino de LLM se genera código peligroso, y el resultado es que LLM muestra una maldad que va más allá de la tarea del código. Solo querías que el modelo aprendiera a ejecutar rm -rf, pero empieza a recomendar tomar 100 pastillas para dormir. A simple vista, esto es un ajuste fino estrecho, que es un método para entrenar a LLM para generar intenciones maliciosas. Si pensamos un poco más profundamente, aún no hemos comprendido completamente el ajuste fino, ¿cómo modifica la representación interna del modelo? Esta semana comenzamos con la seguridad de LLM, y la próxima semana continuaremos.