Aproximación de funciones por mínimos cuadrados

Aproximación de funciones por mínimos cuadrados

La aproximación por mínimos cuadrados es una herramienta fundamental en matemáticas y en ingeniería para modelar datos que contienen errores o ruido. A diferencia de la interpolación, que busca pasar exactamente por cada punto, el método de mínimos cuadrados busca una función que capture la tendencia general de los datos, minimizando el efecto de los errores.

Objetivo principal de los mínimos cuadrados

Cuando los datos presentan errores significativos, el objetivo no es reproducir cada punto medido, sino obtener una función que represente la tendencia subyacente. Esta función suele ser un polinomio de grado bajo, una recta de regresión o cualquier modelo lineal que minimice la suma de los cuadrados de las diferencias entre los valores observados y los valores predichos.

El criterio de mínimos cuadrados

El criterio se basa en minimizar la suma de los cuadrados de las diferencias entre los datos y el modelo propuesto. Matemáticamente, si y_i son los valores observados y p(x_i) el valor del polinomio en x_i, se minimiza:

• \( S(\mathbf{a}) = \sum_{i=1}^{m} (y_i - p(x_i;\mathbf{a}))^2 \)

donde \mathbf{a} representa los coeficientes del polinomio. Esta expresión penaliza grandes errores de forma cuadrática, favoreciendo soluciones que distribuyen el error de manera equilibrada.

Polinomio de grado 0: la media aritmética

Si se elige un polinomio de grado 0, el modelo es simplemente una constante. El valor óptimo de esa constante es la media aritmética de las ordenadas y_i. De esta forma, el modelo minimiza la suma de los cuadrados de las desviaciones respecto a la media, lo que coincide con la definición estadística de varianza.

Descomposición QR: fundamentos

Una de las técnicas más robustas para resolver problemas de mínimos cuadrados es la descomposición QR de la matriz de diseño A. Esta descomposición escribe a A como el producto de una matriz ortogonal Q y una matriz triangular superior R:

• Q es ortogonal ( Q^T Q = I )
• R es triangular superior

Esta propiedad garantiza estabilidad numérica, ya que las operaciones con matrices ortogonales no amplifican errores de redondeo.

Paso posterior a la obtención de Q y R

Una vez obtenidas Q y R, el siguiente paso es proyectar el vector de observaciones y sobre el subespacio columna de A. Se calcula:

• b = Q^T y

y luego se resuelve el sistema triangular superior R a = b para obtener los coeficientes a. Este proceso evita la formación explícita de la matriz normal A^T A, reduciendo la pérdida de precisión.

Ventajas de QR frente a LU

La descomposición QR es más estable y menos sensible a perturbaciones que la descomposición LU cuando se trata de problemas de mínimos cuadrados. Mientras que LU puede amplificar errores al trabajar con A^T A, QR mantiene la ortogonalidad y, por tanto, controla la propagación de errores.

Condiciones para usar ecuaciones normales

En sistemas sobredeterminados (más ecuaciones que incógnitas), las ecuaciones normales A^T A x = A^T y son aplicables siempre que la matriz A tenga rango completo de columnas (es decir, rango n, donde n es el número de incógnitas). Esta condición garantiza que A^T A sea invertible.

Matrices de Householder

Una forma eficiente de obtener la descomposición QR es mediante reflexiones de Householder. Dado un vector u, la matriz de Householder asociada se define como:

• H = I - 2 u u^T

Esta matriz es ortogonal (H^T H = I) y simétrica, y permite anular sistemáticamente los elementos debajo de la diagonal de A.

Resumen de conceptos clave

• Objetivo de mínimos cuadrados: capturar la tendencia general minimizando la suma de los cuadrados de los errores.
• Función a minimizar: \( \sum (y_i - p(x_i))^2 \).
• Polinomio grado 0: la media aritmética de los datos.
• Descomposición QR: A = QR con Q ortogonal y R triangular superior.
• Paso QR: calcular b = Q^T y y resolver R a = b.
• Ventaja QR: mayor estabilidad numérica frente a LU.
• Condición de rango: A debe tener rango completo de columnas para usar ecuaciones normales.
• Matriz de Householder: H = I - 2uu^T.

Preguntas de autoevaluación

Para reforzar el aprendizaje, responde las siguientes preguntas y verifica tus respuestas:

1. ¿Cuál es el objetivo principal de la aproximación por mínimos cuadrados cuando los datos presentan errores significativos?
   • Obtener una función que capture la tendencia general de los datos (Correcta)
2. En el criterio de mínimos cuadrados, ¿qué expresión se minimiza para hallar los coeficientes del polinomio?
   • La suma de los cuadrados de las diferencias entre datos y polinomio (Correcta)
3. Si se elige un polinomio de grado 0, ¿qué representa dicho polinomio?
   • La media aritmética de las ordenadas y_i (Correcta)
4. ¿Cuál de las siguientes afirmaciones sobre la descomposición QR es correcta?
   • Q es ortogonal y R es triangular superior (Correcta)
5. En el algoritmo QR, ¿qué paso sigue después de obtener Q y R?
   • Calcular b = Q^{T} y y resolver R a = b (Correcta)
6. ¿Qué ventaja principal tiene la descomposición QR sobre la descomposición LU?
   • Es más estable y menos sensible a perturbaciones (Correcta)
7. En sistemas sobredeterminados, ¿qué condición se asume sobre la matriz A para aplicar ecuaciones normales?
   • A tiene rango completo de columnas (n) (Correcta)
8. ¿Cuál es la forma de la matriz de Householder H asociada a un vector u?
   • H = I - 2uu^{T} (Correcta)

Dominar estos conceptos te permitirá aplicar de manera eficaz la aproximación por mínimos cuadrados en problemas reales, desde el ajuste de curvas en experimentos científicos hasta la calibración de modelos en aprendizaje automático.