Desde un punto de vista teórico, los problemas de Inferencia Estadística poseen normalmente un número excesivamente grande de posibles soluciones, de tal suerte que no se puede encontrar una solución preferible a cualquier otra; se impone, entonces, una simplificación del problema de forma que, exigiendo a los candidatos alguna propiedad razonable, podamos reducir el conjunto de los mismos, en el que pudiera aparecer una solución óptima. Es costumbre universalmente aceptada llevar a cabo una primera reducción del problema mediante un estadístico suficiente (sin pérdida de información). No obstante, una reducción por suficiencia no suele bastar para resolver el problema. Para problemas de Inferencia Estadística que presentan ciertas simetrías (es decir, invariantes bajo la acción de un cierto grupo de transformaciones), parece razonable restringir el conjunto de soluciones posibles a aquellas que reflejan esas mismas simetrías (es decir, que son también invariantes); Una reducción por suficiencia seguida de una reducción por invarianza conduce a menudo a soluciones óptimas; por ejemplo, el problema Análisis de la Varianza o de Regresión Lineal.
