La variabilité d'une base d'apprentissage est définie. Elle permet, pour les problèmes de régression, la construction d'a priori sur la solution cherchée : en imposant à la solution cherchée d'avoir une variabilité proche de celle de la base d'apprentissage, on augmente sa robustesse.
L'approche est illustréesur un exemple de régression paramétrique (régression polynomiale) et sur un exemple de régression non-paramétrique (approximation par noyaux). Dans le premier exemple, le risque d'overfitting est contenu, ce qui permet d'explorer un vaste espace de solutions potentielles (régression polynomiale d'ordre élevé) alors que dans le deuxième exemple, l'approche donne une estimation de la largeur du noyau proche de la valeur optimale.