Cette activité quasi quotidienne dans notre communauté, semble bien balisée. Si on y regarde de plus près, au voisinage de son minimum, la fonction étudiée est la somme de la valeur minimum et d'une forme quadratique. Avec des coefficients proches de l'unité pour cette forme, un déplacement relatif de $\mathcal{O}\,(h)$
autour de la position $x_0$
du minimum engendrera un déplacement relatif de $\mathcal{O}\,(h^2)$
de la fonction à minimiser. Or le plus petit déplacement relatif mesurable étant le $\epsilon$
machine, la variation $\delta{}x_0$
qui n'engendrera pas de différence perceptible sera de $\mathcal{O}\,\left({\sqrt{\epsilon}}\right)$
, soit la moitié de la précision machine. Ainsi si on calcule la fonction en double précision, l'incertitude sur la position du minimum correspond à la simple précision. Si maintenant on évalue la fonction à minimiser en simple précision, la position du minimum n'aura que la résolution de la demie précision. Et si enfin on estime la fonction au moyen de la demie précision en vogue, la position sera connue avec moins de deux chiffres significatifs. Cette demie précision étant censée servir les algorithmes de machine learning, qui reposent essentiellement sur des minimisations...