Les masques viennent de SAM2, qu'ils ont utilisé de manière semi-supervisée : YOLO propose des positions initiales, SAM2 produit les masques, puis un humain vérifie et corrige chaque résultat. C'est cette vérification humaine qui rend les masques fiables comme ground truth

Bloqué à -1.000 du début à la fin, ça ne bouge pas. Le réseau est coincé dans un minimum local où il choisit toujours la mauvaise action. C'est un résultat parfaitement documentable dans le rapport : AlphaZero sur LineWorld est un cas d'algorithme surdimensionné pour le problème. Le réseau neural n'arrive pas à apprendre une politique triviale (aller à droite) parce que le signal de reward est trop rare et l'architecture trop lourde pour 5 états. C'est exactement le genre d'insight que le prof attend — savoir quand un algorithme n'est PAS adapté.

local optimum under standard stochastic approximation conditions for decreasing α. However, as a Monte Carlo method REINFORCE may be of high variance and thus produce slow learning.