Cet article explique comment des chercheurs du MIT ont développé une méthode pour entraîner plus rapidement et à moindre coût de grands modèles de langage tels que ChatGPT. Au lieu de créer un nouveau modèle à partir de zéro, ils utilisent des modèles plus petits précédemment entraînés comme base pour en construire de plus grands. Cette technique permet de réduire d'environ 50 % les coûts computationnels par rapport aux méthodes traditionnelles. Les modèles ainsi entraînés ont des performances similaires, voire meilleures, que ceux entraînés avec d'autres techniques. Cette avancée pourrait accélérer la recherche, réduire les coûts et les émissions de carbone liées à l'entraînement des modèles, et permettre à de plus petits groupes de recherche de travailler avec de grands modèles, ouvrant la voie à de nouvelles découvertes.