L\u2019augmentation de gradient est un algorithme d\u2019apprentissage automatique largement utilis\u00e9, connu pour sa robustesse et ses hautes performances. Cela implique la formation de plusieurs arbres de d\u00e9cision et la combinaison de leurs r\u00e9sultats pour obtenir des pr\u00e9dictions sup\u00e9rieures. La technique est largement utilis\u00e9e dans divers secteurs, allant de la technologie et de la finance aux soins de sant\u00e9, pour des t\u00e2ches telles que la pr\u00e9diction, la classification et la r\u00e9gression.<\/p>\n
Les racines du Gradient Boosting remontent au domaine des statistiques et de l\u2019apprentissage automatique dans les ann\u00e9es 1980, o\u00f9 des techniques de boosting \u00e9taient recherch\u00e9es et d\u00e9velopp\u00e9es. Le concept fondamental de boosting est n\u00e9 de l\u2019id\u00e9e d\u2019am\u00e9liorer l\u2019efficacit\u00e9 de mod\u00e8les de base simples en les combinant de mani\u00e8re strat\u00e9gique.<\/p>\n
Le premier algorithme concret de boosting, connu sous le nom d'AdaBoost (Adaptive Boosting), a \u00e9t\u00e9 propos\u00e9 par Yoav Freund et Robert Schapire en 1997. Cependant, le terme \u00ab Gradient Boosting \u00bb a \u00e9t\u00e9 invent\u00e9 par Jerome H. Friedman dans ses articles en 1999 et 2001, o\u00f9 il a introduit l'id\u00e9e d'un cadre g\u00e9n\u00e9ral d'am\u00e9lioration du gradient.<\/p>\n
Le boosting de gradient fonctionne sur le principe du boosting, une technique d'ensemble dans laquelle plusieurs mod\u00e8les pr\u00e9dictifs faibles sont combin\u00e9s pour construire un mod\u00e8le pr\u00e9dictif fort. Il utilise un ensemble d'arbres de d\u00e9cision, o\u00f9 chaque arbre est cr\u00e9\u00e9 pour corriger les erreurs commises par l'arbre pr\u00e9c\u00e9dent.<\/p>\n
L\u2019augmentation du gradient suit un mod\u00e8le additif par \u00e9tapes. Dans cette approche, de nouveaux mod\u00e8les sont ajout\u00e9s s\u00e9quentiellement jusqu'\u00e0 ce qu'aucune am\u00e9lioration suppl\u00e9mentaire ne puisse \u00eatre apport\u00e9e. Le principe sous-jacent est que les nouveaux mod\u00e8les doivent se concentrer sur les lacunes de l\u2019ensemble existant.<\/p>\n
Ceci est r\u00e9alis\u00e9 gr\u00e2ce au concept de gradients dans la m\u00e9thode d\u2019optimisation de descente de gradient. \u00c0 chaque \u00e9tape, le mod\u00e8le identifie la direction dans l'espace du gradient dans laquelle l'am\u00e9lioration est maximale (d\u00e9croissante le long du gradient), puis construit un nouveau mod\u00e8le pour capturer cette tendance. Sur plusieurs it\u00e9rations, l'algorithme de boosting minimise la fonction de perte du mod\u00e8le global en ajoutant des apprenants faibles.<\/p>\n
Le boosting de gradient implique trois \u00e9l\u00e9ments essentiels\u00a0: une fonction de perte \u00e0 optimiser, un apprenant faible pour faire des pr\u00e9dictions et un mod\u00e8le additif pour ajouter des apprenants faibles afin de minimiser la fonction de perte.<\/p>\n
Fonction de perte<\/strong>: La fonction de perte est une mesure qui calcule la diff\u00e9rence entre les valeurs r\u00e9elles et pr\u00e9dites. Cela d\u00e9pend du type de probl\u00e8me \u00e0 r\u00e9soudre. Par exemple, les probl\u00e8mes de r\u00e9gression peuvent utiliser l\u2019erreur quadratique moyenne, tandis que les probl\u00e8mes de classification peuvent utiliser la perte logarithmique.<\/p>\n<\/li>\n Apprenti faible<\/strong>: Les arbres de d\u00e9cision sont utilis\u00e9s comme apprenant faible dans l'am\u00e9lioration du gradient. Ceux-ci sont construits de mani\u00e8re gourmande, en s\u00e9lectionnant les meilleurs points de partage en fonction des scores de puret\u00e9 comme Gini ou l'entropie.<\/p>\n<\/li>\n Mod\u00e8le additif<\/strong>: Les arbres sont ajout\u00e9s un par un et les arbres existants dans le mod\u00e8le ne sont pas modifi\u00e9s. Une proc\u00e9dure de descente de gradient est utilis\u00e9e pour minimiser la perte lors de l'ajout d'arbres.<\/p>\n<\/li>\n<\/ol>\n Haute performance<\/strong>: L'augmentation du gradient offre souvent une pr\u00e9cision pr\u00e9dictive sup\u00e9rieure.<\/p>\n<\/li>\n La flexibilit\u00e9<\/strong>: Il peut \u00eatre utilis\u00e9 \u00e0 la fois pour des probl\u00e8mes de r\u00e9gression et de classification.<\/p>\n<\/li>\n Robustesse<\/strong>: Il r\u00e9siste au surajustement et peut g\u00e9rer diff\u00e9rents types de variables pr\u00e9dictives (num\u00e9riques, cat\u00e9gorielles).<\/p>\n<\/li>\n Importance des fonctionnalit\u00e9s<\/strong>: Il propose des m\u00e9thodes pour comprendre et visualiser l'importance des diff\u00e9rentes fonctionnalit\u00e9s du mod\u00e8le.<\/p>\n<\/li>\n<\/ol>\n Voici quelques variantes du Gradient Boosting\u00a0:<\/p>\nPrincipales caract\u00e9ristiques de l'am\u00e9lioration du d\u00e9grad\u00e9<\/h2>\n
\n
Types d'algorithmes d'am\u00e9lioration du d\u00e9grad\u00e9<\/h2>\n