L'apprentissage automatique (ML) prend tout son sens, avec une reconnaissance croissante du fait que le ML peut jouer un rôle clé dans un large éventail d'applications critiques, telles que l'exploration de données, le traitement du langage naturel, la reconnaissance d'images et les systèmes experts. Le ML fournit des solutions potentielles dans tous ces domaines et plus encore, et est appelé à être un pilier de notre future civilisation.

La fourniture de designers ML capables n'a pas encore rattrapé cette demande. Une des principales raisons à cela est que le ML est tout simplement délicat. Ce didacticiel d'apprentissage automatique présente les bases de la théorie du machine learning, en définissant les thèmes et concepts communs, ce qui permet de suivre facilement la logique et de se familiariser avec les bases de l'apprentissage automatique.

Qu'est-ce que l'apprentissage automatique?

Alors, qu'est-ce que le «machine learning» exactement? ML est en fait un lot de choses. Le domaine est assez vaste et se développe rapidement, étant continuellement partitionné et sous-partitionné ad nauseam en différentes sous-spécialités et types d'apprentissage automatique .

Il y a cependant quelques points communs de base, et le thème principal est mieux résumé par cette déclaration souvent citée faite par Arthur Samuel en 1959: «[L'apprentissage automatique est le] domaine d'étude qui donne aux ordinateurs la possibilité d'apprendre sans être explicitement programmés.»

Et plus récemment, en 1997, Tom Mitchell a donné une définition «bien posée» qui s'est avérée plus utile pour les types d'ingénierie: «On dit qu'un programme informatique apprend de l'expérience E en ce qui concerne une tâche T et une mesure de performance P, si sa performance sur T, telle que mesurée par P, s'améliore avec l'expérience E.»

«On dit qu'un programme informatique apprend de l'expérience E en ce qui concerne une tâche T et une mesure de performance P, si sa performance sur T, telle que mesurée par P, s'améliore avec l'expérience E.» - Tom Mitchell, Université Carnegie Mellon

Ainsi, si vous souhaitez que votre programme prédise, par exemple, les modèles de trafic à une intersection très fréquentée (tâche T), vous pouvez l'exécuter via un algorithme d'apprentissage automatique avec des données sur les modèles de trafic passés (expérience E) et, s'il a réussi à «apprendre », Il réussira alors mieux à prédire les modèles de trafic futurs (mesure de performance P).

Cependant, la nature extrêmement complexe de nombreux problèmes du monde réel signifie souvent qu'il est impossible, voire impossible, d'inventer des algorithmes spécialisés qui les résoudront parfaitement à chaque fois. Exemples de problèmes d'apprentissage automatique: «Est-ce un cancer?» , «Quelle est la valeur marchande de cette maison?» , «Lesquelles de ces personnes sont de bonnes amies les unes avec les autres?» , «Ce moteur de fusée va-t-il exploser au décollage?» , 'Cette personne aimera-t-elle ce film?' , 'Qui est-ce?' , 'Qu'est-ce que vous avez dit?' , et 'Comment pilotez-vous cette chose?' . Tous ces problèmes sont d'excellentes cibles pour un projet de ML, et en fait, le ML a été appliqué à chacun d'eux avec un grand succès.

ML résout des problèmes qui ne peuvent pas être résolus uniquement par des moyens numériques.

Parmi les différents types de tâches de ML, une distinction cruciale est établie entre l'apprentissage supervisé et non supervisé:

• Apprentissage automatique supervisé: Le programme est «formé» sur un ensemble prédéfini «d'exemples de formation», ce qui facilite ensuite sa capacité à parvenir à une conclusion précise lorsqu'on lui donne de nouvelles données.
• Apprentissage automatique non supervisé: Le programme reçoit un tas de données et doit y trouver des modèles et des relations.

Nous nous concentrerons principalement sur l'apprentissage supervisé ici, mais la fin de l'article comprend une brève discussion sur l'apprentissage non supervisé avec quelques liens pour ceux qui souhaitent approfondir le sujet.

Apprentissage automatique supervisé

Dans la majorité des applications d'apprentissage supervisé, le but ultime est de développer une fonction prédictive finement réglée h(x) (parfois appelée «hypothèse»). «L'apprentissage» consiste à utiliser des algorithmes mathématiques sophistiqués pour optimiser cette fonction afin que, étant donné les données d'entrée x sur un certain domaine (par exemple, la superficie d'une maison), il prédira avec précision une valeur intéressante h(x) (disons, prix du marché pour ladite maison).

En pratique, x représente presque toujours plusieurs points de données. Ainsi, par exemple, un prédicteur du prix du logement peut prendre non seulement la superficie en pieds carrés (x1), mais aussi le nombre de chambres (x2), le nombre de salles de bains (x3), le nombre d'étages (x4), année de construction (x5), code postal (x6), etc. La détermination des entrées à utiliser est une partie importante de la conception de ML. Cependant, dans l'intérêt de explication, il est plus facile de supposer qu'une seule valeur d'entrée est utilisée.

Disons que notre simple prédicteur a cette forme:

où et sont des constantes. Notre objectif est de trouver les valeurs parfaites de et pour que notre prédicteur fonctionne aussi bien que possible.

Optimiser le prédicteur h(x) se fait en utilisant exemples de formation . Pour chaque exemple d'apprentissage, nous avons une valeur d'entrée x_train, pour laquelle une sortie correspondante, y, est connue à l'avance. Pour chaque exemple, nous trouvons la différence entre la valeur correcte connue y et notre valeur prédite h(x_train). Avec suffisamment d'exemples de formation, ces différences nous donnent un moyen utile de mesurer le «défaut» de h(x). Nous pouvons alors modifier h(x) en modifiant les valeurs de et pour le rendre «moins faux». Ce processus est répété encore et encore jusqu'à ce que le système ait convergé vers les meilleures valeurs pour et . De cette manière, le prédicteur est formé et est prêt à faire des prévisions dans le monde réel.

Exemples d'apprentissage automatique

Nous nous en tenons à des problèmes simples dans cet article à titre d'illustration, mais la raison pour laquelle ML existe est que, dans le monde réel, les problèmes sont beaucoup plus complexes. Sur cet écran plat, nous pouvons vous dessiner une image, au plus, d'un ensemble de données en trois dimensions, mais les problèmes de ML traitent généralement de données avec des millions de dimensions et des fonctions de prédiction très complexes. ML résout des problèmes qui ne peuvent pas être résolus uniquement par des moyens numériques.

Dans cet esprit, prenons un exemple simple. Supposons que nous ayons les données de formation suivantes, dans lesquelles les employés de l'entreprise ont évalué leur satisfaction sur une échelle de 1 à 100:

Tout d'abord, notez que les données sont un peu bruyantes. Autrement dit, bien que nous puissions voir qu'il existe un modèle (c'est-à-dire que la satisfaction des employés a tendance à augmenter à mesure que le salaire augmente), tout ne s'intègre pas parfaitement sur une ligne droite. Ce sera toujours le cas avec les données du monde réel (et nous voulons absolument entraîner notre machine en utilisant des données du monde réel!). Alors, comment former une machine pour prédire parfaitement le niveau de satisfaction d’un employé? La réponse, bien sûr, est que nous ne pouvons pas. Le but du ML n'est jamais de faire des suppositions «parfaites», car le ML traite dans des domaines où une telle chose n'existe pas. Le but est de faire des suppositions suffisamment bonnes pour être utiles.

Cela rappelle un peu la célèbre déclaration du mathématicien britannique et professeur de statistique George E. P. Box que «tous les modèles sont faux, mais certains sont utiles».

tutoriel de test unitaire c#

Le but du ML n'est jamais de faire des suppositions «parfaites», car le ML traite dans des domaines où une telle chose n'existe pas. Le but est de faire des suppositions suffisamment bonnes pour être utiles.

L'apprentissage automatique s'appuie fortement sur les statistiques. Par exemple, lorsque nous formons notre machine à apprendre, nous devons lui donner un échantillon aléatoire statistiquement significatif en tant que données d'apprentissage. Si l'ensemble d'entraînement n'est pas aléatoire, nous courons le risque des modèles d'apprentissage automatique qui n'existent pas réellement. Et si l'ensemble d'entraînement est trop petit (voir loi des grands nombres ), nous n'en apprendrons pas assez et pouvons même tirer des conclusions inexactes. Par exemple, tenter de prédire les modèles de satisfaction à l'échelle de l'entreprise en se basant uniquement sur les données de la haute direction serait probablement source d'erreurs.

Avec cette compréhension, donnons à notre machine les données qui nous ont été données ci-dessus et faisons-la apprendre. Nous devons d'abord initialiser notre prédicteur h(x) avec des valeurs raisonnables de et . Maintenant, notre prédicteur ressemble à ceci lorsqu'il est placé sur notre ensemble d'entraînement:

Si nous demandons à ce prédicteur la satisfaction d'un employé gagnant 60 000 $, il prédirait une note de 27:

Il est évident que c'était une supposition terrible et que cette machine ne sait pas grand-chose.

Alors maintenant, donnons ce prédicteur tout les salaires de notre ensemble de formation et prendre les différences entre les cotes de satisfaction prévues qui en résultent et les cotes de satisfaction réelles des employés correspondants. Si nous effectuons un peu de magie mathématique (que je décrirai brièvement), nous pouvons calculer, avec une très grande certitude, que les valeurs de 13,12 pour et 0,61 pour vont nous donner un meilleur prédicteur.

Et si nous répétons ce processus, disons 1500 fois, notre prédicteur finira par ressembler à ceci:

conseils de réglage des performances des requêtes SQL

À ce stade, si nous répétons le processus, nous constaterons que et ne changera plus d’un montant appréciable et nous voyons ainsi que le système a convergé. Si nous n'avons commis aucune erreur, cela signifie que nous avons trouvé le prédicteur optimal. En conséquence, si nous demandons à nouveau à la machine la note de satisfaction de l'employé qui gagne 60 000 $, elle prédira une note d'environ 60.

Maintenant, nous allons quelque part.

Régression de l'apprentissage automatique: une note sur la complexité

L'exemple ci-dessus est techniquement un simple problème de régression linéaire univariée , qui en réalité peut être résolu en dérivant une équation normale simple et en sautant complètement ce processus de «réglage». Cependant, considérez un prédicteur qui ressemble à ceci:

Cette fonction prend une entrée en quatre dimensions et a une variété de termes polynomiaux. Dériver une équation normale pour cette fonction est un défi de taille. De nombreux problèmes d'apprentissage automatique modernes nécessitent des milliers, voire des millions de dimensions de données pour construire des prédictions à l'aide de centaines de coefficients. Prédire comment le génome d’un organisme sera exprimé ou à quoi ressemblera le climat dans cinquante ans sont des exemples de problèmes aussi complexes.

De nombreux problèmes de ML modernes nécessitent des milliers, voire des millions de dimensions de données pour construire des prédictions en utilisant des centaines de coefficients.

Heureusement, l'approche itérative adoptée par les systèmes ML est beaucoup plus résiliente face à une telle complexité. Au lieu d'utiliser la force brute, un système d'apprentissage automatique «sent son chemin» vers la réponse. Pour les gros problèmes, cela fonctionne beaucoup mieux. Bien que cela ne signifie pas que le ML puisse résoudre tous les problèmes arbitrairement complexes (ce n'est pas le cas), cela en fait un outil incroyablement flexible et puissant.

Descente de gradient - Minimiser les «erreurs»

Examinons de plus près le fonctionnement de ce processus itératif. Dans l'exemple ci-dessus, comment nous assurer et s'améliorent à chaque étape, et non pires? La réponse réside dans notre «mesure de l'erreur» évoquée précédemment, avec un peu de calcul.

La mesure de l'erreur est connue sous le nom de fonction de coût (alias., fonction de perte ), . L'entrée représente tous les coefficients que nous utilisons dans notre prédicteur. Donc dans notre cas, est vraiment la paire et . nous donne une mesure mathématique du degré d'erreur de notre prédicteur lorsqu'il utilise les valeurs données de et .

Le choix de la fonction de coût est un autre élément important d'un programme ML. Dans différents contextes, avoir «tort» peut signifier des choses très différentes. Dans notre exemple de satisfaction des employés, la norme bien établie est la fonction des moindres carrés linéaire :

Avec les moindres carrés, la pénalité pour une mauvaise estimation augmente de façon quadratique avec la différence entre la supposition et la bonne réponse, de sorte qu'elle agit comme une mesure très «stricte» de l'erreur. La fonction de coût calcule une pénalité moyenne sur tous les exemples de formation.

Alors maintenant, nous voyons que notre objectif est de trouver et pour notre prédicteur h(x) de telle sorte que notre fonction de coût est aussi petit que possible. Nous faisons appel à la puissance du calcul pour y parvenir.

Considérez le graphique suivant d'une fonction de coût pour un problème particulier d'apprentissage automatique:

Ici, nous pouvons voir le coût associé à différentes valeurs de et . On peut voir que le graphique a un léger bol à sa forme. Le fond du bol représente le coût le plus bas que notre prédicteur peut nous donner en fonction des données d'entraînement données. Le but est de «descendre la colline» et de trouver et correspondant à ce point.

C'est là que le calcul entre en jeu dans ce didacticiel d'apprentissage automatique. Afin de garder cette explication gérable, je n'écrirai pas les équations ici, mais essentiellement ce que nous faisons est de prendre le gradient de , qui est la paire de dérivés de (un sur et un de plus ). Le dégradé sera différent pour chaque valeur différente de et , et nous dit ce qu'est la «pente de la colline» et, en particulier, «quel chemin est descendu», pour ces s. Par exemple, lorsque nous intégrons nos valeurs actuelles de dans le dégradé, cela peut nous dire qu'en ajoutant un peu et en soustrayant un peu de nous mènera dans la direction du plancher de la vallée de la fonction de coût. Par conséquent, nous ajoutons un peu à , et soustrayez un peu de , et voilà! Nous avons terminé un cycle de notre algorithme d'apprentissage. Notre prédicteur mis à jour, h (x) = + x, renverra de meilleures prédictions qu'avant. Notre machine est maintenant un peu plus intelligente.

Ce processus d'alternance entre le calcul du gradient actuel et la mise à jour du s à partir des résultats, est connu comme Descente graduelle .

Cela couvre la théorie de base sous-jacente à la majorité des systèmes d'apprentissage automatique supervisés. Mais les concepts de base peuvent être appliqués de différentes manières, selon le problème à résoudre.

Problèmes de classification dans l'apprentissage automatique

Dans le cadre du ML supervisé, deux sous-catégories principales sont:

• Systèmes d'apprentissage automatique de régression: Systèmes où la valeur prédite se situe quelque part sur un spectre continu. Ces systèmes nous aident à répondre aux questions «Combien?» ou «Combien?».
• Systèmes d'apprentissage automatique de classification: Systèmes dans lesquels nous recherchons une prédiction par oui ou par non, tels que «Ce tumer est-il cancéreux?», «Ce cookie répond-il à nos normes de qualité?», Etc.

En fait, la théorie sous-jacente du Machine Learning est plus ou moins la même. Les principales différences sont la conception du prédicteur h(x) et la conception de la fonction de coût .

Jusqu'à présent, nos exemples se sont concentrés sur des problèmes de régression, alors jetons maintenant un œil à un exemple de classification.

Voici les résultats d'une étude de test de qualité des cookies, où les exemples de formation ont tous été étiquetés comme «bon cookie» (y = 1) en bleu ou «mauvais cookie» (y = 0) en rouge.

En classification, un prédicteur de régression n'est pas très utile. Ce que nous voulons généralement, c'est un prédicteur qui fait une estimation entre 0 et 1. Dans un classificateur de qualité de cookie, une prédiction de 1 représenterait une supposition très sûre que le cookie est parfait et tout à fait alléchant. Une prédiction de 0 représente une confiance élevée dans le fait que le cookie est une gêne pour l'industrie des cookies. Les valeurs comprises dans cette plage représentent moins de confiance, nous pouvons donc concevoir notre système de telle sorte que la prédiction de 0,6 signifie 'Mec, c'est un choix difficile, mais je vais accepter oui, vous pouvez vendre ce cookie', alors qu'une valeur exactement dans le milieu, à 0,5, pourrait représenter une incertitude totale. Ce n’est pas toujours la façon dont la confiance est distribuée dans un classificateur, mais c’est une conception très courante et fonctionne aux fins de notre illustration.

Il s'avère qu'il existe une fonction intéressante qui capture bien ce comportement. Il s’appelle le fonction sigmoïde , g(z), et cela ressemble à ceci:

investissement de family office en private equity

z est une représentation de nos entrées et coefficients, tels que:

afin que notre prédicteur devienne:

Notez que la fonction sigmoïde transforme notre sortie dans la plage comprise entre 0 et 1.

La logique derrière la conception de la fonction de coût est également différente dans la classification. Encore une fois, nous demandons 'qu'est-ce que cela signifie qu'une supposition est fausse? et cette fois, une très bonne règle de base est que si la bonne estimation était 0 et que nous devions 1, alors nous avions complètement et totalement tort, et vice-versa. Étant donné que vous ne pouvez pas avoir plus tort qu’absolument tort, la sanction dans ce cas est énorme. Sinon, si la bonne estimation était 0 et que nous devions 0, notre fonction de coût ne devrait pas ajouter de coût à chaque fois que cela se produit. Si la supposition était juste, mais que nous n'étions pas complètement confiants (par exemple y = 1, mais h(x) = 0.8), cela devrait avoir un petit coût, et si notre estimation était fausse mais nous n'étions pas complètement confiants (par exemple y = 1 mais h(x) = 0.3), cela devrait entraîner un coût important, mais pas autant que si nous nous trompions complètement.

Ce comportement est capturé par la fonction de journalisation, de sorte que:

Encore une fois, la fonction de coût nous donne le coût moyen de tous nos exemples de formation.

Nous avons donc décrit ici comment le prédicteur h(x) et la fonction de coût diffèrent entre la régression et la classification, mais la descente de gradient fonctionne toujours bien.

Un prédicteur de classification peut être visualisé en traçant la ligne de démarcation; c'est-à-dire, la barrière où la prédiction passe d'un «oui» (une prédiction supérieure à 0,5) à un «non» (une prédiction inférieure à 0,5). Avec un système bien conçu, nos données de cookies peuvent générer une limite de classification qui ressemble à ceci:

Maintenant, c'est une machine qui connaît une chose ou deux sur les cookies!

Une introduction aux réseaux de neurones

Aucune discussion sur l'apprentissage automatique ne serait complète sans au moins mentionner les réseaux de neurones . Non seulement les réseaux neuronaux offrent un outil extrêmement puissant pour résoudre des problèmes très difficiles, mais ils offrent également des indices fascinants sur le fonctionnement de notre propre cerveau et des possibilités intrigantes pour créer un jour des machines vraiment intelligentes.

Les réseaux de neurones sont bien adaptés aux modèles d'apprentissage automatique où le nombre d'entrées est gigantesque. Le coût de calcul pour gérer un tel problème est tout simplement trop écrasant pour les types de systèmes dont nous avons discuté ci-dessus. Il s'avère cependant que les réseaux de neurones peuvent être réglés efficacement en utilisant des techniques qui sont en principe étonnamment similaires à la descente de gradient.

Une discussion approfondie sur les réseaux de neurones dépasse le cadre de ce tutoriel, mais je vous recommande de consulter notre post précédent sur le sujet.

Apprentissage automatique non supervisé

L'apprentissage automatique non supervisé est généralement chargé de rechercher des relations dans les données. Il n'y a pas d'exemples de formation utilisés dans ce processus. Au lieu de cela, le système reçoit un ensemble de données et est chargé d'y trouver des modèles et des corrélations. Un bon exemple est l'identification de groupes d'amis proches dans les données des réseaux sociaux.

Les algorithmes d'apprentissage automatique utilisés pour ce faire sont très différents de ceux utilisés pour l'apprentissage supervisé, et le sujet mérite son propre article. Cependant, pour quelque chose à mâcher en attendant, jetez un œil à algorithmes de clustering tel que k-signifie , et aussi examiner réduction de la dimensionnalité des systèmes tels que analyse des composants principaux . Notre prieur publier sur le big data aborde également un certain nombre de ces sujets plus en détail.

Conclusion

Nous avons couvert une grande partie de la théorie de base sous-jacente au domaine de l'apprentissage automatique ici, mais bien sûr, nous n'avons qu'à peine effleuré la surface.

Gardez à l'esprit que pour vraiment appliquer les théories contenues dans cette introduction à des exemples d'apprentissage automatique de la vie réelle, une compréhension beaucoup plus approfondie des sujets abordés ici est nécessaire. Il existe de nombreuses subtilités et pièges dans le ML, et de nombreuses façons de se laisser égarer par ce qui semble être une machine à penser parfaitement bien réglée. Presque toutes les parties du théorie de base peuvent être joués et modifiés à l'infini, et les résultats sont souvent fascinants. Beaucoup se développent dans de tout nouveaux domaines d'études qui sont mieux adaptés à des problèmes particuliers.

De toute évidence, l'apprentissage automatique est un outil incroyablement puissant. Dans les années à venir, il promet d'aider à résoudre certains de nos problèmes les plus urgents, ainsi que d'ouvrir de nouveaux mondes d'opportunités pour entreprises de science des données . La demande d'ingénieurs en apprentissage automatique ne fera que continuer à se développer, offrant des chances incroyables de faire partie de quelque chose de grand. J'espère que vous envisagerez de participer à l'action!

---

Reconnaissance

Cet article s'inspire largement du matériel enseigné par le professeur de Stanford Dr. Andrew Ng dans son cours d'apprentissage automatique gratuit et ouvert . Le cours couvre en profondeur tout ce qui est discuté dans cet article et donne des tonnes de conseils pratiques pour le praticien du ML. Je ne saurais trop recommander ce cours à ceux qui souhaitent explorer davantage ce domaine fascinant.

En relation:

• Modèles Sound Logic et AI monotone
• Schooling Flappy Bird: un didacticiel d'apprentissage par renforcement

Comprendre les bases

Qu'est-ce que le Deep Learning?

Le Deep Learning est une méthode d'apprentissage automatique qui s'appuie sur des réseaux de neurones artificiels, permettant aux systèmes informatiques d'apprendre par l'exemple. Dans la plupart des cas, les algorithmes d'apprentissage en profondeur sont basés sur des modèles d'information trouvés dans les systèmes nerveux biologiques.

Qu'est-ce que l'apprentissage automatique?

Comme le décrit Arthur Samuel, l'apprentissage automatique est le «domaine d'étude qui donne aux ordinateurs la capacité d'apprendre sans être explicitement programmé».

Machine Learning vs Intelligence Artificielle: quelle est la différence?

L'intelligence artificielle (IA) est un terme large utilisé pour décrire les systèmes capables de prendre certaines décisions par eux-mêmes. L'apprentissage automatique (ML) est un sujet spécifique dans l'arène plus large de l'IA, décrivant la capacité d'une machine à améliorer sa capacité en pratiquant une tâche ou en étant exposée à de grands ensembles de données.

Comment apprendre le Machine Learning?

L'apprentissage automatique nécessite beaucoup de dévouement et de pratique pour apprendre, en raison des nombreuses complexités subtiles impliquées pour garantir que votre machine apprenne la bonne chose et non la mauvaise chose. Un excellent cours en ligne pour l'apprentissage automatique est le cours Coursera d'Andrew Ng.

Qu'est-ce que le surajustement dans l'apprentissage automatique?

Le surajustement est le résultat d'une focalisation trop étroite d'un algorithme d'apprentissage automatique sur les données d'apprentissage, de sorte qu'il n'est pas suffisamment généralisé pour traiter correctement les nouvelles données. C'est un exemple d'une machine «apprenant la mauvaise chose» et devenant moins capable d'interpréter correctement les nouvelles données.

développement de sites Web pour appareils mobiles

Qu'est-ce qu'un modèle d'apprentissage automatique?

Un modèle d'apprentissage automatique est un ensemble d'hypothèses sur la nature sous-jacente des données à entraîner. Le modèle est utilisé comme base pour déterminer ce qu'un algorithme d'apprentissage automatique doit apprendre. Un bon modèle, qui fait des hypothèses précises sur les données, est nécessaire pour que la machine donne de bons résultats