{"type":"video","version":"1.0","html":"<iframe src=\"https://www.loom.com/embed/6a347c3c541e4513ac47211efffcaf90\" frameborder=\"0\" width=\"1920\" height=\"1440\" webkitallowfullscreen mozallowfullscreen allowfullscreen></iframe>","height":1440,"width":1920,"provider_name":"Loom","provider_url":"https://www.loom.com","thumbnail_height":1440,"thumbnail_width":1920,"thumbnail_url":"https://cdn.loom.com/sessions/thumbnails/6a347c3c541e4513ac47211efffcaf90-00001.gif","duration":1352.707,"title":"Histoire et évolution des modèles de langage - partie 4","description":"Dans cette vidéo, je vous ai présenté une analogie simple pour comprendre les principes de l'attention et sa séparation en clés-valeurs-requêtes. J'ai utilisé l'exemple d'une quête sur l'Orient Express pour expliquer comment chaque mot est un indice et comment les détectives enquêtent en parallèle. J'ai également expliqué les concepts de clé, valeur et requête, ainsi que le processus de recherche et de compilation des preuves. Regardez la vidéo pour mieux comprendre ces principes importants !\n\nIntroduction à l'Attention et aux Transformers via une Analogie Ludique\nCe cours explore les fondements du mécanisme d'attention dans les modèles de type Transformer. À travers une analogie captivante basée sur un jeu de rôle inspiré de l'Orient Express, vous découvrirez comment les concepts de queries, keys et values permettent de traiter, pondérer et contextualiser les mots dans une phrase. Cette introduction est essentielle pour comprendre l'architecture et les implémentations variées des modèles modernes d'apprentissage profond."}