Comment les LLM stockent-ils les faits ? Chapitre 7, Apprentissage profond
Décortiquer les perceptrons multicouches dans un transformer, et comment ils peuvent stocker des faits
Au lieu de lire des publicités sponsorisées, ces leçons sont financées directement par les spectateurs : https://3b1b.co/support
Le partage des vidéos est une forme de soutien tout aussi précieuse.
Message sur le forum AI Alignment des chercheurs de Deepmind référencés au début de la vidéo : https://www.alignmentforum.org/posts/...
Postes de Anthropic sur la superposition référencés vers la fin de la vidéo : https://transformer-circuits.pub/2022... https://transformer-circuits.pub/2023...
Quelques ressources supplémentaires pour ceux qui souhaitent en savoir plus sur la "mechanistic interpretability", proposées par Neel Nanda Liste d'articles à lire sur la "mechanistic interpretability" https://www.alignmentforum.org/posts/...
Débuter dans la "mechanistic interpretability" https://www.neelnanda.io/mechanistic-...
Démonstration interactive de sparse autoencodeurs (réalisée par Neuronpedia) https://www.neuronpedia.org/gemma-sco...
Tutoriels de codage pour l'interprétabilité mécaniste (réalisé par ARENA) https://arena3-chapter1-transformer-i...
Sections :
0:00 - Où vivent les faits dans les LLMs
2:15 - Rappel rapide sur les transformers
4:39 - Hypothèses pour notre petit exemple
6:07 - L'intérieur d'un perceptron multicouche
15:38 - Compter les paramètres
17:04 - Superposition
21:37 - Prochaine étape
Ces animations sont en grande partie réalisées à l'aide d'une bibliothèque Python personnalisée, manim.
Voir les commentaires de la FAQ ici : https://3b1b.co/faq#manim https://github.com/3b1b/manim https://github.com/ManimCommunity/manim/
Tout le code pour les vidéos spécifiques est visible ici : https://github.com/3b1b/videos/
La musique est de Vincent Rubinetti. https://www.vincentrubinetti.com https://vincerubinetti.bandcamp.com/a... https://open.spotify.com/album/1dVyjw...
3blue1brown est une chaîne consacrée à l'animation des mathématiques, dans tous les sens du terme animer.
Si vous lisez le bas de la description d'une vidéo, je suppose que vous êtes plus intéressé que le spectateur moyen par les leçons proposées ici.
Cela signifierait beaucoup pour moi si vous choisissiez de rester au courant des nouvelles leçons, soit en vous abonnant ici sur YouTube, soit en suivant la plateforme ci-dessous que vous consultez le plus régulièrement.
Liste de diffusion : https://3blue1brown.substack.com
Twitter : 
/ 3blue1brown
Instagram : 
/ 3blue1brown
Reddit : 
/ 3blue1brown
Facebook : 
/ 3blue1brown
Patreon : 
/ 3blue1brown
Site web : https://www.3blue1brown.com
