Maybe blog

Décortiquer les perceptrons multicouches dans un transformer, et comment ils peuvent stocker des faits Au lieu de lire des publicités sponsorisées, ces leçons sont financées directement par les spectateurs : https://3b1b.co/support Le partage des vidéos est une forme de soutien tout aussi précieuse. 

Message sur le forum AI Alignment des chercheurs de Deepmind référencés au début de la vidéo : https://www.alignmentforum.org/posts/... 

Postes de Anthropic sur la superposition référencés vers la fin de la vidéo : https://transformer-circuits.pub/2022... https://transformer-circuits.pub/2023... 

Quelques ressources supplémentaires pour ceux qui souhaitent en savoir plus sur la "mechanistic interpretability", proposées par Neel Nanda Liste d'articles à lire sur la "mechanistic interpretability" https://www.alignmentforum.org/posts/... 

Débuter dans la "mechanistic interpretability" https://www.neelnanda.io/mechanistic-... 

Démonstration interactive de sparse autoencodeurs (réalisée par Neuronpedia) https://www.neuronpedia.org/gemma-sco... 

Tutoriels de codage pour l'interprétabilité mécaniste (réalisé par ARENA) https://arena3-chapter1-transformer-i... 

Sections :  

0:00 - Où vivent les faits dans les LLMs  

2:15 - Rappel rapide sur les transformers  

4:39 - Hypothèses pour notre petit exemple  

6:07 - L'intérieur d'un perceptron multicouche  

15:38 - Compter les paramètres  

17:04 - Superposition 

 21:37 - Prochaine étape 

Ces animations sont en grande partie réalisées à l'aide d'une bibliothèque Python personnalisée, manim. 

Voir les commentaires de la FAQ ici : https://3b1b.co/faq#manim https://github.com/3b1b/manim https://github.com/ManimCommunity/manim/ 

Tout le code pour les vidéos spécifiques est visible ici : https://github.com/3b1b/videos/ 

La musique est de Vincent Rubinetti. https://www.vincentrubinetti.com https://vincerubinetti.bandcamp.com/a... https://open.spotify.com/album/1dVyjw... 

3blue1brown est une chaîne consacrée à l'animation des mathématiques, dans tous les sens du terme animer. 

Si vous lisez le bas de la description d'une vidéo, je suppose que vous êtes plus intéressé que le spectateur moyen par les leçons proposées ici. 

Cela signifierait beaucoup pour moi si vous choisissiez de rester au courant des nouvelles leçons, soit en vous abonnant ici sur YouTube, soit en suivant la plateforme ci-dessous que vous consultez le plus régulièrement. 

Liste de diffusion : https://3blue1brown.substack.com Twitter :   / 3blue1brown   Instagram :   / 3blue1brown   Reddit :   / 3blue1brown   Facebook :   / 3blue1brown   Patreon :   / 3blue1brown   Site web : https://www.3blue1brown.com