Maybe blog

Décortiquer les perceptrons multicouches dans un transformer, et comment ils peuvent stocker des faits Au lieu de lire des publicités sponsorisées, ces leçons sont financées directement par les spectateurs : https://3b1b.co/support Le partage des vidéos est une forme de soutien tout aussi précieuse. 

Message sur le forum AI Alignment des chercheurs de Deepmind référencés au début de la vidéo : https://www.alignmentforum.org/posts/... 

Postes de Anthropic sur la superposition référencés vers la fin de la vidéo : https://transformer-circuits.pub/2022... https://transformer-circuits.pub/2023... 

Quelques ressources supplémentaires pour ceux qui souhaitent en savoir plus sur la "mechanistic interpretability", proposées par Neel Nanda Liste d'articles à lire sur la "mechanistic interpretability" https://www.alignmentforum.org/posts/... 

Débuter dans la "mechanistic interpretability" https://www.neelnanda.io/mechanistic-... 

Démonstration interactive de sparse autoencodeurs (réalisée par Neuronpedia) https://www.neuronpedia.org/gemma-sco... 

Tutoriels de codage pour l'interprétabilité mécaniste (réalisé par ARENA) https://arena3-chapter1-transformer-i... 

Sections :  

0:00 - Où vivent les faits dans les LLMs  

2:15 - Rappel rapide sur les transformers  

4:39 - Hypothèses pour notre petit exemple  

6:07 - L'intérieur d'un perceptron multicouche  

15:38 - Compter les paramètres  

17:04 - Superposition 

 21:37 - Prochaine étape 

Ces animations sont en grande partie réalisées à l'aide d'une bibliothèque Python personnalisée, manim. 

Voir les commentaires de la FAQ ici : https://3b1b.co/faq#manim https://github.com/3b1b/manim https://github.com/ManimCommunity/manim/ 

Tout le code pour les vidéos spécifiques est visible ici : https://github.com/3b1b/videos/ 

La musique est de Vincent Rubinetti. https://www.vincentrubinetti.com https://vincerubinetti.bandcamp.com/a... https://open.spotify.com/album/1dVyjw... 

3blue1brown est une chaîne consacrée à l'animation des mathématiques, dans tous les sens du terme animer. 

Si vous lisez le bas de la description d'une vidéo, je suppose que vous êtes plus intéressé que le spectateur moyen par les leçons proposées ici. 

Cela signifierait beaucoup pour moi si vous choisissiez de rester au courant des nouvelles leçons, soit en vous abonnant ici sur YouTube, soit en suivant la plateforme ci-dessous que vous consultez le plus régulièrement. 

Liste de diffusion : https://3blue1brown.substack.com Twitter :   / 3blue1brown   Instagram :   / 3blue1brown   Reddit :   / 3blue1brown   Facebook :   / 3blue1brown   Patreon :   / 3blue1brown   Site web : https://www.3blue1brown.com

S'agissant des IA génératives, les entreprises doivent désormais envisager des stratégies adaptées à ces nouveaux enjeux particulièrement dynamiques. 

Tous les acteurs du secteur comprennent que l'usage de modèles publics expose à des risques significatifs : rétention d'informations, traçabilité étendue, et potentielles fuites de données. 

Face aux avancées rapides de ces technologies, toute entreprise, même de taille intermédiaire, doit sérieusement considérer l'intégration de plusieurs modèles d'IA parfaitement cloisonnés en on-premise dans son infrastructure. 

L'évolution constante des réglementations rend incontournable la mise en place de contrôles techniques robustes : proxy IA, DLP, filtrage et journalisation. 

Les enjeux et contraintes plaident clairement en faveur d'intégrations souveraines, particulièrement quand des données sensibles sont concernées. 

L'approche hybride, bien que rassurante en termes de sécurité et techniquement abordable, présente des limitations qui deviendront rapidement trop contraignantes. 

Elle peine à répondre équitablement à tous les métiers de l'entreprise, créant un dilemme organisationnel inextricable. Le défi ? L'éventail des enjeux IT évolue très rapidement alors que les équipes ne s'étoffent pas au même rythme. 

Cette réalité rend cruciale une stratégie qui limite efficacement les risques d'exfiltration de secrets et d'actifs informationnels.