En ce qui concerne le masquage de l'auto-attention, plusieurs personnes posent des questions sur les cas où l'on a l'impression que les mots ultérieurs devraient mettre à jour le sens des mots antérieurs, comme dans les langues où les adjectifs suivent les noms, c'est le cas pour le français. Le modèle peut toujours mettre le sens le plus riche dans le dernier token (par exemple, les noms antérieurs sont intégrés dans les adjectifs ultérieurs). Par exemple, @victorlevoso8984 a noté ci-dessous comment les preuves empiriques suggèrent que le sens d'une phrase est souvent intégré dans le signe de ponctuation à la fin de la phrase. Gardez à l'esprit que le modèle n'a pas besoin de conceptualiser les choses de la même manière que nous, les humains, et qu'il ne le fait probablement pas du tout. Dans la version française, les adjectifs ont été placés avant les noms pour pouvoir illustrer l'idée du masquage, au détriment du "naturel" de la phrase prise en exemple.
Aucun commentaire:
Enregistrer un commentaire