Indico avec slides: https://indico.in2p3.fr/event/32386/overview

Presentation by Kavé Salamatian

Notes

controverse IA:

• approche connexionniste - en connectant des neurones simples, on peut construire des concepts avancés
• approche symbolique - méthodes haut niveau différentes du bas niveau
  scission connexionniste en France dans les années 80

apprentissage de la parole fondamental chez humain

amélioration/utilisation LLMs via des tâches classiques ~ transfert learning

quelques considérations:

• LLMs sont les plus gros modèles, approche “bourine”, pas de feature engineering, plus gros modèle, plus de données… (augmentation exponentielle des tailles aujourd’hui)
• pas de règles logiques

Hypothèse linéaire

• high-level concepts are represented linearly as directions in the representation space
• probing: on peut passer d’un espace à un autre par une régression linéaire (on projette d. example: traduction d’une langue à une autre.
• si deux concepts sont proches, on devrait avoir une projection proche, si deux concepts contradictoires, projection orthogonale ?

on peut mesurer ces projections
régression linéaire sur les couches d’activation

=> preuves que l’hypothèse linéaire fonctionne
et qu’elle est utilisable en pratique

Mailing list

clubdata.idefics@services.cnrs.fr

To subscribe:

Send a message to sympa@services.cnrs.fr from the address you want to subscribe to the list. Sympa is not a person but a mailing list management robot. Thus it is useless to send it loving words! ;-)
In the subject line of your message, type in: subscribe clubdata.idefics Firstname Name (indicate your own first name and name).
Leave the message body blank.

Next meeting

23/04/2024

• Lorenzo
• Argheesh