L\'IA et les usages langagiers PDF

Preview

Summary

prise de notes donc pas tip top, faites attention il manque sûrement des parties ... En espérant vous aidez !!!...

Description

Cours 1 IA - définition Définition = data algorithmes assistance adjuvances Intéressant : partie test connaît réponses exactes, la partie dev permet de préparer les données (preprocess), la partie train permet d’entraîner le réseau en changeant les paramètres.

IA & MACHINE LEARNING : quelles technologies, quelles techniques pour quels usages ? -systèmes symboliques = systèmes experts : reproduire les ‘cerveaux’ des experts dans des domaines ‘durs’ comme dans la science par exemple. systèmes symboliques car fondés sur des règles, heuristiques, et reproduisent des cpts d’experts (géomètre par exemple) etc. -Les théories appliquées aux jeux en face à face : BackTrack & élagage par AlphaBêta : système stratégique qui permet d’avoir des coups d’avance. ( 1997 : Deep Blue contre Kasparov), il y a un aspect humain/psychologique qui entre en jeu également, par exemple, deep blue n’a aucune pression psychologique tandis que l’humain, si. -Test de Turing : est-ce que le système passe réellement le test de turing ? la question est de changer le point de vue, est-ce que l’individu qui passe le test est-il vraiment concentré, attentif, sérieux ou non ? pour savoir qu’il ne parle pas à un humain ( exemple des assistances vocales où l’on doit parler par mots-clés). -Théorie des Faces de Goffman (à lire) -Jeux vidéos, créations artistiques et conduite autonome… (questions de l’inter-textualité) u’est-ce que je donne comme possibilité d’apprentissage à l’IA , et c’est en ça que l’on parle d’hapax = une modalité qui est présente dans un seul corpus (données d’un réseau de neurones ici) donc pour l’apprentissage -Spontanéité VS Reproductibilité Apprentissage non supervisé : - ACP (avec logiciel R): vectoriser les analyses principales : en 2 vecteurs principaux (donc on les garde). par exemple avec les enfants : où ils doivent écrire un dialogue : elle souhaitait savoir s’il y avait un dialogue ou non. Les embeddings. la méthode classique : le repli => on ne considère que les n-1

sentence embedding Partie 2 : après midi L. Devillers TALN : Traitement Automatique des Langues Naturelles quels types de système ? il faut voir en fonction de 1. l’acoustique : téléphone (bruits présent) ou studio (sans bruit) ? 2. type de locuteur/ spontanéité 3. Vocabulaire Les systèmes phonèmes sont différents dépendant des langues, cultures, etc. A. Reconnaissance Trois bases de connaissance : un modèle acoustique : modéliser les sons d’une langue = générique, donc aussi bien de phonèmes de la voix, que des bruits de bouche, les clapotis de langues, les rires, respirations, souffle, les silences, les blancs, les fillers : ‘hmm’, ‘heeu’, ‘bin’, les sons qui comblent les vides, etc. modèle de langage: se tient à ce que l’on dit Dictionnaire de phonétisation : réussir à faire correspondre chaque unité à une suite de son (pneu : pe neu; les : llai, llaizz) .. Autour du flux audio : limites et difficultés Le travail de transcription : entre ciselage et réalité(s) des usages B. Traduction FST : pour passer de A à C ; A = 0.5, je passe dans l’algo, pour arriver a C j’ajoute 4, pour passer de B à C , B= 2,5, j’ajoute 2,5 pour arriver à C, seulement ca fait 5 au lieu de 4 donc le plus court chemin est la première situation. le décodage : la capitalisation proba unigramme proba N-gramme propagation du jeton LM trigramme Qu’est-ce qu'une mesure de perplexité ? c’est une distance intéressante car quand un système apprend et décode, il est forcément dans un code connu soit il y va en fonction de l’acoustique , c’est une distance une entropie croisée permettant de mesurer la distance entre le cœur d’apprentissage et ce que l’on décode. donc si le syst sort de “sa zone de confort" lors de l’apprentissage, cela plus elle est basse plus on es coeur d’apprentissage, permet de mesurer le degré de plagiat

Il n’y a pas de traduction en NLP, traduire c’est trahir car elle n ‘emporte pas avec elle toute la substantification du mot. pour de la trad, il faut faire des choix : lexicaux l’ordre des mots d’expressions La traduction automatique est du décodage.

C. TALN

COURS 2 Spacy à un apprentissage contextuel. détecter le niveau émotif (avec le son de la voix) peut permettre (pour les marketeux) de proposer des produits aux potentiels clients. La tâche de normalisation : typiquement un syst pour apprendr,e il doit apprendre avec un programme dit ‘lissé’ La normalisation va pouvoir permettre de déterminer l'existence d’un pattern, qui en entrée va accepter cette diversité puis en sortie choisir la plus facile ( exemple avec les dates du jour).

## Voir diapo Réglages et limites - seuils et pondérations : ordre et grandeur

Stop-list Nlp vs NLU => compter les mots … mais qu’est-ce qu’un mot ? Nuage de mots au Tf-Idf ⇒ récup. les éléments sémantiquement saillants

Le cas du TF-IDF & des efforts de classification Le corpus (en se basant par exemple sur un historique)

Verbatims d’usagers (en entrée) et/ou descriptifs divers et variés en FR (pas que) Répondre à la question de la classification selon les thématiques/des labels de polarité : - tokenisation (=qu’est-ce qu’un mot) & normalisation des données en FR non doublonnés pour lisser l’apprentissage - partition entre corpus d’apprentissage et corpus de tests raisonnée - les autres données = corpus de test une fois la méthodologie établie voire transfert ⇒ données et reproductibilité

TF-IDF Pondération du vocab. en fonction de son utilisation en langue - Le but : accorder un score de pertinence lexicale à un ou plusieurs termes au sein d'un doc. - relation soulignée entre doc et un ensemble de documents partageant des similarités lexicales - éviter une vue trop myope et biaisée Tf-Idf c’est tf * idf - TF = Nbr de fois où le terme est présent dans le doc divisé par le nbr de termes dans le doc - ⇒ fréquence pondérée dans le doc par l’inverse de sa propre fréquence d’usage - IDF = Mesure de l’importance du terme ds l’ens. du corpus Consolider la méthodologie Le but : retrouver et vérifier la pertinence des labels posés préparer les données et lancer le calcul du TF-IDF tester les algo de classifications pour optimiser les résultats - rapports temps d’apprentissage/résultats - matrice de confusion analyser les résultats finaux : score de confiance du syst vs justesse langagière tester le transfert sur les autres parties du corpus (après un rapprochement de labels si besoin) ⇒ analyse des ‘mauvais” & des incohérences ⇒ considérer les features : pas seulement des mots mais des n-gram saillants …

Et quand on veut un bot ? C’est quoi un bot callbot = repondre a la place d’un téléconseiller humain, il est dans une logique interactive voicebot = serveur vocal interactif, il a pour mission de rediriger vers un service spécifique. Plusieurs termes : systèmes de dialogue, chatbots, agents conversationnels, assistants intelligents.. - L’agent conversationnel implique une incarnation (typiquement un agent animé, un avatar, quelque chose qui bouge, etc.) - un système de dialogue induit d’abord et avant tout un système complexe qui permet l’interaction en langue naturelle - le cas des chatbots & des assistants intelligents relèvent davantage du domaine applicatif, du visible, des cas d’usage ⇒ un point commun : une succession d’énoncés syst/utilisateur ● ●

Bot orienté tâche : accomplir une tâche/obtenir une info ⇒ combinaison de règles et méthodes stat pour circonscrire le monde concerné Bot conversationnels : badiner ‘naturellement’... ⇒ approches génératives le plus souvent (GPT-3, réseaux de neurones …)

⇒ circonscrire les besoin & les Use-cases Un triptyque initial (le bot c’est un triptyque) car : -

Compréhension / Gestion du dialogue / Génération ● Compréhension : ⇒ identification du domaine, de la demande, des concepts ● Gestion du dialogue : ⇒ compréhension contextuelle : résolution de la co-référence ⇒ etat du dialogue : Dialogue State Tracking ⇒ Décision : schéma de génération ⇒ Liens applications via API ou gestion de BDD ● Génération : ⇒ Renvoi de la réponse sur différents média, avec quelle tonalité ? polarité (positif/négatif?)

FAQ, Arbres de décision ou slot filling : pour quelle solution opter ? ### VOIR DIAPO ● Identification domaine/intention ⇒ apprentissage supervisé : classification ⇒ Entraîner un modèle pour estimer le label correspondant

● Détection de concepts (slot filling) ⇒ concepts: ⇒ slots: ⇒ slot filling : ● Méthodes systèmes de règles Les FAQ : ⇒ Distance de Levenshtein : comparaison de caractère même sur le nombre de lettres. ## VOIR DIAPO Et quand on veut un bot ? un pipeline complet L’entrée textuelle ou vocale ? -

Le texte, juste une suite de caractères ? Normalisation La voix et ses méandres... Les systèmes de reconnaissance automatique de la parole

La synthèse -

Du texte aux phonèmes en contexte ⇒ la prosodie La voix, accent, émotion, faiblesse et force ⇒ quelle voix pour quelle persona?

Alimenter les bases de connaissances, comment et pourquoi ? Récolte: de quoi disposez-vous ? La constitution normée : - quelles annotations selon quel guide ? La normalisation des données - quels intrus ? - Quid des smileys? RGPD compliant - Lien données personnelles

Évaluer. Evaluation objective et subjective - Évaluer automatiquement ce que fait le système - Evaluer la perception que l’utilisateur a :...