La latence influence la sensation de fluidité.
Le produit réel commence après la démo Expert
Latence, coût et cache
Comprendre les compromis concrets entre vitesse, qualité, budget et expérience utilisateur.
🫏 Commence par la BD, c'est plus rigolo ! 🫏 Cette notion existe aussi en BD 🫏 Cette notion existe aussi en BD « IA veut tout, tout de suite… et gratos » — lire l'histoire → Pas de jargon Compréhensible vite
Le coût dépend du modèle, du volume, du contexte envoyé et du nombre d'étapes.
Le cache évite de recalculer certaines réponses ou parties de réponses.
1. Je découvre une version simple et imagée
2. Je comprends le vrai mécanisme sans jargon inutile
3. Je m'entraîne avec un mini quiz immédiat
4. Je retiens les points clés à réexpliquer
Vite, bien, pas cher : choisis-en deux
- La latence, c'est le temps que met l'IA à répondre. Comme une appli qui rame : tu lâches au bout de quelques secondes.
- Une IA coûte de l'argent à chaque réponse. Plus tu lui envoies de texte à lire, plus c'est cher : on compte par petits morceaux de mots appelés « tokens ».
- Le cache, c'est une mémoire des réponses déjà calculées. Question déjà posée mille fois ? L'IA ressort la réponse direct, sans tout refaire.
- On n'utilise pas toujours le plus gros modèle : un petit et rapide pour le facile, un gros et lent pour le difficile.
Un exemple pour toi
Le chatbot d'aide d'un jeu vidéo : pour « comment changer mon pseudo ? » (posé mille fois), il sort une réponse en cache, instantanée et quasi gratuite. Pour un bug rare et compliqué, il appelle un modèle plus puissant, plus lent et plus coûteux. C'est le triangle qualité / vitesse / coût.
Quand une appli te répond hyper vite et gratuitement, c'est souvent qu'elle utilise un petit modèle ou une réponse en cache, pas forcément le plus malin. La rapidité ne prouve pas que la réponse est juste : garde ton esprit critique et vérifie ce qui compte vraiment.
Le meilleur outil IA n'est pas le plus bluffant en démo : c'est celui qui reste utile, rapide ET abordable tous les jours.
Le déclic en mouvement
Vois l'effet du cache sur la latence et le coût
Une question fréquente arrive. Sans cache : on recalcule tout (lent, cher). Avec cache : on réutilise la réponse (rapide, presque gratuit).
Une question fréquente arrive — elle a déjà été posée des centaines de fois.
« Quels sont vos horaires d'ouverture ? »
Même question, posée tout le temps. Faut-il vraiment tout recalculer à chaque fois ?
Étape 1 / 4
Sous le capot Pour les curieux : ce qui se passe à l'intérieur
Tape pour explorer Replier
La vitesse
Si c'est trop long, on s'ennuie
Imagine que tu poses une question à un copain et qu'il met cinq minutes avant de dire le premier mot. Tu pars jouer ailleurs ! L'assistant, c'est pareil : il doit vite commencer à répondre, mot après mot, sans faire de détours inutiles.
Les sous
Chaque petit mot coûte une pièce
L'assistant, c'est comme un distributeur de bonbons : à chaque petit bout de réponse, on glisse une pièce. Plus on lui raconte d'histoires avant qu'il réponde, plus il faut de pièces. Si on lui parle trop, le pot de pièces se vide très vite !
La boîte à réponses
On garde la réponse au lieu de tout refaire
Quand on lui repose une question qu'il connaît déjà, il garde la réponse dans une petite boîte, comme un dessin déjà colorié. La fois d'après, il ressort le dessin tout de suite au lieu de tout recommencer. C'est plus rapide et ça coûte moins de pièces !
Le bon copain
Un petit pour le facile, un grand pour le dur
Pour ranger tes jouets, pas besoin d'appeler un super-héros : un petit copain rapide suffit. Mais pour une grosse énigme difficile, on appelle le grand malin. On choisit le bon assistant selon que la question est facile ou compliquée.
Latence
Le temps de réponse, comme une appli qui rame
La latence, c'est le délai avant que ça réagisse, comme une vidéo qui buffer ou un jeu qui lag. Au-delà de quelques secondes, tu décroches. L'astuce : afficher le premier mot très vite (le streaming, où la réponse arrive mot par mot) et virer les étapes inutiles.
Coût
On paie au token, pas au forfait illimité
Un token, c'est un petit morceau de mot. L'IA facture à chaque token lu et écrit, un peu comme un forfait data où chaque méga compte. Le prix dépend du modèle, du nombre d'appels et surtout de la longueur du contexte (tout le texte qu'on lui envoie avant). Plus tu lui balances de contexte, plus la facture grimpe.
Cache
Mémoriser pour ne pas recalculer
Le cache, c'est comme garder une capture d'écran d'un truc déjà calculé. Pour les questions qui reviennent souvent (ou les débuts de contexte identiques), on réutilise la réponse stockée au lieu de tout refaire. Résultat : plus rapide ET moins cher sur les cas répétés.
Routage
Le bon modèle pour la bonne tâche
Le routage, c'est aiguiller chaque demande vers le modèle adapté. Un petit modèle rapide pour trier ou classer, un gros modèle pour rédiger ou raisonner sur un truc complexe. En choisissant selon la difficulté, tu optimises le triangle qualité / vitesse / coût au lieu de sortir l'artillerie lourde à chaque fois.
Latence
Le temps de réponse change tout le ressenti
Au-delà de quelques secondes, l'utilisateur décroche. On vise un premier mot rapide (streaming) et on évite les étapes inutiles.
Coût
On paie surtout au token
Le coût dépend du modèle, du nombre d'appels, des étapes d'un agent et de la longueur du contexte envoyé. Un contexte trop gros gonfle la facture.
Cache
Ne pas recalculer ce qui est déjà connu
Mettre en cache les réponses fréquentes (ou des préfixes de contexte) évite de tout refaire. Gain direct de latence et de coût sur les cas répétés.
Routage
Le bon modèle pour la bonne tâche
Un petit modèle pour classer ou trier, un grand pour rédiger ou raisonner. Router selon la difficulté optimise le triangle qualité / vitesse / coût.
L'image mentale
L'analogie qui aide à retenir
C'est comme un super cuisinier : même s'il fait des plats magiques, si tu attends une heure ton goûter, tu pars jouer ailleurs.
C'est comme un resto : même avec un chef génial, si l'assiette arrive après 40 minutes, tu ne reviens pas.
Tu peux avoir un chef étoilé, mais s'il met quarante minutes à servir chaque assiette, le restaurant ne tient pas.
À retenir
Le coeur de l'idée
La meilleure machine, ce n'est pas la plus épatante : c'est celle qui aide vite et sans coûter trop cher.
La meilleure appli IA n'est pas la plus bluffante en démo, c'est celle qui équilibre qualité, vitesse et coût.
Le meilleur produit IA n'est pas le plus impressionnant en labo : c'est le plus juste dans ses compromis.
Comment ça marche
Le mécanisme, découpé étape par étape
Si la machine met trop longtemps à répondre, on s'ennuie et on s'en va.
Quand on lui pose une question déjà connue, elle garde la réponse de côté pour la redonner tout de suite.
Pour une question facile, elle prend une petite machine rapide. Pour une question dure, une grande machine.
Plus on lui donne à lire à chaque fois, plus ça prend du temps et ça coûte cher.
La latence, c'est le temps avant que l'appli te réponde. Plus c'est court, plus ça paraît fluide.
Le coût dépend du modèle choisi, du nombre de demandes et de la longueur du texte que tu envoies à chaque fois.
Le cache garde en mémoire les réponses déjà calculées pour les ressortir vite, au lieu de tout refaire.
On choisit un petit modèle rapide pour les tâches faciles, et un gros modèle pour les trucs vraiment durs.
La latence, c'est le temps de réponse ressenti : plus le premier mot arrive vite, plus l'expérience paraît fluide.
Le coût dépend du modèle choisi, du volume d'appels, du nombre d'étapes et de la longueur du contexte envoyé (on paie surtout au token).
Le cache réutilise des réponses ou des préfixes déjà calculés, ce qui évite de tout recalculer sur les cas répétés.
On route la tâche : un petit modèle rapide pour le simple, un modèle premium réservé aux cas exigeants.
Exemples très concrets Où tu retrouves ça dans le monde réel
Tape pour explorer Replier
Tu demandes « 2 + 2 » : elle a déjà la réponse de côté, elle dit « 4 » tout de suite, comme un copain malin.
Pour colorier un petit dessin tout simple, une petite machine suffit. Pour un grand château, il faut une grande machine.
Si la maîtresse pose toujours la même question, elle connaît la réponse par cœur et répond vite, sans réfléchir longtemps.
Un chatbot de jeu vidéo qui répond en une seconde te garde accroché ; à dix secondes, tu quittes.
La FAQ d'une appli garde en cache les réponses aux questions posées tout le temps, comme « comment changer mon mot de passe ».
Un correcteur qui utilise un mini-modèle pour repérer les fautes simples et un gros seulement pour reformuler tout un paragraphe.
Un help center qui met en cache les réponses aux questions fréquentes, donc instantanées et quasi gratuites.
Un classement de tickets confié à un petit modèle, et la rédaction des réponses confiée à un grand modèle.
Découper une tâche longue en étapes plus courtes et contrôlées plutôt qu'un seul énorme contexte coûteux.
Points de vigilance Ce qu'il ne faut pas confondre
Tape pour explorer Replier
Si on veut payer trop peu, la machine répond moins bien.
Lui donner trop de choses à lire d'un coup, ça coûte cher et ça aide à peine.
Une machine rapide mais qui se trompe souvent, on ne lui fait plus confiance.
Réduire les coûts trop fort peut faire baisser la qualité que ressent l'utilisateur.
Envoyer un très long contexte coûte cher pour un gain parfois minuscule.
Une appli ultra-rapide mais qui se trompe souvent casse la confiance.
Réduire les coûts trop agressivement peut faire chuter la qualité perçue.
Une grande fenêtre de contexte peut coûter cher pour un gain faible.
Un système rapide mais peu fiable détruit aussi la confiance.
Mythes vs réalité
Remplace les fausses idées par les bonnes
On corrige les réflexes faux que beaucoup gardent, pour ancrer une image mentale juste et solide.
Ce qu'on imagine
On croit qu'il faut toujours la plus grande machine.
Ce qu'il faut garder
En vrai, une petite machine rapide suffit très souvent. On garde la grande pour les questions dures.
Ce qu'on imagine
On croit que dépenser moins ne change rien.
Ce qu'il faut garder
En vrai, si on coupe trop, la machine répond moins bien et fait plus de bêtises.
Ce qu'on imagine
On croit que plus on lui donne à lire, mieux elle répond.
Ce qu'il faut garder
En vrai, trop de choses à lire, ça l'embrouille et ça coûte cher pour rien.
Ce qu'on imagine
« La meilleure appli prend toujours le plus gros modèle. »
Ce qu'il faut garder
Faux. Un petit modèle rapide suffit pour la plupart des tâches ; on garde le gros pour les cas exigeants.
Ce qu'on imagine
« Baisser le coût ne change rien à la qualité. »
Ce qu'il faut garder
Faux. Couper trop fort (modèle trop léger, texte trop court) peut faire chuter la qualité que tu ressens.
Ce qu'on imagine
« Plus j'envoie de texte, meilleure est la réponse. »
Ce qu'il faut garder
Pas toujours. Un texte trop long coûte cher et peut même noyer l'info utile.
Ce qu'on imagine
« Le meilleur produit utilise toujours le plus gros modèle. »
Ce qu'il faut garder
Non. Souvent un petit modèle rapide suffit pour la majorité des tâches ; on réserve le grand aux cas exigeants.
Ce qu'on imagine
« Réduire le coût n'a pas d'effet sur la qualité. »
Ce qu'il faut garder
Faux. Couper trop agressivement (modèle trop léger, contexte trop court) peut faire chuter la qualité perçue.
Ce qu'on imagine
« Plus de contexte = meilleure réponse. »
Ce qu'il faut garder
Pas toujours. Un très long contexte coûte cher et peut même noyer l'info utile ; on envoie le pertinent, pas tout.
Mémo final
À la fin, ce sont ces idées qui doivent rester
Si tu peux les redire sans relire la fiche, l'essentiel est acquis.
1
Trop lent, on partSi elle répond trop tard, personne ne veut jouer avec.
2
Elle garde de côtéUne réponse déjà connue, elle la ressort tout de suite.
3
Petite ou grandePetite machine pour le facile, grande machine pour le dur.
4
Pas trop à lireTrop de choses à lire d'un coup, c'est long et ça coûte cher.
Mémo final
À la fin, ce sont ces idées qui doivent rester
Si tu peux les redire sans relire la fiche, l'essentiel est acquis.
1
Le triangleQualité, vitesse, coût : on doit toujours arbitrer entre les trois.
2
On paie au textePlus tu envoies de texte à chaque fois, plus la facture grimpe.
3
Le cache fait gagnerRéutiliser une réponse déjà connue au lieu de tout recalculer.
4
Le bon modèlePetit et rapide pour le facile, gros pour le difficile.
Mémo final
À la fin, ce sont ces idées qui doivent rester
Si tu peux les redire sans relire la fiche, l'essentiel est acquis.
1
Qualité / vitesse / coûtUn triangle qu'on arbitre en permanence selon l'enjeu.
2
On paie au tokenUn contexte long fait gonfler directement la facture.
3
Le cache fait gagnerRéutiliser des réponses ou préfixes au lieu de recalculer.
4
Le bon modèle au bon endroitPetit pour le simple, premium pour le difficile.
Questions fréquentes
Les questions qu'on se pose souvent
Des réponses courtes et claires, sans jargon, pour lever les doutes.
C'est quoi la latence ?
Le temps que met le système à répondre. Trop long, et l'utilisateur décroche.
Pourquoi un long contexte coûte-t-il cher ?
Parce qu'on paie surtout au token : plus on envoie de contexte, plus il y a de tokens à traiter à chaque réponse.
À quoi sert le cache ?
À réutiliser des réponses (ou des morceaux de contexte) déjà calculés, pour répondre plus vite et moins cher sur les cas répétés.
Faut-il toujours le modèle le plus puissant ?
Non. On route : un petit modèle rapide pour les tâches simples, un grand seulement quand la difficulté le justifie.
Continuer le parcours
La suite, pensée comme une montée en compréhension
On monte d'un cran à chaque étape, toujours avec la même promesse de clarté.