On a tous en tête l’histoire du chatbot d’entreprise qui dérape, celui qui insulte un client ou qui invente une remise de 90 %. C’est drôle quand ça arrive aux autres. Beaucoup moins quand c’est votre produit.
Le fond du problème est simple : avec l’IA générative, on ne contrôle pas la sortie comme on contrôle un algorithme classique. Le modèle peut surprendre, en bien ou en mal. Et tant qu’on reste dans l’expérimentation, c’est tolérable. Mais pour passer à l’échelle, il faut apprendre à gérer cette imprévisibilité, du choix du modèle jusqu’à la manière dont on surveille sa qualité dans la durée.
1. Bien choisir son modèle (et ne pas prendre « le plus connu par défaut »)
L’offre est pléthorique ( OpenAI, Anthropic, Google, Meta, Mistral, xAI…) Le réflexe naturel, c’est de prendre ChatGPT parce que « tout le monde l’utilise ». Mauvais réflexe.
Ce que le modèle doit savoir faire
On ne parle plus que de texte. Les modèles actuels peuvent lire des images, transcrire de l’audio, analyser de la vidéo. La question à se poser est concrète : de quoi mon utilisateur a réellement besoin ? Est-ce qu’il envoie des photos ? Des mémos vocaux ? Ou est-ce qu’on reste sur du texte pur ? Ça élimine déjà pas mal d’options.
Ce que le modèle va coûter
C’est là qu’il faut sortir la calculette et être impitoyable. Chaque requête a un prix, et à grande échelle, la facture monte très vite.
La formule à garder en tête :
Coût total = Coût du prompt (base + historique + contexte récupéré + requête utilisateur) + Coût de génération
Et derrière, c’est un jeu d’arbitrages permanents. Vous voulez des réponses ultra-précises ? Ça coûte plus cher et c’est plus lent. Un modèle léger suffit pour beaucoup de cas d’usage, mais pas tous. C’est au PM de trancher : est-ce que l’enjeu justifie le prix fort, ou est-ce qu’un modèle « flash » fait le job ?
Le paysage tarifaire aujourd’hui
Pour se repérer, voici ce que ça donne en prix par million de tokens (input / output) :
(date mise à jour : 05/05/2026 ; tableau non exhaustif)
2. Le prompt, c’est de la conception produit (pas de la bidouille)
Une fois le modèle choisi et budgété, il faut lui donner des instructions. Et non, écrire un bon prompt ce n’est pas un hobby de développeur un dimanche après-midi. C’est un vrai travail de conception, qui revient aux fondamentaux du produit :
- L’intention : Qu’est-ce que l’utilisateur cherche vraiment à obtenir ?
- Le format : Comment la réponse doit-elle être structurée ? Une liste ? Un paragraphe ? Un tableau ?
- Le ton : Formel ? Conversationnel ? Technique ?
Et puis il y a les réglages techniques que tout PM devrait comprendre, à commencer par la température :
- Basse (0.1 – 0.3) → L’IA est factuelle, prévisible, concentrée. Idéal pour du support client ou de la documentation.
- Moyenne (0.4 – 0.7) → Un bon équilibre entre fiabilité et souplesse.
- Haute (0.8 – 1.0) → L’IA devient créative, mais aussi plus imprévisible. À réserver aux cas où l’originalité prime sur la précision.
3. Tester une IA, ce n’est plus « ça marche / ça marche pas »
Avec un logiciel classique, un test passe ou il échoue. Point. Avec un LLM, les choses sont plus floues, et il faut s’y habituer.
Un PM qui travaille sur de l’IA ne rédige plus des critères d’acceptation binaires. Il définit des seuils de tolérance : sur 100 réponses, combien sont acceptables ? Quel taux d’erreur est vivable pour cette fonctionnalité ?
Côté outils, on a aujourd’hui plusieurs approches :
- Les métriques automatiques : utiles pour les tâches bien cadrées, comme du résumé ou de la traduction.
- Le « LLM-as-a-Judge » : on utilise un gros modèle pour évaluer les réponses (échantillonées) d’un plus petit. Malin, mais pas infaillible.
- L’évaluation humaine : le juge de paix. Rien ne remplace un humain qui lit la réponse et dit « oui, c’est bon » ou « non, c’est à côté de la plaque ».
Et surtout, il faut surveiller dans la durée. Une IA ne plante pas du jour au lendemain comme un serveur qui tombe. Elle se dégrade doucement, les réponses deviennent un peu moins pertinentes, un peu plus vagues. C’est ce qu’on appelle le model drift, et si personne ne regarde, ça passe sous le radar pendant des semaines.
Deux pratiques à mettre en place :
- Le shadow testing : faire tourner le modèle en arrière-plan, observer ce qu’il produit, sans que l’utilisateur ne voie rien.
- Le suivi de dégradation : monitorer la qualité des réponses au fil du temps pour détecter les glissements avant qu’ils ne deviennent visibles.
4. Garder l’humain aux commandes
Une IA générative lâchée en roue libre en production, c’est un accident qui attend de se produire. Les meilleurs produits IA ne sont pas les plus « intelligents », ce sont ceux où l’utilisateur garde la main.
Deux questions à se poser systématiquement :
- Est-ce que l’utilisateur peut corriger le système quand il se trompe ? Si la réponse est non, c’est un problème.
- Est-ce qu’il y a un plan B quand l’IA n’est pas sûre d’elle ? Un fallback, une escalade vers un humain, un message honnête du type « je ne suis pas certain, voici ce que je peux proposer ».
Le vrai objectif, ce n’est pas de construire une IA parfaite. C’est de concevoir un système qui tient la route financièrement, qui est honnête sur ses limites, et qui laisse l’humain intervenir quand c’est nécessaire. L’intelligence artificielle brille quand elle collabore avec l’intelligence tout court.
