IA : certaines langues coûtent jusqu'à 17 fois plus de jetons que d'autres, selon une étude

Les modèles d'IA ont besoin de beaucoup plus de jetons pour traiter certaines langues, ce qui renchérit leur usage, selon une étude de la Coalition for Language Equity in AI Research (CLEAR) publiée en septembre 2026 et présentée par Rest of World le 26 octobre.

Les écarts mesurés

Parmi les 20 langues les plus répandues en ligne, la plus coûteuse exige de 1,5 à 5 fois plus de jetons que la moins chère. Sur 200 langues, l'écart atteint 17 fois dans l'un des modèles testés. Les chercheurs appellent ce surcoût une « taxe du tokenizer ».

Le rôle de l'écriture

La rareté d'une langue n'explique pas tout : celles écrites dans des systèmes que les tokenizers ont peu vus, comme le birman, le tibétain, le khmer ou le lao, sont les plus désavantagées dans presque tous les modèles. L'asturien, qui compte peu de locuteurs, s'en tire plutôt bien parce qu'il utilise l'alphabet latin et ressemble à des langues romanes très représentées.

Au-delà du prix

Plus de jetons signifient aussi plus de latence et moins de place dans la fenêtre de contexte, ce qui peut dégrader la qualité du service. L'étude estime que l'effet est plus fort là où la puissance de calcul et la connectivité sont limitées.

Les pistes évoquées

Pratyush Choudhury (Activate AI) propose de faire de l'efficacité linguistique une exigence produit et de faire publier par les laboratoires des tableaux de bord par langue, tout en admettant qu'une égalité parfaite est peut-être irréaliste. Raoul Nanavati (Navana.ai) cite des efforts de données ouvertes comme RESPIN, qui a collecté textes et voix de locuteurs de 38 dialectes. Dheemanth Reddy (Maya Research) juge que de meilleures données ne suffiront pas et que les laboratoires doivent concevoir des tokenizers adaptés à ces langues et à ces écritures, tout en notant que la baisse du prix des jetons devrait atténuer l'impact direct sur les coûts avec le temps.

Sources

• Rest of World