Le dispositif The dispositif

Le terme de benchmark est aujourd'hui associé, dans la littérature sur l'intelligence artificielle, à une opération d'évaluation comparative qui présuppose une norme externe par rapport à laquelle les modèles sont positionnés. Notre posture est différente : nous ne mesurons pas une performance, mais un comportement énonciatif — ce que les modèles font lorsqu'on les sollicite, ce vers quoi ils convergent, ce qu'ils écartent.

The term benchmark is today associated, in AI literature, with comparative evaluation that presupposes an external norm against which models are positioned. Our posture is different: we measure no performance, but an enunciative behavior — what models do when solicited, what they converge toward, what they exclude.

Décrire ces manières, c'est faire de l'éthologie computationnelle : un geste qui suspend le jugement évaluatif au profit de la description phénoménale des comportements observables. Ce n'est pas en mesurant les modèles contre une référence, mais en les mesurant les uns par rapport aux autres et chacun à plusieurs niveaux, que la micro-politique du dicible devient observable.

Describing these ways is to practice computational ethology: a gesture that suspends evaluative judgment in favor of the phenomenal description of observable behaviors. It is not by measuring models against a reference, but by measuring them against one another, each at several levels, that the micro-politics of the sayable becomes observable.

Trois critères de choix : modèles open-weights (reproductibilité, accès aux conditions d'inférence, pas d'orchestration cachée), tailles entre 7B et 14B paramètres (déploiement effectif dans les pratiques d'écriture assistée diffusées), spectre géo-épistémique large (six lignées d'entraînement distinctes).

Three selection criteria: open-weights models (reproducibility, access to inference conditions, no hidden orchestration), sizes between 7B and 14B parameters (the actual deployment range in diffused AI-writing practices), broad geo-epistemic spectrum (six distinct training lineages).

Inférence locale via Ollama sur serveur Linux (GPU RTX 5060 Ti 16 Go). Tous les appels sont enregistrés au format JSONL avec leurs métadonnées (hyperparamètres, hash du prompt, timestamp, statistiques d'inférence), permettant une reproductibilité intégrale.

Local inference through Ollama on a Linux server (GPU RTX 5060 Ti 16 GB). All calls are logged as JSONL with full metadata (hyperparameters, prompt hash, timestamp, inference statistics), allowing full reproducibility.

Catégorisation ontologique — l'auteur Ontological categorization — the author

Prompt définitionnel : « En une phrase, qu'est-ce qu'un auteur ? ». Deux formulations équivalentes (la seconde inversant l'ordre), onze conditions d'échantillonnage (une déterministe T=0, dix stochastiques T=0.9 avec graines variables). Soit 110 réponses sur cinq modèles.

Definitional prompt: "In one sentence, what is an author?". Two equivalent formulations (the second reversing the order), eleven sampling conditions (one deterministic T=0, ten stochastic T=0.9 with varying seeds). 110 answers across five models.

Le choix de la catégorie auteur tient à sa densité critique : fonction-auteur foucaldienne, mort de l'auteur barthésienne, sociologie du champ, attribution juridique. Toutes ces élaborations sont attestées dans les corpus d'entraînement. La question n'est pas connaissent-ils ces cadres ? — la réponse est triviale — mais quels cadres deviennent disponibles lorsqu'aucun ne leur est explicitement demandé ?

The choice of the author category rests on its critical density: Foucauldian author-function, Barthesian death of the author, sociology of the field, legal attribution. All these elaborations are attested in the training corpora. The question is not do they know these frameworks? — the answer is trivial — but which frameworks become available when none is explicitly requested?

Co-écriture contrainte — huit amorces, trois instructions Constrained co-writing — eight prompts, three instructions

Huit amorces à prolonger, trois longues travaillées (féministe-décoloniale, poétique-expérimentale, conservatrice-essentialiste) et cinq courtes plus instinctives. Chaque amorce reçoit trois instructions : B1 libre, B2 fidèle au registre, B3 explicitement déviante. Six conditions de sampling par cellule. Soit 864 continuations sur les six modèles.

Eight prompts to extend — three longer and crafted (feminist-decolonial, poetic-experimental, conservative-essentialist) and five shorter and more instinctive ones. Each prompt is paired with three instructions: B1 free, B2 faithful to the register, B3 explicitly deviant. Six sampling conditions per cell. 864 continuations across the six models.

La singularité méthodologique du dispositif tient à ce qu'il superpose trois niveaux d'analyse sur le même corpus de sorties — dans la conviction que les limites propres à chaque niveau de mesure constituent en elles-mêmes une ressource analytique. Là où le niveau lexical déclare une absence, le niveau des embeddings peut révéler une présence ; là où la couverture des champs critiques semble homogène, la convergence intra-cellule peut révéler des géographies distinctes.

The methodological singularity of the dispositif lies in its superposition of three levels of analysis on the same corpus of outputs — on the conviction that the limits proper to each measurement level constitute, in themselves, an analytic resource. Where the lexical level declares an absence, the embedding level may reveal a presence; where the coverage of critical fields seems homogeneous, intra-cell convergence may reveal distinct geographies.

1. Analyse lexicaleLexical analysis — présence de termes appartenant à des champs critiques préconstitués (foucaldien, barthésien, juridique, sociologique, etc.). presence of terms belonging to preconstituted critical fields (Foucauldian, Barthesian, legal, sociological, etc.).
2. Marqueurs d'alignementAlignment markers — cinq familles : modalisation concessive, pluralisme attendu, universalisation prescriptive, méta-réflexion explicative, auto-référence-IA. Symptomatologie des alignements, non leur archéologie. five families: concessive modalization, expected pluralism, prescriptive universalization, explanatory meta-reflection, AI self-reference. Symptomatology of alignments, not their archaeology.
3. Embeddings sémantiquesSemantic embeddings — encodage par paraphrase-multilingual-MiniLM-L12-v2 ; convergence intra-cellule, fidélité à l'amorce, similarité inter-instructions (B1/B2/B3). encoded by paraphrase-multilingual-MiniLM-L12-v2; intra-cell convergence, fidelity to the prompt, inter-instruction similarity (B1/B2/B3).