Boswell Test / Botwell AI Framework

Le Boswell Test est un cadre automatisé innovant conçu pour l'analyse comparative des Grands Modèles de Langage (LLMs). Conceived par le Dr. Peter Luh et mis en œuvre en tant que projet logiciel 'botwell' par le développeur indépendant Alan Wilhelm, l'outil utilise une méthodologie de révision par les pairs. Dans ce système, plusieurs modèles d'IA génèrent des essais sur des domaines spécifiques et évaluent ensuite le travail des uns et des autres pour déterminer la performance relative, le biais de notation et un 'Quotient Boswell' global.

En tant que projet logiciel open source, son 'fabrication' ou développement a principalement lieu grâce aux contributions de la communauté et à la maintenance individuelle sur des plateformes comme GitHub. Le cadre est construit pour interagir avec divers fournisseurs d'IA, tels que OpenRouter, afin de faciliter les tests à travers une gamme variée de modèles incluant GPT, Claude et Llama. Il sert d'alternative multidimensionnelle aux benchmarks statiques traditionnels en exploitant les capacités analytiques des modèles d'IA eux-mêmes.