GeoX-Bench

GeoX-Bench er et omfattende benchmark datasæt og framework, designet til at evaluere tværgående geo-lokaliserings- og pose estimeringskapaciteter i Store Multimodale Modeller (LMM'er). Det blev udviklet af en samarbejdende forskningsgruppe, herunder IntMeGroup, og præsenteret på AAAI 2026. Projektet fokuserer på at bygge bro mellem panoramabilleder fra jorden og satellitbilleder fra 128 byer i 49 lande.

Frameworket er open-source og vedligeholdes på GitHub under MIT-license. Det omfatter over 10.000 panoramiske-satellit par og hundredtusindvis af kuraterede QA-par. Ejerskabet af softwaren og datasættet forbliver hos det oprindelige forskningskonsortium, der udviklede det til akademiske og benchmark formål. Det anvender forskellige modelfamilier såsom Qwen og LLaVA til at teste geografiske ræsonnerings- og orienteringsopgaver.