Anubis anti-scraping software

Anubis is een gespecialiseerde open-source softwaretoepassing die is ontworpen om websites te beschermen tegen agressief webscraping en geautomatiseerde crawlers. Het is gemaakt door de technoloog Xe Iaso en oorspronkelijk ontwikkeld om serveroverbelasting te verminderen veroorzaakt door webcrawlers die traditionele uitsluitingsprotocollen zoals robots.txt negeerden. De software functioneert door een proof-of-work (PoW) uitdaging in te voeren die de browser van een bezoeker moet oplossen voordat toegang tot de site kan worden verkregen, waardoor grootschalige geautomatiseerde scraping effectief rekenkracht kostbaar en minder haalbaar maakt.

Sinds de oprichting heeft Anubis aanzienlijke bekendheid verworven binnen de community van vrije en open-source software (FOSS). Het wordt momenteel gebruikt door hooggeplaatste organisaties en projecten, waaronder de Linux Kernel mailinglijst, het GNOME Project, FFmpeg en Wine. Omdat het een open-source project is dat wordt gehost op platforms zoals GitHub en onderhouden door gemeenschapsbijdragers, heeft het geen traditionele bedrijfsproductielocatie of een enkele commerciële eigenaar; het blijft onderdeel van de wereldwijde digitale infrastructuur die beschikbaar is onder de MIT-licentie.