DNS Belgium maakt Mercator, de crawler die data van domeinnamen controleert om misbruik tegen te gaan, open source. Dat betekent dat iedereen de code én de crawler nu kan gebruiken voor eigen doeleinden. We hopen hiermee de sector van de domeinnamen vooruit te helpen.
De crawler die DNS Belgium ontwikkelt, kijkt naar recent geregistreerde domeinnamen en verzamelt voor elk van die domeinnamen informatie die publiek beschikbaar is. Het gaat dan over:
- DNS-records, data die worden gebruikt om jouw domein te vertalen naar een IP-adres .
- Locatie: waar is de webpagina gehost, waar bevinden de nameservers en SMTP-servers zich?
- Webinhoud zoals html-code, BTW-nummer, een screenshot van de homepage, gebruikte webtechnologieën.
- Informatie over de server voor uitgaande mail.
- TLS-configuratie voor een veilige verbinding met het internet.
De informatie die we hier verzamelen, is al publiek toegankelijk. We breken dus geen inbreuk op de privacywetgeving.
DNS Belgium controleert al die gegevens om de .be-zone zo veilig mogelijk te maken. Door die controle kunnen we misbruik van domeinnamen voor malafide doeleinden snel opsporen.
De developers van DNS Belgium hebben deze crawler zelf ontwikkeld. ‘We zijn daar drie jaar geleden mee begonnen. Aanvankelijk hadden we slechts beperkte middelen om aan dit project te besteden. Maar we wilden het toch doen, omdat we meenden dat het belangrijk was om zo snel mogelijk gegevens te verzamelen’, zegt Quentin Loos, die de crawler mee ontwikkelde. ‘Ons eerste doel was de detectie van fake webshops. Daarvoor konden we ons voornamelijk baseren op de inhoud van de website.’
Gebruik gratis onze crawler
Hier vind je alle files en code die je nodig hebt om onze crawler, Mercator, te gaan gebruiken.
De sector vooruit helpen
De crawler die DNS Belgium ontwikkelde is nu open source. Dat wil zeggen dat iedereen toegang heeft tot de code van de crawler en die gratis kan gaan gebruiken. ‘Er zijn drie redenen om dat te doen’, zegt Quentin. ‘Ten eerste willen we de sector helpen. Kleine registries hebben meestal niet de middelen om crawlers te ontwikkelen, ook al zouden ze er nuttig gebruik van kunnen maken.’
‘Verder is het onze missie om een centre of excellence te zijn en de samenleving te helpen. Dat kunnen we doen door een voorbeeldrol te spelen op het vlak van innovatie. Er zijn andere registries die ook een eigen crawler ontwikkelden. Door de onze gratis beschikbaar te maken, moedigen we hen aan om dat ook te doen. Dit zou ons helpen om samen gemakkelijker nieuwe functionaliteit te ontwikkelen, bugs op te sporen…’
En ten slotte kunnen we door kennis en ervaring te delen met andere crawlers de manier waarop we gegevens presenteren en uitwisselen misschien standaardiseren. Om fraude te bestrijden is het nuttig om gegevens tussen registers uit te wisselen of om gegevens op een uniforme manier met registrars te delen.
Onze crawler open source maken is een van de vele dingen die we doen om het internet veiliger te maken.
‘Om de verspreiding van onze crawler te bevorderen, zijn we die intensief aan het promoten in de CENTR -gemeenschap. Zo hebben we bijvoorbeeld al een workshop georganiseerd met meerdere registries waarbij elke deelnemer de crawler in een nieuwe AWS-account heeft opgezet’, vertelt Quentin.
Met dit artikel ondersteunen wij de Duurzame Ontwikkelingsdoelstellingen van de Verenigde Naties.