WannadoBot — onze crawler

Wannado is een gids voor uitjes en evenementen in Nederland. WannadoBot haalt publieke agendapagina's op van theaters, poppodia, musea en attracties, zodat hun programma terug te vinden is op wannado.nl. Elk evenement dat we tonen linkt door naar de pagina van de locatie zelf.

Deze pagina staat er zodat je kunt zien wie er langskomt, wat hij doet en hoe je hem stuurt of buiten de deur houdt.

Hoe je hem herkent

Aan de user-agent:

WannadoBot/1.0 (+https://wannado.nl/crawler)

En aan het IP-adres. Dit zijn onze enige crawl-adressen; beide hebben een reverse-DNS die naar crawler.wannado.nl wijst, en die hostnaam wijst terug naar dezelfde adressen.

138.201.245.154/322a01:4f8:c012:d799::1/128

Dezelfde lijst machinaal leesbaar: /crawler/ips.json.

We gebruiken één vaste user-agent en verbergen ons niet achter een browserstring. Ziet je log een browser, dan zijn wij dat niet.

Wat hij doet

• Alleen GET, alleen pagina's die voor iedere bezoeker open staan. Geen formulieren, geen inloggen, geen bestellen.
• Hij leest je robots.txt en houdt zich aan Disallow, Allow en Crawl-delay — uit de groep WannadoBot als je die hebt, anders uit *. Kunnen we je robots.txt niet lezen door een serverfout, dan halen we niets op.
• Minstens anderhalve seconde tussen twee verzoeken aan dezelfde site, en langer als je Crawl-delay daarom vraagt. In de dagelijkse ronde zit er zes tot zeven minuten tussen twee pagina's van dezelfde site.
• Hij begint bij je sitemap.xml en volgt van daaruit de pagina's die over programma of tickets gaan. Hij loopt je site niet blind af.
• Hij stuurt If-None-Match en If-Modified-Since mee, dus op een onveranderde pagina antwoord je met 304 en verstuur je niets.
• Geen cookies, geen tracking, en toestemmingsdialogen worden niet geladen.
• Sites die hun agenda pas met JavaScript opbouwen laten we door een externe renderdienst ophalen. Die stuurt dezelfde user-agent mee, maar komt van een IP van die dienst en niet van de twee hierboven.
• Om er naam, datum, prijs en locatie uit te halen gaat de tekst van een agendapagina door een taalmodel van een externe aanbieder. Dat is extractie: we gebruiken je pagina's niet om modellen te trainen, en bij elk evenement staat de link naar jouw pagina.

Wat we bewaren

Van een agendapagina: naam, datum en tijd, locatie, prijs, beschrijving, een afbeelding en de link naar jouw pagina. Die link staat bij elk evenement op wannado.nl, dus bezoekers die verder willen komen bij jou uit. We halen geen persoonsgegevens op en we crawlen niets wat achter een login staat.

Hem sturen of uitsluiten

Via je robots.txt. Helemaal buiten de deur:

User-agent: WannadoBot
Disallow: /

Of een deel, met een rustiger tempo:

User-agent: WannadoBot
Disallow: /intern/
Crawl-delay: 30

We lezen je robots.txt hooguit één keer per etmaal per site, dus een wijziging is binnen een dag van kracht.

Contact

Vragen, of gedraagt hij zich niet zoals hier staat? Mail [email protected]. Stuur er de datum, het tijdstip en een paar regels uit je log bij, dan kunnen we het terugvinden. Wil je juist dat we je agenda ophalen en lukt dat niet, dan horen we dat ook graag.