KostbasenBot

Kostbasens insamlare av priser och produktinformation från svenska webbutiker.

Vad boten gör

KostbasenBot besöker produktsidor hos svenska butiker som säljer kosttillskott och hämtar det som behövs för en prisjämförelse: produktnamn, varumärke, pris, lagerstatus, EAN, ingredienser och produktbild. Uppgifterna visas på kostbasen.se med länk till butiken. Boten hämtar inga personuppgifter och besöker aldrig sidor bakom inloggning, kundvagn eller kassa.

Så känner du igen den

Varje anrop skickar:

User-Agent: KostbasenBot/1.0 (+https://kostbasen.se/bot)
From: [email protected]

Så tar vi hänsyn

Vi följer robots.txt, inklusive regler för User-agent: KostbasenBot samt Crawl-delay och Request-rate.
Ett anrop i taget per butik och minst 3 sekunder mellan anropen, längre om robots.txt anger det.
Boten saktar automatiskt ner när butiken svarar långsamt, följer Retry-After vid 429/503 och avbryter besöket efter upprepade fel.
Vi hämtar inte om oförändrade sidor varje natt. Nya produkter hämtas direkt, övriga produktsidor högst en gång per 1–7 dagar beroende på butikens storlek. Finns en produktlista eller ett flöde med priser använder vi hellre det än att besöka varje produktsida.
Vi försöker aldrig ta oss förbi CAPTCHA, bot-skydd eller andra spärrar. Möter boten en sådan slutar den besöka butiken.

Nattetid

Besöken sker i huvudsak mellan 02 och 07 svensk tid.

Låg belastning

Högst ett anrop per 3 sekunder per butik.

Begränsa eller blockera boten

Lägg till i din robots.txt för att sakta ner boten:

User-agent: KostbasenBot
Crawl-delay: 10

eller för att stänga ute den helt:

User-agent: KostbasenBot
Disallow: /

Ändringar i robots.txt gäller från nästa besök.

Kontakt

Driver du en butik och vill att vi hämtar mindre, vid andra tider eller via ett produktflöde i stället? Hör av dig till [email protected]. Ett produktflöde är ofta bättre för båda parter: färre anrop hos dig och mer aktuella priser hos oss.