Seznam

1 crawler(s) · json

CrawlerTokenCategoryrobots.txt
SeznamBotSeznamBotSearch enginesobeys robots.txt (documented)

Documentation: https://napoveda.seznam.cz/en/seznamzbozi/subject-matter-crawler/