Sitebestanden en AI-crawlers
Bied je eigen bestanden aan op hun eigen adres, en kies wat AI-crawlers met je site mogen doen.
Bestanden en AI-crawlers… in het sitemenu heeft twee delen. Opslaan bewaart beide samen, en één keer Ongedaan maken draait de wijziging terug. Publiceer om ze te verzenden.
AI-crawlers
Kies Toegestaan of Geblokkeerd voor elk soort AI-crawler:
- Training: AI-bedrijven die tekst verzamelen om hun modellen te trainen.
- AI-antwoorden: AI-zoekmachines die pagina's indexeren om ze in antwoorden te citeren.
- Op verzoek: een AI die een pagina leest omdat iemand haar iets over die pagina vroeg.
Bij het publiceren komen je keuzes in de robots.txt van de site, met een Content-Signal-regel, voor de crawlers die hem lezen. Heeft de site een eigen robots.txt, dan vervangt die deze keuzes.
Bestanden
Bestand toevoegen uploadt een bestand dat de site ongewijzigd op zijn eigen adres aanbiedt, zoals een verificatiebestand, /ads.txt of /.well-known/security.txt. Vul bij Adres het pad in waarop het wordt aangeboden: het begint met "/", gebruikt alleen letters, cijfers en . _ ~ -, en kan geen adres zijn dat de site zelf schrijft (robots.txt, sitemaps, llms.txt, favicons, /_x/).
Een sitebestand is tekst, HTML, CSS, JS, JSON, XML of een afbeelding, tot 1 MB, en een site heeft er hoogstens 50. HTML-bestanden en scripts worden gedownload in plaats van geopend, zodat een bestand niet op je site kan draaien.