Tech & MediaTweakers
'Ook OpenAI en Anthropic negeren robots.txt-verzoeken om sites niet te scrapen'
OpenAI en Anthropic negeren verzoeken van websites in robots.txt-bestanden om niet gescrapet te worden. Dat beweert Business Insider. Eerder schreef Wired al dat het bedrijf achter de AI-zoekmachine Perplexity dergelijke nietscrapenverzoeken ook negeert.
:strip_exif()/i/2005545080.jpeg?f=meta)
Je gaat naar de website van de uitgever. Hier tonen we alleen een korte intro.
/s3/static.nrc.nl/wp-content/uploads/2026/10/31100906/311026BUI_2038040460_.jpg)
/s3/static.nrc.nl/wp-content/uploads/2026/10/30093541/301026ECO_2037920465_anthropic03.jpg)