Ricerca accademica
Data Provenance Initiative
Audit multi-istituzione dei domini dietro C4, RefinedWeb e Dolma, con raccolta longitudinale di robots.txt e termini di servizio. L'unica misurazione non commerciale delle restrizioni ai crawler AI.
- Copertura
- Corpora di addestramento e consenso sui dati web
- Metodologia pubblicata
- Apri il documento originale
Data Provenance Initiative