Cloudflare dan OpenAI menguji cara baru menemukan halaman web
Pilot riset memanfaatkan sinyal jaringan untuk membantu penemuan konten, dengan kontrol akses tetap berada pada pemilik situs.
Mencari halaman yang berguna
Cloudflare membagikan hasil awal pilot riset dengan OpenAI. Sinyal dari jaringan Cloudflare membantu crawler pencarian menemukan halaman yang relevan. OpenAI tetap mengevaluasi dan menentukan peringkat halaman secara mandiri.
Metadata bukan izin akses
Cloudflare menyatakan bahwa sinyal tentang sebuah halaman tidak memberikan izin untuk mengaksesnya. Riset ini menggunakan metadata web untuk pencarian dan penemuan konten, bukan membagikan isi halaman untuk melatih model.
Catatan engineering
Untuk pengelola situs, penemuan konten dan izin crawling perlu diperlakukan sebagai dua hal terpisah. Periksa pengaturan akses crawler sesuai kebutuhan publikasi. Ini merupakan interpretasi editorial atas pengumuman, bukan panduan konfigurasi yang berlaku untuk semua situs.