Cara Memblokir Perayap OpenAI Dari Memotong Situs Web Anda

Cara Memblokir Perayap OpenAI Dari Memotong Situs Web Anda
Pembaca seperti Anda membantu mendukung MUO. Saat Anda melakukan pembelian menggunakan tautan di situs kami, kami dapat memperoleh komisi afiliasi. Baca selengkapnya.

Meskipun pengguna menyukai ChatGPT karena banyaknya informasi yang dimilikinya saat ini, hal yang sama tidak berlaku untuk pemilik situs web.





Video MUO hari ini GULIR UNTUK LANJUTKAN DENGAN KONTEN

ChatGPT OpenAI menggunakan perayap untuk mengikis situs web, tetapi jika Anda adalah pemilik situs web, dan Anda tidak ingin perayap OpenAI mengakses situs web Anda, berikut adalah beberapa hal yang dapat Anda lakukan untuk mencegahnya.



sistem operasi tidak ditemukan windows 7

Bagaimana Cara Kerja Perayapan OpenAI?

A perayap web (juga dikenal sebagai spider atau bot mesin pencari) adalah program otomatis yang memindai internet untuk mendapatkan informasi. Itu kemudian mengkompilasi informasi itu dengan cara yang mudah bagi mesin pencari Anda untuk mengaksesnya.





Perayap web mengindeks setiap halaman dari setiap URL yang relevan, biasanya berfokus pada situs web yang lebih relevan dengan permintaan pencarian Anda. Misalnya, anggap saja Anda sedang mencari kesalahan Windows tertentu di Google. Perayap web dalam mesin pencari Anda akan memindai semua URL dari situs web yang dianggap lebih otoritatif pada topik kesalahan Windows.

Perayap web OpenAI disebut GPTBot, dan menurut dokumentasi OpenAI , memberikan GPTBot akses ke situs web Anda dapat membantu melatih model AI menjadi lebih aman, dan lebih akurat, dan bahkan dapat membantu memperluas kemampuan model AI.



Cara Mencegah OpenAI Merayapi Situs Web Anda

Seperti kebanyakan perayap web lainnya, GPTBot dapat diblokir untuk mengakses situs web Anda dengan memodifikasi situs web tersebut robots.txt protokol (juga dikenal sebagai protokol pengecualian robot). File .txt ini dihosting di server situs web, dan mengontrol perilaku perayap web dan program otomatis lainnya di situs web Anda.

Berikut adalah daftar singkat tentang apa itu robot.txt file dapat melakukan:



  • Itu sepenuhnya dapat memblokir GPTBot dari mengakses situs web.
  • Itu hanya dapat memblokir halaman tertentu dari URL agar tidak diakses oleh GPTBot.
  • Itu dapat memberi tahu GPTBot tautan mana yang dapat diikuti, dan mana yang tidak.

Berikut cara mengontrol apa yang dapat dilakukan GPTBot di situs web Anda:

Blokir Sepenuhnya GPTBot Dari Mengakses Situs Web Anda

  1. Siapkan file robot.txt , lalu edit dengan alat pengeditan teks apa pun.
  2. Tambahkan GPTBot ke situs Anda robots.txt sebagai berikut:
 User-agent: GPTBot 
Disallow: /

Blokir Hanya Halaman Tertentu Agar Tidak Diakses oleh GPTBot

  1. Siapkan robot.txt file, lalu edit dengan alat pengeditan teks pilihan Anda.
  2. Tambahkan GPTBot ke situs Anda robots.txt sebagai berikut:
 User-agent: GPTBot 
Allow: /directory-1/ 
Disallow: /directory-2/

Namun, perlu diingat bahwa mengubah robot.txt file bukanlah solusi retroaktif, dan informasi apa pun yang mungkin telah dikumpulkan GPTBot dari situs web Anda tidak akan dapat dipulihkan.



OpenAI Memungkinkan Pemilik Situs Web untuk Keluar dari Perayapan

Sejak perayap digunakan untuk melatih model AI, pemilik situs web telah mencari cara untuk menjaga privasi data mereka.

Beberapa orang khawatir bahwa model AI pada dasarnya mencuri pekerjaan mereka, bahkan menghubungkan kunjungan situs web yang lebih sedikit dengan fakta bahwa sekarang pengguna mendapatkan informasi mereka tanpa harus mengunjungi situs web mereka.

Secara keseluruhan, apakah Anda ingin sepenuhnya memblokir bot obrolan AI dari memindai situs web Anda sepenuhnya adalah pilihan Anda.

cara menambah ram di laptop gratis