Apa yang dimaksud dengan robots.txt
arifahluwung
robots.txt adalah file teks yang menghentikan perangkat lunak perayap web seperti Googlebot agar tidak merayapi laman tertentu di situs Anda. File ini pada dasarnya merupakan daftar perintah, seperti Allow dan Disallow, yang memberi tahu perayap web tentang URL yang dapat atau tidak dapat diambil. Jadi, jika URL tidak diizinkan dalam robots.txt, URL tersebut dan kontennya tidak akan muncul di hasil Google Penelusuran.
0 votes
Thanks 1
Recommend Questions
refiana8293
May 2021 | 0 Replies
1)Position value system bilangan octal adalah perpangkatan dari nilai…Pilih salah satu:a. 16b. 4c. 8d. 10e. 22)Berikut ini merupakan storage device adalahPilih salah satu:a. Keyboardb. Pentiumc. Monitord. Flashdiske. Core i73)Fungsi operasi komputer yang dapat menghubungkan komputer dengan lingkungan luar adalahPilih salah satu:a. Fungsi operasi pemindahan datab. Fungsi operasi pengolahan datac. Fungsi operasi perhitungan datad. Fungsi operasi penyimpanan datae. Fungsi operasi kontrol data