Rafi Vadra
Beginner 2.0
Supaya tidak di telusuri googlebotOh ya, saya mau tanya juga fungsi Disallow: /*? untuk apa ?
Supaya tidak di telusuri googlebotOh ya, saya mau tanya juga fungsi Disallow: /*? untuk apa ?
Supaya tidak di telusuri googlebot
Sama aja muncul pesan kayak gini di webmaster "You have a robots.txt file that we are currently unable to fetch. In such cases we stop crawling your site until we get hold of a robots.txt, or fall back to the last known good robots.txt file." pusing saya :'(Kode Disallow: /*? Sebab saya dulu pernah memasang kode Disallow: /*?, dengan semua awalan /*? akhirnya terjadi tidak valid pada robots.txt.. mohon dikoreksi jika saya salah (CMIWW)
Sama aja muncul pesan kayak gini di webmaster "You have a robots.txt file that we are currently unable to fetch. In such cases we stop crawling your site until we get hold of a robots.txt, or fall back to the last known good robots.txt file." pusing saya :'(
Sitemap saya pakai plugin, jika buat file sitemap.xml apa gk berdampak pada sesuatu?Bagaimana jika dicoba format seperti ini :
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /search
Allow:/
User-agent: Googlebot
Disallow: /search
Allow: /
Sitemap: http://nesianews.com/sitemap.xml
Coba buat juga file sitemap.xml pada website anda
Sama aja om :'( pas di Fecth as Google ya Temporarily unreachable adakah yg mau ikhlas bantu sya? nanti saya kasih akses ke wp saya, panel vps saya?
location = /robots.txt {
# Some WordPress plugin gererate robots.txt file
# Refer #340 issue
try_files $uri $uri/ /index.php?$args;
access_log off;
log_not_found off;
}
Saya cek di /etc/nginx/common gak ada anunya adanya di usr/local/apps/nginx/etc/conf.d/common lah common ini file bukan directory apa di file common ini?saya kebetulan juga pake nginx (easyengine)
di folder common (/etc/nginx/common)
ada file 'locations.conf'
salah satu isinya directive untuk robots.txt
barangkali bisa dicobaCode:location = /robots.txt { # Some WordPress plugin gererate robots.txt file # Refer #340 issue try_files $uri $uri/ /index.php?$args; access_log off; log_not_found off; }
Saya cek di /etc/nginx/common gak ada anunya adanya di usr/local/apps/nginx/etc/conf.d/common lah common ini file bukan directory apa di file common ini?
jadi gimana nih mas? solusinya? saya juga sudah masukkan ip google ke csf.ignore dan csf.allow apa itu jg percuma?saya pake setup dari easyengine, sama seperti setup nginx standard
setup dari webuzo mungkin berbeda
dan tidak bisa di edit seenaknya karena perubahan file konfigurasi (.conf, .cf, .cnf, .ini) sudah diatur oleh daemon webuzo
perubahan secara manual akan di rewrite oleh daemon