Cara memperbaiki googlebot can't acces your site di WP dengan Nginx


Status
Not open for further replies.

Plasawebs

Apprentice 2.0
Supaya tidak di telusuri googlebot

Kode Disallow: /*? Sebab saya dulu pernah memasang kode Disallow: /*?, dengan semua awalan /*? akhirnya terjadi tidak valid pada robots.txt.. mohon dikoreksi jika saya salah (CMIWW)
 
Last edited:

Rafi Vadra

Beginner 2.0
Kode Disallow: /*? Sebab saya dulu pernah memasang kode Disallow: /*?, dengan semua awalan /*? akhirnya terjadi tidak valid pada robots.txt.. mohon dikoreksi jika saya salah (CMIWW)
Sama aja muncul pesan kayak gini di webmaster "You have a robots.txt file that we are currently unable to fetch. In such cases we stop crawling your site until we get hold of a robots.txt, or fall back to the last known good robots.txt file." pusing saya :'(
 

Plasawebs

Apprentice 2.0
Sama aja muncul pesan kayak gini di webmaster "You have a robots.txt file that we are currently unable to fetch. In such cases we stop crawling your site until we get hold of a robots.txt, or fall back to the last known good robots.txt file." pusing saya :'(

Bagaimana jika dicoba format seperti ini :

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /search
Allow:/

User-agent: Googlebot
Disallow: /search
Allow: /
Sitemap: http://nesianews.com/sitemap.xml

Coba buat juga file sitemap.xml pada website anda
 

Rafi Vadra

Beginner 2.0
Bagaimana jika dicoba format seperti ini :

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /search
Allow:/

User-agent: Googlebot
Disallow: /search
Allow: /
Sitemap: http://nesianews.com/sitemap.xml

Coba buat juga file sitemap.xml pada website anda
Sitemap saya pakai plugin, jika buat file sitemap.xml apa gk berdampak pada sesuatu?
 

Rafi Vadra

Beginner 2.0
Sama aja om :'( pas di Fecth as Google ya Temporarily unreachable adakah yg mau ikhlas bantu sya? nanti saya kasih akses ke wp saya, panel vps saya?
 

mas.satriyo

Hosting Guru
Sama aja om :'( pas di Fecth as Google ya Temporarily unreachable adakah yg mau ikhlas bantu sya? nanti saya kasih akses ke wp saya, panel vps saya?

saya kebetulan juga pake nginx (easyengine)
di folder common (/etc/nginx/common)
ada file 'locations.conf'
salah satu isinya directive untuk robots.txt
Code:
location = /robots.txt {
  # Some WordPress plugin gererate robots.txt file
  # Refer #340 issue
  try_files $uri $uri/ /index.php?$args;
  access_log off;
  log_not_found off;
}
barangkali bisa dicoba
 

Rafi Vadra

Beginner 2.0
saya kebetulan juga pake nginx (easyengine)
di folder common (/etc/nginx/common)
ada file 'locations.conf'
salah satu isinya directive untuk robots.txt
Code:
location = /robots.txt {
  # Some WordPress plugin gererate robots.txt file
  # Refer #340 issue
  try_files $uri $uri/ /index.php?$args;
  access_log off;
  log_not_found off;
}
barangkali bisa dicoba
Saya cek di /etc/nginx/common gak ada anunya adanya di usr/local/apps/nginx/etc/conf.d/common lah common ini file bukan directory apa di file common ini?
 

mas.satriyo

Hosting Guru
Saya cek di /etc/nginx/common gak ada anunya adanya di usr/local/apps/nginx/etc/conf.d/common lah common ini file bukan directory apa di file common ini?

saya pake setup dari easyengine, sama seperti setup nginx standard
setup dari webuzo mungkin berbeda
dan tidak bisa di edit seenaknya karena perubahan file konfigurasi (.conf, .cf, .cnf, .ini) sudah diatur oleh daemon webuzo
perubahan secara manual akan di rewrite oleh daemon
 

Rafi Vadra

Beginner 2.0
saya pake setup dari easyengine, sama seperti setup nginx standard
setup dari webuzo mungkin berbeda
dan tidak bisa di edit seenaknya karena perubahan file konfigurasi (.conf, .cf, .cnf, .ini) sudah diatur oleh daemon webuzo
perubahan secara manual akan di rewrite oleh daemon
jadi gimana nih mas? solusinya? saya juga sudah masukkan ip google ke csf.ignore dan csf.allow apa itu jg percuma?
 
Status
Not open for further replies.

Top