Kapan bot/spider mengunjungi situs anda?

Discussion in 'Search Engine dan Direktori Web' started by Optinux, 19 Sep 2007.

Thread Status:
Not open for further replies.
  1. Optinux

    Optinux (Ret) Community Leader

    Messages:
    44
    Likes Received:
    0
    Trophy Points:
    6
    Kadang penasaran rasanya, apakah halaman2 web kita telah dikunjungi oleh robot/crawler/spider dari berbagai search engine?
    Bila anda ingin mengetahuinya, berikut ada contoh sederhana untuk mengirimkan email ke mailbox anda setiap ada kunjungan dari search engine.
    Mudah2an bermanfaat.

    Deteksi IP:
    PHP:
    <?php
    /* Letakkan kode ini dalam script anda */

    $my_email 'yourname@change2yourdomain.com';
    $to_email 'yourname@change2yourdomain.com';

    $ip $_SERVER['REMOTE_ADDR'];

    /* IP range berikut hanya sebahagian dari IP Google, Inktomi/Yahoo, dan MSN */
    $robot_ip_range '^64\.68\.8[0-7]|^66\.249\.(6[4-9]|9[0-5])|^216\.239\.(3[2-9]|6[0-3])|'.
                      
    '^66\.196\.(6[4-9]|[7-9][0-9]|1[0-2][0-7])|^68\.142\.(19[2-9]|2[0-5][0-5])|'.
                      
    '^65\.(5[2-5])|^207\.68\.(12[8-9]|1[3-9][0-9]|20[0-7])';

    if ( 
    preg_match("/$robot_ip_range/i",$ua) ) {
      
    $filename $_SERVER['PHP_SELF'];
      
    $subject 'Robot was here...';
      
    $mail_body "Robot was here...\n".
                            
    "Filename: $filename\n".
                            
    "From IP: $ip\n";
      
    $headers "From: $my_email\n".
                         
    "X-Mailer: PHP\n";
      
    mail($to_email$subject$mail_body$headers);
    }

    echo 
    'Done...!';
    ?>

    Deteksi UserAgent:
    PHP:
    <?php
    /* Letakkan kode ini dalam script anda */

    $my_email 'yourname@change2yourdomain.com';
    $to_email 'yourname@change2yourdomain.com';

    $ua $_SERVER['HTTP_USER_AGENT'];

    $robot_list 'Googlebot|Yahoo|msnbot|Inktomi|Slurp|Gigabot|FAST|Jeeves|Teoma|Webcrawler|Scooter'.
                  
    '|Robozilla|ia_archive|Scrubby|wisenutbot|zyborg|Baiduspider|Crawl|Robot|Spider|Archive|Snapbot';

    if ( 
    preg_match("/$robot_list/i",$ua) ) {
      
    $filename $_SERVER['PHP_SELF'];
      
    $subject 'Robot was here...';
      
    $mail_body "Robot was here...\n".
                            
    "Filename: $filename\n".
                            
    "Useragent: $ua\n";
      
    $headers "From: $my_email\n".
                         
    "X-Mailer: PHP\n";
      
    mail($to_email$subject$mail_body$headers);
    }

    echo 
    'Done...!';
    ?>
     
  2. ruangweb

    ruangweb (Ret) Community Leader

    Messages:
    688
    Likes Received:
    6
    Trophy Points:
    18
    sebenernya juga bisa diliat di statistik spt webalizer, awstat atau googleanalytics.

    ribet juga kalo situs kita adalah situs populer yg rajin dikunjungin bot, tiap kali bot masuk ngirim email
     
  3. belajar

    belajar Beginner 1.0

    Messages:
    16
    Likes Received:
    0
    Trophy Points:
    1
    thanks bos infonya
    bermanfaat nih....
     
  4. elmatruder

    elmatruder Banned!

    Messages:
    96
    Likes Received:
    0
    Trophy Points:
    0
    FUNGSI dari GOOGLE SPY and YAHOO BOT iTu apa...?
    mohon petunjuk nya...
     
  5. bangipung

    bangipung Beginner 2.0

    Messages:
    57
    Likes Received:
    0
    Trophy Points:
    6
    kalau pake histats sama gak ya ? :confused:
     
  6. bedebah

    bedebah Apprentice 2.0

    Messages:
    582
    Likes Received:
    4
    Trophy Points:
    18
    Mengindeks halaman web kita agar masuk ke database mereka.
    emang ada google spy? setahu saya googlebot, dan itu bukan spybot. tapi robot pengindeks.
     
  7. bangipung

    bangipung Beginner 2.0

    Messages:
    57
    Likes Received:
    0
    Trophy Points:
    6
    kalau pake wordpress kayaknya ada deh plugin utk google analyticnya
    tp apakah tambahan kode script ini tdk membuat web kt jd lebih lambat ?
     
  8. abeng

    abeng Beginner 2.0

    Messages:
    39
    Likes Received:
    0
    Trophy Points:
    6
    Yang pasti sepengetahuan saya, kunjungan bot-bot mesin pencari menghabiskan resource bandwidth yang lumayan..
     
  9. skynick

    skynick Beginner 2.0

    Messages:
    41
    Likes Received:
    0
    Trophy Points:
    6
    Pada intinya, penting apa tidak sih? Bukankah nilai sebuah website terletak pada konten, dan penilaian adalah tergantung user?
     
  10. basmin

    basmin Beginner 1.0

    Messages:
    12
    Likes Received:
    0
    Trophy Points:
    1
    thanks bos udah sharing script nya, tapi kalo saya lebih suka menggunakan fasilitas dari server hosting :D
     
Loading...
Thread Status:
Not open for further replies.

Share This Page

Loading...