Makin dikit hopnya harusnya sih makin bagus. Cepet apa nggaknya tergantung koneksi yang Tuan pake juga.
Tuan pake buat tunneling/vpn kan?
Pertama kali buat testing koneksi dari vps ke pc Tuan jangan pake tunnel/vpn dulu, bikin proxy di vps dengan squid, lalu test bagaimana kecepatannya. Karena proxy squid koneksinya plain/tanpa enkripsi seharusnya bisa lebih menggambarkan koneksi internet yang Tuan pake.
Kalau masih lambat ya berarti memang koneksi internet yang Tuan pakai kurang bagus.
Kalau ada perbedaan yang signifikan antara koneksi menggunakan proxy dan koneksi menggunakan tunnel, ya Tuan tinggal tweaking settingan di vps dan di clientnya aja.