Biasanya, ini langkah2 umum yang dilakukan:
1) Aktifkan cache dan set waktu expirenya lebih panjang untuk mengurangi load
2) Aktifkan gzip compression di web server supaya data yang dikirim lebih kecil
3) Disable plugin2 yang tidak terlalu dibutuhkan
4) Optimize image
5) Perkecil ukuran css dan javascript
6) Gunakan CDN (ini kalau VPSnya di Luar Negeri. Untuk VPS lokal gak perlu)
Selengkapnya bisa dibaca di link berikut ini mas:
https://www.rosehosting.com/blog/how-to-speed-up-and-optimize-wordpress-on-a-linux-vps/