Kalau VPS sebagai mail server, ada kemungkinan juga digunakan untuk webmail ya. Nah, webmail ini juga perlu port 80/443 kalau dipakai banyak orang.
Mungkin setting di web server-nya aja untuk allow IP tertentu, deny all lainnya, khusus untuk vhost (domain/subdomain) yg ditentukan.