メリット デメリット
運用の自由度が高い(root権限が与えられている) サーバーに関する知識が必要
他の使用者からの影響を受けにくい ネットワークリソースは他のユーザーと共有する
一定のリソースが与えられている セキュリティの設定も自分でちゃんとしないといけない
容量の大きなプランが多い 割り当てられた以上の容量は使うことができない
専用サーバー並にスペックが高い ハードウェアのカスタマイズはできない
レンタルサーバーの中ではコストパフォーマンスが高め 普通のレンタルサーバーで事足りることも多い
数多くのホスティング会社がサービスを提供している サービスの種類が多すぎて選ぶのに悩む
昔よりもかなり低価格化が進んでいる 「安かろう悪かろう」のようなサービスも存在する
賛成意見 反対意見
VPSは何といっても自由度が高い点が魅力です。自分の必要なプログラムをインストールしたり、ホスティングサービスでは行えない設定変更もできます。

また、最近は価格も安価になってきたため、場合によってはホスティングサービスよりも低コストで高スペックなサーバーを利用できるケースもあります。

実際にホスティングサービスでは重くて運用できなかったサイトもVPSに移転すると安定して運用することができるようになりました。
HTTPサーバーやFTPサーバーのセットアップを自分で行わないといけないため、セキュリティ上問題があるセットアップをしてしまうおそれがある点が問題だと思います。

サーバーに精通したエンジニアなら問題のない作業でしょうが、ホスティングを使用した経験しかないプログラマー・デザイナーなどではアタックをかけられ情報を漏洩させてしまうリスクがホスティングに比べて高いでしょう。

また、当たり前ですがWebサーバーとしてセットアップすることはそれなりの知識が必要です。

FTPソフトでHTMLファイルをアップロードすればホームページが公開される、というわけにはいきませんので、サーバーサイドの知識を学ぶ意識のある方でないとホスティングよりも不便なものになるかもしれません。
参考サイト
さくらのVPS Wikipedia