PaintPicutre を使えば、左右反転・上下反転・上下左右反転が可能です。
その意味では、180度回転させることができるわけですが、標準機能でできるのはそこまでですね。

より細かい回転制御が必要な場合には、難易度が大幅に上がりますが、
下記のような方法を利用できます。

(案1) GDI+ の Flat API を使って回転させる。(GdipRotateWorldTransform 関数など)
(案2) DirectX Graphics / Direct3D を使って Z 軸を中心に回転させる。(D3DXMatrixRotationZ など)
(案3) 三角関数を用いて回転前後の座標を求め、Point メソッドと PSet メソッドを利用して、
　1 ドットずつ描画していく。