この前の質問の時にテストしてる時に思ったんだけど、ボーダーとして既存の処理に期待する
より自分で書いた方が早いかなと。

> できないようであれば、ラベルの座標にピクチャーボックスを置いて枠線を作るようにします。
OnPaint 使っているんだから、e.Graphics を利用して自分で線を描画すればいいのでは？
[DOBON.NET > .NET Tips > 角を丸めて四角を描く]
http://dobon.net/vb/dotnet/graphics/linejoin.html