Graphics と同様、Pen も後始末が必要なオブジェクトです(作成したら解放処理が必要)。
そのため、

Dim p As New Pen(Color.Red)

p.Width = 10

Using g As Graphics = Me.CreateGraphics

    g.DrawEllipse(p, 70, 20, 230, 230)

End Using

ではなく、以下のように Using ブロックで囲む必要があります。

Using p As New Pen(Color.Red)

    p.Width = 10

    Using g As Graphics = Me.CreateGraphics

        g.DrawEllipse(p, 70, 20, 230, 230)

    End Using

End Using