書かなかった場合，Disposeパターンに則っているならば，GCされるまでアンマネージリソースが解放されません。
Closeは単にDisposeの別名であることが推奨されているので，Closeしなかった場合でも基本的には同じです。
MSDN: アンマネージ リソースをクリーンアップするための Finalize および Dispose の実装
http://msdn.microsoft.com/ja-jp/library/b1yfkh5e(VS.90).aspx

ただ，[2005]以降でDisposeを明示することが必要な場合というのはあまり多くなく，
Using文が使えるならばUsing文に任せた方がよいです。
# Try-Finally-End Tryを毎回書くより楽ですし。
MSDN: Using ステートメント (Visual Basic)
http://msdn.microsoft.com/ja-jp/library/htd05whh.aspx