サンプルコードはピクチャーボックスとボタンを配置しています。

解決おめでとうございます。一応サンプル作ったのでのせておきます。
'imgClone.Dispose()
その１からその４の疑問ですが、上記箇所のコメントを外すと例外になります。
Listに格納しているから正常に動くように見えますが、Listに格納した後も
imgCloneの変更が適用されているのがわかります。

＞Imageをコピーするには？
サンプルの Dim imgClone As Image = CType(img.Clone(), Image)の部分で
コピーされています。
そのままコピペで動くコードなので試してください。

＞ただし、毎回ファイルから
それよりPictureBoxを画像ファイルの数だけ複数用意するとメモリーを多く
使います。
（ピクチャーボックスが結構重いコントロールのため）
１個のピクチャーボックスに複数の画像を表示するのがお勧めです。
例として、いい加減ですがサムネイル風に表示しているのが以下の部分です。

If x < PictureBox1.Width Then
x += img.Width
Else
y += img.Height
x = 0
End If