あれから色々と調べて、以下のサイトに記載の方法をVBにアレンジして、
メモリ不足は回避できました。

https://social.msdn.microsoft.com/Forums/ie/en-US/88c21427-e765-46e8-833d-6021ef79e0c8/memory-leak-in-ie-webbrowser-control?forum=ieextensiondevelopment

Imports System.Runtime.InteropServices

Public Class Form1
    <DllImport("KERNEL32.DLL", EntryPoint:="SetProcessWorkingSetSize", SetLastError:=True, CallingConvention:=CallingConvention.StdCall)> _
    Private Shared Function SetProcessWorkingSetSize(ByVal pProcess As IntPtr, ByVal dwMinimumWorkingSetSize As Integer, ByVal dwMaximumWorkingSetSize As Integer) As Boolean
    End Function

    <DllImport("KERNEL32.DLL", EntryPoint:="GetCurrentProcess", SetLastError:=True, CallingConvention:=CallingConvention.StdCall)> _
    Private Shared Function GetCurrentProcess() As IntPtr
    End Function

    '途中略

    Private Sub wb_Resize(ByVal sender As Object, ByVal e As System.EventArgs) Handles wb.Resize
        Dim pHandle As IntPtr = GetCurrentProcess()
        SetProcessWorkingSetSize(pHandle, -1, -1)
    End Sub
End Class

ただし、最初に表示されていたはずの画像が表示されない（真っ白になる）という問題は
残ったままなので、もう少し調べてみます。