事情はわかりました。
一時ファイルや履歴を消すには、
IUrlHistoryStgのDeleteUrlを使うようです。

試していませんが、やりたいことは以下の2点でできると思います。
①WebBrowserを使っている最中は、ITravelLogStgでセッション履歴を消していきます。
②FormClosingイベントなど特定のタイミングに、IUrlHistoryStgのDeleteUrlメソッドで巡回したサイトの履歴を消せばやりたいことができると思います。

＞＞＞参考サイト
http://dobon.net/vb/bbs/log3-27/15894.html#ID15899