> じわじわとメモリ使用量が増えていきます。
この原因が何であるのかを調査できるのは、現時点ではソースコードを持つご自身だけでしょうね…。


> 「3歩進んで2歩下がる」という感じの増え方です。
ガベージコレクトによる回収だとしたら、どこかの時点で
まとめて 64歩ぐらい下がることもあるかも知れません。


> タスクマネージャーでこのアプリのメモリ使用量を見ると、
タスクマネージャーのどの部分を見ているか分かりませんが、
パフォーマンスモニターで確認した方が良いかと思います。
http://blog.livedoor.jp/blackwingcat/archives/1842334.html
http://tasano2525.blogspot.jp/2014/07/c.html
http://troushoo.blog.fc2.com/blog-entry-131.html
https://techinfoofmicrosofttech.osscons.jp/index.php?%E3%83%91%E3%83%95%E3%82%A9%E3%83%BC%E3%83%9E%E3%83%B3%E3%82%B9%20%E3%82%AB%E3%82%A6%E3%83%B3%E3%82%BF