GCが原因なら，Marshal.AllocHGlbalでアンマネージドメモリを割り当てれば済みそうな気がしますが……。
# るきおさんと同じく検証したわけではありませんが。

[MSDN] Marshal.AllocHGlobal
http://msdn.microsoft.com/ja-jp/library/s69bkh17.aspx
[MSDN] Marshal.Copy
http://msdn.microsoft.com/ja-jp/library/ms146625.aspx
[MSDN] Marshal.FreeHGlobal
http://msdn.microsoft.com/ja-jp/library/system.runtime.interopservices.marshal.freehglobal.aspx