Format関数でvalueの値によっては\\が意味を持たない文字として無視される場合があるのかもしれません。
下記のように\をシングルクォート(')で囲うことで明示的に出力させることができませんか？
Private _format2 As String = "'\'#,##0.000"

>>下記のコーディングをしたいのですが此の時点で、_format2 に￥￥が有りません
>>Dim formatted As String = Format(value, _format2)
第二引数でformatを直接設定していますが、合っていますか？