こんにちは。

私であれば、外部で借りられるサーバーとデータベースを用意します。
アプリケーションとしてはhttp経由でデータが受け取れるもの(つまり、Webサービス)を用意しておき、
エラー報告アプリケーション側はそのWebサービスを呼び出すようにすればよいでしょう。

ただ、おっしゃるように通信内容を解析されていたずらする人がいるかもしれないので、
サービスまでアクセスされてしまうのは仕方ないとしても、そのあと正常なリクエストとそうでないリクエストを区別して、正常なリクエストだけを通過させる仕組みも作らないとダメそうですね。
手軽にやるには時間などその都度変わるもののハッシュを暗号化して、秘密のキーで復号できれば正常であるなどの判定を入れるとよいかと思います。(この方法は手軽で、そこそこのセキュリティを確保できますが万全ではありません。)

外部で借りられるサーバーとデータベースとしては私ならばWindows AzureとSQL Azureを選択します。
なにしろ、.NETでプログラムができますし、この掲示板がすでにAzure上で稼働していますので。
探せばAzure以外にも借りられるところはあるでしょう。
ただし、残念ながらほとんどは有料です。

エラー情報を何に使うかによりますが、個人で作成したソフトを不特定多数に配布する場合を想定しているのであれば、このような仕組みは結構複雑で労力を使うことになるので私はあまりお勧めしません。

>関係ないですが、この掲示板の方のおかげで、ある雑誌のソフト欄に掲載申し込みがありました。
おめでとうございます！
中学生で作成したソフトの掲載申し込みを受け取られるとはすごいですね。