SelectedIndexをListBoxをクリック時等で別な変数に保存してみてはどうですか？

>ClickのイベントではSelectedIndex が負の数値にならないみたいですし

クリックイベントでは負の数値にならないとしても、他でなる可能性はあります。
なっているから、

>InvalidArgument=Value of '-1' is not valid for 'index'. Parameter name: index

と言われるわけです。