ラベルの数、ボタンの数は４つなのでしょうか？
４つで固定できるなら、

Writer.WriteLine(Label1.Text & "," & Label2.Text & "," & Label3.Text & "," & Label4.Text )
で１行に出力できると思います。今は&でなくて+でもよかったかも＾＾；
CSVの区切りを","としているので、TABならvbTab（だったかな）として下さい。

もし、一つのラベルに同時に1,2のような形で入るのであれば、
分割する必要がありますね。