画面上の動きは以下のような感じでしょうか？

    ボタン         Label1                    Label2
 1  button1       1
 2  button2       1                           1
 3  button1       1, 2                        1
 4  button2       1, 2                        1, 2
 5  button2       1, 2                        1, 2, 3


CSVの内容
1のとき
  1

2のとき
　1, 1

3のとき
  1, 1
  2

4のとき  
  1, 1
  2, 2

5のとき
  1, 1
  2, 2
   , 3

のようになるのでしょうか？
だとすると追記は出来ないので毎回ファイルの書き直しが必要になります。



> Writer.WriteLine(Label1.Text & "," & Label2.Text & "," & Label3.Text & "," & Label4.Text )
についてですが
&ではなく+を使用するのは昔から出来ますが+は数値と一緒に使用した場合に文字列が数値へ
変換されてしまいバグのもとになるのでやめましょうということです。
1 + "2" => 3
1 & "2" => "12"
※1を文字列にすることがやりたいことが明確になり確実です。

またこの場合
Writer.WriteLine("{0},{1},{2},{3}",Label1.Text, Label2.Text, Label3.Text, Label4.Text)
と書いた方が&演算を複数書くことによる見にくさを回避できます。