文字列とバイト型の配列の変換には、EncodingクラスのGetStringメソッドとGetBytesメソッドを使います。
(その他の方法もありますが、これが一番簡単と思います。)

ご存知と思いますが、文字列を文字コード(≒バイト型)にするときには
どの文字にどの文字コードを割り当てるかを必ず決めておかなければならないので、
エンコードしないでバイト型の配列にするというのは意味がわからない言葉になってしまいます。
(バイト型の配列にする ≒ エンコードするということです。)

My.Computer.FileSystem.ReadAllBytesで読み込んで、
文字列を編集後My.Computer.FileSystem.WriteAllBytesで書き込む例を作りましたので、
参考にしてください。

※本当はByteの配列を結合したいとのことですので、本来やりたいこととちょっと違うと思いますが、
ノウハウはくみ取っていただけるかと思います。

Dim fileName As String = "C:\vb\test.txt"



'shift-jisの場合 

Dim encode As System.Text.Encoding = System.Text.Encoding.GetEncoding("shift_jis")



'utf-8の場合 

'Dim encode As System.Text.Encoding = System.Text.Encoding.UTF8 



Dim readBytes As Byte()

readBytes = My.Computer.FileSystem.ReadAllBytes(fileName)



Dim text As String

text = encode.GetString(readBytes)



text &= "あああああ" & vbNewLine & "いいいいい"



Dim writeBytes As Byte()

writeBytes = encode.GetBytes(text)



My.Computer.FileSystem.WriteAllBytes(fileName, writeBytes, False)