こんな感じかなっと… 
 
Option Strict Off 
 
Public Class Form1 
 
    Dim 前回の文字列 As String = "" 
 
    Private Sub TextBox1_TextChanged(ByVal sender As System.Object, ByVal e As System.EventArgs) _ 
    Handles TextBox1.TextChanged 
        Dim TextBox As TextBox = sender 
 
        If 追加文字の抽出(前回の文字列, TextBox.Text) = ">"c Then 
            MsgBox(">が追加されました。") 
        End If 
 
        前回の文字列 = TextBox.Text 
    End Sub 
 
    Private Function 追加文字の抽出(ByVal 変更前 As String, ByVal 変更後 As String) As Char 
        If 変更後.Length < 変更前.Length Then 
            Return Nothing 
        End If 
 
        For I As Integer = 0 To 変更前.Length - 1 
            If 変更前(I) <> 変更後(I) Then 
                Return 変更後(I) 
            End If 
        Next 
        Return 変更後(変更後.Length - 1) 
    End Function 
End Class