解決方法は簡単でした。
Dim url As Uri = New Uri(Textaddress.Text)
        If url.HostNameType = UriHostNameType.Dns Then
            Dim iconURL = "http://" & url.Host & "/favico"
            Dim request As System.Net.WebRequest = System.Net.HttpWebRequest.Create(iconURL)
            Dim response As System.Net.HttpWebResponse = request.GetResponse()
            Dim stream As System.IO.Stream = response.GetResponseStream
            Dim favicon = Image.FromStream(stream)
            Me.ico.Image = favicon
        End If

このコードの
Dim iconURL = "http://" & url.Host & "/favico"
これを
Dim iconURL = "http://" & url.Host & "/favicon.ico"
に変えた所スムーズにアイコンを取得してくれます。
ぜひ参考にしてみてくださいｗｗ