さくらのインターネットライトプランではFTPがOKでしたので、（3）の方法でやってみました。

Public Class Form1

    Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click

        Try

            My.Computer.Network.UploadFile(

                "d:\sample.txt", "ftp://hostname.sakura.ne.jp/www/sample.txt",

                "loginID", "password")

            TextBox1.Text = "アップロードできました。"

        Catch ex As Exception

            MessageBox.Show(ex.Message)

        End Try

    End Sub

End Class

これでうまくいきました！

うまくいかない原因の大半は、パラメータが間違っていることによるものでした。
ちなみに　"ftp://hostname.sakura.ne.jp/www/sample.txt"　の「/www」は、
さくらのローカルの初期フォルダに由来するもので、いらないプロバイダも多いと思います。

わかってしまえば簡単ですね。詳しい説明をありがとうございました。
とてもよくわかりました。ありがとうございます。