> 友人に渡す予定で画像ファイルの参照先をフォルダ指定できないので、「ソリューションエクスプローラ」内にコピーしてみたのですがそのファイルの参照方法が分かりません。

ここの日本語が変なので、お友達に渡すものが画像ファイルなのかアプリケーションなのか
よく分からないのですが、アプリ内部に画像ファイルを持たせ、ボタンを押下した時にこの画像を
PictureBoxに表示できるようにしたい、ということでしょうか？

VBの種類・バージョンが分かりませんが、リソースとして画像ファイルを登録して、

PictureBox1.Image = My.Resource.（リソース登録名）とすればいいのではないでしょうか。