書き込もうと思ったら管理人様より既に書き込まれてありました。
しかしながら、私も一応以前のソース見て思い出したので、書き込ませ
てもらいます。済みません、やりかかったものですから。

前提として、PictureBox1.Image に画像が設定済みとします。
出来るだけソースをはしょって書いていますが、下記で比較的スムー
ズに動くでしょう。

Dim PicSx As Long, PicSy As Long

Private Sub PictureBox1_MouseDown(Button As Integer, _
             Shift As Integer, X As Single, Y As Single)
   If Button = 1 Then
      PicSx = X
      PicSy = Y
   End If
End Sub

Private Sub PictureBox1_MouseMove(Button As Integer, _
             Shift As Integer, X As Single, Y As Single)
   If Button = 1 Then
      PictureBox1.Left = PictureBox1.Left + X - PicSx
      PictureBox1.Top = PictureBox1.Top + Y - PicSy
   End If
End Sub