イメージを保存したい場合は，PictureBox.CreateGraphicsやPaintイベントのe.Graphicsで描画するのではなく，Bitmapを作成し，BitmapからGraphicsを作成して描画し，そのBitmapをPictureBoxに表示するようにすればよいと思います。

Public Class Form1



    Private Img As Bitmap

    Private PictureBox1 As New PictureBox With {.Dock = DockStyle.Fill}



    Private Sub Form1_Load(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles MyBase.Load

        Me.Controls.Add(Me.PictureBox1)

        Img = New Bitmap(Me.PictureBox1.ClientSize.Width, Me.PictureBox1.ClientSize.Height)

        Me.PictureBox1.Image = Img

        Using g As Graphics = Graphics.FromImage(Img)

            g.FillEllipse(Brushes.Red, Me.PictureBox1.ClientRectangle)

        End Using

        Img.Save(My.Computer.FileSystem.SpecialDirectories.Desktop & "\Img.bmp")

    End Sub



End Class