ここで Windows 10 の仮想マシン構築方法を説明しています。
https://www.umayadia.com/Note/Note003AzureWindows10VM.htm

基本的にはこれと同じですが、少し前の記事なので画面に多少違いはあります。
３－４．情報を入力
のところで、「イメージ」から「すべてのイメージを表示」を選択して、「Windows」で検索すると選択肢にWindows 11が出てくるので、これを選択します。

私は実際にやってみたわけではないです。

状況によっては料金が発生するのでご注意ください。スペックの高くないマシンなら1時間100円もかからないのではないかと思いますが、料金の確認方法も上記の記事に書いてあります。