> 参照dllは常に同じフォルダ内に入れておかなければならないのでしょうか。

基本的にはそうです。

DLL にも幾つか種類がありますが、今回のものは下記の③ですね。

① Declare ステートメント または DllAttribute 属性で指定して使う DLL
② 参照設定して使う DLL - ActiveX DLL (COM　コンポーネント)
③ 参照設定して使う DLL - .NET Managed
④ リソース情報のみを持つ DLL


③ を参照設定して使う場合、その置き場としては
　➊ アプリケーションと同じフォルダ
　➋ グローバル アセンブリ キャッシュとして登録された場所
のいずれかとなります。

厳密にバージョンが管理される公式のファイル（System.Data.dll など）は ➋ に
置かれていたりもしますが、追加のライブラリについては ➊ に配置させるのが普通です。