前提としてSQLLiteを使用するために下記の２つのパッケージをNuGetでインストールする必要があります。
Microsoft.Data.Sqlite.Core
SQLitePCLRaw.bundle_e_sqlite3

また、csvファイルはここからダウントードしたものを使用します。
https://www.post.japanpost.jp/zipcode/dl/kogaki-zip.html

これをexeと同じパスに存在するように配置するのがベターです。

上記のリンクからダウンロードしていただければ、こういったことはすべて織り込み済みですぐ実行できるものを入手できます。