下記をご確認ください。

・外付けHDDの場合、基本的にローカルHDDよりもアクセス時間が多くかかります。
・データ数が多くなるとデータベース管理ファイルも大きくなり、アクセスに時間がかかることがあります。その場合には、デスクトップフォルダを複数に分けるなどの方法でご利用ください。

※ご参考
【デスクトップを分割したい】