気になる彼へのご飯の誘い、どう断ればいいでしょうか？

相談させてください。最近、気になる男性を食事に誘ったのですが、ちょっと悩んでいます。

彼の返事が遅くて、なんだかモヤモヤしてきてしまいました…。 明日、その彼とご飯の予定が入っているのですが、正直なところ行く気が失せてきました。

どうやってうまく断るべきでしょうか？やっぱり、一度誘った以上は行くべきなのか、悩んでいます。

皆さんならどうしますか？アドバイスいただけたら嬉しいです。