同期の彼に誘われた食事、どうするべきか悩んでいます

聞いてほしいことがあります。

会社の同期の男性から「2人きりでご飯に行こ！」と誘われました。

彼はどうやら私に好意を持っているようなのですが、正直言って私は彼を恋愛対象として見ていません…。 これまでは友人として仲良くしてきたのですが、この誘いを受けるべきか悩んでいます。食事に行けば誤解を招くかもしれませんし、断ると今後の関係に影響が出そうで…。

皆さんだったら、どう対応されますか？ご意見いただけると助かります！