彼の言葉にモヤモヤ…付き合い続けるべきか悩んでいます

皆さん、アドバイスをいただきたいです。私の彼氏はよく「顔はタイプじゃないけど付き合ってる」なんて言います。

彼は本当に悪気がないようで、自然にそういったことを口にするのですが、私はその度に少し傷ついてしまいます。 彼とは趣味が合い、性格も良い方なので付き合っているのですが、このような言葉を聞くと心がモヤモヤしてしまいます。彼のことは大好きですが、こんなことで悩むのはおかしいでしょうか？ 皆さんならどうしますか？

彼にどう伝えれば、少しでも彼の言葉が変わるでしょうか？

アドバイスをお願いいたします。