"！"の文字クラスは全角であれば区切り約物ですが、半角であれば欧文です。
ところで、全角の"！"をプロポーショナルメトリクスなどを使って詰めているのでしょうか。

いずれにせよ、"！"の前後は空けたいけど、"？"の前後は今まで通りでよい、ということであれば、個別に各種スペースや「文字前／後のアキ量」などを使って対処するしかないのでは。