こちらで再現しようとしましたが再現できません。
どのようなやり方で矢印を作られているのでしょうか？
OS、イラレのバージョンも教えてください。

すみませんしばらく悩んだら解決しました。
いつも“効果”を使って矢印を描いていたから縁取りがついてしまったようです。“フィルタ”を使ったらつきませんでした。
おさわがせいたしました。