写真のフチどりについて

Illustrator 9.02
MacOS　9.2.2

写真のフチをクレヨンで描いた様にしたくて
「効果」の「アーティスティック」でためしてみたのですが
マスクをかけるとアタリケイになってしまいます。
RBGで試してみてもうまく行きません。
手順をまちがえているのでしょうか？
多分初歩的なことだと思いますが
どなたか教えてください。