http://illustrator-ok.com/illustrator_koza/mask/contents/mask6.html

こちら参照。

>元の四角い写真の縁がうつって印刷されてしまいます。

マスクされるオブジェクト（元々の画像）に対し、マスクするオブジェクトが小さいと、マスクされず（隠されず）残る場合が有ります。

お返事ありがとうございます。
この方法をしても、できませんでした。
黒の背景の上に写真を配置して、不透明なマスクをしました。
マスクも画像より大きく、または画像と同じサイズにしていますが、ダメでした。
何かよい方法があれば教えてください。

昔、印刷屋にいたときに悩まされた事を思い出しました。
画面では綺麗なのに印刷すると現れてくる。自分たちが考えているよりも、色のぼかしは長い場合がおおにしてあります。これは思っているよりもありますよ。綺麗な印刷ほど顕著に表れます。
CS5使用とのことでしたがCS6で見てみると写真の大きさではなく、その境界線に(ぼかしの境界線)に枠取りの線が現れます。これは、実験していないので本当のところはわかりませんが、考えたものだなと思っているところです。もしかしたら要望があったのかも。