photoshop cs5（mac)境界線を調整で「半径の調整」ができない

「元画像を表示」のチェックを外してください。CS6ですかね？実はこれは誤訳で、CC2014以降は「元の選択範囲を表示」に改められました。
編集前の選択範囲を表示するチェックですので、編集できないことを表すためにカーソルが進入禁止マークになります。

（あーCS5って書いてるしよく読め、俺）

書き込みありがとうございます。
Photoshop CC 2015で確認しましたが、確かに「元の選択範囲を表示」になっていますね。