背景の色を単色にしたい

いつもお世話になっております。

Photoshopの質問なのですが。（PH-ELEMENTS 11使用）

毛筆で文字を書いた紙をスキャンしてとりこみ、背景（紙色）を完全な白（CMYKすべて0）にしようとしています。
トーンカーブ、レベル補正などで白部分をかなり完全な白に近づけたのですが、ところどころにうすい色のピクセルが残っている状態です。

このうすい色を完全な白にするには、どのような方法が早くできるでしょうか？

（今やってみている方法は、レイヤーのモードを変えて白色のムラを見えやすくし、鉛筆ツールで手修正しています。ですが、これだと非常に時間がかかるため）

なお、毛筆書きなので輪郭のにじみ、ぼやけが無数にあるため、切り抜き以外の方法でやりたいと考えています。

また、にじみなどは生かしておきたいので、輪郭の際近辺はあまり厳密に白くしなくても大丈夫です。


もし、いい方法をご存じの方がいらっしゃいましたら、ご教示お願いいたします。