あ、それバグなんです。
n-yujiさんの「遠近法ノート」でも報告されています。
http://d.hatena.ne.jp/n-yuji/20080112/p1
Windows版CS3でも発生します。

バグ、というか仕様変更というか（＾＾；
n-yujiさんが書かれていることをよく読んでみると、
99％×99％＝98.01％
98.01×99％＝97.0299％……
ということのようですね（＾＾；；

回答ありがとうございます。
私はどこかの設定だと思っていたのですが、仕様変更ですか。
かなり不便ですよね。
アップデータで改善されるのを期待します。
どうもありがとうございました。

ダイレクト選択ツールで選択して「Cmd+カンマ」で縮小なら希望の縮小率になりませんか？
その後「オブジェクトサイズの調整」で「フレームを内容に合わせる」，
では手間がかかり過ぎるのでしょうか？

> ダイレクト選択ツールで選択して「Cmd+カンマ」で縮小なら希望の縮小率になりませんか？

ダイレクト選択状態で、CS3 Ver5.0.4 においてMさんが仰る状況となります。

スイマセン
当方、環境CS2でした
バージョン情報も書いてあったのによく読んでなくて…
発言撤回です

>アップデータで改善されるのを期待します。
Mac版CS4でもＭさんのご指摘のような挙動ですね。
CS3だと100%→99%→…→90.43820750088044%と「Cmd+,」を10回繰り返し、次に「Cmd+.」を10回繰り返すと99.90004498800215%となり100%に戻りませんが、CS4（Ver.6.0.3）で同じ事を実行すると100%に戻ります。
つまり、CS4ではバグフィックスされ精度が向上しました。（えっ？！）
どのような運用を想定して、こんな仕様にしたのか不明ですが、きっとこの挙動が美しいとでも思ったのでしょう？
それと、この件についてAdobeの製品への要望 / 不具合報告へご報告されるのがよいと思います。

これ、CS4でも直ってなかったんですね。
僕はこの件、アップデータが出るたびにAdobeに不具合報告を出していたんですけどね……。
要望 / 不具合報告は数がものを言うみたいです。
こちらをご覧の皆さんも、重複をいとわず、どしどし不具合報告を送ったほうがよいです。
https://www.adobe.com/cfusion/mmform/index.cfm?name=wishform&loc=jp

これ、個人的には仕様変更だと思っていましたが、やはりどこか不自然なのでしょうか。

極論の類になると思いますが、
配置オブジェクトがあらかじめ100%サイズでちょうどよい状態に整えてあるのが前提であれば使いにくい事この上ないですが、そうでない場合を考えると「現状からヒトマワリ小さく（or 大きく）したい」となった場合、500%が499%になってもほとんど意味がなく、逆に3%が4%になると大きく変わりすぎ、という事になります。この場合、現状のスケールからの101%、99%で動いてもらった方が具合がよいです。

こういう視野で見たら一長一短ではないでしょうか。
環境設定やらで旧環境と切り替え選択できれば一番いいのでしょうけど

>これ、個人的には仕様変更だと思っていましたが、やはりどこか不自然なのでしょうか。
Mさんが問題にしているのは、
サイズ減少 / スケール 1% --- デフォルト: Cmd+,などのショートカットで、
100%を起点として実行すると、
100%→99%→98%→97%→96%→95%　とはならずに、
100%→99%→98.01%→97.0299%→96.05960099999997%
→95.09900498999998%→94.14801494009998%→93.20653479069897%
→92.27446944279198%→91.35172474836403%→90.43820750088041%
となってしまい、スケール 1%の差分で縮小していないことです。（常に直前の×99%(=100%-1%)という挙動なので、仕様と言われればそうなのかもですが）
ちなみに、（z-）さんの仰っている、
>500%が499%になってもほとんど意味がなく、逆に3%が4%になると大きく変わりすぎ、という事になります。
>この場合、現状のスケールからの101%、99%で動いてもらった方が具合がよいです。
ですが、実際に500%を起点としてCmd+,を実行すると、
500%→495%→490.05%→485.1495%→480.2980050000001%
→475.4950249500001%→470.7400747005%→466.032673953495%
→461.37234721395987%→456.75862374182043%→452.19103750440235%
となります。これも直前の×99%(=100%-1%)で縮小していることになります。
これはCS2の場合、500%→499%→498%→…と1%刻みになっていたので、大きく仕様が変わったところでしょう。

Mさんの希望する動作をするためには、１クッション操作が入りますが、図の変形パレットのカーソルのところをクリックして、垂直比率（あるいは水平比率）を選択された状態で、矢印キーの↑と↓で1%刻みの拡大/縮小ができます。
これでいかがでしょうか？

ええと
仕様変更かバグか、はとりあえず置いときまして
>Mさんの希望する動作
ちょっとJavaScriptを書いてみました。個人用のを簡素に直しただけですが

/////////  1%拡大の場合  //////////////
if (app.documents.length){
   if(app.activeDocument.selection.length){
       aa=app.activeDocument.selection[0];
       ah=Math.ceil(aa.horizontalScale);
       av=Math.ceil(aa.verticalScale);
       ah=(ah+1)/ah;
       av=(av+1)/av;
       tt=app.transformationMatrices.add(ah,av,0,0,0,0);
       cc=app.activeWindow.transformReferencePoint;
       aa.transform (2021222766, cc, tt, undefined, undefined);
       }
   }
/////////  1%縮小の場合  //////////////
if (app.documents.length){
   if(app.activeDocument.selection.length){
       aa=app.activeDocument.selection[0];
       ah=Math.floor(aa.horizontalScale);
       av=Math.floor(aa.verticalScale);
       ah=(ah-1)/ah;
       av=(av-1)/av;
       tt=app.transformationMatrices.add(ah,av,0,0,0,0);
       cc=app.activeWindow.transformReferencePoint;
       aa.transform (2021222766, cc, tt, undefined, undefined);
       }
   }

とりあえずこれで、軽くテストした感じでは1%づつ変形しつつ、どこまでも整数で表示されました。
アプリの元の挙動にならって、最初に小数点繰り上げ・繰り下げを行っています。
これに使い慣れたショートカットを当ててあげれば、ほぼCS2並です。

※「ほぼ」なのは、拡大・縮小ツールや回転ツールで設定した任意の基準点を拾わないというところです。何かと紛らわしくなるので今回は割愛しました。

すみません、ちょっとしでかしました。邪魔ですみません。
if (app.documents.length){
   if(app.activeDocument.selection.length){
       aa=app.activeDocument.selection[0];
       ah=aa.horizontalScale;
       av=aa.verticalScale;
       ah=(Math.ceil(ah)+1)/ah;
       av=(Math.ceil(av)+1)/av;
       tt=app.transformationMatrices.add(ah,av,0,0,0,0);
       cc=app.activeWindow.transformReferencePoint;
       aa.transform (2021222766, cc, tt, undefined, undefined);
       }
   }

失礼しました