電卓の精度が低いと思い込んでいる人は少なくありませんが、実際には表示モードが小数点以下固定桁数のままになっているだけです。Fix 2 は 1/3 を 0.33 と表示しますが、内部にはより高い精度の値を保持しています。それに 3 を掛けたとき、表示されている値を使うか保存されている値を使うかで、結果は 0.99 にも 1 にもなります。
3つのモードの違い
| モード | 意味 | 主な用途 |
|---|---|---|
| Fix | 小数点以下の桁数を固定する | 金融。実験データを指定桁数で報告する場合 |
| Sci | 有効数字の桁数を固定し、それを超える場合は指数表記に切り替える | 物理・化学での有効数字 |
| Norm | 有効数字に応じて通常表記と指数表記を自動で選ぶ | 日常の計算。試験での一般的な既定値 |
ほとんどの人が陥る落とし穴
指定桁数で結果を報告するなら Fix で問題ありません。ただし、計算を続ける前に Norm へ戻すことを忘れないでください。Fix の状態のまま次の問題に進むと、途中結果が早い段階で丸められ、誤差が最後の一歩で拡大します。
電卓で試す
これらのリンクは Web ツールを開きます。記事で具体的な例を計算している場合、その例が入力された状態でツールが開くため、主張を鵜呑みにせず自分で確認できます。