2012年3月25日

【ウディタ】実数計算のバグ？1で割ったときの値がおかしい #woditor #ウディタ

ウディタで実数計算を使った際、値がおかしくなるようです。

ウディタ

前へ 1 ・・ 3 4

K-Shin07(Sitella) @K_Shin07

【実数計算バグ】とりあえず報告してきた。検証用プログラムアップしたので試したい方は→http://t.co/4zZlVx3F 　無駄な処理組みが多いですがw

2012-03-25 23:05:55

このツイートは権利者によって削除されています。

ぽり０６５５ @pori0655

ウディタで実数計算のバグって話が流れてたけどこれFloat型の最小計算可能桁の限界到達してるだけくさいけどなあ

2012-03-25 23:37:09

【ウディタ】あと、ウディタの実数計算時に数値が変になる件ですが、float型の有効数字は7桁が限界なので、8桁以上の計算をしようとすると数値が丸くなります(99999999/1=1.000000x10^8になる)。というか速度が早いdouble型にしてなかったんですね自分！

2012-03-26 19:55:34

前へ 1 ・・ 3 4