Google spreadsheetの計算精度について こんにち、一般に浮動小数点数はIEEE754 binary64の形式に準拠している。 この規格では、十進小数を15.95桁の精度で表現する。 ゆえに、たとえば、0.1+0.2と0.3は等しくない Google spreadsheetやMS-Excelもこの例に漏…
引用をストックしました
引用するにはまずログインしてください
引用をストックできませんでした。再度お試しください
限定公開記事のため引用できません。