fix incorrect use of fabs on long double operand in floatscan.c
authorRich Felker <dalias@aerifal.cx>
Fri, 18 Oct 2019 23:56:53 +0000 (19:56 -0400)
committerRich Felker <dalias@aerifal.cx>
Sat, 19 Oct 2019 00:52:18 +0000 (20:52 -0400)
based on patch by Dan Gohman, who caught this via compiler warnings.
analysis by Szabolcs Nagy determined that it's a bug, whereby errno
can be set incorrectly for values where the coercion from long double
to double causes rounding. it seems likely that floating point status
flags may be set incorrectly as a result too.

at the same time, clean up use of preprocessor concatenation involving
LDBL_MANT_DIG, which spuriously depends on it being a single unadorned
decimal integer literal, and instead use the equivalent formulation
2/LDBL_EPSILON. an equivalent change on the printf side was made in
commit bff6095d915f3e41206e47ea2a570ecb937ef926.

src/internal/floatscan.c

index 278bf25025d64e1b6375e1b2a57ab5e2b3306246..8c0828fcb39e6e0e742309913eef1aa955e582e5 100644 (file)
@@ -33,9 +33,6 @@
 
 #define MASK (KMAX-1)
 
-#define CONCAT2(x,y) x ## y
-#define CONCAT(x,y) CONCAT2(x,y)
-
 static long long scanexp(FILE *f, int pok)
 {
        int c;
@@ -301,7 +298,7 @@ static long double decfloat(FILE *f, int c, int bits, int emin, int sign, int po
        y -= bias;
 
        if ((e2+LDBL_MANT_DIG & INT_MAX) > emax-5) {
-               if (fabs(y) >= CONCAT(0x1p, LDBL_MANT_DIG)) {
+               if (fabsl(y) >= 2/LDBL_EPSILON) {
                        if (denormal && bits==LDBL_MANT_DIG+e2-emin)
                                denormal = 0;
                        y *= 0.5;