math: fix pow signed shift ub
[oweals/musl.git] / src / math / erf.c
1 /* origin: FreeBSD /usr/src/lib/msun/src/s_erf.c */
2 /*
3  * ====================================================
4  * Copyright (C) 1993 by Sun Microsystems, Inc. All rights reserved.
5  *
6  * Developed at SunPro, a Sun Microsystems, Inc. business.
7  * Permission to use, copy, modify, and distribute this
8  * software is freely granted, provided that this notice
9  * is preserved.
10  * ====================================================
11  */
12 /* double erf(double x)
13  * double erfc(double x)
14  *                           x
15  *                    2      |\
16  *     erf(x)  =  ---------  | exp(-t*t)dt
17  *                 sqrt(pi) \|
18  *                           0
19  *
20  *     erfc(x) =  1-erf(x)
21  *  Note that
22  *              erf(-x) = -erf(x)
23  *              erfc(-x) = 2 - erfc(x)
24  *
25  * Method:
26  *      1. For |x| in [0, 0.84375]
27  *          erf(x)  = x + x*R(x^2)
28  *          erfc(x) = 1 - erf(x)           if x in [-.84375,0.25]
29  *                  = 0.5 + ((0.5-x)-x*R)  if x in [0.25,0.84375]
30  *         where R = P/Q where P is an odd poly of degree 8 and
31  *         Q is an odd poly of degree 10.
32  *                                               -57.90
33  *                      | R - (erf(x)-x)/x | <= 2
34  *
35  *
36  *         Remark. The formula is derived by noting
37  *          erf(x) = (2/sqrt(pi))*(x - x^3/3 + x^5/10 - x^7/42 + ....)
38  *         and that
39  *          2/sqrt(pi) = 1.128379167095512573896158903121545171688
40  *         is close to one. The interval is chosen because the fix
41  *         point of erf(x) is near 0.6174 (i.e., erf(x)=x when x is
42  *         near 0.6174), and by some experiment, 0.84375 is chosen to
43  *         guarantee the error is less than one ulp for erf.
44  *
45  *      2. For |x| in [0.84375,1.25], let s = |x| - 1, and
46  *         c = 0.84506291151 rounded to single (24 bits)
47  *              erf(x)  = sign(x) * (c  + P1(s)/Q1(s))
48  *              erfc(x) = (1-c)  - P1(s)/Q1(s) if x > 0
49  *                        1+(c+P1(s)/Q1(s))    if x < 0
50  *              |P1/Q1 - (erf(|x|)-c)| <= 2**-59.06
51  *         Remark: here we use the taylor series expansion at x=1.
52  *              erf(1+s) = erf(1) + s*Poly(s)
53  *                       = 0.845.. + P1(s)/Q1(s)
54  *         That is, we use rational approximation to approximate
55  *                      erf(1+s) - (c = (single)0.84506291151)
56  *         Note that |P1/Q1|< 0.078 for x in [0.84375,1.25]
57  *         where
58  *              P1(s) = degree 6 poly in s
59  *              Q1(s) = degree 6 poly in s
60  *
61  *      3. For x in [1.25,1/0.35(~2.857143)],
62  *              erfc(x) = (1/x)*exp(-x*x-0.5625+R1/S1)
63  *              erf(x)  = 1 - erfc(x)
64  *         where
65  *              R1(z) = degree 7 poly in z, (z=1/x^2)
66  *              S1(z) = degree 8 poly in z
67  *
68  *      4. For x in [1/0.35,28]
69  *              erfc(x) = (1/x)*exp(-x*x-0.5625+R2/S2) if x > 0
70  *                      = 2.0 - (1/x)*exp(-x*x-0.5625+R2/S2) if -6<x<0
71  *                      = 2.0 - tiny            (if x <= -6)
72  *              erf(x)  = sign(x)*(1.0 - erfc(x)) if x < 6, else
73  *              erf(x)  = sign(x)*(1.0 - tiny)
74  *         where
75  *              R2(z) = degree 6 poly in z, (z=1/x^2)
76  *              S2(z) = degree 7 poly in z
77  *
78  *      Note1:
79  *         To compute exp(-x*x-0.5625+R/S), let s be a single
80  *         precision number and s := x; then
81  *              -x*x = -s*s + (s-x)*(s+x)
82  *              exp(-x*x-0.5626+R/S) =
83  *                      exp(-s*s-0.5625)*exp((s-x)*(s+x)+R/S);
84  *      Note2:
85  *         Here 4 and 5 make use of the asymptotic series
86  *                        exp(-x*x)
87  *              erfc(x) ~ ---------- * ( 1 + Poly(1/x^2) )
88  *                        x*sqrt(pi)
89  *         We use rational approximation to approximate
90  *              g(s)=f(1/x^2) = log(erfc(x)*x) - x*x + 0.5625
91  *         Here is the error bound for R1/S1 and R2/S2
92  *              |R1/S1 - f(x)|  < 2**(-62.57)
93  *              |R2/S2 - f(x)|  < 2**(-61.52)
94  *
95  *      5. For inf > x >= 28
96  *              erf(x)  = sign(x) *(1 - tiny)  (raise inexact)
97  *              erfc(x) = tiny*tiny (raise underflow) if x > 0
98  *                      = 2 - tiny if x<0
99  *
100  *      7. Special case:
101  *              erf(0)  = 0, erf(inf)  = 1, erf(-inf) = -1,
102  *              erfc(0) = 1, erfc(inf) = 0, erfc(-inf) = 2,
103  *              erfc/erf(NaN) is NaN
104  */
105
106 #include "libm.h"
107
108 static const double
109 erx  = 8.45062911510467529297e-01, /* 0x3FEB0AC1, 0x60000000 */
110 /*
111  * Coefficients for approximation to  erf on [0,0.84375]
112  */
113 efx8 =  1.02703333676410069053e+00, /* 0x3FF06EBA, 0x8214DB69 */
114 pp0  =  1.28379167095512558561e-01, /* 0x3FC06EBA, 0x8214DB68 */
115 pp1  = -3.25042107247001499370e-01, /* 0xBFD4CD7D, 0x691CB913 */
116 pp2  = -2.84817495755985104766e-02, /* 0xBF9D2A51, 0xDBD7194F */
117 pp3  = -5.77027029648944159157e-03, /* 0xBF77A291, 0x236668E4 */
118 pp4  = -2.37630166566501626084e-05, /* 0xBEF8EAD6, 0x120016AC */
119 qq1  =  3.97917223959155352819e-01, /* 0x3FD97779, 0xCDDADC09 */
120 qq2  =  6.50222499887672944485e-02, /* 0x3FB0A54C, 0x5536CEBA */
121 qq3  =  5.08130628187576562776e-03, /* 0x3F74D022, 0xC4D36B0F */
122 qq4  =  1.32494738004321644526e-04, /* 0x3F215DC9, 0x221C1A10 */
123 qq5  = -3.96022827877536812320e-06, /* 0xBED09C43, 0x42A26120 */
124 /*
125  * Coefficients for approximation to  erf  in [0.84375,1.25]
126  */
127 pa0  = -2.36211856075265944077e-03, /* 0xBF6359B8, 0xBEF77538 */
128 pa1  =  4.14856118683748331666e-01, /* 0x3FDA8D00, 0xAD92B34D */
129 pa2  = -3.72207876035701323847e-01, /* 0xBFD7D240, 0xFBB8C3F1 */
130 pa3  =  3.18346619901161753674e-01, /* 0x3FD45FCA, 0x805120E4 */
131 pa4  = -1.10894694282396677476e-01, /* 0xBFBC6398, 0x3D3E28EC */
132 pa5  =  3.54783043256182359371e-02, /* 0x3FA22A36, 0x599795EB */
133 pa6  = -2.16637559486879084300e-03, /* 0xBF61BF38, 0x0A96073F */
134 qa1  =  1.06420880400844228286e-01, /* 0x3FBB3E66, 0x18EEE323 */
135 qa2  =  5.40397917702171048937e-01, /* 0x3FE14AF0, 0x92EB6F33 */
136 qa3  =  7.18286544141962662868e-02, /* 0x3FB2635C, 0xD99FE9A7 */
137 qa4  =  1.26171219808761642112e-01, /* 0x3FC02660, 0xE763351F */
138 qa5  =  1.36370839120290507362e-02, /* 0x3F8BEDC2, 0x6B51DD1C */
139 qa6  =  1.19844998467991074170e-02, /* 0x3F888B54, 0x5735151D */
140 /*
141  * Coefficients for approximation to  erfc in [1.25,1/0.35]
142  */
143 ra0  = -9.86494403484714822705e-03, /* 0xBF843412, 0x600D6435 */
144 ra1  = -6.93858572707181764372e-01, /* 0xBFE63416, 0xE4BA7360 */
145 ra2  = -1.05586262253232909814e+01, /* 0xC0251E04, 0x41B0E726 */
146 ra3  = -6.23753324503260060396e+01, /* 0xC04F300A, 0xE4CBA38D */
147 ra4  = -1.62396669462573470355e+02, /* 0xC0644CB1, 0x84282266 */
148 ra5  = -1.84605092906711035994e+02, /* 0xC067135C, 0xEBCCABB2 */
149 ra6  = -8.12874355063065934246e+01, /* 0xC0545265, 0x57E4D2F2 */
150 ra7  = -9.81432934416914548592e+00, /* 0xC023A0EF, 0xC69AC25C */
151 sa1  =  1.96512716674392571292e+01, /* 0x4033A6B9, 0xBD707687 */
152 sa2  =  1.37657754143519042600e+02, /* 0x4061350C, 0x526AE721 */
153 sa3  =  4.34565877475229228821e+02, /* 0x407B290D, 0xD58A1A71 */
154 sa4  =  6.45387271733267880336e+02, /* 0x40842B19, 0x21EC2868 */
155 sa5  =  4.29008140027567833386e+02, /* 0x407AD021, 0x57700314 */
156 sa6  =  1.08635005541779435134e+02, /* 0x405B28A3, 0xEE48AE2C */
157 sa7  =  6.57024977031928170135e+00, /* 0x401A47EF, 0x8E484A93 */
158 sa8  = -6.04244152148580987438e-02, /* 0xBFAEEFF2, 0xEE749A62 */
159 /*
160  * Coefficients for approximation to  erfc in [1/.35,28]
161  */
162 rb0  = -9.86494292470009928597e-03, /* 0xBF843412, 0x39E86F4A */
163 rb1  = -7.99283237680523006574e-01, /* 0xBFE993BA, 0x70C285DE */
164 rb2  = -1.77579549177547519889e+01, /* 0xC031C209, 0x555F995A */
165 rb3  = -1.60636384855821916062e+02, /* 0xC064145D, 0x43C5ED98 */
166 rb4  = -6.37566443368389627722e+02, /* 0xC083EC88, 0x1375F228 */
167 rb5  = -1.02509513161107724954e+03, /* 0xC0900461, 0x6A2E5992 */
168 rb6  = -4.83519191608651397019e+02, /* 0xC07E384E, 0x9BDC383F */
169 sb1  =  3.03380607434824582924e+01, /* 0x403E568B, 0x261D5190 */
170 sb2  =  3.25792512996573918826e+02, /* 0x40745CAE, 0x221B9F0A */
171 sb3  =  1.53672958608443695994e+03, /* 0x409802EB, 0x189D5118 */
172 sb4  =  3.19985821950859553908e+03, /* 0x40A8FFB7, 0x688C246A */
173 sb5  =  2.55305040643316442583e+03, /* 0x40A3F219, 0xCEDF3BE6 */
174 sb6  =  4.74528541206955367215e+02, /* 0x407DA874, 0xE79FE763 */
175 sb7  = -2.24409524465858183362e+01; /* 0xC03670E2, 0x42712D62 */
176
177 static double erfc1(double x)
178 {
179         double_t s,P,Q;
180
181         s = fabs(x) - 1;
182         P = pa0+s*(pa1+s*(pa2+s*(pa3+s*(pa4+s*(pa5+s*pa6)))));
183         Q = 1+s*(qa1+s*(qa2+s*(qa3+s*(qa4+s*(qa5+s*qa6)))));
184         return 1 - erx - P/Q;
185 }
186
187 static double erfc2(uint32_t ix, double x)
188 {
189         double_t s,R,S;
190         double z;
191
192         if (ix < 0x3ff40000)  /* |x| < 1.25 */
193                 return erfc1(x);
194
195         x = fabs(x);
196         s = 1/(x*x);
197         if (ix < 0x4006db6d) {  /* |x| < 1/.35 ~ 2.85714 */
198                 R = ra0+s*(ra1+s*(ra2+s*(ra3+s*(ra4+s*(
199                      ra5+s*(ra6+s*ra7))))));
200                 S = 1.0+s*(sa1+s*(sa2+s*(sa3+s*(sa4+s*(
201                      sa5+s*(sa6+s*(sa7+s*sa8)))))));
202         } else {                /* |x| > 1/.35 */
203                 R = rb0+s*(rb1+s*(rb2+s*(rb3+s*(rb4+s*(
204                      rb5+s*rb6)))));
205                 S = 1.0+s*(sb1+s*(sb2+s*(sb3+s*(sb4+s*(
206                      sb5+s*(sb6+s*sb7))))));
207         }
208         z = x;
209         SET_LOW_WORD(z,0);
210         return exp(-z*z-0.5625)*exp((z-x)*(z+x)+R/S)/x;
211 }
212
213 double erf(double x)
214 {
215         double r,s,z,y;
216         uint32_t ix;
217         int sign;
218
219         GET_HIGH_WORD(ix, x);
220         sign = ix>>31;
221         ix &= 0x7fffffff;
222         if (ix >= 0x7ff00000) {
223                 /* erf(nan)=nan, erf(+-inf)=+-1 */
224                 return 1-2*sign + 1/x;
225         }
226         if (ix < 0x3feb0000) {  /* |x| < 0.84375 */
227                 if (ix < 0x3e300000) {  /* |x| < 2**-28 */
228                         /* avoid underflow */
229                         return 0.125*(8*x + efx8*x);
230                 }
231                 z = x*x;
232                 r = pp0+z*(pp1+z*(pp2+z*(pp3+z*pp4)));
233                 s = 1.0+z*(qq1+z*(qq2+z*(qq3+z*(qq4+z*qq5))));
234                 y = r/s;
235                 return x + x*y;
236         }
237         if (ix < 0x40180000)  /* 0.84375 <= |x| < 6 */
238                 y = 1 - erfc2(ix,x);
239         else
240                 y = 1 - 0x1p-1022;
241         return sign ? -y : y;
242 }
243
244 double erfc(double x)
245 {
246         double r,s,z,y;
247         uint32_t ix;
248         int sign;
249
250         GET_HIGH_WORD(ix, x);
251         sign = ix>>31;
252         ix &= 0x7fffffff;
253         if (ix >= 0x7ff00000) {
254                 /* erfc(nan)=nan, erfc(+-inf)=0,2 */
255                 return 2*sign + 1/x;
256         }
257         if (ix < 0x3feb0000) {  /* |x| < 0.84375 */
258                 if (ix < 0x3c700000)  /* |x| < 2**-56 */
259                         return 1.0 - x;
260                 z = x*x;
261                 r = pp0+z*(pp1+z*(pp2+z*(pp3+z*pp4)));
262                 s = 1.0+z*(qq1+z*(qq2+z*(qq3+z*(qq4+z*qq5))));
263                 y = r/s;
264                 if (sign || ix < 0x3fd00000) {  /* x < 1/4 */
265                         return 1.0 - (x+x*y);
266                 }
267                 return 0.5 - (x - 0.5 + x*y);
268         }
269         if (ix < 0x403c0000) {  /* 0.84375 <= |x| < 28 */
270                 return sign ? 2 - erfc2(ix,x) : erfc2(ix,x);
271         }
272         return sign ? 2 - 0x1p-1022 : 0x1p-1022*0x1p-1022;
273 }