fix out-of-bounds check in lock_dbg_cb (was too lose to detect all
[oweals/openssl.git] / crypto / dsa / dsa_ossl.c
1 /* crypto/dsa/dsa_ossl.c */
2 /* Copyright (C) 1995-1998 Eric Young (eay@cryptsoft.com)
3  * All rights reserved.
4  *
5  * This package is an SSL implementation written
6  * by Eric Young (eay@cryptsoft.com).
7  * The implementation was written so as to conform with Netscapes SSL.
8  * 
9  * This library is free for commercial and non-commercial use as long as
10  * the following conditions are aheared to.  The following conditions
11  * apply to all code found in this distribution, be it the RC4, RSA,
12  * lhash, DES, etc., code; not just the SSL code.  The SSL documentation
13  * included with this distribution is covered by the same copyright terms
14  * except that the holder is Tim Hudson (tjh@cryptsoft.com).
15  * 
16  * Copyright remains Eric Young's, and as such any Copyright notices in
17  * the code are not to be removed.
18  * If this package is used in a product, Eric Young should be given attribution
19  * as the author of the parts of the library used.
20  * This can be in the form of a textual message at program startup or
21  * in documentation (online or textual) provided with the package.
22  * 
23  * Redistribution and use in source and binary forms, with or without
24  * modification, are permitted provided that the following conditions
25  * are met:
26  * 1. Redistributions of source code must retain the copyright
27  *    notice, this list of conditions and the following disclaimer.
28  * 2. Redistributions in binary form must reproduce the above copyright
29  *    notice, this list of conditions and the following disclaimer in the
30  *    documentation and/or other materials provided with the distribution.
31  * 3. All advertising materials mentioning features or use of this software
32  *    must display the following acknowledgement:
33  *    "This product includes cryptographic software written by
34  *     Eric Young (eay@cryptsoft.com)"
35  *    The word 'cryptographic' can be left out if the rouines from the library
36  *    being used are not cryptographic related :-).
37  * 4. If you include any Windows specific code (or a derivative thereof) from 
38  *    the apps directory (application code) you must include an acknowledgement:
39  *    "This product includes software written by Tim Hudson (tjh@cryptsoft.com)"
40  * 
41  * THIS SOFTWARE IS PROVIDED BY ERIC YOUNG ``AS IS'' AND
42  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
43  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
44  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
45  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
46  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
47  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
48  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
49  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
50  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
51  * SUCH DAMAGE.
52  * 
53  * The licence and distribution terms for any publically available version or
54  * derivative of this code cannot be changed.  i.e. this code cannot simply be
55  * copied and put under another distribution licence
56  * [including the GNU Public Licence.]
57  */
58
59 /* Original version from Steven Schoch <schoch@sheba.arc.nasa.gov> */
60
61 #include <stdio.h>
62 #include "cryptlib.h"
63 #include <openssl/bn.h>
64 #include <openssl/dsa.h>
65 #include <openssl/rand.h>
66 #include <openssl/asn1.h>
67
68 static DSA_SIG *dsa_do_sign(const unsigned char *dgst, int dlen, DSA *dsa);
69 static int dsa_sign_setup(DSA *dsa, BN_CTX *ctx_in, BIGNUM **kinvp, BIGNUM **rp);
70 static int dsa_do_verify(const unsigned char *dgst, int dgst_len, DSA_SIG *sig,
71                   DSA *dsa);
72 static int dsa_init(DSA *dsa);
73 static int dsa_finish(DSA *dsa);
74 static int dsa_mod_exp(DSA *dsa, BIGNUM *rr, BIGNUM *a1, BIGNUM *p1,
75                 BIGNUM *a2, BIGNUM *p2, BIGNUM *m, BN_CTX *ctx,
76                 BN_MONT_CTX *in_mont);
77 static int dsa_bn_mod_exp(DSA *dsa, BIGNUM *r, BIGNUM *a, const BIGNUM *p,
78                                 const BIGNUM *m, BN_CTX *ctx,
79                                 BN_MONT_CTX *m_ctx);
80
81 static DSA_METHOD openssl_dsa_meth = {
82 "OpenSSL DSA method",
83 dsa_do_sign,
84 dsa_sign_setup,
85 dsa_do_verify,
86 dsa_mod_exp,
87 dsa_bn_mod_exp,
88 dsa_init,
89 dsa_finish,
90 0,
91 NULL
92 };
93
94 const DSA_METHOD *DSA_OpenSSL(void)
95 {
96         return &openssl_dsa_meth;
97 }
98
99 static DSA_SIG *dsa_do_sign(const unsigned char *dgst, int dlen, DSA *dsa)
100         {
101         BIGNUM *kinv=NULL,*r=NULL,*s=NULL;
102         BIGNUM m;
103         BIGNUM xr;
104         BN_CTX *ctx=NULL;
105         int i,reason=ERR_R_BN_LIB;
106         DSA_SIG *ret=NULL;
107
108         BN_init(&m);
109         BN_init(&xr);
110
111         if (!dsa->p || !dsa->q || !dsa->g)
112                 {
113                 reason=DSA_R_MISSING_PARAMETERS;
114                 goto err;
115                 }
116
117         s=BN_new();
118         if (s == NULL) goto err;
119
120         i=BN_num_bytes(dsa->q); /* should be 20 */
121         if ((dlen > i) || (dlen > 50))
122                 {
123                 reason=DSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE;
124                 goto err;
125                 }
126
127         ctx=BN_CTX_new();
128         if (ctx == NULL) goto err;
129
130         if ((dsa->kinv == NULL) || (dsa->r == NULL))
131                 {
132                 if (!DSA_sign_setup(dsa,ctx,&kinv,&r)) goto err;
133                 }
134         else
135                 {
136                 kinv=dsa->kinv;
137                 dsa->kinv=NULL;
138                 r=dsa->r;
139                 dsa->r=NULL;
140                 }
141
142         if (BN_bin2bn(dgst,dlen,&m) == NULL) goto err;
143
144         /* Compute  s = inv(k) (m + xr) mod q */
145         if (!BN_mod_mul(&xr,dsa->priv_key,r,dsa->q,ctx)) goto err;/* s = xr */
146         if (!BN_add(s, &xr, &m)) goto err;              /* s = m + xr */
147         if (BN_cmp(s,dsa->q) > 0)
148                 BN_sub(s,s,dsa->q);
149         if (!BN_mod_mul(s,s,kinv,dsa->q,ctx)) goto err;
150
151         ret=DSA_SIG_new();
152         if (ret == NULL) goto err;
153         ret->r = r;
154         ret->s = s;
155         
156 err:
157         if (!ret)
158                 {
159                 DSAerr(DSA_F_DSA_DO_SIGN,reason);
160                 BN_free(r);
161                 BN_free(s);
162                 }
163         if (ctx != NULL) BN_CTX_free(ctx);
164         BN_clear_free(&m);
165         BN_clear_free(&xr);
166         if (kinv != NULL) /* dsa->kinv is NULL now if we used it */
167             BN_clear_free(kinv);
168         return(ret);
169         }
170
171 static int dsa_sign_setup(DSA *dsa, BN_CTX *ctx_in, BIGNUM **kinvp, BIGNUM **rp)
172         {
173         BN_CTX *ctx;
174         BIGNUM k,*kinv=NULL,*r=NULL;
175         int ret=0;
176
177         if (!dsa->p || !dsa->q || !dsa->g)
178                 {
179                 DSAerr(DSA_F_DSA_SIGN_SETUP,DSA_R_MISSING_PARAMETERS);
180                 return 0;
181                 }
182
183         BN_init(&k);
184
185         if (ctx_in == NULL)
186                 {
187                 if ((ctx=BN_CTX_new()) == NULL) goto err;
188                 }
189         else
190                 ctx=ctx_in;
191
192         if ((r=BN_new()) == NULL) goto err;
193         kinv=NULL;
194
195         /* Get random k */
196         do
197                 if (!BN_rand_range(&k, dsa->q)) goto err;
198         while (BN_is_zero(&k));
199
200         if ((dsa->method_mont_p == NULL) && (dsa->flags & DSA_FLAG_CACHE_MONT_P))
201                 {
202                 if ((dsa->method_mont_p=(char *)BN_MONT_CTX_new()) != NULL)
203                         if (!BN_MONT_CTX_set((BN_MONT_CTX *)dsa->method_mont_p,
204                                 dsa->p,ctx)) goto err;
205                 }
206
207         /* Compute r = (g^k mod p) mod q */
208         if (!dsa->meth->bn_mod_exp(dsa, r,dsa->g,&k,dsa->p,ctx,
209                 (BN_MONT_CTX *)dsa->method_mont_p)) goto err;
210         if (!BN_mod(r,r,dsa->q,ctx)) goto err;
211
212         /* Compute  part of 's = inv(k) (m + xr) mod q' */
213         if ((kinv=BN_mod_inverse(NULL,&k,dsa->q,ctx)) == NULL) goto err;
214
215         if (*kinvp != NULL) BN_clear_free(*kinvp);
216         *kinvp=kinv;
217         kinv=NULL;
218         if (*rp != NULL) BN_clear_free(*rp);
219         *rp=r;
220         ret=1;
221 err:
222         if (!ret)
223                 {
224                 DSAerr(DSA_F_DSA_SIGN_SETUP,ERR_R_BN_LIB);
225                 if (kinv != NULL) BN_clear_free(kinv);
226                 if (r != NULL) BN_clear_free(r);
227                 }
228         if (ctx_in == NULL) BN_CTX_free(ctx);
229         if (kinv != NULL) BN_clear_free(kinv);
230         BN_clear_free(&k);
231         return(ret);
232         }
233
234 static int dsa_do_verify(const unsigned char *dgst, int dgst_len, DSA_SIG *sig,
235                   DSA *dsa)
236         {
237         BN_CTX *ctx;
238         BIGNUM u1,u2,t1;
239         BN_MONT_CTX *mont=NULL;
240         int ret = -1;
241         if (!dsa->p || !dsa->q || !dsa->g)
242                 {
243                 DSAerr(DSA_F_DSA_DO_VERIFY,DSA_R_MISSING_PARAMETERS);
244                 return -1;
245                 }
246
247         BN_init(&u1);
248         BN_init(&u2);
249         BN_init(&t1);
250
251         if ((ctx=BN_CTX_new()) == NULL) goto err;
252
253         if (BN_is_zero(sig->r) || sig->r->neg || BN_ucmp(sig->r, dsa->q) >= 0)
254                 {
255                 ret = 0;
256                 goto err;
257                 }
258         if (BN_is_zero(sig->s) || sig->s->neg || BN_ucmp(sig->s, dsa->q) >= 0)
259                 {
260                 ret = 0;
261                 goto err;
262                 }
263
264         /* Calculate W = inv(S) mod Q
265          * save W in u2 */
266         if ((BN_mod_inverse(&u2,sig->s,dsa->q,ctx)) == NULL) goto err;
267
268         /* save M in u1 */
269         if (BN_bin2bn(dgst,dgst_len,&u1) == NULL) goto err;
270
271         /* u1 = M * w mod q */
272         if (!BN_mod_mul(&u1,&u1,&u2,dsa->q,ctx)) goto err;
273
274         /* u2 = r * w mod q */
275         if (!BN_mod_mul(&u2,sig->r,&u2,dsa->q,ctx)) goto err;
276
277         if ((dsa->method_mont_p == NULL) && (dsa->flags & DSA_FLAG_CACHE_MONT_P))
278                 {
279                 if ((dsa->method_mont_p=(char *)BN_MONT_CTX_new()) != NULL)
280                         if (!BN_MONT_CTX_set((BN_MONT_CTX *)dsa->method_mont_p,
281                                 dsa->p,ctx)) goto err;
282                 }
283         mont=(BN_MONT_CTX *)dsa->method_mont_p;
284
285 #if 0
286         {
287         BIGNUM t2;
288
289         BN_init(&t2);
290         /* v = ( g^u1 * y^u2 mod p ) mod q */
291         /* let t1 = g ^ u1 mod p */
292         if (!BN_mod_exp_mont(&t1,dsa->g,&u1,dsa->p,ctx,mont)) goto err;
293         /* let t2 = y ^ u2 mod p */
294         if (!BN_mod_exp_mont(&t2,dsa->pub_key,&u2,dsa->p,ctx,mont)) goto err;
295         /* let u1 = t1 * t2 mod p */
296         if (!BN_mod_mul(&u1,&t1,&t2,dsa->p,ctx)) goto err_bn;
297         BN_free(&t2);
298         }
299         /* let u1 = u1 mod q */
300         if (!BN_mod(&u1,&u1,dsa->q,ctx)) goto err;
301 #else
302         {
303         if (!dsa->meth->dsa_mod_exp(dsa, &t1,dsa->g,&u1,dsa->pub_key,&u2,
304                                                 dsa->p,ctx,mont)) goto err;
305         /* BN_copy(&u1,&t1); */
306         /* let u1 = u1 mod q */
307         if (!BN_mod(&u1,&t1,dsa->q,ctx)) goto err;
308         }
309 #endif
310         /* V is now in u1.  If the signature is correct, it will be
311          * equal to R. */
312         ret=(BN_ucmp(&u1, sig->r) == 0);
313
314         err:
315         if (ret != 1) DSAerr(DSA_F_DSA_DO_VERIFY,ERR_R_BN_LIB);
316         if (ctx != NULL) BN_CTX_free(ctx);
317         BN_free(&u1);
318         BN_free(&u2);
319         BN_free(&t1);
320         return(ret);
321         }
322
323 static int dsa_init(DSA *dsa)
324 {
325         dsa->flags|=DSA_FLAG_CACHE_MONT_P;
326         return(1);
327 }
328
329 static int dsa_finish(DSA *dsa)
330 {
331         if(dsa->method_mont_p)
332                 BN_MONT_CTX_free((BN_MONT_CTX *)dsa->method_mont_p);
333         return(1);
334 }
335
336 static int dsa_mod_exp(DSA *dsa, BIGNUM *rr, BIGNUM *a1, BIGNUM *p1,
337                 BIGNUM *a2, BIGNUM *p2, BIGNUM *m, BN_CTX *ctx,
338                 BN_MONT_CTX *in_mont)
339 {
340         return BN_mod_exp2_mont(rr, a1, p1, a2, p2, m, ctx, in_mont);
341 }
342         
343 static int dsa_bn_mod_exp(DSA *dsa, BIGNUM *r, BIGNUM *a, const BIGNUM *p,
344                                 const BIGNUM *m, BN_CTX *ctx,
345                                 BN_MONT_CTX *m_ctx)
346 {
347         return BN_mod_exp_mont(r, a, p, m, ctx, m_ctx);
348 }