crypto/engine/eng_rsax.c

   1 /* crypto/engine/eng_rsax.c */
   2 /* Copyright (c) 2010-2010 Intel Corp.
   3  *   Author: Vinodh.Gopal@intel.com
   4  *           Jim Guilford
   5  *           Erdinc.Ozturk@intel.com
   6  *           Maxim.Perminov@intel.com
   7  *           Ying.Huang@intel.com
   8  *
   9  * More information about algorithm used can be found at:
  10  *   http://www.cse.buffalo.edu/srds2009/escs2009_submission_Gopal.pdf
  11  */
  12 /* ====================================================================
  13  * Copyright (c) 1999-2001 The OpenSSL Project.  All rights reserved.
  14  *
  15  * Redistribution and use in source and binary forms, with or without
  16  * modification, are permitted provided that the following conditions
  17  * are met:
  18  *
  19  * 1. Redistributions of source code must retain the above copyright
  20  *    notice, this list of conditions and the following disclaimer.
  21  *
  22  * 2. Redistributions in binary form must reproduce the above copyright
  23  *    notice, this list of conditions and the following disclaimer in
  24  *    the documentation and/or other materials provided with the
  25  *    distribution.
  26  *
  27  * 3. All advertising materials mentioning features or use of this
  28  *    software must display the following acknowledgment:
  29  *    "This product includes software developed by the OpenSSL Project
  30  *    for use in the OpenSSL Toolkit. (http://www.OpenSSL.org/)"
  31  *
  32  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
  33  *    endorse or promote products derived from this software without
  34  *    prior written permission. For written permission, please contact
  35  *    licensing@OpenSSL.org.
  36  *
  37  * 5. Products derived from this software may not be called "OpenSSL"
  38  *    nor may "OpenSSL" appear in their names without prior written
  39  *    permission of the OpenSSL Project.
  40  *
  41  * 6. Redistributions of any form whatsoever must retain the following
  42  *    acknowledgment:
  43  *    "This product includes software developed by the OpenSSL Project
  44  *    for use in the OpenSSL Toolkit (http://www.OpenSSL.org/)"
  45  *
  46  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
  47  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  48  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  49  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
  50  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  51  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  52  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  53  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  54  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
  55  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  56  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
  57  * OF THE POSSIBILITY OF SUCH DAMAGE.
  58  * ====================================================================
  59  *
  60  * This product includes cryptographic software written by Eric Young
  61  * (eay@cryptsoft.com).  This product includes software written by Tim
  62  * Hudson (tjh@cryptsoft.com).
  63  */
  64
  65 #include <openssl/opensslconf.h>
  66
  67 #include <stdio.h>
  68 #include <string.h>
  69 #include <openssl/crypto.h>
  70 #include <openssl/buffer.h>
  71 #include <openssl/engine.h>
  72 #ifndef OPENSSL_NO_RSA
  73 #include <openssl/rsa.h>
  74 #endif
  75 #include <openssl/bn.h>
  76 #include <openssl/err.h>
  77
  78 /* RSAX is available **ONLY* on x86_64 CPUs */
  79 #undef COMPILE_RSAX
  80
  81 #if (defined(__x86_64) || defined(__x86_64__) || \
  82      defined(_M_AMD64) || defined (_M_X64)) && !defined(OPENSSL_NO_ASM)
  83 #define COMPILE_RSAX
  84 static ENGINE *ENGINE_rsax (void);
  85 #endif
  86
  87 void ENGINE_load_rsax (void)
  88         {
  89 /* On non-x86 CPUs it just returns. */
  90 #ifdef COMPILE_RSAX
  91         ENGINE *toadd = ENGINE_rsax();
  92         if(!toadd) return;
  93         ENGINE_add(toadd);
  94         ENGINE_free(toadd);
  95         ERR_clear_error();
  96 #endif
  97         }
  98
  99 #ifdef COMPILE_RSAX
 100 #define E_RSAX_LIB_NAME "rsax engine"
 101
 102 static int e_rsax_destroy(ENGINE *e);
 103 static int e_rsax_init(ENGINE *e);
 104 static int e_rsax_finish(ENGINE *e);
 105 static int e_rsax_ctrl(ENGINE *e, int cmd, long i, void *p, void (*f)(void));
 106
 107 #ifndef OPENSSL_NO_RSA
 108 /* RSA stuff */
 109 static int e_rsax_rsa_mod_exp(BIGNUM *r, const BIGNUM *I, RSA *rsa, BN_CTX *ctx);
 110 static int e_rsax_rsa_finish(RSA *r);
 111 static int (*def_rsa_finish)(RSA *r);
 112 #endif
 113
 114 static const ENGINE_CMD_DEFN e_rsax_cmd_defns[] = {
 115         {0, NULL, NULL, 0}
 116         };
 117
 118 #ifndef OPENSSL_NO_RSA
 119 /* Our internal RSA_METHOD that we provide pointers to */
 120 static RSA_METHOD e_rsax_rsa =
 121         {
 122         "Intel RSA-X method",
 123         NULL,
 124         NULL,
 125         NULL,
 126         NULL,
 127         e_rsax_rsa_mod_exp,
 128         NULL,
 129         NULL,
 130         e_rsax_rsa_finish,
 131         RSA_FLAG_CACHE_PUBLIC|RSA_FLAG_CACHE_PRIVATE,
 132         NULL,
 133         NULL,
 134         NULL
 135         };
 136 #endif
 137
 138 /* Constants used when creating the ENGINE */
 139 static const char *engine_e_rsax_id = "rsax";
 140 static const char *engine_e_rsax_name = "RSAX engine support";
 141
 142 /* This internal function is used by ENGINE_rsax() */
 143 static int bind_helper(ENGINE *e)
 144         {
 145 #ifndef OPENSSL_NO_RSA
 146         const RSA_METHOD *meth1;
 147 #endif
 148         if(!ENGINE_set_id(e, engine_e_rsax_id) ||
 149                         !ENGINE_set_name(e, engine_e_rsax_name) ||
 150 #ifndef OPENSSL_NO_RSA
 151                         !ENGINE_set_RSA(e, &e_rsax_rsa) ||
 152 #endif
 153                         !ENGINE_set_destroy_function(e, e_rsax_destroy) ||
 154                         !ENGINE_set_init_function(e, e_rsax_init) ||
 155                         !ENGINE_set_finish_function(e, e_rsax_finish) ||
 156                         !ENGINE_set_ctrl_function(e, e_rsax_ctrl) ||
 157                         !ENGINE_set_cmd_defns(e, e_rsax_cmd_defns))
 158                 return 0;
 159
 160 #ifndef OPENSSL_NO_RSA
 161         meth1 = RSA_PKCS1_SSLeay();
 162         e_rsax_rsa.rsa_pub_enc = meth1->rsa_pub_enc;
 163         e_rsax_rsa.rsa_pub_dec = meth1->rsa_pub_dec;
 164         e_rsax_rsa.rsa_priv_enc = meth1->rsa_priv_enc;
 165         e_rsax_rsa.rsa_priv_dec = meth1->rsa_priv_dec;
 166         e_rsax_rsa.bn_mod_exp = meth1->bn_mod_exp;
 167         def_rsa_finish = meth1->finish;
 168 #endif
 169         return 1;
 170         }
 171
 172 static ENGINE *ENGINE_rsax(void)
 173         {
 174         ENGINE *ret = ENGINE_new();
 175         if(!ret)
 176                 return NULL;
 177         if(!bind_helper(ret))
 178                 {
 179                 ENGINE_free(ret);
 180                 return NULL;
 181                 }
 182         return ret;
 183         }
 184
 185 #ifndef OPENSSL_NO_RSA
 186 /* Used to attach our own key-data to an RSA structure */
 187 static int rsax_ex_data_idx = -1;
 188 #endif
 189
 190 static int e_rsax_destroy(ENGINE *e)
 191         {
 192         return 1;
 193         }
 194
 195 /* (de)initialisation functions. */
 196 static int e_rsax_init(ENGINE *e)
 197         {
 198 #ifndef OPENSSL_NO_RSA
 199         if (rsax_ex_data_idx == -1)
 200                 rsax_ex_data_idx = RSA_get_ex_new_index(0,
 201                         NULL,
 202                         NULL, NULL, NULL);
 203 #endif
 204         if (rsax_ex_data_idx  == -1)
 205                 return 0;
 206         return 1;
 207         }
 208
 209 static int e_rsax_finish(ENGINE *e)
 210         {
 211         return 1;
 212         }
 213
 214 static int e_rsax_ctrl(ENGINE *e, int cmd, long i, void *p, void (*f)(void))
 215         {
 216         int to_return = 1;
 217
 218         switch(cmd)
 219                 {
 220         /* The command isn't understood by this engine */
 221         default:
 222                 to_return = 0;
 223                 break;
 224                 }
 225
 226         return to_return;
 227         }
 228
 229
 230 #ifndef OPENSSL_NO_RSA
 231
 232 #ifdef _WIN32
 233 typedef unsigned __int64 UINT64;
 234 #else
 235 typedef unsigned long long UINT64;
 236 #endif
 237 typedef unsigned short UINT16;
 238
 239 /* Table t is interleaved in the following manner:
 240  * The order in memory is t[0][0], t[0][1], ..., t[0][7], t[1][0], ...
 241  * A particular 512-bit value is stored in t[][index] rather than the more
 242  * normal t[index][]; i.e. the qwords of a particular entry in t are not
 243  * adjacent in memory
 244  */
 245
 246 /* Init BIGNUM b from the interleaved UINT64 array */
 247 static int interleaved_array_to_bn_512(BIGNUM* b, UINT64 *array);
 248
 249 /* Extract array elements from BIGNUM b
 250  * To set the whole array from b, call with n=8
 251  */
 252 static int bn_extract_to_array_512(const BIGNUM* b, unsigned int n, UINT64 *array);
 253
 254 struct mod_ctx_512 {
 255     UINT64 t[8][8];
 256     UINT64 m[8];
 257     UINT64 m1[8]; /* 2^278 % m */
 258     UINT64 m2[8]; /* 2^640 % m */
 259     UINT64 k1[2]; /* (- 1/m) % 2^128 */
 260 };
 261
 262 static int mod_exp_pre_compute_data_512(UINT64 *m, struct mod_ctx_512 *data);
 263
 264 void mod_exp_512(UINT64 *result, /* 512 bits, 8 qwords */
 265                  UINT64 *g,      /* 512 bits, 8 qwords */
 266                  UINT64 *exp,    /* 512 bits, 8 qwords */
 267                  struct mod_ctx_512 *data);
 268
 269 typedef struct st_e_rsax_mod_ctx
 270 {
 271   UINT64 type;
 272   union {
 273     struct mod_ctx_512 b512;
 274   } ctx;
 275
 276 } E_RSAX_MOD_CTX;
 277
 278 static E_RSAX_MOD_CTX *e_rsax_get_ctx(RSA *rsa, int idx, BIGNUM* m)
 279 {
 280         E_RSAX_MOD_CTX *hptr;
 281
 282         if (idx < 0 || idx > 2)
 283            return NULL;
 284
 285         hptr = RSA_get_ex_data(rsa, rsax_ex_data_idx);
 286         if (!hptr) {
 287             hptr = OPENSSL_malloc(3*sizeof(E_RSAX_MOD_CTX));
 288             if (!hptr) return NULL;
 289             hptr[2].type = hptr[1].type= hptr[0].type = 0;
 290             RSA_set_ex_data(rsa, rsax_ex_data_idx, hptr);
 291         }
 292
 293         if (hptr[idx].type == (UINT64)BN_num_bits(m))
 294             return hptr+idx;
 295
 296         if (BN_num_bits(m) == 512) {
 297             UINT64 _m[8];
 298             bn_extract_to_array_512(m, 8, _m);
 299             memset( &hptr[idx].ctx.b512, 0, sizeof(struct mod_ctx_512));
 300             mod_exp_pre_compute_data_512(_m, &hptr[idx].ctx.b512);
 301         }
 302
 303         hptr[idx].type = BN_num_bits(m);
 304         return hptr+idx;
 305 }
 306
 307 static int e_rsax_rsa_finish(RSA *rsa)
 308         {
 309         E_RSAX_MOD_CTX *hptr = RSA_get_ex_data(rsa, rsax_ex_data_idx);
 310         if(hptr)
 311                 {
 312                 OPENSSL_free(hptr);
 313                 RSA_set_ex_data(rsa, rsax_ex_data_idx, NULL);
 314                 }
 315         if (rsa->_method_mod_n)
 316                 BN_MONT_CTX_free(rsa->_method_mod_n);
 317         if (rsa->_method_mod_p)
 318                 BN_MONT_CTX_free(rsa->_method_mod_p);
 319         if (rsa->_method_mod_q)
 320                 BN_MONT_CTX_free(rsa->_method_mod_q);
 321         return 1;
 322         }
 323
 324
 325 static int e_rsax_bn_mod_exp(BIGNUM *r, const BIGNUM *g, const BIGNUM *e,
 326                     const BIGNUM *m, BN_CTX *ctx, BN_MONT_CTX *in_mont, E_RSAX_MOD_CTX* rsax_mod_ctx )
 327 {
 328         if (rsax_mod_ctx && BN_get_flags(e, BN_FLG_CONSTTIME) != 0) {
 329            if (BN_num_bits(m) == 512) {
 330                 UINT64 _r[8];
 331                 UINT64 _g[8];
 332                 UINT64 _e[8];
 333
 334                 /* Init the arrays from the BIGNUMs */
 335                 bn_extract_to_array_512(g, 8, _g);
 336                 bn_extract_to_array_512(e, 8, _e);
 337
 338                 mod_exp_512(_r, _g, _e, &rsax_mod_ctx->ctx.b512);
 339                 /* Return the result in the BIGNUM */
 340                 interleaved_array_to_bn_512(r, _r);
 341                 return 1;
 342            }
 343         }
 344
 345         return BN_mod_exp_mont(r, g, e, m, ctx, in_mont);
 346 }
 347
 348 /* Declares for the Intel CIAP 512-bit / CRT / 1024 bit RSA modular
 349  * exponentiation routine precalculations and a structure to hold the
 350  * necessary values.  These files are meant to live in crypto/rsa/ in
 351  * the target openssl.
 352  */
 353
 354 /*
 355  * Local method: extracts a piece from a BIGNUM, to fit it into
 356  * an array. Call with n=8 to extract an entire 512-bit BIGNUM
 357  */
 358 static int bn_extract_to_array_512(const BIGNUM* b, unsigned int n, UINT64 *array)
 359 {
 360         int i;
 361         UINT64 tmp;
 362         unsigned char bn_buff[64];
 363         memset(bn_buff, 0, 64);
 364         if (BN_num_bytes(b) > 64) {
 365                 printf ("Can't support this byte size\n");
 366                 return 0; }
 367         if (BN_num_bytes(b)!=0) {
 368                 if (!BN_bn2bin(b, bn_buff+(64-BN_num_bytes(b)))) {
 369                         printf ("Error's in bn2bin\n");
 370                         /* We have to error, here */
 371                         return 0; } }
 372         while (n-- > 0) {
 373                 array[n] = 0;
 374                 for (i=7; i>=0; i--) {
 375                         tmp = bn_buff[63-(n*8+i)];
 376                         array[n] |= tmp << (8*i); } }
 377         return 1;
 378 }
 379
 380 /* Init a 512-bit BIGNUM from the UINT64*_ (8 * 64) interleaved array */
 381 static int interleaved_array_to_bn_512(BIGNUM* b, UINT64 *array)
 382 {
 383         unsigned char tmp[64];
 384         int n=8;
 385         int i;
 386         while (n-- > 0) {
 387                 for (i = 7; i>=0; i--) {
 388                         tmp[63-(n*8+i)] = (unsigned char)(array[n]>>(8*i)); } }
 389         BN_bin2bn(tmp, 64, b);
 390         return 0;
 391 }
 392
 393
 394 /* The main 512bit precompute call */
 395 static int mod_exp_pre_compute_data_512(UINT64 *m, struct mod_ctx_512 *data)
 396  {
 397     BIGNUM two_768, two_640, two_128, two_512, tmp, _m, tmp2;
 398
 399     /* We need a BN_CTX for the modulo functions */
 400     BN_CTX* ctx;
 401     /* Some tmps */
 402     UINT64 _t[8];
 403     int i, j, ret = 0;
 404
 405     /* Init _m with m */
 406     BN_init(&_m);
 407     interleaved_array_to_bn_512(&_m, m);
 408     memset(_t, 0, 64);
 409
 410     /* Inits */
 411     BN_init(&two_768);
 412     BN_init(&two_640);
 413     BN_init(&two_128);
 414     BN_init(&two_512);
 415     BN_init(&tmp);
 416     BN_init(&tmp2);
 417
 418     /* Create our context */
 419     if ((ctx=BN_CTX_new()) == NULL) { goto err; }
 420         BN_CTX_start(ctx);
 421
 422     /*
 423      * For production, if you care, these only need to be set once,
 424      * and may be made constants.
 425      */
 426     BN_lshift(&two_768, BN_value_one(), 768);
 427     BN_lshift(&two_640, BN_value_one(), 640);
 428     BN_lshift(&two_128, BN_value_one(), 128);
 429     BN_lshift(&two_512, BN_value_one(), 512);
 430
 431     if (0 == (m[7] & 0x8000000000000000)) {
 432         exit(1);
 433     }
 434     if (0 == (m[0] & 0x1)) { /* Odd modulus required for Mont */
 435         exit(1);
 436     }
 437
 438     /* Precompute m1 */
 439     BN_mod(&tmp, &two_768, &_m, ctx);
 440     if (!bn_extract_to_array_512(&tmp, 8, &data->m1[0])) {
 441             goto err; }
 442
 443     /* Precompute m2 */
 444     BN_mod(&tmp, &two_640, &_m, ctx);
 445     if (!bn_extract_to_array_512(&tmp, 8, &data->m2[0])) {
 446             goto err;
 447     }
 448
 449     /*
 450      * Precompute k1, a 128b number = ((-1)* m-1 ) mod 2128; k1 should
 451      * be non-negative.
 452      */
 453     BN_mod_inverse(&tmp, &_m, &two_128, ctx);
 454     if (!BN_is_zero(&tmp)) { BN_sub(&tmp, &two_128, &tmp); }
 455     if (!bn_extract_to_array_512(&tmp, 2, &data->k1[0])) {
 456             goto err; }
 457
 458     /* Precompute t */
 459     for (i=0; i<8; i++) {
 460         BN_zero(&tmp);
 461         if (i & 1) { BN_add(&tmp, &two_512, &tmp); }
 462         if (i & 2) { BN_add(&tmp, &two_512, &tmp); }
 463         if (i & 4) { BN_add(&tmp, &two_640, &tmp); }
 464
 465         BN_nnmod(&tmp2, &tmp, &_m, ctx);
 466         if (!bn_extract_to_array_512(&tmp2, 8, _t)) {
 467                 goto err; }
 468         for (j=0; j<8; j++) data->t[j][i] = _t[j]; }
 469
 470     /* Precompute m */
 471     for (i=0; i<8; i++) {
 472         data->m[i] = m[i]; }
 473
 474     ret = 1;
 475
 476 err:
 477     /* Cleanup */
 478         if (ctx != NULL) {
 479                 BN_CTX_end(ctx); BN_CTX_free(ctx); }
 480     BN_free(&two_768);
 481     BN_free(&two_640);
 482     BN_free(&two_128);
 483     BN_free(&two_512);
 484     BN_free(&tmp);
 485     BN_free(&tmp2);
 486     BN_free(&_m);
 487
 488     return ret;
 489 }
 490
 491
 492 static int e_rsax_rsa_mod_exp(BIGNUM *r0, const BIGNUM *I, RSA *rsa, BN_CTX *ctx)
 493         {
 494         BIGNUM *r1,*m1,*vrfy;
 495         BIGNUM local_dmp1,local_dmq1,local_c,local_r1;
 496         BIGNUM *dmp1,*dmq1,*c,*pr1;
 497         int ret=0;
 498
 499         BN_CTX_start(ctx);
 500         r1 = BN_CTX_get(ctx);
 501         m1 = BN_CTX_get(ctx);
 502         vrfy = BN_CTX_get(ctx);
 503
 504         {
 505                 BIGNUM local_p, local_q;
 506                 BIGNUM *p = NULL, *q = NULL;
 507                 int error = 0;
 508
 509                 /* Make sure BN_mod_inverse in Montgomery
 510                  * intialization uses the BN_FLG_CONSTTIME flag
 511                  * (unless RSA_FLAG_NO_CONSTTIME is set)
 512                  */
 513                 if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
 514                         {
 515                         BN_init(&local_p);
 516                         p = &local_p;
 517                         BN_with_flags(p, rsa->p, BN_FLG_CONSTTIME);
 518
 519                         BN_init(&local_q);
 520                         q = &local_q;
 521                         BN_with_flags(q, rsa->q, BN_FLG_CONSTTIME);
 522                         }
 523                 else
 524                         {
 525                         p = rsa->p;
 526                         q = rsa->q;
 527                         }
 528
 529                 if (rsa->flags & RSA_FLAG_CACHE_PRIVATE)
 530                         {
 531                         if (!BN_MONT_CTX_set_locked(&rsa->_method_mod_p, CRYPTO_LOCK_RSA, p, ctx))
 532                                 error = 1;
 533                         if (!BN_MONT_CTX_set_locked(&rsa->_method_mod_q, CRYPTO_LOCK_RSA, q, ctx))
 534                                 error = 1;
 535                         }
 536
 537                 /* clean up */
 538                 if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
 539                         {
 540                         BN_free(&local_p);
 541                         BN_free(&local_q);
 542                         }
 543                 if ( error )
 544                         goto err;
 545         }
 546
 547         if (rsa->flags & RSA_FLAG_CACHE_PUBLIC)
 548                 if (!BN_MONT_CTX_set_locked(&rsa->_method_mod_n, CRYPTO_LOCK_RSA, rsa->n, ctx))
 549                         goto err;
 550
 551         /* compute I mod q */
 552         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
 553                 {
 554                 c = &local_c;
 555                 BN_with_flags(c, I, BN_FLG_CONSTTIME);
 556                 if (!BN_mod(r1,c,rsa->q,ctx)) goto err;
 557                 }
 558         else
 559                 {
 560                 if (!BN_mod(r1,I,rsa->q,ctx)) goto err;
 561                 }
 562
 563         /* compute r1^dmq1 mod q */
 564         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
 565                 {
 566                 dmq1 = &local_dmq1;
 567                 BN_with_flags(dmq1, rsa->dmq1, BN_FLG_CONSTTIME);
 568                 }
 569         else
 570                 dmq1 = rsa->dmq1;
 571
 572         if (!e_rsax_bn_mod_exp(m1,r1,dmq1,rsa->q,ctx,
 573                 rsa->_method_mod_q, e_rsax_get_ctx(rsa, 0, rsa->q) )) goto err;
 574
 575         /* compute I mod p */
 576         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
 577                 {
 578                 c = &local_c;
 579                 BN_with_flags(c, I, BN_FLG_CONSTTIME);
 580                 if (!BN_mod(r1,c,rsa->p,ctx)) goto err;
 581                 }
 582         else
 583                 {
 584                 if (!BN_mod(r1,I,rsa->p,ctx)) goto err;
 585                 }
 586
 587         /* compute r1^dmp1 mod p */
 588         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
 589                 {
 590                 dmp1 = &local_dmp1;
 591                 BN_with_flags(dmp1, rsa->dmp1, BN_FLG_CONSTTIME);
 592                 }
 593         else
 594                 dmp1 = rsa->dmp1;
 595
 596         if (!e_rsax_bn_mod_exp(r0,r1,dmp1,rsa->p,ctx,
 597                 rsa->_method_mod_p, e_rsax_get_ctx(rsa, 1, rsa->p) )) goto err;
 598
 599         if (!BN_sub(r0,r0,m1)) goto err;
 600         /* This will help stop the size of r0 increasing, which does
 601          * affect the multiply if it optimised for a power of 2 size */
 602         if (BN_is_negative(r0))
 603                 if (!BN_add(r0,r0,rsa->p)) goto err;
 604
 605         if (!BN_mul(r1,r0,rsa->iqmp,ctx)) goto err;
 606
 607         /* Turn BN_FLG_CONSTTIME flag on before division operation */
 608         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
 609                 {
 610                 pr1 = &local_r1;
 611                 BN_with_flags(pr1, r1, BN_FLG_CONSTTIME);
 612                 }
 613         else
 614                 pr1 = r1;
 615         if (!BN_mod(r0,pr1,rsa->p,ctx)) goto err;
 616
 617         /* If p < q it is occasionally possible for the correction of
 618          * adding 'p' if r0 is negative above to leave the result still
 619          * negative. This can break the private key operations: the following
 620          * second correction should *always* correct this rare occurrence.
 621          * This will *never* happen with OpenSSL generated keys because
 622          * they ensure p > q [steve]
 623          */
 624         if (BN_is_negative(r0))
 625                 if (!BN_add(r0,r0,rsa->p)) goto err;
 626         if (!BN_mul(r1,r0,rsa->q,ctx)) goto err;
 627         if (!BN_add(r0,r1,m1)) goto err;
 628
 629         if (rsa->e && rsa->n)
 630                 {
 631                 if (!e_rsax_bn_mod_exp(vrfy,r0,rsa->e,rsa->n,ctx,rsa->_method_mod_n, e_rsax_get_ctx(rsa, 2, rsa->n) ))
 632                     goto err;
 633
 634                 /* If 'I' was greater than (or equal to) rsa->n, the operation
 635                  * will be equivalent to using 'I mod n'. However, the result of
 636                  * the verify will *always* be less than 'n' so we don't check
 637                  * for absolute equality, just congruency. */
 638                 if (!BN_sub(vrfy, vrfy, I)) goto err;
 639                 if (!BN_mod(vrfy, vrfy, rsa->n, ctx)) goto err;
 640                 if (BN_is_negative(vrfy))
 641                         if (!BN_add(vrfy, vrfy, rsa->n)) goto err;
 642                 if (!BN_is_zero(vrfy))
 643                         {
 644                         /* 'I' and 'vrfy' aren't congruent mod n. Don't leak
 645                          * miscalculated CRT output, just do a raw (slower)
 646                          * mod_exp and return that instead. */
 647
 648                         BIGNUM local_d;
 649                         BIGNUM *d = NULL;
 650
 651                         if (!(rsa->flags & RSA_FLAG_NO_CONSTTIME))
 652                                 {
 653                                 d = &local_d;
 654                                 BN_with_flags(d, rsa->d, BN_FLG_CONSTTIME);
 655                                 }
 656                         else
 657                                 d = rsa->d;
 658                         if (!e_rsax_bn_mod_exp(r0,I,d,rsa->n,ctx,
 659                                                    rsa->_method_mod_n, e_rsax_get_ctx(rsa, 2, rsa->n) )) goto err;
 660                         }
 661                 }
 662         ret=1;
 663
 664 err:
 665         BN_CTX_end(ctx);
 666
 667         return ret;
 668         }
 669 #endif /* !OPENSSL_NO_RSA */
 670 #endif /* !COMPILE_RSAX */