AlgorithmIdentifier bugs
[oweals/openssl.git] / crypto / rsa / rsa_oaep.c
1 /* crypto/rsa/rsa_oaep.c */
2 /* Written by Ulf Moeller. This software is distributed on an "AS IS"
3    basis, WITHOUT WARRANTY OF ANY KIND, either express or implied. */
4
5 /* EME-OAEP as defined in RFC 2437 (PKCS #1 v2.0) */
6
7 /* See Victor Shoup, "OAEP reconsidered," Nov. 2000,
8  * <URL: http://www.shoup.net/papers/oaep.ps.Z>
9  * for problems with the security proof for the
10  * original OAEP scheme, which EME-OAEP is based on.
11  * 
12  * A new proof can be found in E. Fujisaki, T. Okamoto,
13  * D. Pointcheval, J. Stern, "RSA-OEAP is Still Alive!",
14  * Dec. 2000, <URL: http://eprint.iacr.org/2000/061/>.
15  * The new proof has stronger requirements for the
16  * underlying permutation: "partial-one-wayness" instead
17  * of one-wayness.  For the RSA function, this is
18  * an equivalent notion.
19  */
20
21
22 #if !defined(NO_SHA) && !defined(NO_SHA1)
23 #include <stdio.h>
24 #include "cryptlib.h"
25 #include <openssl/bn.h>
26 #include <openssl/rsa.h>
27 #include <openssl/sha.h>
28 #include <openssl/rand.h>
29
30 int MGF1(unsigned char *mask, long len,
31         unsigned char *seed, long seedlen);
32
33 int RSA_padding_add_PKCS1_OAEP(unsigned char *to, int tlen,
34         unsigned char *from, int flen,
35         unsigned char *param, int plen)
36         {
37         int i, emlen = tlen - 1;
38         unsigned char *db, *seed;
39         unsigned char *dbmask, seedmask[SHA_DIGEST_LENGTH];
40
41         if (flen > emlen - 2 * SHA_DIGEST_LENGTH - 1)
42                 {
43                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP,
44                    RSA_R_DATA_TOO_LARGE_FOR_KEY_SIZE);
45                 return 0;
46                 }
47
48         if (emlen < 2 * SHA_DIGEST_LENGTH + 1)
49                 {
50                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, RSA_R_KEY_SIZE_TOO_SMALL);
51                 return 0;
52                 }
53
54         dbmask = OPENSSL_malloc(emlen - SHA_DIGEST_LENGTH);
55         if (dbmask == NULL)
56                 {
57                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
58                 return 0;
59                 }
60
61         to[0] = 0;
62         seed = to + 1;
63         db = to + SHA_DIGEST_LENGTH + 1;
64
65         SHA1(param, plen, db);
66         memset(db + SHA_DIGEST_LENGTH, 0,
67                 emlen - flen - 2 * SHA_DIGEST_LENGTH - 1);
68         db[emlen - flen - SHA_DIGEST_LENGTH - 1] = 0x01;
69         memcpy(db + emlen - flen - SHA_DIGEST_LENGTH, from, (unsigned int) flen);
70         if (RAND_bytes(seed, SHA_DIGEST_LENGTH) <= 0)
71                 return 0;
72 #ifdef PKCS_TESTVECT
73         memcpy(seed,
74            "\xaa\xfd\x12\xf6\x59\xca\xe6\x34\x89\xb4\x79\xe5\x07\x6d\xde\xc2\xf0\x6c\xb5\x8f",
75            20);
76 #endif
77
78         MGF1(dbmask, emlen - SHA_DIGEST_LENGTH, seed, SHA_DIGEST_LENGTH);
79         for (i = 0; i < emlen - SHA_DIGEST_LENGTH; i++)
80                 db[i] ^= dbmask[i];
81
82         MGF1(seedmask, SHA_DIGEST_LENGTH, db, emlen - SHA_DIGEST_LENGTH);
83         for (i = 0; i < SHA_DIGEST_LENGTH; i++)
84                 seed[i] ^= seedmask[i];
85
86         OPENSSL_free(dbmask);
87         return 1;
88         }
89
90 int RSA_padding_check_PKCS1_OAEP(unsigned char *to, int tlen,
91              unsigned char *from, int flen, int num, unsigned char *param,
92              int plen)
93         {
94         int i, dblen, mlen = -1;
95         unsigned char *maskeddb;
96         int lzero;
97         unsigned char *db = NULL, seed[SHA_DIGEST_LENGTH], phash[SHA_DIGEST_LENGTH];
98         int bad = 0;
99
100         if (--num < 2 * SHA_DIGEST_LENGTH + 1)
101                 /* 'num' is the length of the modulus, i.e. does not depend on the
102                  * particular ciphertext. */
103                 goto decoding_err;
104
105         lzero = num - flen;
106         if (lzero < 0)
107                 {
108                 /* lzero == -1 */
109
110                 /* signalling this error immediately after detection might allow
111                  * for side-channel attacks (e.g. timing if 'plen' is huge
112                  * -- cf. James H. Manger, "A Chosen Ciphertext Attack on RSA Optimal
113                  * Asymmetric Encryption Padding (OAEP) [...]", CRYPTO 2001),
114                  * so we use a 'bad' flag */
115                 bad = 1;
116                 lzero = 0;
117                 }
118         maskeddb = from - lzero + SHA_DIGEST_LENGTH;
119
120         dblen = num - SHA_DIGEST_LENGTH;
121         db = OPENSSL_malloc(dblen);
122         if (db == NULL)
123                 {
124                 RSAerr(RSA_F_RSA_PADDING_ADD_PKCS1_OAEP, ERR_R_MALLOC_FAILURE);
125                 return -1;
126                 }
127
128         MGF1(seed, SHA_DIGEST_LENGTH, maskeddb, dblen);
129         for (i = lzero; i < SHA_DIGEST_LENGTH; i++)
130                 seed[i] ^= from[i - lzero];
131
132         MGF1(db, dblen, seed, SHA_DIGEST_LENGTH);
133         for (i = 0; i < dblen; i++)
134                 db[i] ^= maskeddb[i];
135
136         SHA1(param, plen, phash);
137
138         if (memcmp(db, phash, SHA_DIGEST_LENGTH) != 0 || bad)
139                 goto decoding_err;
140         else
141                 {
142                 for (i = SHA_DIGEST_LENGTH; i < dblen; i++)
143                         if (db[i] != 0x00)
144                                 break;
145                 if (db[i] != 0x01 || i++ >= dblen)
146                         goto decoding_err;
147                 else
148                         {
149                         /* everything looks OK */
150
151                         mlen = dblen - i;
152                         if (tlen < mlen)
153                                 {
154                                 RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_DATA_TOO_LARGE);
155                                 mlen = -1;
156                                 }
157                         else
158                                 memcpy(to, db + i, mlen);
159                         }
160                 }
161         OPENSSL_free(db);
162         return mlen;
163
164 decoding_err:
165         /* to avoid chosen ciphertext attacks, the error message should not reveal
166          * which kind of decoding error happened */
167         RSAerr(RSA_F_RSA_PADDING_CHECK_PKCS1_OAEP, RSA_R_OAEP_DECODING_ERROR);
168         if (db != NULL) OPENSSL_free(db);
169         return -1;
170         }
171
172 int MGF1(unsigned char *mask, long len, unsigned char *seed, long seedlen)
173         {
174         long i, outlen = 0;
175         unsigned char cnt[4];
176         SHA_CTX c;
177         unsigned char md[SHA_DIGEST_LENGTH];
178
179         for (i = 0; outlen < len; i++)
180                 {
181                 cnt[0] = (unsigned char)((i >> 24) & 255);
182                 cnt[1] = (unsigned char)((i >> 16) & 255);
183                 cnt[2] = (unsigned char)((i >> 8)) & 255;
184                 cnt[3] = (unsigned char)(i & 255);
185                 SHA1_Init(&c);
186                 SHA1_Update(&c, seed, seedlen);
187                 SHA1_Update(&c, cnt, 4);
188                 if (outlen + SHA_DIGEST_LENGTH <= len)
189                         {
190                         SHA1_Final(mask + outlen, &c);
191                         outlen += SHA_DIGEST_LENGTH;
192                         }
193                 else
194                         {
195                         SHA1_Final(md, &c);
196                         memcpy(mask + outlen, md, len - outlen);
197                         outlen = len;
198                         }
199                 }
200         return 0;
201         }
202 #endif