Add checking to padding ctrl.
[oweals/openssl.git] / crypto / rsa / rsa_pmeth.c
1 /* Written by Dr Stephen N Henson (shenson@bigfoot.com) for the OpenSSL
2  * project 2006.
3  */
4 /* ====================================================================
5  * Copyright (c) 2006 The OpenSSL Project.  All rights reserved.
6  *
7  * Redistribution and use in source and binary forms, with or without
8  * modification, are permitted provided that the following conditions
9  * are met:
10  *
11  * 1. Redistributions of source code must retain the above copyright
12  *    notice, this list of conditions and the following disclaimer. 
13  *
14  * 2. Redistributions in binary form must reproduce the above copyright
15  *    notice, this list of conditions and the following disclaimer in
16  *    the documentation and/or other materials provided with the
17  *    distribution.
18  *
19  * 3. All advertising materials mentioning features or use of this
20  *    software must display the following acknowledgment:
21  *    "This product includes software developed by the OpenSSL Project
22  *    for use in the OpenSSL Toolkit. (http://www.OpenSSL.org/)"
23  *
24  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
25  *    endorse or promote products derived from this software without
26  *    prior written permission. For written permission, please contact
27  *    licensing@OpenSSL.org.
28  *
29  * 5. Products derived from this software may not be called "OpenSSL"
30  *    nor may "OpenSSL" appear in their names without prior written
31  *    permission of the OpenSSL Project.
32  *
33  * 6. Redistributions of any form whatsoever must retain the following
34  *    acknowledgment:
35  *    "This product includes software developed by the OpenSSL Project
36  *    for use in the OpenSSL Toolkit (http://www.OpenSSL.org/)"
37  *
38  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
39  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
40  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
41  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
42  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
43  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
44  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
45  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
46  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
47  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
48  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
49  * OF THE POSSIBILITY OF SUCH DAMAGE.
50  * ====================================================================
51  *
52  * This product includes cryptographic software written by Eric Young
53  * (eay@cryptsoft.com).  This product includes software written by Tim
54  * Hudson (tjh@cryptsoft.com).
55  *
56  */
57
58 #include <stdio.h>
59 #include "cryptlib.h"
60 #include <openssl/asn1t.h>
61 #include <openssl/x509.h>
62 #include <openssl/rsa.h>
63 #include "evp_locl.h"
64
65 /* RSA pkey context structure */
66
67 typedef struct
68         {
69         /* Key gen parameters */
70         int nbits;
71         BIGNUM *pub_exp;
72         /* RSA padding mode */
73         int pad_mode;
74         } RSA_PKEY_CTX;
75
76 static int pkey_rsa_init(EVP_PKEY_CTX *ctx)
77         {
78         RSA_PKEY_CTX *rctx;
79         rctx = OPENSSL_malloc(sizeof(RSA_PKEY_CTX));
80         if (!rctx)
81                 return 0;
82         rctx->nbits = 1024;
83         rctx->pub_exp = NULL;
84         rctx->pad_mode = RSA_PKCS1_PADDING;
85         ctx->data = rctx;
86         return 1;
87         }
88
89 static void pkey_rsa_cleanup(EVP_PKEY_CTX *ctx)
90         {
91         RSA_PKEY_CTX *rctx = ctx->data;
92         if (rctx)
93                 {
94                 if (rctx->pub_exp)
95                         BN_free(rctx->pub_exp);
96                 }
97         OPENSSL_free(rctx);
98         }
99
100 static int pkey_rsa_sign(EVP_PKEY_CTX *ctx, unsigned char *sig, int *siglen,
101                                         unsigned char *tbs, int tbslen)
102         {
103         int ret;
104         RSA_PKEY_CTX *rctx = ctx->data;
105         ret = RSA_private_encrypt(tbslen, tbs, sig, ctx->pkey->pkey.rsa,
106                                                         rctx->pad_mode);
107         if (ret < 0)
108                 return ret;
109         *siglen = ret;
110         return 1;
111         }
112
113
114 static int pkey_rsa_verifyrecover(EVP_PKEY_CTX *ctx,
115                                         unsigned char *sig, int *siglen,
116                                         unsigned char *tbs, int tbslen)
117         {
118         int ret;
119         RSA_PKEY_CTX *rctx = ctx->data;
120         ret = RSA_public_decrypt(tbslen, tbs, sig, ctx->pkey->pkey.rsa,
121                                                         rctx->pad_mode);
122         if (ret < 0)
123                 return ret;
124         *siglen = ret;
125         return 1;
126         }
127
128 static int pkey_rsa_encrypt(EVP_PKEY_CTX *ctx, unsigned char *out, int *outlen,
129                                         unsigned char *in, int inlen)
130         {
131         int ret;
132         RSA_PKEY_CTX *rctx = ctx->data;
133         ret = RSA_public_encrypt(inlen, in, out, ctx->pkey->pkey.rsa,
134                                                         rctx->pad_mode);
135         if (ret < 0)
136                 return ret;
137         *outlen = ret;
138         return 1;
139         }
140
141 static int pkey_rsa_decrypt(EVP_PKEY_CTX *ctx, unsigned char *out, int *outlen,
142                                         unsigned char *in, int inlen)
143         {
144         int ret;
145         RSA_PKEY_CTX *rctx = ctx->data;
146         ret = RSA_private_decrypt(inlen, in, out, ctx->pkey->pkey.rsa,
147                                                         rctx->pad_mode);
148         if (ret < 0)
149                 return ret;
150         *outlen = ret;
151         return 1;
152         }
153
154 static int pkey_rsa_ctrl(EVP_PKEY_CTX *ctx, int type, int p1, void *p2)
155         {
156         RSA_PKEY_CTX *rctx = ctx->data;
157         switch (type)
158                 {
159
160                 case EVP_PKEY_CTRL_RSA_PADDING:
161                 /* TODO: add PSS support */
162                 if ((p1 >= RSA_PKCS1_PADDING) && (p1 <= RSA_X931_PADDING))
163                         {
164                         if (ctx->operation == EVP_PKEY_OP_KEYGEN)
165                                 return -2;
166                         rctx->pad_mode = p1;
167                         return 1;
168                         }
169                 return -2;
170
171                 default:
172                 return -2;
173
174                 }
175         }
176                         
177 static int pkey_rsa_ctrl_str(EVP_PKEY_CTX *ctx,
178                         const char *type, const char *value)
179         {
180         if (!strcmp(type, "rsa_padding_mode"))
181                 {
182                 int pm;
183                 if (!value)
184                         return 0;
185                 if (!strcmp(value, "pkcs1"))
186                         pm = RSA_PKCS1_PADDING;
187                 else if (!strcmp(value, "sslv23"))
188                         pm = RSA_SSLV23_PADDING;
189                 else if (!strcmp(value, "none"))
190                         pm = RSA_NO_PADDING;
191                 else if (!strcmp(value, "oeap"))
192                         pm = RSA_PKCS1_OAEP_PADDING;
193                 else if (!strcmp(value, "x931"))
194                         pm = RSA_X931_PADDING;
195                 else
196                         return -2;
197                 return EVP_PKEY_CTX_set_rsa_padding(ctx, pm);
198                 }
199         return -2;
200         }
201
202 const EVP_PKEY_METHOD rsa_pkey_meth = 
203         {
204         EVP_PKEY_RSA,
205         0,
206         pkey_rsa_init,
207         pkey_rsa_cleanup,
208
209         0,0,
210
211         0,0,
212
213         0,
214         pkey_rsa_sign,
215
216         0,0,
217
218         0,
219         pkey_rsa_verifyrecover,
220
221
222         0,0,0,0,
223
224         0,
225         pkey_rsa_encrypt,
226
227         0,
228         pkey_rsa_decrypt,
229
230         pkey_rsa_ctrl,
231         pkey_rsa_ctrl_str
232
233
234         };