Fix memory overrun in rsa padding check functions
[oweals/openssl.git] / crypto / bio / bss_file.c
1 /*
2  * Copyright 1995-2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 /*-
11  * 03-Dec-1997  rdenny@dc3.com  Fix bug preventing use of stdin/stdout
12  *              with binary data (e.g. asn1parse -inform DER < xxx) under
13  *              Windows
14  */
15
16 #ifndef HEADER_BSS_FILE_C
17 # define HEADER_BSS_FILE_C
18
19 # if defined(__linux) || defined(__sun) || defined(__hpux)
20 /*
21  * Following definition aliases fopen to fopen64 on above mentioned
22  * platforms. This makes it possible to open and sequentially access files
23  * larger than 2GB from 32-bit application. It does not allow to traverse
24  * them beyond 2GB with fseek/ftell, but on the other hand *no* 32-bit
25  * platform permits that, not with fseek/ftell. Not to mention that breaking
26  * 2GB limit for seeking would require surgery to *our* API. But sequential
27  * access suffices for practical cases when you can run into large files,
28  * such as fingerprinting, so we can let API alone. For reference, the list
29  * of 32-bit platforms which allow for sequential access of large files
30  * without extra "magic" comprise *BSD, Darwin, IRIX...
31  */
32 #  ifndef _FILE_OFFSET_BITS
33 #   define _FILE_OFFSET_BITS 64
34 #  endif
35 # endif
36
37 # include <stdio.h>
38 # include <errno.h>
39 # include "bio_lcl.h"
40 # include <openssl/err.h>
41
42 # if !defined(OPENSSL_NO_STDIO)
43
44 static int file_write(BIO *h, const char *buf, int num);
45 static int file_read(BIO *h, char *buf, int size);
46 static int file_puts(BIO *h, const char *str);
47 static int file_gets(BIO *h, char *str, int size);
48 static long file_ctrl(BIO *h, int cmd, long arg1, void *arg2);
49 static int file_new(BIO *h);
50 static int file_free(BIO *data);
51 static const BIO_METHOD methods_filep = {
52     BIO_TYPE_FILE,
53     "FILE pointer",
54     file_write,
55     file_read,
56     file_puts,
57     file_gets,
58     file_ctrl,
59     file_new,
60     file_free,
61     NULL,                      /* file_callback_ctrl */
62 };
63
64 BIO *BIO_new_file(const char *filename, const char *mode)
65 {
66     BIO  *ret;
67     FILE *file = openssl_fopen(filename, mode);
68     int fp_flags = BIO_CLOSE;
69
70     if (strchr(mode, 'b') == NULL)
71         fp_flags |= BIO_FP_TEXT;
72
73     if (file == NULL) {
74         SYSerr(SYS_F_FOPEN, get_last_sys_error());
75         ERR_add_error_data(5, "fopen('", filename, "','", mode, "')");
76         if (errno == ENOENT
77 # ifdef ENXIO
78             || errno == ENXIO
79 # endif
80             )
81             BIOerr(BIO_F_BIO_NEW_FILE, BIO_R_NO_SUCH_FILE);
82         else
83             BIOerr(BIO_F_BIO_NEW_FILE, ERR_R_SYS_LIB);
84         return (NULL);
85     }
86     if ((ret = BIO_new(BIO_s_file())) == NULL) {
87         fclose(file);
88         return (NULL);
89     }
90
91     BIO_clear_flags(ret, BIO_FLAGS_UPLINK); /* we did fopen -> we disengage
92                                              * UPLINK */
93     BIO_set_fp(ret, file, fp_flags);
94     return (ret);
95 }
96
97 BIO *BIO_new_fp(FILE *stream, int close_flag)
98 {
99     BIO *ret;
100
101     if ((ret = BIO_new(BIO_s_file())) == NULL)
102         return (NULL);
103
104     /* redundant flag, left for documentation purposes */
105     BIO_set_flags(ret, BIO_FLAGS_UPLINK);
106     BIO_set_fp(ret, stream, close_flag);
107     return (ret);
108 }
109
110 const BIO_METHOD *BIO_s_file(void)
111 {
112     return (&methods_filep);
113 }
114
115 static int file_new(BIO *bi)
116 {
117     bi->init = 0;
118     bi->num = 0;
119     bi->ptr = NULL;
120     bi->flags = BIO_FLAGS_UPLINK; /* default to UPLINK */
121     return (1);
122 }
123
124 static int file_free(BIO *a)
125 {
126     if (a == NULL)
127         return (0);
128     if (a->shutdown) {
129         if ((a->init) && (a->ptr != NULL)) {
130             if (a->flags & BIO_FLAGS_UPLINK)
131                 UP_fclose(a->ptr);
132             else
133                 fclose(a->ptr);
134             a->ptr = NULL;
135             a->flags = BIO_FLAGS_UPLINK;
136         }
137         a->init = 0;
138     }
139     return (1);
140 }
141
142 static int file_read(BIO *b, char *out, int outl)
143 {
144     int ret = 0;
145
146     if (b->init && (out != NULL)) {
147         if (b->flags & BIO_FLAGS_UPLINK)
148             ret = UP_fread(out, 1, (int)outl, b->ptr);
149         else
150             ret = fread(out, 1, (int)outl, (FILE *)b->ptr);
151         if (ret == 0
152             && (b->flags & BIO_FLAGS_UPLINK) ? UP_ferror((FILE *)b->ptr) :
153                                                ferror((FILE *)b->ptr)) {
154             SYSerr(SYS_F_FREAD, get_last_sys_error());
155             BIOerr(BIO_F_FILE_READ, ERR_R_SYS_LIB);
156             ret = -1;
157         }
158     }
159     return (ret);
160 }
161
162 static int file_write(BIO *b, const char *in, int inl)
163 {
164     int ret = 0;
165
166     if (b->init && (in != NULL)) {
167         if (b->flags & BIO_FLAGS_UPLINK)
168             ret = UP_fwrite(in, (int)inl, 1, b->ptr);
169         else
170             ret = fwrite(in, (int)inl, 1, (FILE *)b->ptr);
171         if (ret)
172             ret = inl;
173         /* ret=fwrite(in,1,(int)inl,(FILE *)b->ptr); */
174         /*
175          * according to Tim Hudson <tjh@cryptsoft.com>, the commented out
176          * version above can cause 'inl' write calls under some stupid stdio
177          * implementations (VMS)
178          */
179     }
180     return (ret);
181 }
182
183 static long file_ctrl(BIO *b, int cmd, long num, void *ptr)
184 {
185     long ret = 1;
186     FILE *fp = (FILE *)b->ptr;
187     FILE **fpp;
188     char p[4];
189     int st;
190
191     switch (cmd) {
192     case BIO_C_FILE_SEEK:
193     case BIO_CTRL_RESET:
194         if (b->flags & BIO_FLAGS_UPLINK)
195             ret = (long)UP_fseek(b->ptr, num, 0);
196         else
197             ret = (long)fseek(fp, num, 0);
198         break;
199     case BIO_CTRL_EOF:
200         if (b->flags & BIO_FLAGS_UPLINK)
201             ret = (long)UP_feof(fp);
202         else
203             ret = (long)feof(fp);
204         break;
205     case BIO_C_FILE_TELL:
206     case BIO_CTRL_INFO:
207         if (b->flags & BIO_FLAGS_UPLINK)
208             ret = UP_ftell(b->ptr);
209         else
210             ret = ftell(fp);
211         break;
212     case BIO_C_SET_FILE_PTR:
213         file_free(b);
214         b->shutdown = (int)num & BIO_CLOSE;
215         b->ptr = ptr;
216         b->init = 1;
217 #  if BIO_FLAGS_UPLINK!=0
218 #   if defined(__MINGW32__) && defined(__MSVCRT__) && !defined(_IOB_ENTRIES)
219 #    define _IOB_ENTRIES 20
220 #   endif
221         /* Safety net to catch purely internal BIO_set_fp calls */
222 #   if defined(_MSC_VER) && _MSC_VER>=1900
223         if (ptr == stdin || ptr == stdout || ptr == stderr)
224             BIO_clear_flags(b, BIO_FLAGS_UPLINK);
225 #   elif defined(_IOB_ENTRIES)
226         if ((size_t)ptr >= (size_t)stdin &&
227             (size_t)ptr < (size_t)(stdin + _IOB_ENTRIES))
228             BIO_clear_flags(b, BIO_FLAGS_UPLINK);
229 #   endif
230 #  endif
231 #  ifdef UP_fsetmod
232         if (b->flags & BIO_FLAGS_UPLINK)
233             UP_fsetmod(b->ptr, (char)((num & BIO_FP_TEXT) ? 't' : 'b'));
234         else
235 #  endif
236         {
237 #  if defined(OPENSSL_SYS_WINDOWS)
238             int fd = _fileno((FILE *)ptr);
239             if (num & BIO_FP_TEXT)
240                 _setmode(fd, _O_TEXT);
241             else
242                 _setmode(fd, _O_BINARY);
243 #  elif defined(OPENSSL_SYS_MSDOS)
244             int fd = fileno((FILE *)ptr);
245             /* Set correct text/binary mode */
246             if (num & BIO_FP_TEXT)
247                 _setmode(fd, _O_TEXT);
248             /* Dangerous to set stdin/stdout to raw (unless redirected) */
249             else {
250                 if (fd == STDIN_FILENO || fd == STDOUT_FILENO) {
251                     if (isatty(fd) <= 0)
252                         _setmode(fd, _O_BINARY);
253                 } else
254                     _setmode(fd, _O_BINARY);
255             }
256 #  elif defined(OPENSSL_SYS_WIN32_CYGWIN)
257             int fd = fileno((FILE *)ptr);
258             if (!(num & BIO_FP_TEXT))
259                 setmode(fd, O_BINARY);
260 #  endif
261         }
262         break;
263     case BIO_C_SET_FILENAME:
264         file_free(b);
265         b->shutdown = (int)num & BIO_CLOSE;
266         if (num & BIO_FP_APPEND) {
267             if (num & BIO_FP_READ)
268                 OPENSSL_strlcpy(p, "a+", sizeof(p));
269             else
270                 OPENSSL_strlcpy(p, "a", sizeof(p));
271         } else if ((num & BIO_FP_READ) && (num & BIO_FP_WRITE))
272             OPENSSL_strlcpy(p, "r+", sizeof(p));
273         else if (num & BIO_FP_WRITE)
274             OPENSSL_strlcpy(p, "w", sizeof(p));
275         else if (num & BIO_FP_READ)
276             OPENSSL_strlcpy(p, "r", sizeof(p));
277         else {
278             BIOerr(BIO_F_FILE_CTRL, BIO_R_BAD_FOPEN_MODE);
279             ret = 0;
280             break;
281         }
282 #  if defined(OPENSSL_SYS_MSDOS) || defined(OPENSSL_SYS_WINDOWS)
283         if (!(num & BIO_FP_TEXT))
284             strcat(p, "b");
285         else
286             strcat(p, "t");
287 #  elif defined(OPENSSL_SYS_WIN32_CYGWIN)
288         if (!(num & BIO_FP_TEXT))
289             strcat(p, "b");
290 #  endif
291         fp = openssl_fopen(ptr, p);
292         if (fp == NULL) {
293             SYSerr(SYS_F_FOPEN, get_last_sys_error());
294             ERR_add_error_data(5, "fopen('", ptr, "','", p, "')");
295             BIOerr(BIO_F_FILE_CTRL, ERR_R_SYS_LIB);
296             ret = 0;
297             break;
298         }
299         b->ptr = fp;
300         b->init = 1;
301         BIO_clear_flags(b, BIO_FLAGS_UPLINK); /* we did fopen -> we disengage
302                                                * UPLINK */
303         break;
304     case BIO_C_GET_FILE_PTR:
305         /* the ptr parameter is actually a FILE ** in this case. */
306         if (ptr != NULL) {
307             fpp = (FILE **)ptr;
308             *fpp = (FILE *)b->ptr;
309         }
310         break;
311     case BIO_CTRL_GET_CLOSE:
312         ret = (long)b->shutdown;
313         break;
314     case BIO_CTRL_SET_CLOSE:
315         b->shutdown = (int)num;
316         break;
317     case BIO_CTRL_FLUSH:
318         st = b->flags & BIO_FLAGS_UPLINK
319                 ? UP_fflush(b->ptr) : fflush((FILE *)b->ptr);
320         if (st == EOF) {
321             SYSerr(SYS_F_FFLUSH, get_last_sys_error());
322             ERR_add_error_data(1, "fflush()");
323             BIOerr(BIO_F_FILE_CTRL, ERR_R_SYS_LIB);
324             ret = 0;
325         }
326         break;
327     case BIO_CTRL_DUP:
328         ret = 1;
329         break;
330
331     case BIO_CTRL_WPENDING:
332     case BIO_CTRL_PENDING:
333     case BIO_CTRL_PUSH:
334     case BIO_CTRL_POP:
335     default:
336         ret = 0;
337         break;
338     }
339     return (ret);
340 }
341
342 static int file_gets(BIO *bp, char *buf, int size)
343 {
344     int ret = 0;
345
346     buf[0] = '\0';
347     if (bp->flags & BIO_FLAGS_UPLINK) {
348         if (!UP_fgets(buf, size, bp->ptr))
349             goto err;
350     } else {
351         if (!fgets(buf, size, (FILE *)bp->ptr))
352             goto err;
353     }
354     if (buf[0] != '\0')
355         ret = strlen(buf);
356  err:
357     return (ret);
358 }
359
360 static int file_puts(BIO *bp, const char *str)
361 {
362     int n, ret;
363
364     n = strlen(str);
365     ret = file_write(bp, str, n);
366     return (ret);
367 }
368
369 #else
370
371 static int file_write(BIO *b, const char *in, int inl)
372 {
373     return -1;
374 }
375 static int file_read(BIO *b, char *out, int outl)
376 {
377     return -1;
378 }
379 static int file_puts(BIO *bp, const char *str)
380 {
381     return -1;
382 }
383 static int file_gets(BIO *bp, char *buf, int size)
384 {
385     return 0;
386 }
387 static long file_ctrl(BIO *b, int cmd, long num, void *ptr)
388 {
389     return 0;
390 }
391 static int file_new(BIO *bi)
392 {
393     return 0;
394 }
395 static int file_free(BIO *a)
396 {
397     return 0;
398 }
399
400 static const BIO_METHOD methods_filep = {
401     BIO_TYPE_FILE,
402     "FILE pointer",
403     file_write,
404     file_read,
405     file_puts,
406     file_gets,
407     file_ctrl,
408     file_new,
409     file_free,
410     NULL,                      /* file_callback_ctrl */
411 };
412
413 const BIO_METHOD *BIO_s_file(void)
414 {
415     return (&methods_filep);
416 }
417
418 BIO *BIO_new_file(const char *filename, const char *mode)
419 {
420     return NULL;
421 }
422
423 # endif                         /* OPENSSL_NO_STDIO */
424
425 #endif                          /* HEADER_BSS_FILE_C */