wget: implement TLS verification with ENABLE_FEATURE_WGET_OPENSSL
[oweals/busybox.git] / archival / bzip2.c
1 /*
2  * Copyright (C) 2007 Denys Vlasenko <vda.linux@googlemail.com>
3  *
4  * This file uses bzip2 library code which is written
5  * by Julian Seward <jseward@bzip.org>.
6  * See README and LICENSE files in bz/ directory for more information
7  * about bzip2 library code.
8  */
9 //config:config BZIP2
10 //config:       bool "bzip2 (16 kb)"
11 //config:       default y
12 //config:       help
13 //config:       bzip2 is a compression utility using the Burrows-Wheeler block
14 //config:       sorting text compression algorithm, and Huffman coding. Compression
15 //config:       is generally considerably better than that achieved by more
16 //config:       conventional LZ77/LZ78-based compressors, and approaches the
17 //config:       performance of the PPM family of statistical compressors.
18 //config:
19 //config:       Unless you have a specific application which requires bzip2, you
20 //config:       should probably say N here.
21 //config:
22 //config:config BZIP2_SMALL
23 //config:       int "Trade bytes for speed (0:fast, 9:small)"
24 //config:       default 8  # all "fast or small" options default to small
25 //config:       range 0 9
26 //config:       depends on BZIP2
27 //config:       help
28 //config:       Trade code size versus speed.
29 //config:       Approximate values with gcc-6.3.0 "bzip -9" compressing
30 //config:       linux-4.15.tar were:
31 //config:       value         time (sec)  code size (386)
32 //config:       9 (smallest)       70.11             7687
33 //config:       8                  67.93             8091
34 //config:       7                  67.88             8405
35 //config:       6                  67.78             8624
36 //config:       5                  67.05             9427
37 //config:       4-0 (fastest)      64.14            12083
38 //config:
39 //config:config FEATURE_BZIP2_DECOMPRESS
40 //config:       bool "Enable decompression"
41 //config:       default y
42 //config:       depends on BZIP2 || BUNZIP2 || BZCAT
43 //config:       help
44 //config:       Enable -d (--decompress) and -t (--test) options for bzip2.
45 //config:       This will be automatically selected if bunzip2 or bzcat is
46 //config:       enabled.
47
48 //applet:IF_BZIP2(APPLET(bzip2, BB_DIR_USR_BIN, BB_SUID_DROP))
49
50 //kbuild:lib-$(CONFIG_BZIP2) += bzip2.o
51
52 //usage:#define bzip2_trivial_usage
53 //usage:       "[OPTIONS] [FILE]..."
54 //usage:#define bzip2_full_usage "\n\n"
55 //usage:       "Compress FILEs (or stdin) with bzip2 algorithm\n"
56 //usage:     "\n        -1..9   Compression level"
57 //usage:        IF_FEATURE_BZIP2_DECOMPRESS(
58 //usage:     "\n        -d      Decompress"
59 //usage:     "\n        -t      Test file integrity"
60 //usage:        )
61 //usage:     "\n        -c      Write to stdout"
62 //usage:     "\n        -f      Force"
63 //usage:     "\n        -k      Keep input files"
64
65 #include "libbb.h"
66 #include "bb_archive.h"
67
68 #if CONFIG_BZIP2_SMALL >= 4
69 #define BZIP2_SPEED (9 - CONFIG_BZIP2_SMALL)
70 #else
71 #define BZIP2_SPEED 5
72 #endif
73
74 /* Speed test:
75  * Compiled with gcc 4.2.1, run on Athlon 64 1800 MHz (512K L2 cache).
76  * Stock bzip2 is 26.4% slower than bbox bzip2 at SPEED 1
77  * (time to compress gcc-4.2.1.tar is 126.4% compared to bbox).
78  * At SPEED 5 difference is 32.7%.
79  *
80  * Test run of all BZIP2_SPEED values on a 11Mb text file:
81  *     Size   Time (3 runs)
82  * 0:  10828  4.145 4.146 4.148
83  * 1:  11097  3.845 3.860 3.861
84  * 2:  11392  3.763 3.767 3.768
85  * 3:  11892  3.722 3.724 3.727
86  * 4:  12740  3.637 3.640 3.644
87  * 5:  17273  3.497 3.509 3.509
88  */
89
90
91 #define BZ_DEBUG 0
92 /* Takes ~300 bytes, detects corruption caused by bad RAM etc */
93 #define BZ_LIGHT_DEBUG 0
94
95 #include "libarchive/bz/bzlib.h"
96
97 #include "libarchive/bz/bzlib_private.h"
98
99 #include "libarchive/bz/blocksort.c"
100 #include "libarchive/bz/bzlib.c"
101 #include "libarchive/bz/compress.c"
102 #include "libarchive/bz/huffman.c"
103
104 /* No point in being shy and having very small buffer here.
105  * bzip2 internal buffers are much bigger anyway, hundreds of kbytes.
106  * If iobuf is several pages long, malloc() may use mmap,
107  * making iobuf page aligned and thus (maybe) have one memcpy less
108  * if kernel is clever enough.
109  */
110 enum {
111         IOBUF_SIZE = 8 * 1024
112 };
113
114 /* NB: compressStream() has to return -1 on errors, not die.
115  * bbunpack() will correctly clean up in this case
116  * (delete incomplete .bz2 file)
117  */
118
119 /* Returns:
120  * -1 on errors
121  * total written bytes so far otherwise
122  */
123 static
124 IF_DESKTOP(long long) int bz_write(bz_stream *strm, void* rbuf, ssize_t rlen, void *wbuf)
125 {
126         int n, n2, ret;
127
128         strm->avail_in = rlen;
129         strm->next_in = rbuf;
130         while (1) {
131                 strm->avail_out = IOBUF_SIZE;
132                 strm->next_out = wbuf;
133
134                 ret = BZ2_bzCompress(strm, rlen ? BZ_RUN : BZ_FINISH);
135                 if (ret != BZ_RUN_OK /* BZ_RUNning */
136                  && ret != BZ_FINISH_OK /* BZ_FINISHing, but not done yet */
137                  && ret != BZ_STREAM_END /* BZ_FINISHed */
138                 ) {
139                         bb_error_msg_and_die("internal error %d", ret);
140                 }
141
142                 n = IOBUF_SIZE - strm->avail_out;
143                 if (n) {
144                         n2 = full_write(STDOUT_FILENO, wbuf, n);
145                         if (n2 != n) {
146                                 if (n2 >= 0)
147                                         errno = 0; /* prevent bogus error message */
148                                 bb_simple_perror_msg(n2 >= 0 ? "short write" : bb_msg_write_error);
149                                 return -1;
150                         }
151                 }
152
153                 if (ret == BZ_STREAM_END)
154                         break;
155                 if (rlen && strm->avail_in == 0)
156                         break;
157         }
158         return 0 IF_DESKTOP( + strm->total_out );
159 }
160
161 static
162 IF_DESKTOP(long long) int FAST_FUNC compressStream(transformer_state_t *xstate UNUSED_PARAM)
163 {
164         IF_DESKTOP(long long) int total;
165         unsigned opt, level;
166         ssize_t count;
167         bz_stream bzs; /* it's small */
168 #define strm (&bzs)
169         char *iobuf;
170 #define rbuf iobuf
171 #define wbuf (iobuf + IOBUF_SIZE)
172
173         iobuf = xmalloc(2 * IOBUF_SIZE);
174
175         opt = option_mask32 >> (BBUNPK_OPTSTRLEN IF_FEATURE_BZIP2_DECOMPRESS(+ 2) + 2);
176         /* skipped BBUNPK_OPTSTR, "dt" and "zs" bits */
177         opt |= 0x100; /* if nothing else, assume -9 */
178         level = 0;
179         for (;;) {
180                 level++;
181                 if (opt & 1) break;
182                 opt >>= 1;
183         }
184
185         BZ2_bzCompressInit(strm, level);
186
187         while (1) {
188                 count = full_read(STDIN_FILENO, rbuf, IOBUF_SIZE);
189                 if (count < 0) {
190                         bb_simple_perror_msg(bb_msg_read_error);
191                         total = -1;
192                         break;
193                 }
194                 /* if count == 0, bz_write finalizes compression */
195                 total = bz_write(strm, rbuf, count, wbuf);
196                 if (count == 0 || total < 0)
197                         break;
198         }
199
200         /* Can't be conditional on ENABLE_FEATURE_CLEAN_UP -
201          * we are called repeatedly
202          */
203         BZ2_bzCompressEnd(strm);
204         free(iobuf);
205
206         return total;
207 }
208
209 int bzip2_main(int argc, char **argv) MAIN_EXTERNALLY_VISIBLE;
210 int bzip2_main(int argc UNUSED_PARAM, char **argv)
211 {
212         unsigned opt;
213
214         /* standard bzip2 flags
215          * -d --decompress force decompression
216          * -z --compress force compression
217          * -k --keep     keep (don't delete) input files
218          * -f --force    overwrite existing output files
219          * -t --test     test compressed file integrity
220          * -c --stdout   output to standard out
221          * -q --quiet    suppress noncritical error messages
222          * -v --verbose  be verbose (a 2nd -v gives more)
223          * -s --small    use less memory (at most 2500k)
224          * -1 .. -9      set block size to 100k .. 900k
225          * --fast        alias for -1
226          * --best        alias for -9
227          */
228
229         opt = getopt32(argv, "^"
230                 /* Must match BBUNPK_foo constants! */
231                 BBUNPK_OPTSTR IF_FEATURE_BZIP2_DECOMPRESS("dt") "zs123456789"
232                 "\0" "s2" /* -s means -2 (compatibility) */
233         );
234 #if ENABLE_FEATURE_BZIP2_DECOMPRESS /* bunzip2_main may not be visible... */
235         if (opt & (BBUNPK_OPT_DECOMPRESS|BBUNPK_OPT_TEST)) /* -d and/or -t */
236                 return bunzip2_main(argc, argv);
237 #else
238         /* clear "decompress" and "test" bits (or bbunpack() can get confused) */
239         /* in !BZIP2_DECOMPRESS config, these bits are -zs and are unused */
240         option_mask32 = opt & ~(BBUNPK_OPT_DECOMPRESS|BBUNPK_OPT_TEST);
241 #endif
242
243         argv += optind;
244         return bbunpack(argv, compressStream, append_ext, "bz2");
245 }