archival/bzip2.c

   1 /*
   2  * Copyright (C) 2007 Denys Vlasenko <vda.linux@googlemail.com>
   3  *
   4  * This file uses bzip2 library code which is written
   5  * by Julian Seward <jseward@bzip.org>.
   6  * See README and LICENSE files in bz/ directory for more information
   7  * about bzip2 library code.
   8  */
   9
  10 //config:config BZIP2
  11 //config:       bool "bzip2 (18 kb)"
  12 //config:       default y
  13 //config:       help
  14 //config:       bzip2 is a compression utility using the Burrows-Wheeler block
  15 //config:       sorting text compression algorithm, and Huffman coding. Compression
  16 //config:       is generally considerably better than that achieved by more
  17 //config:       conventional LZ77/LZ78-based compressors, and approaches the
  18 //config:       performance of the PPM family of statistical compressors.
  19 //config:
  20 //config:       Unless you have a specific application which requires bzip2, you
  21 //config:       should probably say N here.
  22 //config:
  23 //config:config FEATURE_BZIP2_DECOMPRESS
  24 //config:       bool "Enable decompression"
  25 //config:       default y
  26 //config:       depends on BZIP2 || BUNZIP2 || BZCAT
  27 //config:       help
  28 //config:       Enable -d (--decompress) and -t (--test) options for bzip2.
  29 //config:       This will be automatically selected if bunzip2 or bzcat is
  30 //config:       enabled.
  31
  32 //applet:IF_BZIP2(APPLET(bzip2, BB_DIR_USR_BIN, BB_SUID_DROP))
  33 //kbuild:lib-$(CONFIG_BZIP2) += bzip2.o
  34
  35 //usage:#define bzip2_trivial_usage
  36 //usage:       "[OPTIONS] [FILE]..."
  37 //usage:#define bzip2_full_usage "\n\n"
  38 //usage:       "Compress FILEs (or stdin) with bzip2 algorithm\n"
  39 //usage:     "\n        -1..9   Compression level"
  40 //usage:        IF_FEATURE_BZIP2_DECOMPRESS(
  41 //usage:     "\n        -d      Decompress"
  42 //usage:     "\n        -t      Test file integrity"
  43 //usage:        )
  44 //usage:     "\n        -c      Write to stdout"
  45 //usage:     "\n        -f      Force"
  46 //usage:     "\n        -k      Keep input files"
  47
  48 #include "libbb.h"
  49 #include "bb_archive.h"
  50
  51 #define CONFIG_BZIP2_FAST 1
  52
  53 /* Speed test:
  54  * Compiled with gcc 4.2.1, run on Athlon 64 1800 MHz (512K L2 cache).
  55  * Stock bzip2 is 26.4% slower than bbox bzip2 at SPEED 1
  56  * (time to compress gcc-4.2.1.tar is 126.4% compared to bbox).
  57  * At SPEED 5 difference is 32.7%.
  58  *
  59  * Test run of all CONFIG_BZIP2_FAST values on a 11Mb text file:
  60  *     Size   Time (3 runs)
  61  * 0:  10828  4.145 4.146 4.148
  62  * 1:  11097  3.845 3.860 3.861
  63  * 2:  11392  3.763 3.767 3.768
  64  * 3:  11892  3.722 3.724 3.727
  65  * 4:  12740  3.637 3.640 3.644
  66  * 5:  17273  3.497 3.509 3.509
  67  */
  68
  69
  70 #define BZ_DEBUG 0
  71 /* Takes ~300 bytes, detects corruption caused by bad RAM etc */
  72 #define BZ_LIGHT_DEBUG 0
  73
  74 #include "libarchive/bz/bzlib.h"
  75
  76 #include "libarchive/bz/bzlib_private.h"
  77
  78 #include "libarchive/bz/blocksort.c"
  79 #include "libarchive/bz/bzlib.c"
  80 #include "libarchive/bz/compress.c"
  81 #include "libarchive/bz/huffman.c"
  82
  83 /* No point in being shy and having very small buffer here.
  84  * bzip2 internal buffers are much bigger anyway, hundreds of kbytes.
  85  * If iobuf is several pages long, malloc() may use mmap,
  86  * making iobuf is page aligned and thus (maybe) have one memcpy less
  87  * if kernel is clever enough.
  88  */
  89 enum {
  90         IOBUF_SIZE = 8 * 1024
  91 };
  92
  93 static uint8_t level;
  94
  95 /* NB: compressStream() has to return -1 on errors, not die.
  96  * bbunpack() will correctly clean up in this case
  97  * (delete incomplete .bz2 file)
  98  */
  99
 100 /* Returns:
 101  * -1 on errors
 102  * total written bytes so far otherwise
 103  */
 104 static
 105 IF_DESKTOP(long long) int bz_write(bz_stream *strm, void* rbuf, ssize_t rlen, void *wbuf)
 106 {
 107         int n, n2, ret;
 108
 109         strm->avail_in = rlen;
 110         strm->next_in = rbuf;
 111         while (1) {
 112                 strm->avail_out = IOBUF_SIZE;
 113                 strm->next_out = wbuf;
 114
 115                 ret = BZ2_bzCompress(strm, rlen ? BZ_RUN : BZ_FINISH);
 116                 if (ret != BZ_RUN_OK /* BZ_RUNning */
 117                  && ret != BZ_FINISH_OK /* BZ_FINISHing, but not done yet */
 118                  && ret != BZ_STREAM_END /* BZ_FINISHed */
 119                 ) {
 120                         bb_error_msg_and_die("internal error %d", ret);
 121                 }
 122
 123                 n = IOBUF_SIZE - strm->avail_out;
 124                 if (n) {
 125                         n2 = full_write(STDOUT_FILENO, wbuf, n);
 126                         if (n2 != n) {
 127                                 if (n2 >= 0)
 128                                         errno = 0; /* prevent bogus error message */
 129                                 bb_perror_msg(n2 >= 0 ? "short write" : bb_msg_write_error);
 130                                 return -1;
 131                         }
 132                 }
 133
 134                 if (ret == BZ_STREAM_END)
 135                         break;
 136                 if (rlen && strm->avail_in == 0)
 137                         break;
 138         }
 139         return 0 IF_DESKTOP( + strm->total_out );
 140 }
 141
 142 static
 143 IF_DESKTOP(long long) int FAST_FUNC compressStream(transformer_state_t *xstate UNUSED_PARAM)
 144 {
 145         IF_DESKTOP(long long) int total;
 146         ssize_t count;
 147         bz_stream bzs; /* it's small */
 148 #define strm (&bzs)
 149         char *iobuf;
 150 #define rbuf iobuf
 151 #define wbuf (iobuf + IOBUF_SIZE)
 152
 153         iobuf = xmalloc(2 * IOBUF_SIZE);
 154         BZ2_bzCompressInit(strm, level);
 155
 156         while (1) {
 157                 count = full_read(STDIN_FILENO, rbuf, IOBUF_SIZE);
 158                 if (count < 0) {
 159                         bb_perror_msg(bb_msg_read_error);
 160                         total = -1;
 161                         break;
 162                 }
 163                 /* if count == 0, bz_write finalizes compression */
 164                 total = bz_write(strm, rbuf, count, wbuf);
 165                 if (count == 0 || total < 0)
 166                         break;
 167         }
 168
 169         /* Can't be conditional on ENABLE_FEATURE_CLEAN_UP -
 170          * we are called repeatedly
 171          */
 172         BZ2_bzCompressEnd(strm);
 173         free(iobuf);
 174
 175         return total;
 176 }
 177
 178 int bzip2_main(int argc, char **argv) MAIN_EXTERNALLY_VISIBLE;
 179 int bzip2_main(int argc UNUSED_PARAM, char **argv)
 180 {
 181         unsigned opt;
 182
 183         /* standard bzip2 flags
 184          * -d --decompress force decompression
 185          * -z --compress force compression
 186          * -k --keep     keep (don't delete) input files
 187          * -f --force    overwrite existing output files
 188          * -t --test     test compressed file integrity
 189          * -c --stdout   output to standard out
 190          * -q --quiet    suppress noncritical error messages
 191          * -v --verbose  be verbose (a 2nd -v gives more)
 192          * -s --small    use less memory (at most 2500k)
 193          * -1 .. -9      set block size to 100k .. 900k
 194          * --fast        alias for -1
 195          * --best        alias for -9
 196          */
 197
 198         opt = getopt32(argv, "^"
 199                 /* Must match bbunzip's constants OPT_STDOUT, OPT_FORCE! */
 200                 "cfkv" IF_FEATURE_BZIP2_DECOMPRESS("dt") "123456789qzs"
 201                 "\0" "s2" /* -s means -2 (compatibility) */
 202         );
 203 #if ENABLE_FEATURE_BZIP2_DECOMPRESS /* bunzip2_main may not be visible... */
 204         if (opt & 0x30) // -d and/or -t
 205                 return bunzip2_main(argc, argv);
 206         opt >>= 6;
 207 #else
 208         opt >>= 4;
 209 #endif
 210         opt = (uint8_t)opt; /* isolate bits for -1..-8 */
 211         opt |= 0x100; /* if nothing else, assume -9 */
 212         level = 1;
 213         while (!(opt & 1)) {
 214                 level++;
 215                 opt >>= 1;
 216         }
 217
 218         argv += optind;
 219         option_mask32 &= 0xf; /* ignore all except -cfkv */
 220         return bbunpack(argv, compressStream, append_ext, "bz2");
 221 }