aa88fd7e5037b79def60e69aa104f72a12fe5c72
[oweals/busybox.git] / archival / gzip.c
1 /* vi: set sw=4 ts=4: */
2 /*
3  * Gzip implementation for busybox
4  *
5  * Based on GNU gzip Copyright (C) 1992-1993 Jean-loup Gailly.
6  *
7  * Originally adjusted for busybox by Charles P. Wright <cpw@unix.asb.com>
8  * "this is a stripped down version of gzip I put into busybox, it does
9  * only standard in to standard out with -9 compression.  It also requires
10  * the zcat module for some important functions."
11  *
12  * Adjusted further by Erik Andersen <andersen@codepoet.org> to support
13  * files as well as stdin/stdout, and to generally behave itself wrt
14  * command line handling.
15  *
16  * Licensed under GPLv2 or later, see file LICENSE in this tarball for details.
17  */
18
19 /* big objects in bss:
20  * 00000020 b bl_count
21  * 00000074 b base_length
22  * 00000078 b base_dist
23  * 00000078 b static_dtree
24  * 0000009c b bl_tree
25  * 000000f4 b dyn_dtree
26  * 00000100 b length_code
27  * 00000200 b dist_code
28  * 0000023d b depth
29  * 00000400 b flag_buf
30  * 0000047a b heap
31  * 00000480 b static_ltree
32  * 000008f4 b dyn_ltree
33  */
34
35 /* TODO: full support for -v for DESKTOP
36  * "/usr/bin/gzip -v a bogus aa" should say:
37 a:       85.1% -- replaced with a.gz
38 gzip: bogus: No such file or directory
39 aa:      85.1% -- replaced with aa.gz
40 */
41
42 #include "busybox.h"
43
44
45 /* ===========================================================================
46  */
47 //#define DEBUG 1
48 /* Diagnostic functions */
49 #ifdef DEBUG
50 #  define Assert(cond,msg) {if(!(cond)) bb_error_msg(msg);}
51 #  define Trace(x) fprintf x
52 #  define Tracev(x) {if (verbose) fprintf x ;}
53 #  define Tracevv(x) {if (verbose > 1) fprintf x ;}
54 #  define Tracec(c,x) {if (verbose && (c)) fprintf x ;}
55 #  define Tracecv(c,x) {if (verbose > 1 && (c)) fprintf x ;}
56 #else
57 #  define Assert(cond,msg)
58 #  define Trace(x)
59 #  define Tracev(x)
60 #  define Tracevv(x)
61 #  define Tracec(c,x)
62 #  define Tracecv(c,x)
63 #endif
64
65
66 /* ===========================================================================
67  */
68 #define SMALL_MEM
69
70 //// /* Compression methods (see algorithm.doc) */
71 //// /* Only STORED and DEFLATED are supported by this BusyBox module */
72 //// #define STORED      0
73 //// /* methods 4 to 7 reserved */
74 //// #define DEFLATED    8
75
76 #ifndef INBUFSIZ
77 #  ifdef SMALL_MEM
78 #    define INBUFSIZ  0x2000    /* input buffer size */
79 #  else
80 #    define INBUFSIZ  0x8000    /* input buffer size */
81 #  endif
82 #endif
83
84 #ifndef OUTBUFSIZ
85 #  ifdef SMALL_MEM
86 #    define OUTBUFSIZ   8192    /* output buffer size */
87 #  else
88 #    define OUTBUFSIZ  16384    /* output buffer size */
89 #  endif
90 #endif
91
92 #ifndef DIST_BUFSIZE
93 #  ifdef SMALL_MEM
94 #    define DIST_BUFSIZE 0x2000 /* buffer for distances, see trees.c */
95 #  else
96 #    define DIST_BUFSIZE 0x8000 /* buffer for distances, see trees.c */
97 #  endif
98 #endif
99
100 /* gzip flag byte */
101 #define ASCII_FLAG   0x01       /* bit 0 set: file probably ascii text */
102 #define CONTINUATION 0x02       /* bit 1 set: continuation of multi-part gzip file */
103 #define EXTRA_FIELD  0x04       /* bit 2 set: extra field present */
104 #define ORIG_NAME    0x08       /* bit 3 set: original file name present */
105 #define COMMENT      0x10       /* bit 4 set: file comment present */
106 #define RESERVED     0xC0       /* bit 6,7:   reserved */
107
108 /* internal file attribute */
109 #define UNKNOWN 0xffff
110 #define BINARY  0
111 #define ASCII   1
112
113 #ifndef WSIZE
114 #  define WSIZE 0x8000  /* window size--must be a power of two, and */
115 #endif                  /*  at least 32K for zip's deflate method */
116
117 #define MIN_MATCH  3
118 #define MAX_MATCH  258
119 /* The minimum and maximum match lengths */
120
121 #define MIN_LOOKAHEAD (MAX_MATCH+MIN_MATCH+1)
122 /* Minimum amount of lookahead, except at the end of the input file.
123  * See deflate.c for comments about the MIN_MATCH+1.
124  */
125
126 #define MAX_DIST  (WSIZE-MIN_LOOKAHEAD)
127 /* In order to simplify the code, particularly on 16 bit machines, match
128  * distances are limited to MAX_DIST instead of WSIZE.
129  */
130
131 #ifndef MAX_PATH_LEN
132 #  define MAX_PATH_LEN   1024   /* max pathname length */
133 #endif
134
135 #define seekable()    0 /* force sequential output */
136 #define translate_eol 0 /* no option -a yet */
137
138 #ifndef BITS
139 #  define BITS 16
140 #endif
141 #define INIT_BITS 9             /* Initial number of bits per code */
142
143 #define BIT_MASK    0x1f        /* Mask for 'number of compression bits' */
144 /* Mask 0x20 is reserved to mean a fourth header byte, and 0x40 is free.
145  * It's a pity that old uncompress does not check bit 0x20. That makes
146  * extension of the format actually undesirable because old compress
147  * would just crash on the new format instead of giving a meaningful
148  * error message. It does check the number of bits, but it's more
149  * helpful to say "unsupported format, get a new version" than
150  * "can only handle 16 bits".
151  */
152
153 #ifdef MAX_EXT_CHARS
154 #  define MAX_SUFFIX  MAX_EXT_CHARS
155 #else
156 #  define MAX_SUFFIX  30
157 #endif
158
159
160 /* ===========================================================================
161  * Compile with MEDIUM_MEM to reduce the memory requirements or
162  * with SMALL_MEM to use as little memory as possible. Use BIG_MEM if the
163  * entire input file can be held in memory (not possible on 16 bit systems).
164  * Warning: defining these symbols affects HASH_BITS (see below) and thus
165  * affects the compression ratio. The compressed output
166  * is still correct, and might even be smaller in some cases.
167  */
168
169 #ifdef SMALL_MEM
170 #   define HASH_BITS  13        /* Number of bits used to hash strings */
171 #endif
172 #ifdef MEDIUM_MEM
173 #   define HASH_BITS  14
174 #endif
175 #ifndef HASH_BITS
176 #   define HASH_BITS  15
177    /* For portability to 16 bit machines, do not use values above 15. */
178 #endif
179
180 #define HASH_SIZE (unsigned)(1<<HASH_BITS)
181 #define HASH_MASK (HASH_SIZE-1)
182 #define WMASK     (WSIZE-1)
183 /* HASH_SIZE and WSIZE must be powers of two */
184 #ifndef TOO_FAR
185 #  define TOO_FAR 4096
186 #endif
187 /* Matches of length 3 are discarded if their distance exceeds TOO_FAR */
188
189
190 /* ===========================================================================
191  * These types are not really 'char', 'short' and 'long'
192  */
193 typedef uint8_t uch;
194 typedef uint16_t ush;
195 typedef uint32_t ulg;
196 typedef int32_t lng;
197
198 typedef ush Pos;
199 typedef unsigned IPos;
200
201 enum {
202         WINDOW_SIZE = 2 * WSIZE,
203 /* window size, 2*WSIZE except for MMAP or BIG_MEM, where it is the
204  * input file length plus MIN_LOOKAHEAD.
205  */
206
207         max_chain_length = 4096,
208 /* To speed up deflation, hash chains are never searched beyond this length.
209  * A higher limit improves compression ratio but degrades the speed.
210  */
211
212         max_lazy_match = 258,
213 /* Attempt to find a better match only when the current match is strictly
214  * smaller than this value. This mechanism is used only for compression
215  * levels >= 4.
216  */
217
218         max_insert_length = max_lazy_match,
219 /* Insert new strings in the hash table only if the match length
220  * is not greater than this length. This saves time but degrades compression.
221  * max_insert_length is used only for compression levels <= 3.
222  */
223
224         good_match = 32,
225 /* Use a faster search when the previous match is longer than this */
226
227 /* Values for max_lazy_match, good_match and max_chain_length, depending on
228  * the desired pack level (0..9). The values given below have been tuned to
229  * exclude worst case performance for pathological files. Better values may be
230  * found for specific files.
231  */
232
233         nice_match = 258,       /* Stop searching when current match exceeds this */
234 /* Note: the deflate() code requires max_lazy >= MIN_MATCH and max_chain >= 4
235  * For deflate_fast() (levels <= 3) good is ignored and lazy has a different
236  * meaning.
237  */
238 };
239
240
241 struct G1 {
242
243 /* A Pos is an index in the character window. We use short instead of int to
244  * save space in the various tables. IPos is used only for parameter passing.
245  */
246         lng block_start;
247
248 /* window position at the beginning of the current output block. Gets
249  * negative when the window is moved backwards.
250  */
251         unsigned ins_h; /* hash index of string to be inserted */
252
253 #define H_SHIFT  ((HASH_BITS+MIN_MATCH-1) / MIN_MATCH)
254 /* Number of bits by which ins_h and del_h must be shifted at each
255  * input step. It must be such that after MIN_MATCH steps, the oldest
256  * byte no longer takes part in the hash key, that is:
257  * H_SHIFT * MIN_MATCH >= HASH_BITS
258  */
259
260         unsigned prev_length;
261
262 /* Length of the best match at previous step. Matches not greater than this
263  * are discarded. This is used in the lazy match evaluation.
264  */
265
266         unsigned strstart;      /* start of string to insert */
267         unsigned match_start;   /* start of matching string */
268         unsigned lookahead;     /* number of valid bytes ahead in window */
269         smallint eofile;                /* flag set at end of input file */
270
271 /* ===========================================================================
272  */
273 #define DECLARE(type, array, size) \
274         type * array
275 #define ALLOC(type, array, size) \
276         array = xzalloc((size_t)(((size)+1L)/2) * 2*sizeof(type));
277 #define FREE(array) \
278         do { free(array); array = NULL; } while (0)
279
280         /* global buffers */
281
282         /* buffer for literals or lengths */
283         /* DECLARE(uch, l_buf, LIT_BUFSIZE); */
284         DECLARE(uch, l_buf, INBUFSIZ);
285
286         DECLARE(ush, d_buf, DIST_BUFSIZE);
287         DECLARE(uch, outbuf, OUTBUFSIZ);
288
289 /* Sliding window. Input bytes are read into the second half of the window,
290  * and move to the first half later to keep a dictionary of at least WSIZE
291  * bytes. With this organization, matches are limited to a distance of
292  * WSIZE-MAX_MATCH bytes, but this ensures that IO is always
293  * performed with a length multiple of the block size. Also, it limits
294  * the window size to 64K, which is quite useful on MSDOS.
295  * To do: limit the window size to WSIZE+BSZ if SMALL_MEM (the code would
296  * be less efficient).
297  */
298         DECLARE(uch, window, 2L * WSIZE);
299
300 /* Link to older string with same hash index. To limit the size of this
301  * array to 64K, this link is maintained only for the last 32K strings.
302  * An index in this array is thus a window index modulo 32K.
303  */
304         /* DECLARE(Pos, prev, WSIZE); */
305         DECLARE(ush, prev, 1L << BITS);
306
307 /* Heads of the hash chains or 0. */
308         /* DECLARE(Pos, head, 1<<HASH_BITS); */
309 #define head (G1.prev + WSIZE) /* hash head (see deflate.c) */
310
311
312 /* number of input bytes */
313         ulg isize;              /* only 32 bits stored in .gz file */
314
315 ////    int method = DEFLATED;  /* compression method */
316 //##    int exit_code;          /* program exit code */
317
318 /* original time stamp (modification time) */
319         ulg time_stamp;         /* only 32 bits stored in .gz file */
320
321         int ifd;                        /* input file descriptor */
322         int ofd;                        /* output file descriptor */
323 #ifdef DEBUG
324         unsigned insize;        /* valid bytes in l_buf */
325 #endif
326         unsigned outcnt;        /* bytes in output buffer */
327
328         uint32_t *crc_32_tab;
329
330
331 /* ===========================================================================
332  * Local data used by the "bit string" routines.
333  */
334
335         unsigned short bi_buf;
336
337 /* Output buffer. bits are inserted starting at the bottom (least significant
338  * bits).
339  */
340
341 #undef BUF_SIZE
342 #define BUF_SIZE (8 * sizeof(G1.bi_buf))
343 /* Number of bits used within bi_buf. (bi_buf might be implemented on
344  * more than 16 bits on some systems.)
345  */
346
347         int bi_valid;
348
349 /* Current input function. Set to mem_read for in-memory compression */
350
351 #ifdef DEBUG
352         ulg bits_sent;                  /* bit length of the compressed data */
353 #endif
354
355         uint32_t crc;   /* shift register contents */
356 };
357
358 static struct G1 G1;
359
360
361 /* ===========================================================================
362  * Write the output buffer outbuf[0..outcnt-1] and update bytes_out.
363  * (used for the compressed data only)
364  */
365 static void flush_outbuf(void)
366 {
367         if (G1.outcnt == 0)
368                 return;
369
370         xwrite(G1.ofd, (char *) G1.outbuf, G1.outcnt);
371         G1.outcnt = 0;
372 }
373
374
375 /* ===========================================================================
376  */
377 /* put_8bit is used for the compressed output */
378 #define put_8bit(c) \
379 do { \
380         G1.outbuf[G1.outcnt++] = (c); \
381         if (G1.outcnt == OUTBUFSIZ) flush_outbuf(); \
382 } while (0)
383
384 /* Output a 16 bit value, lsb first */
385 static void put_16bit(ush w)
386 {
387         if (G1.outcnt < OUTBUFSIZ - 2) {
388                 G1.outbuf[G1.outcnt++] = w;
389                 G1.outbuf[G1.outcnt++] = w >> 8;
390         } else {
391                 put_8bit(w);
392                 put_8bit(w >> 8);
393         }
394 }
395
396 static void put_32bit(ulg n)
397 {
398         put_16bit(n);
399         put_16bit(n >> 16);
400 }
401
402 /* ===========================================================================
403  * Clear input and output buffers
404  */
405 static void clear_bufs(void)
406 {
407         G1.outcnt = 0;
408 #ifdef DEBUG
409         G1.insize = 0;
410 #endif
411         G1.isize = 0;
412 }
413
414
415 /* ===========================================================================
416  * Run a set of bytes through the crc shift register.  If s is a NULL
417  * pointer, then initialize the crc shift register contents instead.
418  * Return the current crc in either case.
419  */
420 static uint32_t updcrc(uch * s, unsigned n)
421 {
422         uint32_t c = G1.crc;
423         while (n) {
424                 c = G1.crc_32_tab[(uch)(c ^ *s++)] ^ (c >> 8);
425                 n--;
426         }
427         G1.crc = c;
428         return c;
429 }
430
431
432 /* ===========================================================================
433  * Read a new buffer from the current input file, perform end-of-line
434  * translation, and update the crc and input file size.
435  * IN assertion: size >= 2 (for end-of-line translation)
436  */
437 static unsigned file_read(void *buf, unsigned size)
438 {
439         unsigned len;
440
441         Assert(G1.insize == 0, "l_buf not empty");
442
443         len = safe_read(G1.ifd, buf, size);
444         if (len == (unsigned)(-1) || len == 0)
445                 return len;
446
447         updcrc(buf, len);
448         G1.isize += len;
449         return len;
450 }
451
452
453 /* ===========================================================================
454  * Send a value on a given number of bits.
455  * IN assertion: length <= 16 and value fits in length bits.
456  */
457 static void send_bits(int value, int length)
458 {
459 #ifdef DEBUG
460         Tracev((stderr, " l %2d v %4x ", length, value));
461         Assert(length > 0 && length <= 15, "invalid length");
462         G1.bits_sent += length;
463 #endif
464         /* If not enough room in bi_buf, use (valid) bits from bi_buf and
465          * (16 - bi_valid) bits from value, leaving (width - (16-bi_valid))
466          * unused bits in value.
467          */
468         if (G1.bi_valid > (int) BUF_SIZE - length) {
469                 G1.bi_buf |= (value << G1.bi_valid);
470                 put_16bit(G1.bi_buf);
471                 G1.bi_buf = (ush) value >> (BUF_SIZE - G1.bi_valid);
472                 G1.bi_valid += length - BUF_SIZE;
473         } else {
474                 G1.bi_buf |= value << G1.bi_valid;
475                 G1.bi_valid += length;
476         }
477 }
478
479
480 /* ===========================================================================
481  * Reverse the first len bits of a code, using straightforward code (a faster
482  * method would use a table)
483  * IN assertion: 1 <= len <= 15
484  */
485 static unsigned bi_reverse(unsigned code, int len)
486 {
487         unsigned res = 0;
488
489         while (1) {
490                 res |= code & 1;
491                 if (--len <= 0) return res;
492                 code >>= 1;
493                 res <<= 1;
494         }
495 }
496
497
498 /* ===========================================================================
499  * Write out any remaining bits in an incomplete byte.
500  */
501 static void bi_windup(void)
502 {
503         if (G1.bi_valid > 8) {
504                 put_16bit(G1.bi_buf);
505         } else if (G1.bi_valid > 0) {
506                 put_8bit(G1.bi_buf);
507         }
508         G1.bi_buf = 0;
509         G1.bi_valid = 0;
510 #ifdef DEBUG
511         G1.bits_sent = (G1.bits_sent + 7) & ~7;
512 #endif
513 }
514
515
516 /* ===========================================================================
517  * Copy a stored block to the zip file, storing first the length and its
518  * one's complement if requested.
519  */
520 static void copy_block(char *buf, unsigned len, int header)
521 {
522         bi_windup();            /* align on byte boundary */
523
524         if (header) {
525                 put_16bit(len);
526                 put_16bit(~len);
527 #ifdef DEBUG
528                 G1.bits_sent += 2 * 16;
529 #endif
530         }
531 #ifdef DEBUG
532         G1.bits_sent += (ulg) len << 3;
533 #endif
534         while (len--) {
535                 put_8bit(*buf++);
536         }
537 }
538
539
540 /* ===========================================================================
541  * Fill the window when the lookahead becomes insufficient.
542  * Updates strstart and lookahead, and sets eofile if end of input file.
543  * IN assertion: lookahead < MIN_LOOKAHEAD && strstart + lookahead > 0
544  * OUT assertions: at least one byte has been read, or eofile is set;
545  *    file reads are performed for at least two bytes (required for the
546  *    translate_eol option).
547  */
548 static void fill_window(void)
549 {
550         unsigned n, m;
551         unsigned more = WINDOW_SIZE - G1.lookahead - G1.strstart;
552         /* Amount of free space at the end of the window. */
553
554         /* If the window is almost full and there is insufficient lookahead,
555          * move the upper half to the lower one to make room in the upper half.
556          */
557         if (more == (unsigned) -1) {
558                 /* Very unlikely, but possible on 16 bit machine if strstart == 0
559                  * and lookahead == 1 (input done one byte at time)
560                  */
561                 more--;
562         } else if (G1.strstart >= WSIZE + MAX_DIST) {
563                 /* By the IN assertion, the window is not empty so we can't confuse
564                  * more == 0 with more == 64K on a 16 bit machine.
565                  */
566                 Assert(WINDOW_SIZE == 2 * WSIZE, "no sliding with BIG_MEM");
567
568                 memcpy(G1.window, G1.window + WSIZE, WSIZE);
569                 G1.match_start -= WSIZE;
570                 G1.strstart -= WSIZE;   /* we now have strstart >= MAX_DIST: */
571
572                 G1.block_start -= WSIZE;
573
574                 for (n = 0; n < HASH_SIZE; n++) {
575                         m = head[n];
576                         head[n] = (Pos) (m >= WSIZE ? m - WSIZE : 0);
577                 }
578                 for (n = 0; n < WSIZE; n++) {
579                         m = G1.prev[n];
580                         G1.prev[n] = (Pos) (m >= WSIZE ? m - WSIZE : 0);
581                         /* If n is not on any hash chain, prev[n] is garbage but
582                          * its value will never be used.
583                          */
584                 }
585                 more += WSIZE;
586         }
587         /* At this point, more >= 2 */
588         if (!G1.eofile) {
589                 n = file_read(G1.window + G1.strstart + G1.lookahead, more);
590                 if (n == 0 || n == (unsigned) -1) {
591                         G1.eofile = 1;
592                 } else {
593                         G1.lookahead += n;
594                 }
595         }
596 }
597
598
599 /* ===========================================================================
600  * Set match_start to the longest match starting at the given string and
601  * return its length. Matches shorter or equal to prev_length are discarded,
602  * in which case the result is equal to prev_length and match_start is
603  * garbage.
604  * IN assertions: cur_match is the head of the hash chain for the current
605  *   string (strstart) and its distance is <= MAX_DIST, and prev_length >= 1
606  */
607
608 /* For MSDOS, OS/2 and 386 Unix, an optimized version is in match.asm or
609  * match.s. The code is functionally equivalent, so you can use the C version
610  * if desired.
611  */
612 static int longest_match(IPos cur_match)
613 {
614         unsigned chain_length = max_chain_length;       /* max hash chain length */
615         uch *scan = G1.window + G1.strstart;    /* current string */
616         uch *match;     /* matched string */
617         int len;        /* length of current match */
618         int best_len = G1.prev_length;  /* best match length so far */
619         IPos limit = G1.strstart > (IPos) MAX_DIST ? G1.strstart - (IPos) MAX_DIST : 0;
620         /* Stop when cur_match becomes <= limit. To simplify the code,
621          * we prevent matches with the string of window index 0.
622          */
623
624 /* The code is optimized for HASH_BITS >= 8 and MAX_MATCH-2 multiple of 16.
625  * It is easy to get rid of this optimization if necessary.
626  */
627 #if HASH_BITS < 8 || MAX_MATCH != 258
628 #  error Code too clever
629 #endif
630         uch *strend = G1.window + G1.strstart + MAX_MATCH;
631         uch scan_end1 = scan[best_len - 1];
632         uch scan_end = scan[best_len];
633
634         /* Do not waste too much time if we already have a good match: */
635         if (G1.prev_length >= good_match) {
636                 chain_length >>= 2;
637         }
638         Assert(G1.strstart <= WINDOW_SIZE - MIN_LOOKAHEAD, "insufficient lookahead");
639
640         do {
641                 Assert(cur_match < G1.strstart, "no future");
642                 match = G1.window + cur_match;
643
644                 /* Skip to next match if the match length cannot increase
645                  * or if the match length is less than 2:
646                  */
647                 if (match[best_len] != scan_end ||
648                         match[best_len - 1] != scan_end1 ||
649                         *match != *scan || *++match != scan[1])
650                         continue;
651
652                 /* The check at best_len-1 can be removed because it will be made
653                  * again later. (This heuristic is not always a win.)
654                  * It is not necessary to compare scan[2] and match[2] since they
655                  * are always equal when the other bytes match, given that
656                  * the hash keys are equal and that HASH_BITS >= 8.
657                  */
658                 scan += 2, match++;
659
660                 /* We check for insufficient lookahead only every 8th comparison;
661                  * the 256th check will be made at strstart+258.
662                  */
663                 do {
664                 } while (*++scan == *++match && *++scan == *++match &&
665                                  *++scan == *++match && *++scan == *++match &&
666                                  *++scan == *++match && *++scan == *++match &&
667                                  *++scan == *++match && *++scan == *++match && scan < strend);
668
669                 len = MAX_MATCH - (int) (strend - scan);
670                 scan = strend - MAX_MATCH;
671
672                 if (len > best_len) {
673                         G1.match_start = cur_match;
674                         best_len = len;
675                         if (len >= nice_match)
676                                 break;
677                         scan_end1 = scan[best_len - 1];
678                         scan_end = scan[best_len];
679                 }
680         } while ((cur_match = G1.prev[cur_match & WMASK]) > limit
681                          && --chain_length != 0);
682
683         return best_len;
684 }
685
686
687 #ifdef DEBUG
688 /* ===========================================================================
689  * Check that the match at match_start is indeed a match.
690  */
691 static void check_match(IPos start, IPos match, int length)
692 {
693         /* check that the match is indeed a match */
694         if (memcmp(G1.window + match, G1.window + start, length) != 0) {
695                 bb_error_msg(" start %d, match %d, length %d", start, match, length);
696                 bb_error_msg("invalid match");
697         }
698         if (verbose > 1) {
699                 bb_error_msg("\\[%d,%d]", start - match, length);
700                 do {
701                         putc(G1.window[start++], stderr);
702                 } while (--length != 0);
703         }
704 }
705 #else
706 #  define check_match(start, match, length) ((void)0)
707 #endif
708
709
710 /* trees.c -- output deflated data using Huffman coding
711  * Copyright (C) 1992-1993 Jean-loup Gailly
712  * This is free software; you can redistribute it and/or modify it under the
713  * terms of the GNU General Public License, see the file COPYING.
714  */
715
716 /*  PURPOSE
717  *      Encode various sets of source values using variable-length
718  *      binary code trees.
719  *
720  *  DISCUSSION
721  *      The PKZIP "deflation" process uses several Huffman trees. The more
722  *      common source values are represented by shorter bit sequences.
723  *
724  *      Each code tree is stored in the ZIP file in a compressed form
725  *      which is itself a Huffman encoding of the lengths of
726  *      all the code strings (in ascending order by source values).
727  *      The actual code strings are reconstructed from the lengths in
728  *      the UNZIP process, as described in the "application note"
729  *      (APPNOTE.TXT) distributed as part of PKWARE's PKZIP program.
730  *
731  *  REFERENCES
732  *      Lynch, Thomas J.
733  *          Data Compression:  Techniques and Applications, pp. 53-55.
734  *          Lifetime Learning Publications, 1985.  ISBN 0-534-03418-7.
735  *
736  *      Storer, James A.
737  *          Data Compression:  Methods and Theory, pp. 49-50.
738  *          Computer Science Press, 1988.  ISBN 0-7167-8156-5.
739  *
740  *      Sedgewick, R.
741  *          Algorithms, p290.
742  *          Addison-Wesley, 1983. ISBN 0-201-06672-6.
743  *
744  *  INTERFACE
745  *      void ct_init() //// ush *attr, int *methodp)
746  *          Allocate the match buffer, initialize the various tables and save
747  *          the location of the internal file attribute (ascii/binary) and
748  *          method (DEFLATE/STORE)
749  *
750  *      void ct_tally(int dist, int lc);
751  *          Save the match info and tally the frequency counts.
752  *
753  *      ulg flush_block(char *buf, ulg stored_len, int eof)
754  *          Determine the best encoding for the current block: dynamic trees,
755  *          static trees or store, and output the encoded block to the zip
756  *          file. Returns the total compressed length for the file so far.
757  */
758
759 #define MAX_BITS 15
760 /* All codes must not exceed MAX_BITS bits */
761
762 #define MAX_BL_BITS 7
763 /* Bit length codes must not exceed MAX_BL_BITS bits */
764
765 #define LENGTH_CODES 29
766 /* number of length codes, not counting the special END_BLOCK code */
767
768 #define LITERALS  256
769 /* number of literal bytes 0..255 */
770
771 #define END_BLOCK 256
772 /* end of block literal code */
773
774 #define L_CODES (LITERALS+1+LENGTH_CODES)
775 /* number of Literal or Length codes, including the END_BLOCK code */
776
777 #define D_CODES   30
778 /* number of distance codes */
779
780 #define BL_CODES  19
781 /* number of codes used to transfer the bit lengths */
782
783 typedef uch extra_bits_t;
784
785 /* extra bits for each length code */
786 static const extra_bits_t extra_lbits[LENGTH_CODES]= {
787         0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 3, 3, 4, 4,
788         4, 4, 5, 5, 5, 5, 0
789 };
790
791 /* extra bits for each distance code */
792 static const extra_bits_t extra_dbits[D_CODES] = {
793         0, 0, 0, 0, 1, 1, 2, 2, 3, 3, 4, 4, 5, 5, 6, 6, 7, 7, 8, 8, 9, 9,
794         10, 10, 11, 11, 12, 12, 13, 13
795 };
796
797 /* extra bits for each bit length code */
798 static const extra_bits_t extra_blbits[BL_CODES] = {
799         0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 3, 7 };
800
801 /* number of codes at each bit length for an optimal tree */
802 static const uch bl_order[BL_CODES] = {
803         16, 17, 18, 0, 8, 7, 9, 6, 10, 5, 11, 4, 12, 3, 13, 2, 14, 1, 15 };
804
805 #define STORED_BLOCK 0
806 #define STATIC_TREES 1
807 #define DYN_TREES    2
808 /* The three kinds of block type */
809
810 #ifndef LIT_BUFSIZE
811 #  ifdef SMALL_MEM
812 #    define LIT_BUFSIZE  0x2000
813 #  else
814 #  ifdef MEDIUM_MEM
815 #    define LIT_BUFSIZE  0x4000
816 #  else
817 #    define LIT_BUFSIZE  0x8000
818 #  endif
819 #  endif
820 #endif
821 #ifndef DIST_BUFSIZE
822 #  define DIST_BUFSIZE  LIT_BUFSIZE
823 #endif
824 /* Sizes of match buffers for literals/lengths and distances.  There are
825  * 4 reasons for limiting LIT_BUFSIZE to 64K:
826  *   - frequencies can be kept in 16 bit counters
827  *   - if compression is not successful for the first block, all input data is
828  *     still in the window so we can still emit a stored block even when input
829  *     comes from standard input.  (This can also be done for all blocks if
830  *     LIT_BUFSIZE is not greater than 32K.)
831  *   - if compression is not successful for a file smaller than 64K, we can
832  *     even emit a stored file instead of a stored block (saving 5 bytes).
833  *   - creating new Huffman trees less frequently may not provide fast
834  *     adaptation to changes in the input data statistics. (Take for
835  *     example a binary file with poorly compressible code followed by
836  *     a highly compressible string table.) Smaller buffer sizes give
837  *     fast adaptation but have of course the overhead of transmitting trees
838  *     more frequently.
839  *   - I can't count above 4
840  * The current code is general and allows DIST_BUFSIZE < LIT_BUFSIZE (to save
841  * memory at the expense of compression). Some optimizations would be possible
842  * if we rely on DIST_BUFSIZE == LIT_BUFSIZE.
843  */
844 #define REP_3_6      16
845 /* repeat previous bit length 3-6 times (2 bits of repeat count) */
846 #define REPZ_3_10    17
847 /* repeat a zero length 3-10 times  (3 bits of repeat count) */
848 #define REPZ_11_138  18
849 /* repeat a zero length 11-138 times  (7 bits of repeat count) */
850
851 /* ===========================================================================
852 */
853 /* Data structure describing a single value and its code string. */
854 typedef struct ct_data {
855         union {
856                 ush freq;               /* frequency count */
857                 ush code;               /* bit string */
858         } fc;
859         union {
860                 ush dad;                /* father node in Huffman tree */
861                 ush len;                /* length of bit string */
862         } dl;
863 } ct_data;
864
865 #define Freq fc.freq
866 #define Code fc.code
867 #define Dad  dl.dad
868 #define Len  dl.len
869
870 #define HEAP_SIZE (2*L_CODES + 1)
871 /* maximum heap size */
872
873 typedef struct tree_desc {
874         ct_data *dyn_tree;      /* the dynamic tree */
875         ct_data *static_tree;   /* corresponding static tree or NULL */
876         const extra_bits_t *extra_bits; /* extra bits for each code or NULL */
877         int extra_base;         /* base index for extra_bits */
878         int elems;                      /* max number of elements in the tree */
879         int max_length;         /* max bit length for the codes */
880         int max_code;           /* largest code with non zero frequency */
881 } tree_desc;
882
883 struct G2 {
884
885         ush heap[HEAP_SIZE];     /* heap used to build the Huffman trees */
886         int heap_len;            /* number of elements in the heap */
887         int heap_max;            /* element of largest frequency */
888
889 /* The sons of heap[n] are heap[2*n] and heap[2*n+1]. heap[0] is not used.
890  * The same heap array is used to build all trees.
891  */
892
893         ct_data dyn_ltree[HEAP_SIZE];   /* literal and length tree */
894         ct_data dyn_dtree[2 * D_CODES + 1];     /* distance tree */
895
896         ct_data static_ltree[L_CODES + 2];
897
898 /* The static literal tree. Since the bit lengths are imposed, there is no
899  * need for the L_CODES extra codes used during heap construction. However
900  * The codes 286 and 287 are needed to build a canonical tree (see ct_init
901  * below).
902  */
903
904         ct_data static_dtree[D_CODES];
905
906 /* The static distance tree. (Actually a trivial tree since all codes use
907  * 5 bits.)
908  */
909
910         ct_data bl_tree[2 * BL_CODES + 1];
911
912 /* Huffman tree for the bit lengths */
913
914         tree_desc l_desc;
915         tree_desc d_desc;
916         tree_desc bl_desc;
917
918         ush bl_count[MAX_BITS + 1];
919
920 /* The lengths of the bit length codes are sent in order of decreasing
921  * probability, to avoid transmitting the lengths for unused bit length codes.
922  */
923
924         uch depth[2 * L_CODES + 1];
925
926 /* Depth of each subtree used as tie breaker for trees of equal frequency */
927
928         uch length_code[MAX_MATCH - MIN_MATCH + 1];
929
930 /* length code for each normalized match length (0 == MIN_MATCH) */
931
932         uch dist_code[512];
933
934 /* distance codes. The first 256 values correspond to the distances
935  * 3 .. 258, the last 256 values correspond to the top 8 bits of
936  * the 15 bit distances.
937  */
938
939         int base_length[LENGTH_CODES];
940
941 /* First normalized length for each code (0 = MIN_MATCH) */
942
943         int base_dist[D_CODES];
944
945 /* First normalized distance for each code (0 = distance of 1) */
946
947         uch flag_buf[LIT_BUFSIZE / 8];
948
949 /* flag_buf is a bit array distinguishing literals from lengths in
950  * l_buf, thus indicating the presence or absence of a distance.
951  */
952
953         unsigned last_lit;       /* running index in l_buf */
954         unsigned last_dist;      /* running index in d_buf */
955         unsigned last_flags;     /* running index in flag_buf */
956         uch flags;               /* current flags not yet saved in flag_buf */
957         uch flag_bit;            /* current bit used in flags */
958
959 /* bits are filled in flags starting at bit 0 (least significant).
960  * Note: these flags are overkill in the current code since we don't
961  * take advantage of DIST_BUFSIZE == LIT_BUFSIZE.
962  */
963
964         ulg opt_len;             /* bit length of current block with optimal trees */
965         ulg static_len;          /* bit length of current block with static trees */
966
967         ulg compressed_len;      /* total bit length of compressed file */
968
969 ////    ush *file_type;          /* pointer to UNKNOWN, BINARY or ASCII */
970 ////    int *file_method;        /* pointer to DEFLATE or STORE */
971
972 };
973
974 static struct G2 *G2ptr;
975 #define G2 (*G2ptr)
976 /* {
977         .l_desc = {
978                 G2.dyn_ltree, G2.static_ltree, extra_lbits,
979                 LITERALS + 1, L_CODES, MAX_BITS, 0
980         },
981         .d_desc = {
982                 G2.dyn_dtree, G2.static_dtree, extra_dbits,
983                 0, D_CODES, MAX_BITS, 0
984         },
985         .bl_desc = {
986                 G2.bl_tree, NULL, extra_blbits,
987                 0, BL_CODES, MAX_BL_BITS, 0
988         }
989 };
990 */
991
992
993 /* ===========================================================================
994  */
995 static void gen_codes(ct_data * tree, int max_code);
996 static void build_tree(tree_desc * desc);
997 static void scan_tree(ct_data * tree, int max_code);
998 static void send_tree(ct_data * tree, int max_code);
999 static int build_bl_tree(void);
1000 static void send_all_trees(int lcodes, int dcodes, int blcodes);
1001 static void compress_block(ct_data * ltree, ct_data * dtree);
1002
1003
1004 #ifndef DEBUG
1005 /* Send a code of the given tree. c and tree must not have side effects */
1006 #  define SEND_CODE(c, tree) send_bits(tree[c].Code, tree[c].Len)
1007 #else
1008 #  define SEND_CODE(c, tree) \
1009 { \
1010         if (verbose > 1) bb_error_msg("\ncd %3d ",(c)); \
1011         send_bits(tree[c].Code, tree[c].Len); \
1012 }
1013 #endif
1014
1015 #define D_CODE(dist) \
1016         ((dist) < 256 ? G2.dist_code[dist] : G2.dist_code[256 + ((dist)>>7)])
1017 /* Mapping from a distance to a distance code. dist is the distance - 1 and
1018  * must not have side effects. dist_code[256] and dist_code[257] are never
1019  * used.
1020  * The arguments must not have side effects.
1021  */
1022
1023
1024 /* ===========================================================================
1025  * Initialize a new block.
1026  */
1027 static void init_block(void)
1028 {
1029         int n; /* iterates over tree elements */
1030
1031         /* Initialize the trees. */
1032         for (n = 0; n < L_CODES; n++)
1033                 G2.dyn_ltree[n].Freq = 0;
1034         for (n = 0; n < D_CODES; n++)
1035                 G2.dyn_dtree[n].Freq = 0;
1036         for (n = 0; n < BL_CODES; n++)
1037                 G2.bl_tree[n].Freq = 0;
1038
1039         G2.dyn_ltree[END_BLOCK].Freq = 1;
1040         G2.opt_len = G2.static_len = 0;
1041         G2.last_lit = G2.last_dist = G2.last_flags = 0;
1042         G2.flags = 0;
1043         G2.flag_bit = 1;
1044 }
1045
1046
1047 /* ===========================================================================
1048  * Restore the heap property by moving down the tree starting at node k,
1049  * exchanging a node with the smallest of its two sons if necessary, stopping
1050  * when the heap property is re-established (each father smaller than its
1051  * two sons).
1052  */
1053
1054 /* Compares to subtrees, using the tree depth as tie breaker when
1055  * the subtrees have equal frequency. This minimizes the worst case length. */
1056 #define SMALLER(tree, n, m) \
1057         (tree[n].Freq < tree[m].Freq \
1058         || (tree[n].Freq == tree[m].Freq && G2.depth[n] <= G2.depth[m]))
1059
1060 static void pqdownheap(ct_data * tree, int k)
1061 {
1062         int v = G2.heap[k];
1063         int j = k << 1;         /* left son of k */
1064
1065         while (j <= G2.heap_len) {
1066                 /* Set j to the smallest of the two sons: */
1067                 if (j < G2.heap_len && SMALLER(tree, G2.heap[j + 1], G2.heap[j]))
1068                         j++;
1069
1070                 /* Exit if v is smaller than both sons */
1071                 if (SMALLER(tree, v, G2.heap[j]))
1072                         break;
1073
1074                 /* Exchange v with the smallest son */
1075                 G2.heap[k] = G2.heap[j];
1076                 k = j;
1077
1078                 /* And continue down the tree, setting j to the left son of k */
1079                 j <<= 1;
1080         }
1081         G2.heap[k] = v;
1082 }
1083
1084
1085 /* ===========================================================================
1086  * Compute the optimal bit lengths for a tree and update the total bit length
1087  * for the current block.
1088  * IN assertion: the fields freq and dad are set, heap[heap_max] and
1089  *    above are the tree nodes sorted by increasing frequency.
1090  * OUT assertions: the field len is set to the optimal bit length, the
1091  *     array bl_count contains the frequencies for each bit length.
1092  *     The length opt_len is updated; static_len is also updated if stree is
1093  *     not null.
1094  */
1095 static void gen_bitlen(tree_desc * desc)
1096 {
1097         ct_data *tree = desc->dyn_tree;
1098         const extra_bits_t *extra = desc->extra_bits;
1099         int base = desc->extra_base;
1100         int max_code = desc->max_code;
1101         int max_length = desc->max_length;
1102         ct_data *stree = desc->static_tree;
1103         int h;                          /* heap index */
1104         int n, m;                       /* iterate over the tree elements */
1105         int bits;                       /* bit length */
1106         int xbits;                      /* extra bits */
1107         ush f;                          /* frequency */
1108         int overflow = 0;       /* number of elements with bit length too large */
1109
1110         for (bits = 0; bits <= MAX_BITS; bits++)
1111                 G2.bl_count[bits] = 0;
1112
1113         /* In a first pass, compute the optimal bit lengths (which may
1114          * overflow in the case of the bit length tree).
1115          */
1116         tree[G2.heap[G2.heap_max]].Len = 0;     /* root of the heap */
1117
1118         for (h = G2.heap_max + 1; h < HEAP_SIZE; h++) {
1119                 n = G2.heap[h];
1120                 bits = tree[tree[n].Dad].Len + 1;
1121                 if (bits > max_length) {
1122                         bits = max_length;
1123                         overflow++;
1124                 }
1125                 tree[n].Len = (ush) bits;
1126                 /* We overwrite tree[n].Dad which is no longer needed */
1127
1128                 if (n > max_code)
1129                         continue;       /* not a leaf node */
1130
1131                 G2.bl_count[bits]++;
1132                 xbits = 0;
1133                 if (n >= base)
1134                         xbits = extra[n - base];
1135                 f = tree[n].Freq;
1136                 G2.opt_len += (ulg) f *(bits + xbits);
1137
1138                 if (stree)
1139                         G2.static_len += (ulg) f * (stree[n].Len + xbits);
1140         }
1141         if (overflow == 0)
1142                 return;
1143
1144         Trace((stderr, "\nbit length overflow\n"));
1145         /* This happens for example on obj2 and pic of the Calgary corpus */
1146
1147         /* Find the first bit length which could increase: */
1148         do {
1149                 bits = max_length - 1;
1150                 while (G2.bl_count[bits] == 0)
1151                         bits--;
1152                 G2.bl_count[bits]--;    /* move one leaf down the tree */
1153                 G2.bl_count[bits + 1] += 2;     /* move one overflow item as its brother */
1154                 G2.bl_count[max_length]--;
1155                 /* The brother of the overflow item also moves one step up,
1156                  * but this does not affect bl_count[max_length]
1157                  */
1158                 overflow -= 2;
1159         } while (overflow > 0);
1160
1161         /* Now recompute all bit lengths, scanning in increasing frequency.
1162          * h is still equal to HEAP_SIZE. (It is simpler to reconstruct all
1163          * lengths instead of fixing only the wrong ones. This idea is taken
1164          * from 'ar' written by Haruhiko Okumura.)
1165          */
1166         for (bits = max_length; bits != 0; bits--) {
1167                 n = G2.bl_count[bits];
1168                 while (n != 0) {
1169                         m = G2.heap[--h];
1170                         if (m > max_code)
1171                                 continue;
1172                         if (tree[m].Len != (unsigned) bits) {
1173                                 Trace((stderr, "code %d bits %d->%d\n", m, tree[m].Len, bits));
1174                                 G2.opt_len += ((int32_t) bits - tree[m].Len) * tree[m].Freq;
1175                                 tree[m].Len = bits;
1176                         }
1177                         n--;
1178                 }
1179         }
1180 }
1181
1182
1183 /* ===========================================================================
1184  * Generate the codes for a given tree and bit counts (which need not be
1185  * optimal).
1186  * IN assertion: the array bl_count contains the bit length statistics for
1187  * the given tree and the field len is set for all tree elements.
1188  * OUT assertion: the field code is set for all tree elements of non
1189  *     zero code length.
1190  */
1191 static void gen_codes(ct_data * tree, int max_code)
1192 {
1193         ush next_code[MAX_BITS + 1];    /* next code value for each bit length */
1194         ush code = 0;           /* running code value */
1195         int bits;                       /* bit index */
1196         int n;                          /* code index */
1197
1198         /* The distribution counts are first used to generate the code values
1199          * without bit reversal.
1200          */
1201         for (bits = 1; bits <= MAX_BITS; bits++) {
1202                 next_code[bits] = code = (code + G2.bl_count[bits - 1]) << 1;
1203         }
1204         /* Check that the bit counts in bl_count are consistent. The last code
1205          * must be all ones.
1206          */
1207         Assert(code + G2.bl_count[MAX_BITS] - 1 == (1 << MAX_BITS) - 1,
1208                    "inconsistent bit counts");
1209         Tracev((stderr, "\ngen_codes: max_code %d ", max_code));
1210
1211         for (n = 0; n <= max_code; n++) {
1212                 int len = tree[n].Len;
1213
1214                 if (len == 0)
1215                         continue;
1216                 /* Now reverse the bits */
1217                 tree[n].Code = bi_reverse(next_code[len]++, len);
1218
1219                 Tracec(tree != G2.static_ltree,
1220                            (stderr, "\nn %3d %c l %2d c %4x (%x) ", n,
1221                                 (isgraph(n) ? n : ' '), len, tree[n].Code,
1222                                 next_code[len] - 1));
1223         }
1224 }
1225
1226
1227 /* ===========================================================================
1228  * Construct one Huffman tree and assigns the code bit strings and lengths.
1229  * Update the total bit length for the current block.
1230  * IN assertion: the field freq is set for all tree elements.
1231  * OUT assertions: the fields len and code are set to the optimal bit length
1232  *     and corresponding code. The length opt_len is updated; static_len is
1233  *     also updated if stree is not null. The field max_code is set.
1234  */
1235
1236 /* Remove the smallest element from the heap and recreate the heap with
1237  * one less element. Updates heap and heap_len. */
1238
1239 #define SMALLEST 1
1240 /* Index within the heap array of least frequent node in the Huffman tree */
1241
1242 #define PQREMOVE(tree, top) \
1243 do { \
1244         top = G2.heap[SMALLEST]; \
1245         G2.heap[SMALLEST] = G2.heap[G2.heap_len--]; \
1246         pqdownheap(tree, SMALLEST); \
1247 } while (0)
1248
1249 static void build_tree(tree_desc * desc)
1250 {
1251         ct_data *tree = desc->dyn_tree;
1252         ct_data *stree = desc->static_tree;
1253         int elems = desc->elems;
1254         int n, m;                       /* iterate over heap elements */
1255         int max_code = -1;      /* largest code with non zero frequency */
1256         int node = elems;       /* next internal node of the tree */
1257
1258         /* Construct the initial heap, with least frequent element in
1259          * heap[SMALLEST]. The sons of heap[n] are heap[2*n] and heap[2*n+1].
1260          * heap[0] is not used.
1261          */
1262         G2.heap_len = 0;
1263         G2.heap_max = HEAP_SIZE;
1264
1265         for (n = 0; n < elems; n++) {
1266                 if (tree[n].Freq != 0) {
1267                         G2.heap[++G2.heap_len] = max_code = n;
1268                         G2.depth[n] = 0;
1269                 } else {
1270                         tree[n].Len = 0;
1271                 }
1272         }
1273
1274         /* The pkzip format requires that at least one distance code exists,
1275          * and that at least one bit should be sent even if there is only one
1276          * possible code. So to avoid special checks later on we force at least
1277          * two codes of non zero frequency.
1278          */
1279         while (G2.heap_len < 2) {
1280                 int new = G2.heap[++G2.heap_len] = (max_code < 2 ? ++max_code : 0);
1281
1282                 tree[new].Freq = 1;
1283                 G2.depth[new] = 0;
1284                 G2.opt_len--;
1285                 if (stree)
1286                         G2.static_len -= stree[new].Len;
1287                 /* new is 0 or 1 so it does not have extra bits */
1288         }
1289         desc->max_code = max_code;
1290
1291         /* The elements heap[heap_len/2+1 .. heap_len] are leaves of the tree,
1292          * establish sub-heaps of increasing lengths:
1293          */
1294         for (n = G2.heap_len / 2; n >= 1; n--)
1295                 pqdownheap(tree, n);
1296
1297         /* Construct the Huffman tree by repeatedly combining the least two
1298          * frequent nodes.
1299          */
1300         do {
1301                 PQREMOVE(tree, n);      /* n = node of least frequency */
1302                 m = G2.heap[SMALLEST];  /* m = node of next least frequency */
1303
1304                 G2.heap[--G2.heap_max] = n;     /* keep the nodes sorted by frequency */
1305                 G2.heap[--G2.heap_max] = m;
1306
1307                 /* Create a new node father of n and m */
1308                 tree[node].Freq = tree[n].Freq + tree[m].Freq;
1309                 G2.depth[node] = MAX(G2.depth[n], G2.depth[m]) + 1;
1310                 tree[n].Dad = tree[m].Dad = (ush) node;
1311 #ifdef DUMP_BL_TREE
1312                 if (tree == G2.bl_tree) {
1313                         bb_error_msg("\nnode %d(%d), sons %d(%d) %d(%d)",
1314                                         node, tree[node].Freq, n, tree[n].Freq, m, tree[m].Freq);
1315                 }
1316 #endif
1317                 /* and insert the new node in the heap */
1318                 G2.heap[SMALLEST] = node++;
1319                 pqdownheap(tree, SMALLEST);
1320
1321         } while (G2.heap_len >= 2);
1322
1323         G2.heap[--G2.heap_max] = G2.heap[SMALLEST];
1324
1325         /* At this point, the fields freq and dad are set. We can now
1326          * generate the bit lengths.
1327          */
1328         gen_bitlen((tree_desc *) desc);
1329
1330         /* The field len is now set, we can generate the bit codes */
1331         gen_codes((ct_data *) tree, max_code);
1332 }
1333
1334
1335 /* ===========================================================================
1336  * Scan a literal or distance tree to determine the frequencies of the codes
1337  * in the bit length tree. Updates opt_len to take into account the repeat
1338  * counts. (The contribution of the bit length codes will be added later
1339  * during the construction of bl_tree.)
1340  */
1341 static void scan_tree(ct_data * tree, int max_code)
1342 {
1343         int n;                          /* iterates over all tree elements */
1344         int prevlen = -1;       /* last emitted length */
1345         int curlen;                     /* length of current code */
1346         int nextlen = tree[0].Len;      /* length of next code */
1347         int count = 0;          /* repeat count of the current code */
1348         int max_count = 7;      /* max repeat count */
1349         int min_count = 4;      /* min repeat count */
1350
1351         if (nextlen == 0) {
1352                 max_count = 138;
1353                 min_count = 3;
1354         }
1355         tree[max_code + 1].Len = 0xffff; /* guard */
1356
1357         for (n = 0; n <= max_code; n++) {
1358                 curlen = nextlen;
1359                 nextlen = tree[n + 1].Len;
1360                 if (++count < max_count && curlen == nextlen)
1361                         continue;
1362
1363                 if (count < min_count) {
1364                         G2.bl_tree[curlen].Freq += count;
1365                 } else if (curlen != 0) {
1366                         if (curlen != prevlen)
1367                                 G2.bl_tree[curlen].Freq++;
1368                         G2.bl_tree[REP_3_6].Freq++;
1369                 } else if (count <= 10) {
1370                         G2.bl_tree[REPZ_3_10].Freq++;
1371                 } else {
1372                         G2.bl_tree[REPZ_11_138].Freq++;
1373                 }
1374                 count = 0;
1375                 prevlen = curlen;
1376
1377                 max_count = 7;
1378                 min_count = 4;
1379                 if (nextlen == 0) {
1380                         max_count = 138;
1381                         min_count = 3;
1382                 } else if (curlen == nextlen) {
1383                         max_count = 6;
1384                         min_count = 3;
1385                 }
1386         }
1387 }
1388
1389
1390 /* ===========================================================================
1391  * Send a literal or distance tree in compressed form, using the codes in
1392  * bl_tree.
1393  */
1394 static void send_tree(ct_data * tree, int max_code)
1395 {
1396         int n;                          /* iterates over all tree elements */
1397         int prevlen = -1;       /* last emitted length */
1398         int curlen;                     /* length of current code */
1399         int nextlen = tree[0].Len;      /* length of next code */
1400         int count = 0;          /* repeat count of the current code */
1401         int max_count = 7;      /* max repeat count */
1402         int min_count = 4;      /* min repeat count */
1403
1404 /* tree[max_code+1].Len = -1; *//* guard already set */
1405         if (nextlen == 0)
1406                 max_count = 138, min_count = 3;
1407
1408         for (n = 0; n <= max_code; n++) {
1409                 curlen = nextlen;
1410                 nextlen = tree[n + 1].Len;
1411                 if (++count < max_count && curlen == nextlen) {
1412                         continue;
1413                 } else if (count < min_count) {
1414                         do {
1415                                 SEND_CODE(curlen, G2.bl_tree);
1416                         } while (--count);
1417                 } else if (curlen != 0) {
1418                         if (curlen != prevlen) {
1419                                 SEND_CODE(curlen, G2.bl_tree);
1420                                 count--;
1421                         }
1422                         Assert(count >= 3 && count <= 6, " 3_6?");
1423                         SEND_CODE(REP_3_6, G2.bl_tree);
1424                         send_bits(count - 3, 2);
1425                 } else if (count <= 10) {
1426                         SEND_CODE(REPZ_3_10, G2.bl_tree);
1427                         send_bits(count - 3, 3);
1428                 } else {
1429                         SEND_CODE(REPZ_11_138, G2.bl_tree);
1430                         send_bits(count - 11, 7);
1431                 }
1432                 count = 0;
1433                 prevlen = curlen;
1434                 if (nextlen == 0) {
1435                         max_count = 138;
1436                         min_count = 3;
1437                 } else if (curlen == nextlen) {
1438                         max_count = 6;
1439                         min_count = 3;
1440                 } else {
1441                         max_count = 7;
1442                         min_count = 4;
1443                 }
1444         }
1445 }
1446
1447
1448 /* ===========================================================================
1449  * Construct the Huffman tree for the bit lengths and return the index in
1450  * bl_order of the last bit length code to send.
1451  */
1452 static int build_bl_tree(void)
1453 {
1454         int max_blindex;        /* index of last bit length code of non zero freq */
1455
1456         /* Determine the bit length frequencies for literal and distance trees */
1457         scan_tree(G2.dyn_ltree, G2.l_desc.max_code);
1458         scan_tree(G2.dyn_dtree, G2.d_desc.max_code);
1459
1460         /* Build the bit length tree: */
1461         build_tree(&G2.bl_desc);
1462         /* opt_len now includes the length of the tree representations, except
1463          * the lengths of the bit lengths codes and the 5+5+4 bits for the counts.
1464          */
1465
1466         /* Determine the number of bit length codes to send. The pkzip format
1467          * requires that at least 4 bit length codes be sent. (appnote.txt says
1468          * 3 but the actual value used is 4.)
1469          */
1470         for (max_blindex = BL_CODES - 1; max_blindex >= 3; max_blindex--) {
1471                 if (G2.bl_tree[bl_order[max_blindex]].Len != 0)
1472                         break;
1473         }
1474         /* Update opt_len to include the bit length tree and counts */
1475         G2.opt_len += 3 * (max_blindex + 1) + 5 + 5 + 4;
1476         Tracev((stderr, "\ndyn trees: dyn %ld, stat %ld", G2.opt_len, G2.static_len));
1477
1478         return max_blindex;
1479 }
1480
1481
1482 /* ===========================================================================
1483  * Send the header for a block using dynamic Huffman trees: the counts, the
1484  * lengths of the bit length codes, the literal tree and the distance tree.
1485  * IN assertion: lcodes >= 257, dcodes >= 1, blcodes >= 4.
1486  */
1487 static void send_all_trees(int lcodes, int dcodes, int blcodes)
1488 {
1489         int rank;                       /* index in bl_order */
1490
1491         Assert(lcodes >= 257 && dcodes >= 1 && blcodes >= 4, "not enough codes");
1492         Assert(lcodes <= L_CODES && dcodes <= D_CODES
1493                    && blcodes <= BL_CODES, "too many codes");
1494         Tracev((stderr, "\nbl counts: "));
1495         send_bits(lcodes - 257, 5);     /* not +255 as stated in appnote.txt */
1496         send_bits(dcodes - 1, 5);
1497         send_bits(blcodes - 4, 4);      /* not -3 as stated in appnote.txt */
1498         for (rank = 0; rank < blcodes; rank++) {
1499                 Tracev((stderr, "\nbl code %2d ", bl_order[rank]));
1500                 send_bits(G2.bl_tree[bl_order[rank]].Len, 3);
1501         }
1502         Tracev((stderr, "\nbl tree: sent %ld", G1.bits_sent));
1503
1504         send_tree((ct_data *) G2.dyn_ltree, lcodes - 1);        /* send the literal tree */
1505         Tracev((stderr, "\nlit tree: sent %ld", G1.bits_sent));
1506
1507         send_tree((ct_data *) G2.dyn_dtree, dcodes - 1);        /* send the distance tree */
1508         Tracev((stderr, "\ndist tree: sent %ld", G1.bits_sent));
1509 }
1510
1511
1512 /////* ===========================================================================
1513 //// * Set the file type to ASCII or BINARY, using a crude approximation:
1514 //// * binary if more than 20% of the bytes are <= 6 or >= 128, ascii otherwise.
1515 //// * IN assertion: the fields freq of dyn_ltree are set and the total of all
1516 //// * frequencies does not exceed 64K (to fit in an int on 16 bit machines).
1517 //// */
1518 ////static void set_file_type(void)
1519 ////{
1520 ////    int n = 0;
1521 ////    unsigned ascii_freq = 0;
1522 ////    unsigned bin_freq = 0;
1523 ////
1524 ////    while (n < 7)
1525 ////            bin_freq += G2.dyn_ltree[n++].Freq;
1526 ////    while (n < 128)
1527 ////            ascii_freq += G2.dyn_ltree[n++].Freq;
1528 ////    while (n < LITERALS)
1529 ////            bin_freq += G2.dyn_ltree[n++].Freq;
1530 ////    *G2.file_type = (bin_freq > (ascii_freq >> 2)) ? BINARY : ASCII;
1531 ////    if (*G2.file_type == BINARY && translate_eol) {
1532 ////            bb_error_msg("-l used on binary file");
1533 ////    }
1534 ////}
1535
1536
1537 /* ===========================================================================
1538  * Save the match info and tally the frequency counts. Return true if
1539  * the current block must be flushed.
1540  */
1541 static int ct_tally(int dist, int lc)
1542 {
1543         G1.l_buf[G2.last_lit++] = lc;
1544         if (dist == 0) {
1545                 /* lc is the unmatched char */
1546                 G2.dyn_ltree[lc].Freq++;
1547         } else {
1548                 /* Here, lc is the match length - MIN_MATCH */
1549                 dist--;                 /* dist = match distance - 1 */
1550                 Assert((ush) dist < (ush) MAX_DIST
1551                  && (ush) lc <= (ush) (MAX_MATCH - MIN_MATCH)
1552                  && (ush) D_CODE(dist) < (ush) D_CODES, "ct_tally: bad match"
1553                 );
1554
1555                 G2.dyn_ltree[G2.length_code[lc] + LITERALS + 1].Freq++;
1556                 G2.dyn_dtree[D_CODE(dist)].Freq++;
1557
1558                 G1.d_buf[G2.last_dist++] = dist;
1559                 G2.flags |= G2.flag_bit;
1560         }
1561         G2.flag_bit <<= 1;
1562
1563         /* Output the flags if they fill a byte: */
1564         if ((G2.last_lit & 7) == 0) {
1565                 G2.flag_buf[G2.last_flags++] = G2.flags;
1566                 G2.flags = 0;
1567                 G2.flag_bit = 1;
1568         }
1569         /* Try to guess if it is profitable to stop the current block here */
1570         if ((G2.last_lit & 0xfff) == 0) {
1571                 /* Compute an upper bound for the compressed length */
1572                 ulg out_length = G2.last_lit * 8L;
1573                 ulg in_length = (ulg) G1.strstart - G1.block_start;
1574                 int dcode;
1575
1576                 for (dcode = 0; dcode < D_CODES; dcode++) {
1577                         out_length += G2.dyn_dtree[dcode].Freq * (5L + extra_dbits[dcode]);
1578                 }
1579                 out_length >>= 3;
1580                 Trace((stderr,
1581                            "\nlast_lit %u, last_dist %u, in %ld, out ~%ld(%ld%%) ",
1582                            G2.last_lit, G2.last_dist, in_length, out_length,
1583                            100L - out_length * 100L / in_length));
1584                 if (G2.last_dist < G2.last_lit / 2 && out_length < in_length / 2)
1585                         return 1;
1586         }
1587         return (G2.last_lit == LIT_BUFSIZE - 1 || G2.last_dist == DIST_BUFSIZE);
1588         /* We avoid equality with LIT_BUFSIZE because of wraparound at 64K
1589          * on 16 bit machines and because stored blocks are restricted to
1590          * 64K-1 bytes.
1591          */
1592 }
1593
1594 /* ===========================================================================
1595  * Send the block data compressed using the given Huffman trees
1596  */
1597 static void compress_block(ct_data * ltree, ct_data * dtree)
1598 {
1599         unsigned dist;          /* distance of matched string */
1600         int lc;                 /* match length or unmatched char (if dist == 0) */
1601         unsigned lx = 0;        /* running index in l_buf */
1602         unsigned dx = 0;        /* running index in d_buf */
1603         unsigned fx = 0;        /* running index in flag_buf */
1604         uch flag = 0;           /* current flags */
1605         unsigned code;          /* the code to send */
1606         int extra;              /* number of extra bits to send */
1607
1608         if (G2.last_lit != 0) do {
1609                 if ((lx & 7) == 0)
1610                         flag = G2.flag_buf[fx++];
1611                 lc = G1.l_buf[lx++];
1612                 if ((flag & 1) == 0) {
1613                         SEND_CODE(lc, ltree);   /* send a literal byte */
1614                         Tracecv(isgraph(lc), (stderr, " '%c' ", lc));
1615                 } else {
1616                         /* Here, lc is the match length - MIN_MATCH */
1617                         code = G2.length_code[lc];
1618                         SEND_CODE(code + LITERALS + 1, ltree);  /* send the length code */
1619                         extra = extra_lbits[code];
1620                         if (extra != 0) {
1621                                 lc -= G2.base_length[code];
1622                                 send_bits(lc, extra);   /* send the extra length bits */
1623                         }
1624                         dist = G1.d_buf[dx++];
1625                         /* Here, dist is the match distance - 1 */
1626                         code = D_CODE(dist);
1627                         Assert(code < D_CODES, "bad d_code");
1628
1629                         SEND_CODE(code, dtree); /* send the distance code */
1630                         extra = extra_dbits[code];
1631                         if (extra != 0) {
1632                                 dist -= G2.base_dist[code];
1633                                 send_bits(dist, extra); /* send the extra distance bits */
1634                         }
1635                 }                       /* literal or match pair ? */
1636                 flag >>= 1;
1637         } while (lx < G2.last_lit);
1638
1639         SEND_CODE(END_BLOCK, ltree);
1640 }
1641
1642
1643 /* ===========================================================================
1644  * Determine the best encoding for the current block: dynamic trees, static
1645  * trees or store, and output the encoded block to the zip file. This function
1646  * returns the total compressed length for the file so far.
1647  */
1648 static ulg flush_block(char *buf, ulg stored_len, int eof)
1649 {
1650         ulg opt_lenb, static_lenb;      /* opt_len and static_len in bytes */
1651         int max_blindex;                /* index of last bit length code of non zero freq */
1652
1653         G2.flag_buf[G2.last_flags] = G2.flags;   /* Save the flags for the last 8 items */
1654
1655 ////    /* Check if the file is ascii or binary */
1656 ////    if (*G2.file_type == (ush) UNKNOWN)
1657 ////            set_file_type();
1658
1659         /* Construct the literal and distance trees */
1660         build_tree(&G2.l_desc);
1661         Tracev((stderr, "\nlit data: dyn %ld, stat %ld", G2.opt_len, G2.static_len));
1662
1663         build_tree(&G2.d_desc);
1664         Tracev((stderr, "\ndist data: dyn %ld, stat %ld", G2.opt_len, G2.static_len));
1665         /* At this point, opt_len and static_len are the total bit lengths of
1666          * the compressed block data, excluding the tree representations.
1667          */
1668
1669         /* Build the bit length tree for the above two trees, and get the index
1670          * in bl_order of the last bit length code to send.
1671          */
1672         max_blindex = build_bl_tree();
1673
1674         /* Determine the best encoding. Compute first the block length in bytes */
1675         opt_lenb = (G2.opt_len + 3 + 7) >> 3;
1676         static_lenb = (G2.static_len + 3 + 7) >> 3;
1677
1678         Trace((stderr,
1679                    "\nopt %lu(%lu) stat %lu(%lu) stored %lu lit %u dist %u ",
1680                    opt_lenb, G2.opt_len, static_lenb, G2.static_len, stored_len,
1681                    G2.last_lit, G2.last_dist));
1682
1683         if (static_lenb <= opt_lenb)
1684                 opt_lenb = static_lenb;
1685
1686         /* If compression failed and this is the first and last block,
1687          * and if the zip file can be seeked (to rewrite the local header),
1688          * the whole file is transformed into a stored file:
1689          */
1690         if (stored_len <= opt_lenb && eof && G2.compressed_len == 0L && seekable()) {
1691                 /* Since LIT_BUFSIZE <= 2*WSIZE, the input data must be there: */
1692                 if (buf == NULL)
1693                         bb_error_msg("block vanished");
1694
1695                 copy_block(buf, (unsigned) stored_len, 0);      /* without header */
1696                 G2.compressed_len = stored_len << 3;
1697 ////            *file_method = STORED;
1698
1699         } else if (stored_len + 4 <= opt_lenb && buf != NULL) {
1700                 /* 4: two words for the lengths */
1701                 /* The test buf != NULL is only necessary if LIT_BUFSIZE > WSIZE.
1702                  * Otherwise we can't have processed more than WSIZE input bytes since
1703                  * the last block flush, because compression would have been
1704                  * successful. If LIT_BUFSIZE <= WSIZE, it is never too late to
1705                  * transform a block into a stored block.
1706                  */
1707                 send_bits((STORED_BLOCK << 1) + eof, 3);        /* send block type */
1708                 G2.compressed_len = (G2.compressed_len + 3 + 7) & ~7L;
1709                 G2.compressed_len += (stored_len + 4) << 3;
1710
1711                 copy_block(buf, (unsigned) stored_len, 1);      /* with header */
1712
1713         } else if (static_lenb == opt_lenb) {
1714                 send_bits((STATIC_TREES << 1) + eof, 3);
1715                 compress_block((ct_data *) G2.static_ltree, (ct_data *) G2.static_dtree);
1716                 G2.compressed_len += 3 + G2.static_len;
1717         } else {
1718                 send_bits((DYN_TREES << 1) + eof, 3);
1719                 send_all_trees(G2.l_desc.max_code + 1, G2.d_desc.max_code + 1,
1720                                            max_blindex + 1);
1721                 compress_block((ct_data *) G2.dyn_ltree, (ct_data *) G2.dyn_dtree);
1722                 G2.compressed_len += 3 + G2.opt_len;
1723         }
1724         Assert(G2.compressed_len == G1.bits_sent, "bad compressed size");
1725         init_block();
1726
1727         if (eof) {
1728                 bi_windup();
1729                 G2.compressed_len += 7; /* align on byte boundary */
1730         }
1731         Tracev((stderr, "\ncomprlen %lu(%lu) ", G2.compressed_len >> 3,
1732                         G2.compressed_len - 7 * eof));
1733
1734         return G2.compressed_len >> 3;
1735 }
1736
1737
1738 /* ===========================================================================
1739  * Update a hash value with the given input byte
1740  * IN  assertion: all calls to to UPDATE_HASH are made with consecutive
1741  *    input characters, so that a running hash key can be computed from the
1742  *    previous key instead of complete recalculation each time.
1743  */
1744 #define UPDATE_HASH(h, c) (h = (((h)<<H_SHIFT) ^ (c)) & HASH_MASK)
1745
1746
1747 /* ===========================================================================
1748  * Same as above, but achieves better compression. We use a lazy
1749  * evaluation for matches: a match is finally adopted only if there is
1750  * no better match at the next window position.
1751  *
1752  * Processes a new input file and return its compressed length. Sets
1753  * the compressed length, crc, deflate flags and internal file
1754  * attributes.
1755  */
1756
1757 /* Flush the current block, with given end-of-file flag.
1758  * IN assertion: strstart is set to the end of the current match. */
1759 #define FLUSH_BLOCK(eof) \
1760         flush_block( \
1761                 G1.block_start >= 0L \
1762                         ? (char*)&G1.window[(unsigned)G1.block_start] \
1763                         : (char*)NULL, \
1764                 (ulg)G1.strstart - G1.block_start, \
1765                 (eof) \
1766         )
1767
1768 /* Insert string s in the dictionary and set match_head to the previous head
1769  * of the hash chain (the most recent string with same hash key). Return
1770  * the previous length of the hash chain.
1771  * IN  assertion: all calls to to INSERT_STRING are made with consecutive
1772  *    input characters and the first MIN_MATCH bytes of s are valid
1773  *    (except for the last MIN_MATCH-1 bytes of the input file). */
1774 #define INSERT_STRING(s, match_head) \
1775 do { \
1776         UPDATE_HASH(G1.ins_h, G1.window[(s) + MIN_MATCH-1]); \
1777         G1.prev[(s) & WMASK] = match_head = head[G1.ins_h]; \
1778         head[G1.ins_h] = (s); \
1779 } while (0)
1780
1781 static ulg deflate(void)
1782 {
1783         IPos hash_head;         /* head of hash chain */
1784         IPos prev_match;        /* previous match */
1785         int flush;                      /* set if current block must be flushed */
1786         int match_available = 0;        /* set if previous match exists */
1787         unsigned match_length = MIN_MATCH - 1;  /* length of best match */
1788
1789         /* Process the input block. */
1790         while (G1.lookahead != 0) {
1791                 /* Insert the string window[strstart .. strstart+2] in the
1792                  * dictionary, and set hash_head to the head of the hash chain:
1793                  */
1794                 INSERT_STRING(G1.strstart, hash_head);
1795
1796                 /* Find the longest match, discarding those <= prev_length.
1797                  */
1798                 G1.prev_length = match_length;
1799                 prev_match = G1.match_start;
1800                 match_length = MIN_MATCH - 1;
1801
1802                 if (hash_head != 0 && G1.prev_length < max_lazy_match
1803                  && G1.strstart - hash_head <= MAX_DIST
1804                 ) {
1805                         /* To simplify the code, we prevent matches with the string
1806                          * of window index 0 (in particular we have to avoid a match
1807                          * of the string with itself at the start of the input file).
1808                          */
1809                         match_length = longest_match(hash_head);
1810                         /* longest_match() sets match_start */
1811                         if (match_length > G1.lookahead)
1812                                 match_length = G1.lookahead;
1813
1814                         /* Ignore a length 3 match if it is too distant: */
1815                         if (match_length == MIN_MATCH && G1.strstart - G1.match_start > TOO_FAR) {
1816                                 /* If prev_match is also MIN_MATCH, G1.match_start is garbage
1817                                  * but we will ignore the current match anyway.
1818                                  */
1819                                 match_length--;
1820                         }
1821                 }
1822                 /* If there was a match at the previous step and the current
1823                  * match is not better, output the previous match:
1824                  */
1825                 if (G1.prev_length >= MIN_MATCH && match_length <= G1.prev_length) {
1826                         check_match(G1.strstart - 1, prev_match, G1.prev_length);
1827                         flush = ct_tally(G1.strstart - 1 - prev_match, G1.prev_length - MIN_MATCH);
1828
1829                         /* Insert in hash table all strings up to the end of the match.
1830                          * strstart-1 and strstart are already inserted.
1831                          */
1832                         G1.lookahead -= G1.prev_length - 1;
1833                         G1.prev_length -= 2;
1834                         do {
1835                                 G1.strstart++;
1836                                 INSERT_STRING(G1.strstart, hash_head);
1837                                 /* strstart never exceeds WSIZE-MAX_MATCH, so there are
1838                                  * always MIN_MATCH bytes ahead. If lookahead < MIN_MATCH
1839                                  * these bytes are garbage, but it does not matter since the
1840                                  * next lookahead bytes will always be emitted as literals.
1841                                  */
1842                         } while (--G1.prev_length != 0);
1843                         match_available = 0;
1844                         match_length = MIN_MATCH - 1;
1845                         G1.strstart++;
1846                         if (flush) {
1847                                 FLUSH_BLOCK(0);
1848                                 G1.block_start = G1.strstart;
1849                         }
1850                 } else if (match_available) {
1851                         /* If there was no match at the previous position, output a
1852                          * single literal. If there was a match but the current match
1853                          * is longer, truncate the previous match to a single literal.
1854                          */
1855                         Tracevv((stderr, "%c", G1.window[G1.strstart - 1]));
1856                         if (ct_tally(0, G1.window[G1.strstart - 1])) {
1857                                 FLUSH_BLOCK(0);
1858                                 G1.block_start = G1.strstart;
1859                         }
1860                         G1.strstart++;
1861                         G1.lookahead--;
1862                 } else {
1863                         /* There is no previous match to compare with, wait for
1864                          * the next step to decide.
1865                          */
1866                         match_available = 1;
1867                         G1.strstart++;
1868                         G1.lookahead--;
1869                 }
1870                 Assert(G1.strstart <= G1.isize && lookahead <= G1.isize, "a bit too far");
1871
1872                 /* Make sure that we always have enough lookahead, except
1873                  * at the end of the input file. We need MAX_MATCH bytes
1874                  * for the next match, plus MIN_MATCH bytes to insert the
1875                  * string following the next match.
1876                  */
1877                 while (G1.lookahead < MIN_LOOKAHEAD && !G1.eofile)
1878                         fill_window();
1879         }
1880         if (match_available)
1881                 ct_tally(0, G1.window[G1.strstart - 1]);
1882
1883         return FLUSH_BLOCK(1);  /* eof */
1884 }
1885
1886
1887 /* ===========================================================================
1888  * Initialize the bit string routines.
1889  */
1890 static void bi_init(void)
1891 {
1892         G1.bi_buf = 0;
1893         G1.bi_valid = 0;
1894 #ifdef DEBUG
1895         G1.bits_sent = 0L;
1896 #endif
1897 }
1898
1899
1900 /* ===========================================================================
1901  * Initialize the "longest match" routines for a new file
1902  */
1903 static void lm_init(ush * flagsp)
1904 {
1905         unsigned j;
1906
1907         /* Initialize the hash table. */
1908         memset(head, 0, HASH_SIZE * sizeof(*head));
1909         /* prev will be initialized on the fly */
1910
1911         /* speed options for the general purpose bit flag */
1912         *flagsp |= 2;   /* FAST 4, SLOW 2 */
1913         /* ??? reduce max_chain_length for binary files */
1914
1915         G1.strstart = 0;
1916         G1.block_start = 0L;
1917
1918         G1.lookahead = file_read(G1.window,
1919                         sizeof(int) <= 2 ? (unsigned) WSIZE : 2 * WSIZE);
1920
1921         if (G1.lookahead == 0 || G1.lookahead == (unsigned) -1) {
1922                 G1.eofile = 1;
1923                 G1.lookahead = 0;
1924                 return;
1925         }
1926         G1.eofile = 0;
1927         /* Make sure that we always have enough lookahead. This is important
1928          * if input comes from a device such as a tty.
1929          */
1930         while (G1.lookahead < MIN_LOOKAHEAD && !G1.eofile)
1931                 fill_window();
1932
1933         G1.ins_h = 0;
1934         for (j = 0; j < MIN_MATCH - 1; j++)
1935                 UPDATE_HASH(G1.ins_h, G1.window[j]);
1936         /* If lookahead < MIN_MATCH, ins_h is garbage, but this is
1937          * not important since only literal bytes will be emitted.
1938          */
1939 }
1940
1941
1942 /* ===========================================================================
1943  * Allocate the match buffer, initialize the various tables and save the
1944  * location of the internal file attribute (ascii/binary) and method
1945  * (DEFLATE/STORE).
1946  * One callsite in zip()
1947  */
1948 static void ct_init(void) ////ush * attr, int *methodp)
1949 {
1950         int n;                          /* iterates over tree elements */
1951         int length;                     /* length value */
1952         int code;                       /* code value */
1953         int dist;                       /* distance index */
1954
1955 ////    file_type = attr;
1956 ////    file_method = methodp;
1957         G2.compressed_len = 0L;
1958
1959 #ifdef NOT_NEEDED
1960         if (G2.static_dtree[0].Len != 0)
1961                 return;                 /* ct_init already called */
1962 #endif
1963
1964         /* Initialize the mapping length (0..255) -> length code (0..28) */
1965         length = 0;
1966         for (code = 0; code < LENGTH_CODES - 1; code++) {
1967                 G2.base_length[code] = length;
1968                 for (n = 0; n < (1 << extra_lbits[code]); n++) {
1969                         G2.length_code[length++] = code;
1970                 }
1971         }
1972         Assert(length == 256, "ct_init: length != 256");
1973         /* Note that the length 255 (match length 258) can be represented
1974          * in two different ways: code 284 + 5 bits or code 285, so we
1975          * overwrite length_code[255] to use the best encoding:
1976          */
1977         G2.length_code[length - 1] = code;
1978
1979         /* Initialize the mapping dist (0..32K) -> dist code (0..29) */
1980         dist = 0;
1981         for (code = 0; code < 16; code++) {
1982                 G2.base_dist[code] = dist;
1983                 for (n = 0; n < (1 << extra_dbits[code]); n++) {
1984                         G2.dist_code[dist++] = code;
1985                 }
1986         }
1987         Assert(dist == 256, "ct_init: dist != 256");
1988         dist >>= 7;                     /* from now on, all distances are divided by 128 */
1989         for (; code < D_CODES; code++) {
1990                 G2.base_dist[code] = dist << 7;
1991                 for (n = 0; n < (1 << (extra_dbits[code] - 7)); n++) {
1992                         G2.dist_code[256 + dist++] = code;
1993                 }
1994         }
1995         Assert(dist == 256, "ct_init: 256+dist != 512");
1996
1997         /* Construct the codes of the static literal tree */
1998         /* already zeroed - it's in bss
1999         for (n = 0; n <= MAX_BITS; n++)
2000                 G2.bl_count[n] = 0; */
2001
2002         n = 0;
2003         while (n <= 143) {
2004                 G2.static_ltree[n++].Len = 8;
2005                 G2.bl_count[8]++;
2006         }
2007         while (n <= 255) {
2008                 G2.static_ltree[n++].Len = 9;
2009                 G2.bl_count[9]++;
2010         }
2011         while (n <= 279) {
2012                 G2.static_ltree[n++].Len = 7;
2013                 G2.bl_count[7]++;
2014         }
2015         while (n <= 287) {
2016                 G2.static_ltree[n++].Len = 8;
2017                 G2.bl_count[8]++;
2018         }
2019         /* Codes 286 and 287 do not exist, but we must include them in the
2020          * tree construction to get a canonical Huffman tree (longest code
2021          * all ones)
2022          */
2023         gen_codes((ct_data *) G2.static_ltree, L_CODES + 1);
2024
2025         /* The static distance tree is trivial: */
2026         for (n = 0; n < D_CODES; n++) {
2027                 G2.static_dtree[n].Len = 5;
2028                 G2.static_dtree[n].Code = bi_reverse(n, 5);
2029         }
2030
2031         /* Initialize the first block of the first file: */
2032         init_block();
2033 }
2034
2035
2036 /* ===========================================================================
2037  * Deflate in to out.
2038  * IN assertions: the input and output buffers are cleared.
2039  *   The variables time_stamp and save_orig_name are initialized.
2040  */
2041
2042 /* put_header_byte is used for the compressed output
2043  * - for the initial 4 bytes that can't overflow the buffer. */
2044 #define put_header_byte(c) G1.outbuf[G1.outcnt++] = (c)
2045
2046 static void zip(int in, int out)
2047 {
2048         uch my_flags = 0;       /* general purpose bit flags */
2049 ////    ush attr = 0;           /* ascii/binary flag */
2050         ush deflate_flags = 0;  /* pkzip -es, -en or -ex equivalent */
2051 ////    int method = DEFLATED;  /* compression method */
2052
2053         G1.ifd = in;
2054         G1.ofd = out;
2055         G1.outcnt = 0;
2056
2057         /* Write the header to the gzip file. See algorithm.doc for the format */
2058
2059         put_header_byte(0x1f); /* magic header for gzip files, 1F 8B */
2060         put_header_byte(0x8b);
2061         ////put_header_byte(DEFLATED); /* compression method */
2062         put_header_byte(8); /* compression method */
2063         put_header_byte(my_flags); /* general flags */
2064         put_32bit(G1.time_stamp);
2065
2066         /* Write deflated file to zip file */
2067         G1.crc = ~0;
2068
2069         bi_init();
2070         ct_init(); //// &attr, &method);
2071         lm_init(&deflate_flags);
2072
2073         put_8bit(deflate_flags);        /* extra flags */
2074         put_8bit(3);    /* OS identifier = 3 (Unix) */
2075
2076         deflate();
2077
2078         /* Write the crc and uncompressed size */
2079         put_32bit(~G1.crc);
2080         put_32bit(G1.isize);
2081
2082         flush_outbuf();
2083 }
2084
2085
2086 /* ======================================================================== */
2087 static void abort_gzip(int ATTRIBUTE_UNUSED ignored)
2088 {
2089         exit(1);
2090 }
2091
2092 int gzip_main(int argc, char **argv);
2093 int gzip_main(int argc, char **argv)
2094 {
2095         enum {
2096                 OPT_tostdout = 0x1,
2097                 OPT_force = 0x2,
2098         };
2099
2100         unsigned opt;
2101         int inFileNum;
2102         int outFileNum;
2103         int i;
2104         struct stat statBuf;
2105
2106         opt = getopt32(argc, argv, "cf123456789qv" USE_GUNZIP("d"));
2107         //if (opt & 0x1) // -c
2108         //if (opt & 0x2) // -f
2109         /* Ignore 1-9 (compression level) options */
2110         //if (opt & 0x4) // -1
2111         //if (opt & 0x8) // -2
2112         //if (opt & 0x10) // -3
2113         //if (opt & 0x20) // -4
2114         //if (opt & 0x40) // -5
2115         //if (opt & 0x80) // -6
2116         //if (opt & 0x100) // -7
2117         //if (opt & 0x200) // -8
2118         //if (opt & 0x400) // -9
2119         //if (opt & 0x800) // -q
2120         //if (opt & 0x1000) // -v
2121 #if ENABLE_GUNZIP /* gunzip_main may not be visible... */
2122         if (opt & 0x2000) { // -d
2123                 /* FIXME: getopt32 should not depend on optind */
2124                 optind = 1;
2125                 return gunzip_main(argc, argv);
2126         }
2127 #endif
2128
2129         /* Comment?? */
2130         if (signal(SIGINT, SIG_IGN) != SIG_IGN) {
2131                 signal(SIGINT, abort_gzip);
2132         }
2133 #ifdef SIGTERM
2134         if (signal(SIGTERM, SIG_IGN) != SIG_IGN) {
2135                 signal(SIGTERM, abort_gzip);
2136         }
2137 #endif
2138 #ifdef SIGHUP
2139         if (signal(SIGHUP, SIG_IGN) != SIG_IGN) {
2140                 signal(SIGHUP, abort_gzip);
2141         }
2142 #endif
2143
2144         G2ptr = xzalloc(sizeof(*G2ptr));
2145         G2.l_desc = (tree_desc) {
2146                 G2.dyn_ltree, G2.static_ltree, extra_lbits,
2147                 LITERALS + 1, L_CODES, MAX_BITS, 0
2148         };
2149         G2.d_desc = (tree_desc) {
2150                 G2.dyn_dtree, G2.static_dtree, extra_dbits,
2151                 0, D_CODES, MAX_BITS, 0
2152         };
2153         G2.bl_desc = (tree_desc) {
2154                 G2.bl_tree, NULL, extra_blbits,
2155                 0, BL_CODES, MAX_BL_BITS, 0
2156         };
2157
2158         /* Allocate all global buffers (for DYN_ALLOC option) */
2159         ALLOC(uch, G1.l_buf, INBUFSIZ);
2160         ALLOC(uch, G1.outbuf, OUTBUFSIZ);
2161         ALLOC(ush, G1.d_buf, DIST_BUFSIZE);
2162         ALLOC(uch, G1.window, 2L * WSIZE);
2163         ALLOC(ush, G1.prev, 1L << BITS);
2164
2165         /* Initialise the CRC32 table */
2166         G1.crc_32_tab = crc32_filltable(0);
2167
2168         clear_bufs();
2169
2170         if (optind == argc) {
2171                 G1.time_stamp = 0;
2172                 zip(STDIN_FILENO, STDOUT_FILENO);
2173                 return 0; //## G1.exit_code;
2174         }
2175
2176         for (i = optind; i < argc; i++) {
2177                 char *path = NULL;
2178
2179                 clear_bufs();
2180                 if (LONE_DASH(argv[i])) {
2181                         G1.time_stamp = 0;
2182                         inFileNum = STDIN_FILENO;
2183                         outFileNum = STDOUT_FILENO;
2184                 } else {
2185                         inFileNum = xopen(argv[i], O_RDONLY);
2186                         if (fstat(inFileNum, &statBuf) < 0)
2187                                 bb_perror_msg_and_die("%s", argv[i]);
2188                         G1.time_stamp = statBuf.st_ctime;
2189
2190                         if (!(opt & OPT_tostdout)) {
2191                                 path = xasprintf("%s.gz", argv[i]);
2192
2193                                 /* Open output file */
2194 #if defined(__GLIBC__) && __GLIBC__ >= 2 && __GLIBC_MINOR__ >= 1 && defined(O_NOFOLLOW)
2195                                 outFileNum = open(path, O_RDWR | O_CREAT | O_EXCL | O_NOFOLLOW);
2196 #else
2197                                 outFileNum = open(path, O_RDWR | O_CREAT | O_EXCL);
2198 #endif
2199                                 if (outFileNum < 0) {
2200                                         bb_perror_msg("%s", path);
2201                                         free(path);
2202                                         continue;
2203                                 }
2204
2205                                 /* Set permissions on the file */
2206                                 fchmod(outFileNum, statBuf.st_mode);
2207                         } else
2208                                 outFileNum = STDOUT_FILENO;
2209                 }
2210
2211                 if (path == NULL && isatty(outFileNum) && !(opt & OPT_force)) {
2212                         bb_error_msg("compressed data not written "
2213                                 "to a terminal. Use -f to force compression.");
2214                         free(path);
2215                         continue;
2216                 }
2217
2218                 zip(inFileNum, outFileNum);
2219
2220                 if (path != NULL) {
2221                         char *delFileName;
2222
2223                         close(inFileNum);
2224                         close(outFileNum);
2225
2226                         /* Delete the original file */
2227                         // Pity we don't propagate zip failures to this place...
2228                         //if (zip_is_ok)
2229                                 delFileName = argv[i];
2230                         //else
2231                         //      delFileName = path;
2232                         if (unlink(delFileName) < 0)
2233                                 bb_perror_msg("%s", delFileName);
2234                 }
2235
2236                 free(path);
2237         }
2238
2239         return 0; //##G1.exit_code;
2240 }