editors/diff.c

   1 /* vi: set sw=4 ts=4: */
   2 /*
   3  * Mini diff implementation for busybox, adapted from OpenBSD diff.
   4  *
   5  * Copyright (C) 2010 by Matheus Izvekov <mizvekov@gmail.com>
   6  * Copyright (C) 2006 by Robert Sullivan <cogito.ergo.cogito@hotmail.com>
   7  * Copyright (c) 2003 Todd C. Miller <Todd.Miller@courtesan.com>
   8  *
   9  * Sponsored in part by the Defense Advanced Research Projects
  10  * Agency (DARPA) and Air Force Research Laboratory, Air Force
  11  * Materiel Command, USAF, under agreement number F39502-99-1-0512.
  12  *
  13  * Licensed under GPLv2 or later, see file LICENSE in this tarball for details.
  14  */
  15
  16 /*
  17  * The following code uses an algorithm due to Harold Stone,
  18  * which finds a pair of longest identical subsequences in
  19  * the two files.
  20  *
  21  * The major goal is to generate the match vector J.
  22  * J[i] is the index of the line in file1 corresponding
  23  * to line i in file0. J[i] = 0 if there is no
  24  * such line in file1.
  25  *
  26  * Lines are hashed so as to work in core. All potential
  27  * matches are located by sorting the lines of each file
  28  * on the hash (called "value"). In particular, this
  29  * collects the equivalence classes in file1 together.
  30  * Subroutine equiv replaces the value of each line in
  31  * file0 by the index of the first element of its
  32  * matching equivalence in (the reordered) file1.
  33  * To save space equiv squeezes file1 into a single
  34  * array member in which the equivalence classes
  35  * are simply concatenated, except that their first
  36  * members are flagged by changing sign.
  37  *
  38  * Next the indices that point into member are unsorted into
  39  * array class according to the original order of file0.
  40  *
  41  * The cleverness lies in routine stone. This marches
  42  * through the lines of file0, developing a vector klist
  43  * of "k-candidates". At step i a k-candidate is a matched
  44  * pair of lines x,y (x in file0, y in file1) such that
  45  * there is a common subsequence of length k
  46  * between the first i lines of file0 and the first y
  47  * lines of file1, but there is no such subsequence for
  48  * any smaller y. x is the earliest possible mate to y
  49  * that occurs in such a subsequence.
  50  *
  51  * Whenever any of the members of the equivalence class of
  52  * lines in file1 matable to a line in file0 has serial number
  53  * less than the y of some k-candidate, that k-candidate
  54  * with the smallest such y is replaced. The new
  55  * k-candidate is chained (via pred) to the current
  56  * k-1 candidate so that the actual subsequence can
  57  * be recovered. When a member has serial number greater
  58  * that the y of all k-candidates, the klist is extended.
  59  * At the end, the longest subsequence is pulled out
  60  * and placed in the array J by unravel
  61  *
  62  * With J in hand, the matches there recorded are
  63  * checked against reality to assure that no spurious
  64  * matches have crept in due to hashing. If they have,
  65  * they are broken, and "jackpot" is recorded--a harmless
  66  * matter except that a true match for a spuriously
  67  * mated line may now be unnecessarily reported as a change.
  68  *
  69  * Much of the complexity of the program comes simply
  70  * from trying to minimize core utilization and
  71  * maximize the range of doable problems by dynamically
  72  * allocating what is needed and reusing what is not.
  73  * The core requirements for problems larger than somewhat
  74  * are (in words) 2*length(file0) + length(file1) +
  75  * 3*(number of k-candidates installed), typically about
  76  * 6n words for files of length n.
  77  */
  78
  79 #include "libbb.h"
  80
  81 #if 0
  82 //#define dbg_error_msg(...) bb_error_msg(__VA_ARGS__)
  83 #else
  84 #define dbg_error_msg(...) ((void)0)
  85 #endif
  86
  87 enum {                  /* print_status() and diffreg() return values */
  88         STATUS_SAME,    /* files are the same */
  89         STATUS_DIFFER,  /* files differ */
  90         STATUS_BINARY,  /* binary files differ */
  91 };
  92
  93 enum {                  /* Commandline flags */
  94         FLAG_a,
  95         FLAG_b,
  96         FLAG_d,
  97         FLAG_i,
  98         FLAG_L,         /* never used, handled by getopt32 */
  99         FLAG_N,
 100         FLAG_q,
 101         FLAG_r,
 102         FLAG_s,
 103         FLAG_S,         /* never used, handled by getopt32 */
 104         FLAG_t,
 105         FLAG_T,
 106         FLAG_U,         /* never used, handled by getopt32 */
 107         FLAG_w,
 108         FLAG_u,         /* ignored, this is the default */
 109         FLAG_p,         /* not implemented */
 110         FLAG_B,
 111         FLAG_E,         /* not implemented */
 112 };
 113 #define FLAG(x) (1 << FLAG_##x)
 114
 115 /* We cache file position to avoid excessive seeking */
 116 typedef struct FILE_and_pos_t {
 117         FILE *ft_fp;
 118         off_t ft_pos;
 119 } FILE_and_pos_t;
 120
 121 struct globals {
 122         smallint exit_status;
 123         int opt_U_context;
 124         char *label[2];
 125         struct stat stb[2];
 126 };
 127 #define G (*ptr_to_globals)
 128 #define exit_status        (G.exit_status       )
 129 #define opt_U_context      (G.opt_U_context     )
 130 #define label              (G.label             )
 131 #define stb                (G.stb               )
 132 #define INIT_G() do { \
 133         SET_PTR_TO_GLOBALS(xzalloc(sizeof(G))); \
 134         opt_U_context = 3; \
 135 } while (0)
 136
 137 typedef int token_t;
 138
 139 enum {
 140         /* Public */
 141         TOK_EMPTY = 1 << 9,  /* Line fully processed, you can proceed to the next */
 142         TOK_EOF   = 1 << 10, /* File ended */
 143         /* Private (Only to be used by read_token() */
 144         TOK_EOL   = 1 << 11, /* we saw EOL (sticky) */
 145         TOK_SPACE = 1 << 12, /* used -b code, means we are skipping spaces */
 146         SHIFT_EOF = (sizeof(token_t)*8 - 8) - 1,
 147         CHAR_MASK = 0x1ff,   /* 8th bit is used to distinguish EOF from 0xff */
 148 };
 149
 150 /* Restores full EOF from one 8th bit: */
 151 //#define TOK2CHAR(t) (((t) << SHIFT_EOF) >> SHIFT_EOF)
 152 /* We don't really need the above, we only need to have EOF != any_real_char: */
 153 #define TOK2CHAR(t) ((t) & CHAR_MASK)
 154
 155 static void seek_ft(FILE_and_pos_t *ft, off_t pos)
 156 {
 157         if (ft->ft_pos != pos) {
 158                 ft->ft_pos = pos;
 159                 fseeko(ft->ft_fp, pos, SEEK_SET);
 160         }
 161 }
 162
 163 /* Reads tokens from given fp, handling -b and -w flags
 164  * The user must reset tok every line start
 165  */
 166 static int read_token(FILE_and_pos_t *ft, token_t tok)
 167 {
 168         tok |= TOK_EMPTY;
 169         while (!(tok & TOK_EOL)) {
 170                 bool is_space;
 171                 int t;
 172
 173                 t = fgetc(ft->ft_fp);
 174                 if (t != EOF)
 175                         ft->ft_pos++;
 176                 is_space = (t == EOF || isspace(t));
 177
 178                 /* If t == EOF (-1), set both TOK_EOF and TOK_EOL */
 179                 tok |= (t & (TOK_EOF + TOK_EOL));
 180                 /* Only EOL? */
 181                 if (t == '\n')
 182                         tok |= TOK_EOL;
 183
 184                 if (option_mask32 & FLAG(i)) /* Handcoded tolower() */
 185                         t = (t >= 'A' && t <= 'Z') ? t - ('A' - 'a') : t;
 186
 187                 if ((option_mask32 & FLAG(w)) && is_space)
 188                         continue;
 189
 190                 /* Trim char value to low 9 bits */
 191                 t &= CHAR_MASK;
 192
 193                 if (option_mask32 & FLAG(b)) {
 194                         /* Was prev char whitespace? */
 195                         if (tok & TOK_SPACE) { /* yes */
 196                                 if (is_space) /* this one too, ignore it */
 197                                         continue;
 198                                 tok &= ~TOK_SPACE;
 199                         } else if (is_space) {
 200                                 /* 1st whitespace char.
 201                                  * Set TOK_SPACE and replace char by ' ' */
 202                                 t = TOK_SPACE + ' ';
 203                         }
 204                 }
 205                 /* Clear EMPTY */
 206                 tok &= ~(TOK_EMPTY + CHAR_MASK);
 207                 /* Assign char value (low 9 bits) and maybe set TOK_SPACE */
 208                 tok |= t;
 209                 break;
 210         }
 211 #if 0
 212         bb_error_msg("fp:%p tok:%x '%c'%s%s%s%s", fp, tok, tok & 0xff
 213                 , tok & TOK_EOF ? " EOF" : ""
 214                 , tok & TOK_EOL ? " EOL" : ""
 215                 , tok & TOK_EMPTY ? " EMPTY" : ""
 216                 , tok & TOK_SPACE ? " SPACE" : ""
 217         );
 218 #endif
 219         return tok;
 220 }
 221
 222 struct cand {
 223         int x;
 224         int y;
 225         int pred;
 226 };
 227
 228 static int search(const int *c, int k, int y, const struct cand *list)
 229 {
 230         if (list[c[k]].y < y)   /* quick look for typical case */
 231                 return k + 1;
 232
 233         for (int i = 0, j = k + 1;;) {
 234                 const int l = (i + j) >> 1;
 235                 if (l > i) {
 236                         const int t = list[c[l]].y;
 237                         if (t > y)
 238                                 j = l;
 239                         else if (t < y)
 240                                 i = l;
 241                         else
 242                                 return l;
 243                 } else
 244                         return l + 1;
 245         }
 246 }
 247
 248 static unsigned isqrt(unsigned n)
 249 {
 250         unsigned x = 1;
 251         while (1) {
 252                 const unsigned y = x;
 253                 x = ((n / x) + x) >> 1;
 254                 if (x <= (y + 1) && x >= (y - 1))
 255                         return x;
 256         }
 257 }
 258
 259 static void stone(const int *a, int n, const int *b, int *J, int pref)
 260 {
 261         const unsigned isq = isqrt(n);
 262         const unsigned bound =
 263                 (option_mask32 & FLAG(d)) ? UINT_MAX : MAX(256, isq);
 264         int clen = 1;
 265         int clistlen = 100;
 266         int k = 0;
 267         struct cand *clist = xzalloc(clistlen * sizeof(clist[0]));
 268         int *klist = xzalloc((n + 2) * sizeof(klist[0]));
 269         /*clist[0] = (struct cand){0}; - xzalloc did it */
 270         /*klist[0] = 0; */
 271
 272         for (struct cand cand = {1}; cand.x <= n; cand.x++) {
 273                 int j = a[cand.x], oldl = 0;
 274                 unsigned numtries = 0;
 275                 if (j == 0)
 276                         continue;
 277                 cand.y = -b[j];
 278                 cand.pred = klist[0];
 279                 do {
 280                         int l, tc;
 281                         if (cand.y <= clist[cand.pred].y)
 282                                 continue;
 283                         l = search(klist, k, cand.y, clist);
 284                         if (l != oldl + 1)
 285                                 cand.pred = klist[l - 1];
 286                         if (l <= k && clist[klist[l]].y <= cand.y)
 287                                 continue;
 288                         if (clen == clistlen) {
 289                                 clistlen = clistlen * 11 / 10;
 290                                 clist = xrealloc(clist, clistlen * sizeof(clist[0]));
 291                         }
 292                         clist[clen] = cand;
 293                         tc = klist[l];
 294                         klist[l] = clen++;
 295                         if (l <= k) {
 296                                 cand.pred = tc;
 297                                 oldl = l;
 298                                 numtries++;
 299                         } else {
 300                                 k++;
 301                                 break;
 302                         }
 303                 } while ((cand.y = b[++j]) > 0 && numtries < bound);
 304         }
 305         /* Unravel */
 306         for (struct cand *q = clist + klist[k]; q->y; q = clist + q->pred)
 307                 J[q->x + pref] = q->y + pref;
 308         free(klist);
 309         free(clist);
 310 }
 311
 312 struct line {
 313         /* 'serial' is not used in the begining, so we reuse it
 314          * to store line offsets, thus reducing memory pressure
 315          */
 316         union {
 317                 unsigned serial;
 318                 off_t offset;
 319         };
 320         unsigned value;
 321 };
 322
 323 static void equiv(struct line *a, int n, struct line *b, int m, int *c)
 324 {
 325         int i = 1, j = 1;
 326
 327         while (i <= n && j <= m) {
 328                 if (a[i].value < b[j].value)
 329                         a[i++].value = 0;
 330                 else if (a[i].value == b[j].value)
 331                         a[i++].value = j;
 332                 else
 333                         j++;
 334         }
 335         while (i <= n)
 336                 a[i++].value = 0;
 337         b[m + 1].value = 0;
 338         j = 0;
 339         while (++j <= m) {
 340                 c[j] = -b[j].serial;
 341                 while (b[j + 1].value == b[j].value) {
 342                         j++;
 343                         c[j] = b[j].serial;
 344                 }
 345         }
 346         c[j] = -1;
 347 }
 348
 349 static void unsort(const struct line *f, int l, int *b)
 350 {
 351         int *a = xmalloc((l + 1) * sizeof(a[0]));
 352         for (int i = 1; i <= l; i++)
 353                 a[f[i].serial] = f[i].value;
 354         for (int i = 1; i <= l; i++)
 355                 b[i] = a[i];
 356         free(a);
 357 }
 358
 359 static int line_compar(const void *a, const void *b)
 360 {
 361 #define l0 ((const struct line*)a)
 362 #define l1 ((const struct line*)b)
 363         int r = l0->value - l1->value;
 364         if (r)
 365                 return r;
 366         return l0->serial - l1->serial;
 367 #undef l0
 368 #undef l1
 369 }
 370
 371 static void uni_range(int a, int b)
 372 {
 373         if (a < b)
 374                 printf("%d,%d", a, b - a + 1);
 375         else if (a == b)
 376                 printf("%d", b);
 377         else
 378                 printf("%d,0", b);
 379 }
 380
 381 static void fetch(FILE_and_pos_t *ft, const off_t *ix, int a, int b, int ch)
 382 {
 383         for (int i = a; i <= b; i++) {
 384                 seek_ft(ft, ix[i - 1]);
 385                 putchar(ch);
 386                 if (option_mask32 & FLAG(T))
 387                         putchar('\t');
 388                 for (int j = 0, col = 0; j < ix[i] - ix[i - 1]; j++) {
 389                         int c = fgetc(ft->ft_fp);
 390                         if (c == EOF) {
 391                                 printf("\n\\ No newline at end of file\n");
 392                                 return;
 393                         }
 394                         ft->ft_pos++;
 395                         if (c == '\t' && (option_mask32 & FLAG(t)))
 396                                 do putchar(' '); while (++col & 7);
 397                         else {
 398                                 putchar(c);
 399                                 col++;
 400                         }
 401                 }
 402         }
 403 }
 404
 405 /* Creates the match vector J, where J[i] is the index
 406  * of the line in the new file corresponding to the line i
 407  * in the old file. Lines start at 1 instead of 0, that value
 408  * being used instead to denote no corresponding line.
 409  * This vector is dynamically allocated and must be freed by the caller.
 410  *
 411  * * fp is an input parameter, where fp[0] and fp[1] are the open
 412  *   old file and new file respectively.
 413  * * nlen is an output variable, where nlen[0] and nlen[1]
 414  *   gets the number of lines in the old and new file respectively.
 415  * * ix is an output variable, where ix[0] and ix[1] gets
 416  *   assigned dynamically allocated vectors of the offsets of the lines
 417  *   of the old and new file respectively. These must be freed by the caller.
 418  */
 419 static NOINLINE int *create_J(FILE_and_pos_t ft[2], int nlen[2], off_t *ix[2])
 420 {
 421         int *J, slen[2], *class, *member;
 422         struct line *nfile[2], *sfile[2];
 423         int pref = 0, suff = 0;
 424
 425         /* Lines of both files are hashed, and in the process
 426          * their offsets are stored in the array ix[fileno]
 427          * where fileno == 0 points to the old file, and
 428          * fileno == 1 points to the new one.
 429          */
 430         for (int i = 0; i < 2; i++) {
 431                 unsigned hash;
 432                 token_t tok;
 433                 size_t sz = 100;
 434                 nfile[i] = xmalloc((sz + 3) * sizeof(nfile[i][0]));
 435                 seek_ft(&ft[i], 0);
 436
 437                 nlen[i] = 0;
 438                 /* We could zalloc nfile, but then zalloc starts showing in gprof at ~1% */
 439                 nfile[i][0].offset = 0;
 440                 goto start; /* saves code */
 441                 while (1) {
 442                         tok = read_token(&ft[i], tok);
 443                         if (!(tok & TOK_EMPTY)) {
 444                                 /* Hash algorithm taken from Robert Sedgewick, Algorithms in C, 3d ed., p 578. */
 445                                 /*hash = hash * 128 - hash + TOK2CHAR(tok);
 446                                  * gcc insists on optimizing above to "hash * 127 + ...", thus... */
 447                                 unsigned o = hash - TOK2CHAR(tok);
 448                                 hash = hash * 128 - o; /* we want SPEED here */
 449                                 continue;
 450                         }
 451                         if (nlen[i]++ == sz) {
 452                                 sz = sz * 3 / 2;
 453                                 nfile[i] = xrealloc(nfile[i], (sz + 3) * sizeof(nfile[i][0]));
 454                         }
 455                         /* line_compar needs hashes fit into positive int */
 456                         nfile[i][nlen[i]].value = hash & INT_MAX;
 457                         /* like ftello(ft[i].ft_fp) but faster (avoids lseek syscall) */
 458                         nfile[i][nlen[i]].offset = ft[i].ft_pos;
 459                         if (tok & TOK_EOF) {
 460                                 /* EOF counts as a token, so we have to adjust it here */
 461                                 nfile[i][nlen[i]].offset++;
 462                                 break;
 463                         }
 464 start:
 465                         hash = tok = 0;
 466                 }
 467                 /* Exclude lone EOF line from the end of the file, to make fetch()'s job easier */
 468                 if (nfile[i][nlen[i]].offset - nfile[i][nlen[i] - 1].offset == 1)
 469                         nlen[i]--;
 470                 /* Now we copy the line offsets into ix */
 471                 ix[i] = xmalloc((nlen[i] + 2) * sizeof(ix[i][0]));
 472                 for (int j = 0; j < nlen[i] + 1; j++)
 473                         ix[i][j] = nfile[i][j].offset;
 474         }
 475
 476         /* lenght of prefix and suffix is calculated */
 477         for (; pref < nlen[0] && pref < nlen[1] &&
 478                nfile[0][pref + 1].value == nfile[1][pref + 1].value;
 479                pref++);
 480         for (; suff < nlen[0] - pref && suff < nlen[1] - pref &&
 481                nfile[0][nlen[0] - suff].value == nfile[1][nlen[1] - suff].value;
 482                suff++);
 483         /* Arrays are pruned by the suffix and prefix lenght,
 484          * the result being sorted and stored in sfile[fileno],
 485          * and their sizes are stored in slen[fileno]
 486          */
 487         for (int j = 0; j < 2; j++) {
 488                 sfile[j] = nfile[j] + pref;
 489                 slen[j] = nlen[j] - pref - suff;
 490                 for (int i = 0; i <= slen[j]; i++)
 491                         sfile[j][i].serial = i;
 492                 qsort(sfile[j] + 1, slen[j], sizeof(*sfile[j]), line_compar);
 493         }
 494         /* nfile arrays are reused to reduce memory pressure
 495          * The #if zeroed out section performs the same task as the
 496          * one in the #else section.
 497          * Peak memory usage is higher, but one array copy is avoided
 498          * by not using unsort()
 499          */
 500 #if 0
 501         member = xmalloc((slen[1] + 2) * sizeof(member[0]));
 502         equiv(sfile[0], slen[0], sfile[1], slen[1], member);
 503         free(nfile[1]);
 504
 505         class = xmalloc((slen[0] + 1) * sizeof(class[0]));
 506         for (int i = 1; i <= slen[0]; i++) /* Unsorting */
 507                 class[sfile[0][i].serial] = sfile[0][i].value;
 508         free(nfile[0]);
 509 #else
 510         member = (int *)nfile[1];
 511         equiv(sfile[0], slen[0], sfile[1], slen[1], member);
 512         member = xrealloc(member, (slen[1] + 2) * sizeof(member[0]));
 513
 514         class = (int *)nfile[0];
 515         unsort(sfile[0], slen[0], (int *)nfile[0]);
 516         class = xrealloc(class, (slen[0] + 2) * sizeof(class[0]));
 517 #endif
 518         J = xmalloc((nlen[0] + 2) * sizeof(J[0]));
 519         /* The elements of J which fall inside the prefix and suffix regions
 520          * are marked as unchanged, while the ones which fall outside
 521          * are initialized with 0 (no matches), so that function stone can
 522          * then assign them their right values
 523          */
 524         for (int i = 0, delta = nlen[1] - nlen[0]; i <= nlen[0]; i++)
 525                 J[i] = i <= pref            ?  i :
 526                        i > (nlen[0] - suff) ? (i + delta) : 0;
 527         /* Here the magic is performed */
 528         stone(class, slen[0], member, J, pref);
 529         J[nlen[0] + 1] = nlen[1] + 1;
 530
 531         free(class);
 532         free(member);
 533
 534         /* Both files are rescanned, in an effort to find any lines
 535          * which, due to limitations intrinsic to any hashing algorithm,
 536          * are different but ended up confounded as the same
 537          */
 538         for (int i = 1; i <= nlen[0]; i++) {
 539                 if (!J[i])
 540                         continue;
 541
 542                 seek_ft(&ft[0], ix[0][i - 1]);
 543                 seek_ft(&ft[1], ix[1][J[i] - 1]);
 544
 545                 for (int j = J[i]; i <= nlen[0] && J[i] == j; i++, j++) {
 546                         token_t tok0 = 0, tok1 = 0;
 547                         do {
 548                                 tok0 = read_token(&ft[0], tok0);
 549                                 tok1 = read_token(&ft[1], tok1);
 550
 551                                 if (((tok0 ^ tok1) & TOK_EMPTY) != 0 /* one is empty (not both) */
 552                                  || (!(tok0 & TOK_EMPTY) && TOK2CHAR(tok0) != TOK2CHAR(tok1))
 553                                 ) {
 554                                         J[i] = 0; /* Break the correspondence */
 555                                 }
 556                         } while (!(tok0 & tok1 & TOK_EMPTY));
 557                 }
 558         }
 559
 560         return J;
 561 }
 562
 563 /*
 564  * The following struct is used to record change information
 565  * doing a "context" or "unified" diff.
 566  */
 567 struct context_vec {
 568         int a;          /* start line in old file */
 569         int b;          /* end line in old file */
 570         int c;          /* start line in new file */
 571         int d;          /* end line in new file */
 572 };
 573
 574 static bool diff(FILE_and_pos_t ft[2], char *file[2])
 575 {
 576         int nlen[2];
 577         off_t *ix[2];
 578         int *J = create_J(ft, nlen, ix);
 579
 580         bool anychange = false;
 581         struct context_vec *vec = NULL;
 582         int idx = -1, i = 1;
 583
 584         do {
 585                 bool nonempty = false;
 586
 587                 while (1) {
 588                         struct context_vec v;
 589
 590                         for (v.a = i; v.a <= nlen[0] && J[v.a] == J[v.a - 1] + 1; v.a++)
 591                                 continue;
 592                         v.c = J[v.a - 1] + 1;
 593
 594                         for (v.b = v.a - 1; v.b < nlen[0] && !J[v.b + 1]; v.b++)
 595                                 continue;
 596                         v.d = J[v.b + 1] - 1;
 597                         /*
 598                          * Indicate that there is a difference between lines a and b of the 'from' file
 599                          * to get to lines c to d of the 'to' file. If a is greater than b then there
 600                          * are no lines in the 'from' file involved and this means that there were
 601                          * lines appended (beginning at b).  If c is greater than d then there are
 602                          * lines missing from the 'to' file.
 603                          */
 604                         if (v.a <= v.b || v.c <= v.d) {
 605                                 /*
 606                                  * If this change is more than 'context' lines from the
 607                                  * previous change, dump the record and reset it.
 608                                  */
 609                                 if (idx >= 0
 610                                  && v.a > vec[idx].b + (2 * opt_U_context) + 1
 611                                  && v.c > vec[idx].d + (2 * opt_U_context) + 1
 612                                 ) {
 613                                         break;
 614                                 }
 615                                 nonempty |= (v.a >= v.b) && (v.c >= v.d);
 616                                 vec = xrealloc_vector(vec, 6, ++idx);
 617                                 vec[idx] = v;
 618                         }
 619
 620                         i = v.b + 1;
 621                         if (i > nlen[0])
 622                                 break;
 623                         J[v.b] = v.d;
 624                 }
 625                 if (idx < 0)
 626                         continue;
 627                 if (!(option_mask32 & FLAG(q)) && !((option_mask32 & FLAG(B)) && !nonempty)) {
 628                         struct context_vec *cvp = vec;
 629                         int lowa = MAX(1, cvp->a - opt_U_context);
 630                         int upb  = MIN(nlen[0], vec[idx].b + opt_U_context);
 631                         int lowc = MAX(1, cvp->c - opt_U_context);
 632                         int upd  = MIN(nlen[1], vec[idx].d + opt_U_context);
 633
 634                         if (!anychange) {
 635                                 /* Print the context/unidiff header first time through */
 636                                 printf("--- %s\n", label[0] ?: file[0]);
 637                                 printf("+++ %s\n", label[1] ?: file[1]);
 638                         }
 639
 640                         printf("@@ -");
 641                         uni_range(lowa, upb);
 642                         printf(" +");
 643                         uni_range(lowc, upd);
 644                         printf(" @@\n");
 645
 646                         /*
 647                          * Output changes in "unified" diff format--the old and new lines
 648                          * are printed together.
 649                          */
 650                         while (1) {
 651                                 bool end = cvp > &vec[idx];
 652                                 fetch(&ft[0], ix[0], lowa, end ? upb : cvp->a - 1, ' ');
 653                                 if (end)
 654                                         break;
 655                                 fetch(&ft[0], ix[0], cvp->a, cvp->b, '-');
 656                                 fetch(&ft[1], ix[1], cvp->c, cvp->d, '+');
 657                                 lowa = cvp++->b + 1;
 658                         }
 659                 }
 660                 idx = -1;
 661                 anychange = true;
 662         } while (i <= nlen[0]);
 663
 664         free(vec);
 665         free(ix[0]);
 666         free(ix[1]);
 667         free(J);
 668         return anychange;
 669 }
 670
 671 static int diffreg(char *file[2])
 672 {
 673         FILE_and_pos_t ft[2];
 674         bool binary = false, differ = false;
 675         int status = STATUS_SAME;
 676
 677         for (int i = 0; i < 2; i++) {
 678                 int fd = open_or_warn_stdin(file[i]);
 679                 if (fd == -1)
 680                         xfunc_die();
 681                 /* Our diff implementation is using seek.
 682                  * When we meet non-seekable file, we must make a temp copy.
 683                  */
 684                 ft[i].ft_pos = 0;
 685                 if (lseek(fd, 0, SEEK_SET) == -1 && errno == ESPIPE) {
 686                         char name[] = "/tmp/difXXXXXX";
 687                         int fd_tmp = mkstemp(name);
 688                         if (fd_tmp < 0)
 689                                 bb_perror_msg_and_die("mkstemp");
 690                         unlink(name);
 691                         ft[i].ft_pos = bb_copyfd_eof(fd, fd_tmp);
 692                         /* error message is printed by bb_copyfd_eof */
 693                         if (ft[i].ft_pos < 0)
 694                                 xfunc_die();
 695                         fstat(fd, &stb[i]);
 696                         if (fd) /* Prevents closing of stdin */
 697                                 close(fd);
 698                         fd = fd_tmp;
 699                 }
 700                 ft[i].ft_fp = fdopen(fd, "r");
 701         }
 702
 703         while (1) {
 704                 const size_t sz = COMMON_BUFSIZE / 2;
 705                 char *const buf0 = bb_common_bufsiz1;
 706                 char *const buf1 = buf0 + sz;
 707                 int i, j;
 708                 i = fread(buf0, 1, sz, ft[0].ft_fp);
 709                 ft[0].ft_pos += i;
 710                 j = fread(buf1, 1, sz, ft[1].ft_fp);
 711                 ft[1].ft_pos += j;
 712                 if (i != j) {
 713                         differ = true;
 714                         i = MIN(i, j);
 715                 }
 716                 if (i == 0)
 717                         break;
 718                 for (int k = 0; k < i; k++) {
 719                         if (!buf0[k] || !buf1[k])
 720                                 binary = true;
 721                         if (buf0[k] != buf1[k])
 722                                 differ = true;
 723                 }
 724         }
 725         if (differ) {
 726                 if (binary && !(option_mask32 & FLAG(a)))
 727                         status = STATUS_BINARY;
 728                 else if (diff(ft, file))
 729                         status = STATUS_DIFFER;
 730         }
 731         if (status != STATUS_SAME)
 732                 exit_status |= 1;
 733
 734         fclose_if_not_stdin(ft[0].ft_fp);
 735         fclose_if_not_stdin(ft[1].ft_fp);
 736
 737         return status;
 738 }
 739
 740 static void print_status(int status, char *path[2])
 741 {
 742         switch (status) {
 743         case STATUS_BINARY:
 744         case STATUS_DIFFER:
 745                 if ((option_mask32 & FLAG(q)) || status == STATUS_BINARY)
 746                         printf("Files %s and %s differ\n", path[0], path[1]);
 747                 break;
 748         case STATUS_SAME:
 749                 if (option_mask32 & FLAG(s))
 750                         printf("Files %s and %s are identical\n", path[0], path[1]);
 751                 break;
 752         }
 753 }
 754
 755 #if ENABLE_FEATURE_DIFF_DIR
 756 struct dlist {
 757         size_t len;
 758         int s, e;
 759         char **dl;
 760 };
 761
 762 /* This function adds a filename to dl, the directory listing. */
 763 static int FAST_FUNC add_to_dirlist(const char *filename,
 764                 struct stat *sb UNUSED_PARAM,
 765                 void *userdata, int depth UNUSED_PARAM)
 766 {
 767         struct dlist *const l = userdata;
 768         l->dl = xrealloc_vector(l->dl, 6, l->e);
 769         /* + 1 skips "/" after dirname */
 770         l->dl[l->e] = xstrdup(filename + l->len + 1);
 771         l->e++;
 772         return TRUE;
 773 }
 774
 775 /* If recursion is not set, this function adds the directory
 776  * to the list and prevents recursive_action from recursing into it.
 777  */
 778 static int FAST_FUNC skip_dir(const char *filename,
 779                 struct stat *sb, void *userdata,
 780                 int depth)
 781 {
 782         if (!(option_mask32 & FLAG(r)) && depth) {
 783                 add_to_dirlist(filename, sb, userdata, depth);
 784                 return SKIP;
 785         }
 786         return TRUE;
 787 }
 788
 789 static void diffdir(char *p[2], const char *s_start)
 790 {
 791         struct dlist list[2];
 792
 793         memset(&list, 0, sizeof(list));
 794         for (int i = 0; i < 2; i++) {
 795                 /*list[i].s = list[i].e = 0; - memset did it */
 796                 /*list[i].dl = NULL; */
 797
 798                 /* We need to trim root directory prefix.
 799                  * Using list.len to specify its length,
 800                  * add_to_dirlist will remove it. */
 801                 list[i].len = strlen(p[i]);
 802                 recursive_action(p[i], ACTION_RECURSE | ACTION_FOLLOWLINKS,
 803                                  add_to_dirlist, skip_dir, &list[i], 0);
 804                 /* Sort dl alphabetically.
 805                  * GNU diff does this ignoring any number of trailing dots.
 806                  * We don't, so for us dotted files almost always are
 807                  * first on the list.
 808                  */
 809                 qsort_string_vector(list[i].dl, list[i].e);
 810                 /* If -S was set, find the starting point. */
 811                 if (!s_start)
 812                         continue;
 813                 while (list[i].s < list[i].e && strcmp(list[i].dl[list[i].s], s_start) < 0)
 814                         list[i].s++;
 815         }
 816         /* Now that both dirlist1 and dirlist2 contain sorted directory
 817          * listings, we can start to go through dirlist1. If both listings
 818          * contain the same file, then do a normal diff. Otherwise, behaviour
 819          * is determined by whether the -N flag is set. */
 820         while (1) {
 821                 char *dp[2];
 822                 int pos;
 823                 int k;
 824
 825                 dp[0] = list[0].s < list[0].e ? list[0].dl[list[0].s] : NULL;
 826                 dp[1] = list[1].s < list[1].e ? list[1].dl[list[1].s] : NULL;
 827                 if (!dp[0] && !dp[1])
 828                         break;
 829                 pos = !dp[0] ? 1 : (!dp[1] ? -1 : strcmp(dp[0], dp[1]));
 830                 k = pos > 0;
 831                 if (pos && !(option_mask32 & FLAG(N)))
 832                         printf("Only in %s: %s\n", p[k], dp[k]);
 833                 else {
 834                         char *fullpath[2], *path[2]; /* if -N */
 835
 836                         for (int i = 0; i < 2; i++) {
 837                                 if (pos == 0 || i == k) {
 838                                         path[i] = fullpath[i] = concat_path_file(p[i], dp[i]);
 839                                         stat(fullpath[i], &stb[i]);
 840                                 } else {
 841                                         fullpath[i] = concat_path_file(p[i], dp[1 - i]);
 842                                         path[i] = (char *)bb_dev_null;
 843                                 }
 844                         }
 845                         if (pos)
 846                                 stat(fullpath[k], &stb[1 - k]);
 847
 848                         if (S_ISDIR(stb[0].st_mode) && S_ISDIR(stb[1].st_mode))
 849                                 printf("Common subdirectories: %s and %s\n", fullpath[0], fullpath[1]);
 850                         else if (!S_ISREG(stb[0].st_mode) && !S_ISDIR(stb[0].st_mode))
 851                                 printf("File %s is not a regular file or directory and was skipped\n", fullpath[0]);
 852                         else if (!S_ISREG(stb[1].st_mode) && !S_ISDIR(stb[1].st_mode))
 853                                 printf("File %s is not a regular file or directory and was skipped\n", fullpath[1]);
 854                         else if (S_ISDIR(stb[0].st_mode) != S_ISDIR(stb[1].st_mode)) {
 855                                 if (S_ISDIR(stb[0].st_mode))
 856                                         printf("File %s is a %s while file %s is a %s\n", fullpath[0], "directory", fullpath[1], "regular file");
 857                                 else
 858                                         printf("File %s is a %s while file %s is a %s\n", fullpath[0], "regular file", fullpath[1], "directory");
 859                         } else
 860                                 print_status(diffreg(path), fullpath);
 861
 862                         free(fullpath[0]);
 863                         free(fullpath[1]);
 864                 }
 865                 free(dp[k]);
 866                 list[k].s++;
 867                 if (pos == 0) {
 868                         free(dp[1 - k]);
 869                         list[1 - k].s++;
 870                 }
 871         }
 872         if (ENABLE_FEATURE_CLEAN_UP) {
 873                 free(list[0].dl);
 874                 free(list[1].dl);
 875         }
 876 }
 877 #endif
 878
 879 #if ENABLE_FEATURE_DIFF_LONG_OPTIONS
 880 static const char diff_longopts[] ALIGN1 =
 881         "ignore-case\0"              No_argument       "i"
 882         "ignore-tab-expansion\0"     No_argument       "E"
 883         "ignore-space-change\0"      No_argument       "b"
 884         "ignore-all-space\0"         No_argument       "w"
 885         "ignore-blank-lines\0"       No_argument       "B"
 886         "text\0"                     No_argument       "a"
 887         "unified\0"                  Required_argument "U"
 888         "label\0"                    Required_argument "L"
 889         "show-c-function\0"          No_argument       "p"
 890         "brief\0"                    No_argument       "q"
 891         "expand-tabs\0"              No_argument       "t"
 892         "initial-tab\0"              No_argument       "T"
 893         "recursive\0"                No_argument       "r"
 894         "new-file\0"                 No_argument       "N"
 895         "report-identical-files\0"   No_argument       "s"
 896         "starting-file\0"            Required_argument "S"
 897         "minimal\0"                  No_argument       "d"
 898         ;
 899 #endif
 900
 901 int diff_main(int argc, char **argv) MAIN_EXTERNALLY_VISIBLE;
 902 int diff_main(int argc UNUSED_PARAM, char **argv)
 903 {
 904         int gotstdin = 0;
 905         char *file[2], *s_start = NULL;
 906         llist_t *L_arg = NULL;
 907
 908         INIT_G();
 909
 910         /* exactly 2 params; collect multiple -L <label>; -U N */
 911         opt_complementary = "=2:L::U+";
 912 #if ENABLE_FEATURE_DIFF_LONG_OPTIONS
 913         applet_long_options = diff_longopts;
 914 #endif
 915         getopt32(argv, "abdiL:NqrsS:tTU:wupBE",
 916                         &L_arg, &s_start, &opt_U_context);
 917         argv += optind;
 918         while (L_arg) {
 919                 if (label[0] && label[1])
 920                         bb_show_usage();
 921                 if (label[0]) /* then label[1] is NULL */
 922                         label[1] = label[0];
 923                 label[0] = llist_pop(&L_arg);
 924         }
 925         xfunc_error_retval = 2;
 926         for (int i = 0; i < 2; i++) {
 927                 file[i] = argv[i];
 928                 /* Compat: "diff file name_which_doesnt_exist" exits with 2 */
 929                 if (LONE_DASH(file[i])) {
 930                         fstat(STDIN_FILENO, &stb[i]);
 931                         gotstdin++;
 932                 } else
 933                         xstat(file[i], &stb[i]);
 934         }
 935         xfunc_error_retval = 1;
 936         if (gotstdin && (S_ISDIR(stb[0].st_mode) || S_ISDIR(stb[1].st_mode)))
 937                 bb_error_msg_and_die("can't compare stdin to a directory");
 938
 939         if (S_ISDIR(stb[0].st_mode) && S_ISDIR(stb[1].st_mode)) {
 940 #if ENABLE_FEATURE_DIFF_DIR
 941                 diffdir(file, s_start);
 942 #else
 943                 bb_error_msg_and_die("no support for directory comparison");
 944 #endif
 945         } else {
 946                 bool dirfile = S_ISDIR(stb[0].st_mode) || S_ISDIR(stb[1].st_mode);
 947                 bool dir = S_ISDIR(stb[1].st_mode);
 948                 if (dirfile) {
 949                         const char *slash = strrchr(file[!dir], '/');
 950                         file[dir] = concat_path_file(file[dir], slash ? slash + 1 : file[!dir]);
 951                         xstat(file[dir], &stb[dir]);
 952                 }
 953                 /* diffreg can get non-regular files here */
 954                 print_status(gotstdin > 1 ? STATUS_SAME : diffreg(file), file);
 955
 956                 if (dirfile)
 957                         free(file[dir]);
 958         }
 959
 960         return exit_status;
 961 }