sed.c

   1 /*
   2  * sed.c - very minimalist version of sed
   3  *
   4  * Copyright (C) 1999,2000 by Lineo, inc.
   5  * Written by Mark Whitley <markw@lineo.com>, <markw@enol.com>
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License as published by
   9  * the Free Software Foundation; either version 2 of the License, or
  10  * (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  15  * General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with this program; if not, write to the Free Software
  19  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  20  *
  21  */
  22
  23 /*
  24         Supported features and commands in this version of sed:
  25
  26          - comments ('#')
  27          - address matching: num|/matchstr/[,num|/matchstr/|$]command
  28          - commands: (p)rint, (d)elete, (s)ubstitue (with g & I flags)
  29          - edit commands: (a)ppend, (i)nsert, (c)hange
  30
  31          (Note: Specifying an address (range) to match is *optional*; commands
  32          default to the whole pattern space if no specific address match was
  33          requested.)
  34
  35         Unsupported features:
  36
  37          - transliteration (y/source-chars/dest-chars/) (use 'tr')
  38          - no support for characters other than the '/' character for regex matches
  39          - no pattern space hold space storing / swapping (x, etc.)
  40          - no labels / branching (: label, b, t, and friends)
  41          - and lots, lots more.
  42
  43 */
  44
  45 #include <stdio.h>
  46 #include <stdlib.h> /* for realloc() */
  47 #include <unistd.h> /* for getopt() */
  48 #include <regex.h>
  49 #include <string.h> /* for strdup() */
  50 #include <errno.h>
  51 #include <ctype.h> /* for isspace() */
  52 #include "internal.h"
  53
  54
  55 /* externs */
  56 extern int optind; /* in unistd.h */
  57 extern char *optarg; /* ditto */
  58
  59 /* options */
  60 static int be_quiet = 0;
  61
  62 struct sed_cmd {
  63
  64         /* address storage */
  65         int beg_line; /* 'sed 1p'   0 == no begining line, apply commands to all lines */
  66         int end_line; /* 'sed 1,3p' 0 == no end line, use only beginning. -1 == $ */
  67         regex_t *beg_match; /* sed -e '/match/cmd' */
  68         regex_t *end_match; /* sed -e '/match/,/end_match/cmd' */
  69
  70         /* the command */
  71         char cmd; /* p,d,s (add more at your leisure :-) */
  72
  73         /* substitution command specific fields */
  74         regex_t *sub_match; /* sed -e 's/sub_match/replace/' */
  75         char *replace; /* sed -e 's/sub_match/replace/' XXX: who will hold the \1 \2 \3s? */
  76         unsigned int sub_g:1; /* sed -e 's/foo/bar/g' (global) */
  77
  78         /* edit command (a,i,c) speicific field */
  79         char *editline;
  80 };
  81
  82 /* globals */
  83 static struct sed_cmd *sed_cmds = NULL; /* growable arrary holding a sequence of sed cmds */
  84 static int ncmds = 0; /* number of sed commands */
  85
  86 /*static char *cur_file = NULL;*/ /* file currently being processed XXX: do I need this? */
  87
  88 static const char sed_usage[] =
  89         "sed [-Vhnef] pattern [files...]\n"
  90 #ifndef BB_FEATURE_TRIVIAL_HELP
  91         "\n"
  92         "-n\tsuppress automatic printing of pattern space\n"
  93         "-e script\tadd the script to the commands to be executed\n"
  94         "-f scriptfile\tadd the contents of script-file to the commands to be executed\n"
  95         "-h\tdisplay this help message\n"
  96         "-V\toutput version information and exit\n"
  97         "\n"
  98         "If no -e or -f is given, the first non-option argument is taken as the\n"
  99         "sed script to interpret. All remaining arguments are names of input\n"
 100         "files; if no input files are specified, then the standard input is read.\n"
 101 #endif
 102         ;
 103
 104 #if 0
 105 static void destroy_cmd_strs()
 106 {
 107         if (sed_cmds == NULL)
 108                 return;
 109
 110         /* destroy all the elements in the array */
 111         while (--ncmds >= 0) {
 112
 113                 if (sed_cmds[ncmds].beg_match) {
 114                         regfree(sed_cmds[ncmds].beg_match);
 115                         free(sed_cmds[ncmds].beg_match);
 116                 }
 117                 if (sed_cmds[ncmds].end_match) {
 118                         regfree(sed_cmds[ncmds].end_match);
 119                         free(sed_cmds[ncmds].end_match);
 120                 }
 121                 if (sed_cmds[ncmds].sub_match) {
 122                         regfree(sed_cmds[ncmds].sub_match);
 123                         free(sed_cmds[ncmds].sub_match);
 124                 }
 125                 if (sed_cmds[ncmds].replace)
 126                         free(sed_cmds[ncmds].replace);
 127         }
 128
 129         /* destroy the array */
 130         free(sed_cmds);
 131         sed_cmds = NULL;
 132 }
 133 #endif
 134
 135 #if 0
 136 /*
 137  * trim_str - trims leading and trailing space from a string
 138  *
 139  * Note: This returns a malloc'ed string so you must store and free it
 140  * XXX: This should be in the utility.c file.
 141  * XXX: This is now obsolete. Maybe it belongs nowhere.
 142  */
 143 static char *trim_str(const char *str)
 144 {
 145         int i;
 146         char *retstr = strdup(str);
 147
 148         /* trim leading whitespace */
 149         memmove(retstr, &retstr[strspn(retstr, " \n\t\v")], strlen(retstr));
 150
 151         /* trim trailing whitespace */
 152         i = strlen(retstr) - 1;
 153         while (isspace(retstr[i]))
 154                 i--;
 155         retstr[++i] = 0;
 156
 157         /* Aside:
 158          *
 159          * you know, a strrspn() would really be nice cuz then we could say:
 160          *
 161          * retstr[strrspn(retstr, " \n\t\v") + 1] = 0;
 162          */
 163
 164         return retstr;
 165 }
 166 #endif
 167
 168 #if 0
 169 /*
 170  * strrspn - works just like strspn() but goes from right to left instead of
 171  * left to right
 172  */
 173 static size_t strrspn(const char *s, const char *accept)
 174 {
 175         size_t i = strlen(s);
 176
 177         while (strchr(accept, s[--i]))
 178                 ;
 179
 180         return i;
 181 }
 182 #endif
 183
 184 /*
 185  * index_of_unescaped_slash - walks left to right through a string beginning
 186  * at a specified index and returns the index of the next unescaped slash.
 187  */
 188 static int index_of_next_unescaped_slash(const char *str, int idx)
 189 {
 190         do {
 191                 idx++;
 192                 /* test if we've hit the end */
 193                 if (str[idx] == 0)
 194                         return -1;
 195         } while (str[idx] != '/' && str[idx - 1] != '\\');
 196
 197         return idx;
 198 }
 199
 200 /*
 201  * returns the index in the string just past where the address ends.
 202  */
 203 static int get_address(const char *str, int *line, regex_t **regex)
 204 {
 205         char *my_str = strdup(str);
 206         int idx = 0;
 207
 208         if (isdigit(my_str[idx])) {
 209                 do {
 210                         idx++;
 211                 } while (isdigit(my_str[idx]));
 212                 my_str[idx] = 0;
 213                 *line = atoi(my_str);
 214         }
 215         else if (my_str[idx] == '$') {
 216                 *line = -1;
 217                 idx++;
 218         }
 219         else if (my_str[idx] == '/') {
 220                 idx = index_of_next_unescaped_slash(my_str, idx);
 221                 if (idx == -1)
 222                         fatalError("unterminated match expression\n");
 223                 my_str[idx] = '\0';
 224                 *regex = (regex_t *)xmalloc(sizeof(regex_t));
 225                 xregcomp(*regex, my_str+1, REG_NEWLINE);
 226                 idx++; /* so it points to the next character after the last '/' */
 227         }
 228         else {
 229                 errorMsg("get_address: no address found in string\n"
 230                                 "\t(you probably didn't check the string you passed me)\n");
 231                 idx = -1;
 232         }
 233
 234         free(my_str);
 235         return idx;
 236 }
 237
 238 static char *strdup_substr(const char *str, int start, int end)
 239 {
 240         int size = end - start + 1;
 241         char *newstr = xmalloc(size);
 242         memcpy(newstr, str+start, size-1);
 243         newstr[size-1] = '\0';
 244         return newstr;
 245 }
 246
 247 static int parse_subst_cmd(struct sed_cmd *sed_cmd, const char *substr)
 248 {
 249         int oldidx, cflags = REG_NEWLINE;
 250         char *match;
 251         int idx = 0;
 252
 253         /*
 254          * the string that gets passed to this function should look like this:
 255          *    s/match/replace/gI
 256          *    ||     |        ||
 257          *    mandatory       optional
 258          *
 259          *    (all three of the '/' slashes are mandatory)
 260          */
 261
 262         /* verify that the 's' is followed by a 'slash' */
 263         if (substr[++idx] != '/')
 264                 fatalError("bad format in substitution expression\n");
 265
 266         /* save the match string */
 267         oldidx = idx+1;
 268         idx = index_of_next_unescaped_slash(substr, idx);
 269         if (idx == -1)
 270                 fatalError("bad format in substitution expression\n");
 271         match = strdup_substr(substr, oldidx, idx);
 272
 273         /* save the replacement string */
 274         oldidx = idx+1;
 275         idx = index_of_next_unescaped_slash(substr, idx);
 276         if (idx == -1)
 277                 fatalError("bad format in substitution expression\n");
 278         sed_cmd->replace = strdup_substr(substr, oldidx, idx);
 279
 280         /* process the flags */
 281         while (substr[++idx]) {
 282                 switch (substr[idx]) {
 283                         case 'g':
 284                                 sed_cmd->sub_g = 1;
 285                                 break;
 286                         case 'I':
 287                                 cflags |= REG_ICASE;
 288                                 break;
 289                         default:
 290                                 /* any whitespace or semicolon trailing after a s/// is ok */
 291                                 if (strchr("; \t\v\n\r", substr[idx]))
 292                                         goto out;
 293                                 /* else */
 294                                 fatalError("bad option in substitution expression\n");
 295                 }
 296         }
 297
 298 out:
 299         /* compile the regex */
 300         sed_cmd->sub_match = (regex_t *)xmalloc(sizeof(regex_t));
 301         xregcomp(sed_cmd->sub_match, match, cflags);
 302         free(match);
 303
 304         return idx;
 305 }
 306
 307 static int parse_edit_cmd(struct sed_cmd *sed_cmd, const char *editstr)
 308 {
 309         int idx = 0;
 310         int slashes_eaten = 0;
 311         char *ptr; /* shorthand */
 312
 313         /*
 314          * the string that gets passed to this function should look like this:
 315          *
 316          *    need one of these
 317          *    |
 318          *    |    this backslash (immediately following the edit command) is mandatory
 319          *    |    |
 320          *    [aic]\
 321          *    TEXT1\
 322          *    TEXT2\
 323          *    TEXTN
 324          *
 325          * as soon as we hit a TEXT line that has no trailing '\', we're done.
 326          * this means a command like:
 327          *
 328          * i\
 329          * INSERTME
 330          *
 331          * is a-ok.
 332          *
 333          */
 334
 335         if (editstr[1] != '\\' && (editstr[2] != '\n' || editstr[2] != '\r'))
 336                 fatalError("bad format in edit expression\n");
 337
 338         /* store the edit line text */
 339         /* make editline big enough to accomodate the extra '\n' we will tack on
 340          * to the end */
 341         sed_cmd->editline = xmalloc(strlen(&editstr[3]) + 2);
 342         strcpy(sed_cmd->editline, &editstr[3]);
 343         ptr = sed_cmd->editline;
 344
 345         /* now we need to go through * and: s/\\[\r\n]$/\n/g on the edit line */
 346         while (ptr[idx]) {
 347                 while (ptr[idx] != '\\' && (ptr[idx+1] != '\n' || ptr[idx+1] != '\r')) {
 348                         idx++;
 349                         if (!ptr[idx]) {
 350                                 goto out;
 351                         }
 352                 }
 353                 /* move the newline over the '\' before it (effectively eats the '\') */
 354                 memmove(&ptr[idx], &ptr[idx+1], strlen(&ptr[idx+1]));
 355                 ptr[strlen(ptr)-1] = 0;
 356                 slashes_eaten++;
 357                 /* substitue \r for \n if needed */
 358                 if (ptr[idx] == '\r')
 359                         ptr[idx] = '\n';
 360         }
 361
 362 out:
 363         ptr[idx] = '\n';
 364         ptr[idx+1] = 0;
 365
 366         /* this accounts for discrepancies between the modified string and the
 367          * original string passed in to this function */
 368         idx += slashes_eaten;
 369
 370         /* this accounts for the fact that A) we started at index 3, not at index
 371          * 0  and B) that we added an extra '\n' at the end (if you think the next
 372          * line should read 'idx += 4' remember, arrays are zero-based) */
 373
 374         idx += 3;
 375
 376         return idx;
 377 }
 378
 379 static char *parse_cmd_str(struct sed_cmd *sed_cmd, const char *cmdstr)
 380 {
 381         int idx = 0;
 382
 383         /* parse the command
 384          * format is: [addr][,addr]cmd
 385          *            |----||-----||-|
 386          *            part1 part2  part3
 387          */
 388
 389
 390         /* first part (if present) is an address: either a number or a /regex/ */
 391         if (isdigit(cmdstr[idx]) || cmdstr[idx] == '/')
 392                 idx = get_address(cmdstr, &sed_cmd->beg_line, &sed_cmd->beg_match);
 393
 394         /* second part (if present) will begin with a comma */
 395         if (cmdstr[idx] == ',')
 396                 idx += get_address(&cmdstr[++idx], &sed_cmd->end_line, &sed_cmd->end_match);
 397
 398         /* last part (mandatory) will be a command */
 399         if (cmdstr[idx] == '\0')
 400                 fatalError("missing command\n");
 401         if (!strchr("pdsaic", cmdstr[idx])) /* <-- XXX add new commands here */
 402                 fatalError("invalid command\n");
 403         sed_cmd->cmd = cmdstr[idx];
 404
 405         /* special-case handling for (s)ubstitution */
 406         if (sed_cmd->cmd == 's') {
 407                 idx += parse_subst_cmd(sed_cmd, &cmdstr[idx]);
 408         }
 409         /* special-case handling for (a)ppend, (i)nsert, and (c)hange */
 410         else if (strchr("aic", cmdstr[idx])) {
 411                 if (sed_cmd->end_line || sed_cmd->end_match)
 412                         fatalError("only a beginning address can be specified for edit commands\n");
 413                 idx += parse_edit_cmd(sed_cmd, &cmdstr[idx]);
 414         }
 415         /* if it was a single-letter command (such as 'p' or 'd') we need to
 416          * increment the index past that command */
 417         else
 418                 idx++;
 419
 420         /* give back whatever's left over */
 421         return (char *)&cmdstr[idx];
 422 }
 423
 424 static void add_cmd_str(const char *cmdstr)
 425 {
 426         char *mystr = (char *)cmdstr;
 427
 428         do {
 429
 430                 /* trim leading whitespace and semicolons */
 431                 memmove(mystr, &mystr[strspn(mystr, "; \n\r\t\v")], strlen(mystr));
 432                 /* if we ate the whole thing, that means there was just trailing
 433                  * whitespace or a final / no-op semicolon. either way, get out */
 434                 if (strlen(mystr) == 0)
 435                         return;
 436                 /* if this is a comment, jump past it and keep going */
 437                 if (mystr[0] == '#') {
 438                         mystr = strpbrk(mystr, ";\n\r");
 439                         continue;
 440                 }
 441                 /* grow the array */
 442                 sed_cmds = realloc(sed_cmds, sizeof(struct sed_cmd) * (++ncmds));
 443                 /* zero new element */
 444                 memset(&sed_cmds[ncmds-1], 0, sizeof(struct sed_cmd));
 445                 /* load command string into new array element, get remainder */
 446                 mystr = parse_cmd_str(&sed_cmds[ncmds-1], mystr);
 447
 448         } while (mystr && strlen(mystr));
 449 }
 450
 451
 452 static void load_cmd_file(char *filename)
 453 {
 454         FILE *cmdfile;
 455         char *line;
 456         char *nextline;
 457
 458         cmdfile = fopen(filename, "r");
 459         if (cmdfile == NULL)
 460                 fatalError(strerror(errno));
 461
 462         while ((line = get_line_from_file(cmdfile)) != NULL) {
 463                 /* if a line ends with '\' it needs the next line appended to it */
 464                 while (line[strlen(line)-2] == '\\' &&
 465                                 (nextline = get_line_from_file(cmdfile)) != NULL) {
 466                         line = realloc(line, strlen(line) + strlen(nextline) + 1);
 467                         strcat(line, nextline);
 468                         free(nextline);
 469                 }
 470                 /* eat trailing newline (if any) --if I don't do this, edit commands
 471                  * (aic) will print an extra newline */
 472                 if (line[strlen(line)-1] == '\n')
 473                         line[strlen(line)-1] = 0;
 474                 add_cmd_str(line);
 475                 free(line);
 476         }
 477 }
 478
 479 static int do_subst_command(const struct sed_cmd *sed_cmd, const char *line)
 480 {
 481         int altered = 0;
 482
 483         /* we only substitute if the substitution 'search' expression matches */
 484         if (regexec(sed_cmd->sub_match, line, 0, NULL, 0) == 0) {
 485                 regmatch_t regmatch;
 486                 int i;
 487                 char *ptr = (char *)line;
 488
 489                 while (*ptr) {
 490                         /* if we can match the search string... */
 491                         if (regexec(sed_cmd->sub_match, ptr, 1, &regmatch, 0) == 0) {
 492                                 /* print everything before the match, */
 493                                 for (i = 0; i < regmatch.rm_so; i++)
 494                                         fputc(ptr[i], stdout);
 495                                 /* then print the substitution in its place */
 496                                 fputs(sed_cmd->replace, stdout);
 497                                 /* then advance past the match */
 498                                 ptr += regmatch.rm_eo;
 499                                 /* and flag that something has changed */
 500                                 altered++;
 501
 502                                 /* if we're not doing this globally... */
 503                                 if (!sed_cmd->sub_g)
 504                                         break;
 505                         }
 506                         /* if we COULD NOT match the search string (meaning we've gone past
 507                          * all previous instances), get out */
 508                         else
 509                                 break;
 510                 }
 511
 512                 /* is there anything left to print? */
 513                 if (*ptr)
 514                         fputs(ptr, stdout);
 515         }
 516
 517         return altered;
 518 }
 519
 520 static int do_sed_command(const struct sed_cmd *sed_cmd, const char *line)
 521 {
 522         int altered = 0;
 523
 524         switch (sed_cmd->cmd) {
 525
 526                 case 'p':
 527                         fputs(line, stdout);
 528                         break;
 529
 530                 case 'd':
 531                         altered++;
 532                         break;
 533
 534                 case 's':
 535                         altered = do_subst_command(sed_cmd, line);
 536                         break;
 537
 538                 case 'a':
 539                         fputs(line, stdout);
 540                         fputs(sed_cmd->editline, stdout);
 541                         altered++;
 542                         break;
 543
 544                 case 'i':
 545                         fputs(sed_cmd->editline, stdout);
 546                         break;
 547
 548                 case 'c':
 549                         fputs(sed_cmd->editline, stdout);
 550                         altered++;
 551                         break;
 552         }
 553
 554         return altered;
 555 }
 556
 557 static void process_file(FILE *file)
 558 {
 559         char *line = NULL;
 560         static int linenum = 0; /* GNU sed does not restart counting lines at EOF */
 561         unsigned int still_in_range = 0;
 562         int line_altered;
 563         int i;
 564
 565         /* go through every line in the file */
 566         while ((line = get_line_from_file(file)) != NULL) {
 567
 568                 linenum++;
 569                 line_altered = 0;
 570
 571                 /* for every line, go through all the commands */
 572                 for (i = 0; i < ncmds; i++) {
 573
 574                         /* are we acting on a range of matched lines? */
 575                         if (sed_cmds[i].beg_match && sed_cmds[i].end_match) {
 576                                 if (still_in_range || regexec(sed_cmds[i].beg_match, line, 0, NULL, 0) == 0) {
 577                                         line_altered += do_sed_command(&sed_cmds[i], line);
 578                                         still_in_range = 1;
 579                                         if (regexec(sed_cmds[i].end_match, line, 0, NULL, 0) == 0)
 580                                                 still_in_range = 0;
 581                                 }
 582                         }
 583
 584                         /* are we trying to match a single line? */
 585                         else if (sed_cmds[i].beg_match) {
 586                                 if (regexec(sed_cmds[i].beg_match, line, 0, NULL, 0) == 0)
 587                                         line_altered += do_sed_command(&sed_cmds[i], line);
 588                         }
 589
 590                         /* are we acting on a range of line numbers? */
 591                         else if (sed_cmds[i].beg_line > 0 && sed_cmds[i].end_line > 0) {
 592                                 if (linenum >= sed_cmds[i].beg_line && linenum <= sed_cmds[i].end_line)
 593                                         line_altered += do_sed_command(&sed_cmds[i], line);
 594                         }
 595
 596                         /* are we acting on a specified line number */
 597                         else if (sed_cmds[i].beg_line > 0) {
 598                                 if (linenum == sed_cmds[i].beg_line)
 599                                         line_altered += do_sed_command(&sed_cmds[i], line);
 600                         }
 601
 602                         /* not acting on matches or line numbers. act on every line */
 603                         else
 604                                 line_altered += do_sed_command(&sed_cmds[i], line);
 605
 606                 }
 607
 608                 /* we will print the line unless we were told to be quiet or if the
 609                  * line was altered (via a 'd'elete or 's'ubstitution) */
 610                 if (!be_quiet && !line_altered)
 611                         fputs(line, stdout);
 612
 613                 free(line);
 614         }
 615 }
 616
 617 extern int sed_main(int argc, char **argv)
 618 {
 619         int opt;
 620
 621         /* do special-case option parsing */
 622         if (argv[1] && (strcmp(argv[1], "--help") == 0))
 623                 usage(sed_usage);
 624
 625 #if 0
 626         /* destroy command strings on exit */
 627         if (atexit(destroy_cmd_strs) == -1) {
 628                 perror("sed");
 629                 exit(1);
 630         }
 631 #endif
 632
 633         /* do normal option parsing */
 634         while ((opt = getopt(argc, argv, "Vhne:f:")) > 0) {
 635                 switch (opt) {
 636                         case 'V':
 637                                 printf("BusyBox v%s (%s)\n", BB_VER, BB_BT);
 638                                 exit(0);
 639                                 break;
 640                         case 'h':
 641                                 usage(sed_usage);
 642                                 break;
 643                         case 'n':
 644                                 be_quiet++;
 645                                 break;
 646                         case 'e':
 647                                 add_cmd_str(optarg);
 648                                 break;
 649                         case 'f':
 650                                 load_cmd_file(optarg);
 651                                 break;
 652                 }
 653         }
 654
 655         /* if we didn't get a pattern from a -e and no command file was specified,
 656          * argv[optind] should be the pattern. no pattern, no worky */
 657         if (ncmds == 0) {
 658                 if (argv[optind] == NULL)
 659                         usage(sed_usage);
 660                 else {
 661                         add_cmd_str(argv[optind]);
 662                         optind++;
 663                 }
 664         }
 665
 666
 667         /* argv[(optind)..(argc-1)] should be names of file to process. If no
 668          * files were specified or '-' was specified, take input from stdin.
 669          * Otherwise, we process all the files specified. */
 670         if (argv[optind] == NULL || (strcmp(argv[optind], "-") == 0)) {
 671                 process_file(stdin);
 672         }
 673         else {
 674                 int i;
 675                 FILE *file;
 676                 for (i = optind; i < argc; i++) {
 677                         file = fopen(argv[i], "r");
 678                         if (file == NULL) {
 679                                 errorMsg("%s: %s\n", argv[i], strerror(errno));
 680                         } else {
 681                                 process_file(file);
 682                                 fclose(file);
 683                         }
 684                 }
 685         }
 686
 687         return 0;
 688 }