editors/sed.c

   1 /*
   2  * sed.c - very minimalist version of sed
   3  *
   4  * Copyright (C) 1999,2000 by Lineo, inc.
   5  * Written by Mark Whitley <markw@lineo.com>, <markw@enol.com>
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License as published by
   9  * the Free Software Foundation; either version 2 of the License, or
  10  * (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  15  * General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with this program; if not, write to the Free Software
  19  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
  20  *
  21  */
  22
  23 /*
  24         Supported features and commands in this version of sed:
  25
  26          - comments ('#')
  27          - address matching: num|/matchstr/[,num|/matchstr/|$]command
  28          - commands: (p)rint, (d)elete, (s)ubstitue (with g & I flags)
  29          - edit commands: (a)ppend, (i)nsert, (c)hange
  30
  31          (Note: Specifying an address (range) to match is *optional*; commands
  32          default to the whole pattern space if no specific address match was
  33          requested.)
  34
  35         Unsupported features:
  36
  37          - transliteration (y/source-chars/dest-chars/) (use 'tr')
  38          - no support for characters other than the '/' character for regex matches
  39          - no pattern space hold space storing / swapping (x, etc.)
  40          - no labels / branching (: label, b, t, and friends)
  41          - and lots, lots more.
  42
  43 */
  44
  45 #include <stdio.h>
  46 #include <stdlib.h> /* for realloc() */
  47 #include <unistd.h> /* for getopt() */
  48 #include <regex.h>
  49 #include <string.h> /* for strdup() */
  50 #include <errno.h>
  51 #include <ctype.h> /* for isspace() */
  52 #include "internal.h"
  53
  54
  55 /* externs */
  56 extern int optind; /* in unistd.h */
  57 extern char *optarg; /* ditto */
  58
  59 /* options */
  60 static int be_quiet = 0;
  61
  62 struct sed_cmd {
  63
  64         /* address storage */
  65         int beg_line; /* 'sed 1p'   0 == no begining line, apply commands to all lines */
  66         int end_line; /* 'sed 1,3p' 0 == no end line, use only beginning. -1 == $ */
  67         regex_t *beg_match; /* sed -e '/match/cmd' */
  68         regex_t *end_match; /* sed -e '/match/,/end_match/cmd' */
  69
  70         /* the command */
  71         char cmd; /* p,d,s (add more at your leisure :-) */
  72
  73         /* substitution command specific fields */
  74         regex_t *sub_match; /* sed -e 's/sub_match/replace/' */
  75         char *replace; /* sed -e 's/sub_match/replace/' XXX: who will hold the \1 \2 \3s? */
  76         unsigned int sub_g:1; /* sed -e 's/foo/bar/g' (global) */
  77
  78         /* edit command (a,i,c) speicific field */
  79         char *editline;
  80 };
  81
  82 /* globals */
  83 static struct sed_cmd *sed_cmds = NULL; /* growable arrary holding a sequence of sed cmds */
  84 static int ncmds = 0; /* number of sed commands */
  85
  86 /*static char *cur_file = NULL;*/ /* file currently being processed XXX: do I need this? */
  87
  88 static const char sed_usage[] =
  89         "sed [-Vhnef] pattern [files...]\n"
  90 #ifndef BB_FEATURE_TRIVIAL_HELP
  91         "\n"
  92         "-n\tsuppress automatic printing of pattern space\n"
  93         "-e script\tadd the script to the commands to be executed\n"
  94         "-f scriptfile\tadd the contents of script-file to the commands to be executed\n"
  95         "-h\tdisplay this help message\n"
  96         "-V\toutput version information and exit\n"
  97         "\n"
  98         "If no -e or -f is given, the first non-option argument is taken as the\n"
  99         "sed script to interpret. All remaining arguments are names of input\n"
 100         "files; if no input files are specified, then the standard input is read.\n"
 101 #endif
 102         ;
 103
 104 #if 0
 105 static void destroy_cmd_strs()
 106 {
 107         if (sed_cmds == NULL)
 108                 return;
 109
 110         /* destroy all the elements in the array */
 111         while (--ncmds >= 0) {
 112
 113                 if (sed_cmds[ncmds].beg_match) {
 114                         regfree(sed_cmds[ncmds].beg_match);
 115                         free(sed_cmds[ncmds].beg_match);
 116                 }
 117                 if (sed_cmds[ncmds].end_match) {
 118                         regfree(sed_cmds[ncmds].end_match);
 119                         free(sed_cmds[ncmds].end_match);
 120                 }
 121                 if (sed_cmds[ncmds].sub_match) {
 122                         regfree(sed_cmds[ncmds].sub_match);
 123                         free(sed_cmds[ncmds].sub_match);
 124                 }
 125                 if (sed_cmds[ncmds].replace)
 126                         free(sed_cmds[ncmds].replace);
 127         }
 128
 129         /* destroy the array */
 130         free(sed_cmds);
 131         sed_cmds = NULL;
 132 }
 133 #endif
 134
 135 #if 0
 136 /*
 137  * trim_str - trims leading and trailing space from a string
 138  *
 139  * Note: This returns a malloc'ed string so you must store and free it
 140  * XXX: This should be in the utility.c file.
 141  * XXX: This is now obsolete. Maybe it belongs nowhere.
 142  */
 143 static char *trim_str(const char *str)
 144 {
 145         int i;
 146         char *retstr = strdup(str);
 147
 148         /* trim leading whitespace */
 149         memmove(retstr, &retstr[strspn(retstr, " \n\t\v")], strlen(retstr));
 150
 151         /* trim trailing whitespace */
 152         i = strlen(retstr) - 1;
 153         while (isspace(retstr[i]))
 154                 i--;
 155         retstr[++i] = 0;
 156
 157         /* Aside:
 158          *
 159          * you know, a strrspn() would really be nice cuz then we could say:
 160          *
 161          * retstr[strrspn(retstr, " \n\t\v") + 1] = 0;
 162          */
 163
 164         return retstr;
 165 }
 166 #endif
 167
 168 #if 0
 169 /*
 170  * strrspn - works just like strspn() but goes from right to left instead of
 171  * left to right
 172  */
 173 static size_t strrspn(const char *s, const char *accept)
 174 {
 175         size_t i = strlen(s);
 176
 177         while (strchr(accept, s[--i]))
 178                 ;
 179
 180         return i;
 181 }
 182 #endif
 183
 184 /*
 185  * index_of_unescaped_slash - walks left to right through a string beginning
 186  * at a specified index and returns the index of the next unescaped slash.
 187  */
 188 static int index_of_next_unescaped_slash(const char *str, int idx)
 189 {
 190         do {
 191                 idx++;
 192                 /* test if we've hit the end */
 193                 if (str[idx] == 0)
 194                         return -1;
 195         } while (str[idx] != '/' && str[idx - 1] != '\\');
 196
 197         return idx;
 198 }
 199
 200 /*
 201  * returns the index in the string just past where the address ends.
 202  */
 203 static int get_address(const char *str, int *line, regex_t **regex)
 204 {
 205         char *my_str = strdup(str);
 206         int idx = 0;
 207
 208         if (isdigit(my_str[idx])) {
 209                 do {
 210                         idx++;
 211                 } while (isdigit(my_str[idx]));
 212                 my_str[idx] = 0;
 213                 *line = atoi(my_str);
 214         }
 215         else if (my_str[idx] == '$') {
 216                 *line = -1;
 217                 idx++;
 218         }
 219         else if (my_str[idx] == '/') {
 220                 idx = index_of_next_unescaped_slash(my_str, idx);
 221                 if (idx == -1)
 222                         fatalError("unterminated match expression\n");
 223                 my_str[idx] = '\0';
 224                 *regex = (regex_t *)xmalloc(sizeof(regex_t));
 225                 xregcomp(*regex, my_str+1, REG_NEWLINE);
 226                 idx++; /* so it points to the next character after the last '/' */
 227         }
 228         else {
 229                 errorMsg("get_address: no address found in string\n"
 230                                 "\t(you probably didn't check the string you passed me)\n");
 231                 idx = -1;
 232         }
 233
 234         free(my_str);
 235         return idx;
 236 }
 237
 238 static char *strdup_substr(const char *str, int start, int end)
 239 {
 240         int size = end - start + 1;
 241         char *newstr = xmalloc(size);
 242         memcpy(newstr, str+start, size-1);
 243         newstr[size-1] = '\0';
 244         return newstr;
 245 }
 246
 247 static int parse_subst_cmd(struct sed_cmd *sed_cmd, const char *substr)
 248 {
 249         int oldidx, cflags = REG_NEWLINE;
 250         char *match;
 251         int idx = 0;
 252
 253         /*
 254          * the string that gets passed to this function should look like this:
 255          *    s/match/replace/gI
 256          *    ||     |        ||
 257          *    mandatory       optional
 258          *
 259          *    (all three of the '/' slashes are mandatory)
 260          */
 261
 262         /* verify that the 's' is followed by a 'slash' */
 263         if (substr[++idx] != '/')
 264                 fatalError("bad format in substitution expression\n");
 265
 266         /* save the match string */
 267         oldidx = idx+1;
 268         idx = index_of_next_unescaped_slash(substr, idx);
 269         if (idx == -1)
 270                 fatalError("bad format in substitution expression\n");
 271         match = strdup_substr(substr, oldidx, idx);
 272
 273         /* save the replacement string */
 274         oldidx = idx+1;
 275         idx = index_of_next_unescaped_slash(substr, idx);
 276         if (idx == -1)
 277                 fatalError("bad format in substitution expression\n");
 278         sed_cmd->replace = strdup_substr(substr, oldidx, idx);
 279
 280         /* process the flags */
 281         while (substr[++idx]) {
 282                 switch (substr[idx]) {
 283                         case 'g':
 284                                 sed_cmd->sub_g = 1;
 285                                 break;
 286                         case 'I':
 287                                 cflags |= REG_ICASE;
 288                                 break;
 289                         default:
 290                                 /* any whitespace or semicolon trailing after a s/// is ok */
 291                                 if (strchr("; \t\v\n\r", substr[idx]))
 292                                         goto out;
 293                                 /* else */
 294                                 fatalError("bad option in substitution expression\n");
 295                 }
 296         }
 297
 298 out:
 299         /* compile the regex */
 300         sed_cmd->sub_match = (regex_t *)xmalloc(sizeof(regex_t));
 301         xregcomp(sed_cmd->sub_match, match, cflags);
 302         free(match);
 303
 304         return idx;
 305 }
 306
 307 static int parse_edit_cmd(struct sed_cmd *sed_cmd, const char *editstr)
 308 {
 309         int idx = 0;
 310         char *ptr; /* shorthand */
 311
 312         /*
 313          * the string that gets passed to this function should look like this:
 314          *
 315          *    need one of these
 316          *    |
 317          *    |    this backslash (immediately following the edit command) is mandatory
 318          *    |    |
 319          *    [aic]\
 320          *    TEXT1\
 321          *    TEXT2\
 322          *    TEXTN
 323          *
 324          * as soon as we hit a TEXT line that has no trailing '\', we're done.
 325          * this means a command like:
 326          *
 327          * i\
 328          * INSERTME
 329          *
 330          * is a-ok.
 331          *
 332          */
 333
 334         if (editstr[1] != '\\' && (editstr[2] != '\n' || editstr[2] != '\r'))
 335                 fatalError("bad format in edit expression\n");
 336
 337         /* store the edit line text */
 338         /* make editline big enough to accomodate the extra '\n' we will tack on
 339          * to the end */
 340         sed_cmd->editline = xmalloc(strlen(&editstr[3]) + 2);
 341         strcpy(sed_cmd->editline, &editstr[3]);
 342         ptr = sed_cmd->editline;
 343
 344         /* now we need to go through * and: s/\\[\r\n]$/\n/g on the edit line */
 345         while (ptr[idx]) {
 346                 while (ptr[idx] != '\\' && (ptr[idx+1] != '\n' || ptr[idx+1] != '\r')) {
 347                         idx++;
 348                         if (!ptr[idx]) {
 349                                 ptr[idx] = '\n';
 350                                 ptr[idx+1] = 0;
 351                                 return idx;
 352                         }
 353                 }
 354                 /* move the newline over the '\' before it (effectively eats the '\') */
 355                 memmove(&ptr[idx], &ptr[idx+1], strlen(&ptr[idx+1]));
 356                 ptr[strlen(ptr)-1] = 0;
 357                 /* substitue \r for \n if needed */
 358                 if (ptr[idx] == '\r')
 359                         ptr[idx] = '\n';
 360         }
 361
 362         return idx;
 363 }
 364
 365 static char *parse_cmd_str(struct sed_cmd *sed_cmd, const char *cmdstr)
 366 {
 367         int idx = 0;
 368
 369         /* parse the command
 370          * format is: [addr][,addr]cmd
 371          *            |----||-----||-|
 372          *            part1 part2  part3
 373          */
 374
 375
 376         /* first part (if present) is an address: either a number or a /regex/ */
 377         if (isdigit(cmdstr[idx]) || cmdstr[idx] == '/')
 378                 idx = get_address(cmdstr, &sed_cmd->beg_line, &sed_cmd->beg_match);
 379
 380         /* second part (if present) will begin with a comma */
 381         if (cmdstr[idx] == ',')
 382                 idx += get_address(&cmdstr[++idx], &sed_cmd->end_line, &sed_cmd->end_match);
 383
 384         /* last part (mandatory) will be a command */
 385         if (cmdstr[idx] == '\0')
 386                 fatalError("missing command\n");
 387         if (!strchr("pdsaic", cmdstr[idx])) /* <-- XXX add new commands here */
 388                 fatalError("invalid command\n");
 389         sed_cmd->cmd = cmdstr[idx];
 390
 391         /* special-case handling for (s)ubstitution */
 392         if (sed_cmd->cmd == 's') {
 393                 idx += parse_subst_cmd(sed_cmd, &cmdstr[idx]);
 394         }
 395         /* special-case handling for (a)ppend, (i)nsert, and (c)hange */
 396         else if (strchr("aic", cmdstr[idx])) {
 397                 if (sed_cmd->end_line || sed_cmd->end_match)
 398                         fatalError("only a beginning address can be specified for edit commands\n");
 399                 idx += parse_edit_cmd(sed_cmd, &cmdstr[idx]);
 400         }
 401
 402         /* give back whatever's left over */
 403         return (char *)&cmdstr[++idx];
 404 }
 405
 406 static void add_cmd_str(const char *cmdstr)
 407 {
 408         char *mystr = (char *)cmdstr;
 409
 410         do {
 411
 412                 /* trim leading whitespace and semicolons */
 413                 memmove(mystr, &mystr[strspn(mystr, "; \n\r\t\v")], strlen(mystr));
 414                 /* if we ate the whole thing, that means there was just trailing
 415                  * whitespace or a final semicolon. either way, get out */
 416                 if (strlen(mystr) == 0)
 417                         return;
 418                 /* if this is a comment, jump past it and keep going */
 419                 if (mystr[0] == '#') {
 420                         mystr = strpbrk(mystr, ";\n\r");
 421                         continue;
 422                 }
 423                 /* grow the array */
 424                 sed_cmds = realloc(sed_cmds, sizeof(struct sed_cmd) * (++ncmds));
 425                 /* zero new element */
 426                 memset(&sed_cmds[ncmds-1], 0, sizeof(struct sed_cmd));
 427                 /* load command string into new array element, get remainder */
 428                 mystr = parse_cmd_str(&sed_cmds[ncmds-1], mystr);
 429
 430         } while (mystr);
 431 }
 432
 433
 434 static void load_cmd_file(char *filename)
 435 {
 436         FILE *cmdfile;
 437         char *line;
 438         char *nextline;
 439
 440         cmdfile = fopen(filename, "r");
 441         if (cmdfile == NULL)
 442                 fatalError(strerror(errno));
 443
 444         while ((line = get_line_from_file(cmdfile)) != NULL) {
 445                 /* if a line ends with '\' it needs the next line appended to it */
 446                 while (line[strlen(line)-2] == '\\' &&
 447                                 (nextline = get_line_from_file(cmdfile)) != NULL) {
 448                         line = realloc(line, strlen(line) + strlen(nextline) + 1);
 449                         strcat(line, nextline);
 450                 }
 451                 add_cmd_str(line);
 452                 free(line);
 453         }
 454 }
 455
 456 static int do_subst_command(const struct sed_cmd *sed_cmd, const char *line)
 457 {
 458         int altered = 0;
 459
 460         /* we only substitute if the substitution 'search' expression matches */
 461         if (regexec(sed_cmd->sub_match, line, 0, NULL, 0) == 0) {
 462                 regmatch_t regmatch;
 463                 int i;
 464                 char *ptr = (char *)line;
 465
 466                 while (*ptr) {
 467                         /* if we can match the search string... */
 468                         if (regexec(sed_cmd->sub_match, ptr, 1, &regmatch, 0) == 0) {
 469                                 /* print everything before the match, */
 470                                 for (i = 0; i < regmatch.rm_so; i++)
 471                                         fputc(ptr[i], stdout);
 472                                 /* then print the substitution in its place */
 473                                 fputs(sed_cmd->replace, stdout);
 474                                 /* then advance past the match */
 475                                 ptr += regmatch.rm_eo;
 476                                 /* and flag that something has changed */
 477                                 altered++;
 478
 479                                 /* if we're not doing this globally... */
 480                                 if (!sed_cmd->sub_g)
 481                                         break;
 482                         }
 483                         /* if we COULD NOT match the search string (meaning we've gone past
 484                          * all previous instances), get out */
 485                         else
 486                                 break;
 487                 }
 488
 489                 /* is there anything left to print? */
 490                 if (*ptr)
 491                         fputs(ptr, stdout);
 492         }
 493
 494         return altered;
 495 }
 496
 497 static int do_sed_command(const struct sed_cmd *sed_cmd, const char *line)
 498 {
 499         int altered = 0;
 500
 501         switch (sed_cmd->cmd) {
 502
 503                 case 'p':
 504                         fputs(line, stdout);
 505                         break;
 506
 507                 case 'd':
 508                         altered++;
 509                         break;
 510
 511                 case 's':
 512                         altered = do_subst_command(sed_cmd, line);
 513                         break;
 514
 515                 case 'a':
 516                         fputs(line, stdout);
 517                         fputs(sed_cmd->editline, stdout);
 518                         altered++;
 519                         break;
 520
 521                 case 'i':
 522                         fputs(sed_cmd->editline, stdout);
 523                         break;
 524
 525                 case 'c':
 526                         fputs(sed_cmd->editline, stdout);
 527                         altered++;
 528                         break;
 529         }
 530
 531         return altered;
 532 }
 533
 534 static void process_file(FILE *file)
 535 {
 536         char *line = NULL;
 537         static int linenum = 0; /* GNU sed does not restart counting lines at EOF */
 538         unsigned int still_in_range = 0;
 539         int line_altered;
 540         int i;
 541
 542         /* go through every line in the file */
 543         while ((line = get_line_from_file(file)) != NULL) {
 544
 545                 linenum++;
 546                 line_altered = 0;
 547
 548                 /* for every line, go through all the commands */
 549                 for (i = 0; i < ncmds; i++) {
 550
 551                         /* are we acting on a range of matched lines? */
 552                         if (sed_cmds[i].beg_match && sed_cmds[i].end_match) {
 553                                 if (still_in_range || regexec(sed_cmds[i].beg_match, line, 0, NULL, 0) == 0) {
 554                                         line_altered += do_sed_command(&sed_cmds[i], line);
 555                                         still_in_range = 1;
 556                                         if (regexec(sed_cmds[i].end_match, line, 0, NULL, 0) == 0)
 557                                                 still_in_range = 0;
 558                                 }
 559                         }
 560
 561                         /* are we trying to match a single line? */
 562                         else if (sed_cmds[i].beg_match) {
 563                                 if (regexec(sed_cmds[i].beg_match, line, 0, NULL, 0) == 0)
 564                                         line_altered += do_sed_command(&sed_cmds[i], line);
 565                         }
 566
 567                         /* are we acting on a range of line numbers? */
 568                         else if (sed_cmds[i].beg_line > 0 && sed_cmds[i].end_line > 0) {
 569                                 if (linenum >= sed_cmds[i].beg_line && linenum <= sed_cmds[i].end_line)
 570                                         line_altered += do_sed_command(&sed_cmds[i], line);
 571                         }
 572
 573                         /* are we acting on a specified line number */
 574                         else if (sed_cmds[i].beg_line > 0) {
 575                                 if (linenum == sed_cmds[i].beg_line)
 576                                         line_altered += do_sed_command(&sed_cmds[i], line);
 577                         }
 578
 579                         /* not acting on matches or line numbers. act on every line */
 580                         else
 581                                 line_altered += do_sed_command(&sed_cmds[i], line);
 582
 583                 }
 584
 585                 /* we will print the line unless we were told to be quiet or if the
 586                  * line was altered (via a 'd'elete or 's'ubstitution) */
 587                 if (!be_quiet && !line_altered)
 588                         fputs(line, stdout);
 589
 590                 free(line);
 591         }
 592 }
 593
 594 extern int sed_main(int argc, char **argv)
 595 {
 596         int opt;
 597
 598         /* do special-case option parsing */
 599         if (argv[1] && (strcmp(argv[1], "--help") == 0))
 600                 usage(sed_usage);
 601
 602 #if 0
 603         /* destroy command strings on exit */
 604         if (atexit(destroy_cmd_strs) == -1) {
 605                 perror("sed");
 606                 exit(1);
 607         }
 608 #endif
 609
 610         /* do normal option parsing */
 611         while ((opt = getopt(argc, argv, "Vhne:f:")) > 0) {
 612                 switch (opt) {
 613                         case 'V':
 614                                 printf("BusyBox v%s (%s)\n", BB_VER, BB_BT);
 615                                 exit(0);
 616                                 break;
 617                         case 'h':
 618                                 usage(sed_usage);
 619                                 break;
 620                         case 'n':
 621                                 be_quiet++;
 622                                 break;
 623                         case 'e':
 624                                 add_cmd_str(optarg);
 625                                 break;
 626                         case 'f':
 627                                 load_cmd_file(optarg);
 628                                 break;
 629                 }
 630         }
 631
 632         /* if we didn't get a pattern from a -e and no command file was specified,
 633          * argv[optind] should be the pattern. no pattern, no worky */
 634         if (ncmds == 0) {
 635                 if (argv[optind] == NULL)
 636                         usage(sed_usage);
 637                 else {
 638                         add_cmd_str(argv[optind]);
 639                         optind++;
 640                 }
 641         }
 642
 643
 644         /* argv[(optind)..(argc-1)] should be names of file to process. If no
 645          * files were specified or '-' was specified, take input from stdin.
 646          * Otherwise, we process all the files specified. */
 647         if (argv[optind] == NULL || (strcmp(argv[optind], "-") == 0)) {
 648                 process_file(stdin);
 649         }
 650         else {
 651                 int i;
 652                 FILE *file;
 653                 for (i = optind; i < argc; i++) {
 654                         file = fopen(argv[i], "r");
 655                         if (file == NULL) {
 656                                 errorMsg("%s: %s\n", argv[i], strerror(errno));
 657                         } else {
 658                                 process_file(file);
 659                                 fclose(file);
 660                         }
 661                 }
 662         }
 663
 664         return 0;
 665 }