src/proc-service.cc

   1 #include <cstring>
   2 #include <type_traits>
   3
   4 #include <sys/un.h>
   5 #include <sys/socket.h>
   6
   7 #include "dinit.h"
   8 #include "dinit-socket.h"
   9 #include "dinit-util.h"
  10 #include "dinit-log.h"
  11 #include "proc-service.h"
  12
  13 /*
  14  * Most of the implementation for process-based services (process, scripted, bgprocess) is here.
  15  *
  16  * See proc-service.h header for interface details.
  17  */
  18
  19 // Strings describing the execution stages (failure points).
  20 const char * const exec_stage_descriptions[static_cast<int>(exec_stage::DO_EXEC) + 1] = {
  21         "arranging file descriptors",   // ARRANGE_FDS
  22         "reading environment file",     // READ_ENV_FILE
  23         "setting environment variable", // SET_NOTIFYFD_VAR
  24         "setting up activation socket", // SETUP_ACTIVATION_SOCKET
  25         "setting up control socket",    // SETUP_CONTROL_SOCKET
  26         "changing directory",           // CHDIR
  27         "setting up standard input/output descriptors", // SETUP_STDINOUTERR
  28         "setting resource limits",      // SET_RLIMITS
  29         "setting user/group ID",        // SET_UIDGID
  30         "executing command"             // DO_EXEC
  31 };
  32
  33 // Given a string and a list of pairs of (start,end) indices for each argument in that string,
  34 // store a null terminator for the argument. Return a `char *` vector containing the beginning
  35 // of each argument and a trailing nullptr. (The returned array is invalidated if the string is
  36 // later modified).
  37 std::vector<const char *> separate_args(std::string &s,
  38         const std::list<std::pair<unsigned,unsigned>> &arg_indices)
  39 {
  40     std::vector<const char *> r;
  41     r.reserve(arg_indices.size() + 1);
  42
  43     // First store nul terminator for each part:
  44     for (auto index_pair : arg_indices) {
  45         if (index_pair.second < s.length()) {
  46             s[index_pair.second] = 0;
  47         }
  48     }
  49
  50     // Now we can get the C string (c_str) and store offsets into it:
  51     const char * cstr = s.c_str();
  52     for (auto index_pair : arg_indices) {
  53         r.push_back(cstr + index_pair.first);
  54     }
  55     r.push_back(nullptr);
  56     return r;
  57 }
  58
  59 void process_service::exec_succeeded() noexcept
  60 {
  61     // This could be a smooth recovery (state already STARTED). Even more, the process
  62     // might be stopped (and killed via a signal) during smooth recovery.  We don't to
  63     // process startup again in either case, so we check for state STARTING:
  64     if (get_state() == service_state_t::STARTING) {
  65         if (force_notification_fd != -1 || !notification_var.empty()) {
  66             // Wait for readiness notification:
  67             readiness_watcher.set_enabled(event_loop, true);
  68         }
  69         else {
  70             started();
  71         }
  72     }
  73     else if (get_state() == service_state_t::STOPPING) {
  74         // stopping, but smooth recovery was in process. That's now over so we can
  75         // commence normal stop. Note that if pid == -1 the process already stopped(!),
  76         // that's handled below.
  77         if (pid != -1 && stop_check_dependents()) {
  78             bring_down();
  79         }
  80     }
  81 }
  82
  83 void scripted_service::exec_succeeded() noexcept
  84 {
  85         // For a scripted service, this means nothing other than that the start/stop
  86         // script will now begin.
  87 }
  88
  89 rearm exec_status_pipe_watcher::fd_event(eventloop_t &loop, int fd, int flags) noexcept
  90 {
  91     base_process_service *sr = service;
  92     sr->waiting_for_execstat = false;
  93
  94     run_proc_err exec_status;
  95     int r = read(get_watched_fd(), &exec_status, sizeof(exec_status));
  96     deregister(loop);
  97     close(get_watched_fd());
  98
  99     if (r > 0) {
 100         // We read an errno code; exec() failed, and the service startup failed.
 101         if (sr->pid != -1) {
 102             sr->child_listener.deregister(event_loop, sr->pid);
 103             sr->reserved_child_watch = false;
 104             if (sr->stop_timer_armed) {
 105                 sr->restart_timer.stop_timer(loop);
 106                 sr->stop_timer_armed = false;
 107             }
 108         }
 109         sr->pid = -1;
 110         sr->exec_failed(exec_status);
 111     }
 112     else {
 113         sr->exec_succeeded();
 114
 115         if (sr->pid == -1) {
 116             // Somehow the process managed to complete before we even saw the exec() status.
 117             sr->handle_exit_status(sr->exit_status);
 118         }
 119     }
 120
 121     sr->services->process_queues();
 122
 123     return rearm::REMOVED;
 124 }
 125
 126 rearm ready_notify_watcher::fd_event(eventloop_t &, int fd, int flags) noexcept
 127 {
 128     char buf[128];
 129     if (service->get_state() == service_state_t::STARTING) {
 130         // can we actually read anything from the notification pipe?
 131         int r = bp_sys::read(fd, buf, sizeof(buf));
 132         if (r > 0) {
 133             service->started();
 134         }
 135         else if (r == 0 || errno != EAGAIN) {
 136             service->failed_to_start(false, false);
 137             service->set_state(service_state_t::STOPPING);
 138             service->bring_down();
 139         }
 140     }
 141     else {
 142         // Just keep consuming data from the pipe:
 143         int r = bp_sys::read(fd, buf, sizeof(buf));
 144         if (r == 0) {
 145             // Process closed write end or terminated
 146             close(fd);
 147             service->notification_fd = -1;
 148             return rearm::DISARM;
 149         }
 150     }
 151
 152     service->services->process_queues();
 153     return rearm::REARM;
 154 }
 155
 156 dasynq::rearm service_child_watcher::status_change(eventloop_t &loop, pid_t child, int status) noexcept
 157 {
 158     base_process_service *sr = service;
 159
 160     sr->pid = -1;
 161     sr->exit_status = bp_sys::exit_status(status);
 162
 163     // Ok, for a process service, any process death which we didn't rig ourselves is a bit... unexpected.
 164     // Probably, the child died because we asked it to (sr->service_state == STOPPING). But even if we
 165     // didn't, there's not much we can do.
 166
 167     if (sr->waiting_for_execstat) {
 168         // We still don't have an exec() status from the forked child, wait for that
 169         // before doing any further processing.
 170         return dasynq::rearm::NOOP; // hold watch reservation
 171     }
 172
 173     // Must stop watch now since handle_exit_status might result in re-launch:
 174     // (stop_watch instead of deregister, so that we hold watch reservation).
 175     stop_watch(loop);
 176
 177     if (sr->stop_timer_armed) {
 178         sr->restart_timer.stop_timer(loop);
 179         sr->stop_timer_armed = false;
 180     }
 181
 182     sr->handle_exit_status(bp_sys::exit_status(status));
 183     return dasynq::rearm::NOOP;
 184 }
 185
 186 void process_service::handle_exit_status(bp_sys::exit_status exit_status) noexcept
 187 {
 188     bool did_exit = exit_status.did_exit();
 189     bool was_signalled = exit_status.was_signalled();
 190     auto service_state = get_state();
 191
 192     if (notification_fd != -1) {
 193         readiness_watcher.deregister(event_loop);
 194         bp_sys::close(notification_fd);
 195         notification_fd = -1;
 196     }
 197
 198     if (!exit_status.did_exit_clean() && service_state != service_state_t::STOPPING) {
 199         if (did_exit) {
 200             log(loglevel_t::ERROR, "Service ", get_name(), " process terminated with exit code ",
 201                     exit_status.get_exit_status());
 202         }
 203         else if (was_signalled) {
 204             log(loglevel_t::ERROR, "Service ", get_name(), " terminated due to signal ",
 205                     exit_status.get_term_sig());
 206         }
 207     }
 208
 209 #if USE_UTMPX
 210     if (*inittab_id || *inittab_line) {
 211         clear_utmp_entry(inittab_id, inittab_line);
 212     }
 213 #endif
 214
 215     if (service_state == service_state_t::STARTING) {
 216         // If state is STARTING, we must be waiting for readiness notification; the process has
 217         // terminated before becoming ready.
 218         stop_reason = stopped_reason_t::FAILED;
 219         failed_to_start();
 220     }
 221     else if (service_state == service_state_t::STOPPING) {
 222         // We won't log a non-zero exit status or termination due to signal here -
 223         // we assume that the process died because we signalled it.
 224         if (stop_timer_armed) {
 225             restart_timer.stop_timer(event_loop);
 226         }
 227         stopped();
 228     }
 229     else if (smooth_recovery && service_state == service_state_t::STARTED
 230             && get_target_state() == service_state_t::STARTED) {
 231         do_smooth_recovery();
 232         return;
 233     }
 234     else {
 235         stop_reason = stopped_reason_t::TERMINATED;
 236         emergency_stop();
 237     }
 238     services->process_queues();
 239 }
 240
 241 void process_service::exec_failed(run_proc_err errcode) noexcept
 242 {
 243     log(loglevel_t::ERROR, get_name(), ": execution failed - ",
 244             exec_stage_descriptions[static_cast<int>(errcode.stage)], strerror(errcode.st_errno));
 245
 246     if (notification_fd != -1) {
 247         readiness_watcher.deregister(event_loop);
 248         bp_sys::close(notification_fd);
 249         notification_fd = -1;
 250     }
 251
 252     if (get_state() == service_state_t::STARTING) {
 253         stop_reason = stopped_reason_t::EXECFAILED;
 254         failed_to_start();
 255     }
 256     else {
 257         // Process service in smooth recovery:
 258         stop_reason = stopped_reason_t::TERMINATED;
 259         emergency_stop();
 260     }
 261 }
 262
 263 void bgproc_service::handle_exit_status(bp_sys::exit_status exit_status) noexcept
 264 {
 265     begin:
 266     bool did_exit = exit_status.did_exit();
 267     bool was_signalled = exit_status.was_signalled();
 268     auto service_state = get_state();
 269
 270     if (!exit_status.did_exit_clean() && service_state != service_state_t::STOPPING) {
 271         if (did_exit) {
 272             log(loglevel_t::ERROR, "Service ", get_name(), " process terminated with exit code ",
 273                     exit_status.get_exit_status());
 274         }
 275         else if (was_signalled) {
 276             log(loglevel_t::ERROR, "Service ", get_name(), " terminated due to signal ",
 277                     exit_status.get_term_sig());
 278         }
 279     }
 280
 281     // This may be a "smooth recovery" where we are restarting the process while leaving the
 282     // service in the STARTED state.
 283     if (restarting && service_state == service_state_t::STARTED) {
 284         //restarting = false;
 285         bool need_stop = false;
 286         if ((did_exit && exit_status.get_exit_status() != 0) || was_signalled) {
 287             need_stop = true;
 288         }
 289         else {
 290             // We need to re-read the PID, since it has now changed.
 291             if (pid_file.length() != 0) {
 292                 auto pid_result = read_pid_file(&exit_status);
 293                 switch (pid_result) {
 294                     case pid_result_t::FAILED:
 295                         // Failed startup: no auto-restart.
 296                         need_stop = true;
 297                         break;
 298                     case pid_result_t::TERMINATED:
 299                         goto begin;
 300                     case pid_result_t::OK:
 301                         break;
 302                 }
 303             }
 304         }
 305
 306         if (need_stop) {
 307             // Failed startup: no auto-restart.
 308             stop_reason = stopped_reason_t::TERMINATED;
 309             emergency_stop();
 310             services->process_queues();
 311         }
 312
 313         return;
 314     }
 315
 316     //restarting = false;
 317     if (service_state == service_state_t::STARTING) {
 318         // POSIX requires that if the process exited clearly with a status code of 0,
 319         // the exit status value will be 0:
 320         if (exit_status.did_exit_clean()) {
 321             auto pid_result = read_pid_file(&exit_status);
 322             switch (pid_result) {
 323                 case pid_result_t::FAILED:
 324                     // Failed startup: no auto-restart.
 325                     stop_reason = stopped_reason_t::FAILED;
 326                     failed_to_start();
 327                     break;
 328                 case pid_result_t::TERMINATED:
 329                     // started, but immediately terminated
 330                     started();
 331                     goto begin;
 332                 case pid_result_t::OK:
 333                     started();
 334                     break;
 335             }
 336         }
 337         else {
 338             stop_reason = stopped_reason_t::FAILED;
 339             failed_to_start();
 340         }
 341     }
 342     else if (service_state == service_state_t::STOPPING) {
 343         // We won't log a non-zero exit status or termination due to signal here -
 344         // we assume that the process died because we signalled it.
 345         stopped();
 346     }
 347     else {
 348         // we must be STARTED
 349         if (smooth_recovery && get_target_state() == service_state_t::STARTED) {
 350             do_smooth_recovery();
 351             return;
 352         }
 353         stop_reason = stopped_reason_t::TERMINATED;
 354         forced_stop();
 355         stop_dependents();
 356         stopped();
 357     }
 358     services->process_queues();
 359 }
 360
 361 void bgproc_service::exec_failed(run_proc_err errcode) noexcept
 362 {
 363     log(loglevel_t::ERROR, get_name(), ": execution failed - ",
 364             exec_stage_descriptions[static_cast<int>(errcode.stage)], strerror(errcode.st_errno));
 365
 366     // Only time we execute is for startup:
 367     stop_reason = stopped_reason_t::EXECFAILED;
 368     failed_to_start();
 369 }
 370
 371 void scripted_service::handle_exit_status(bp_sys::exit_status exit_status) noexcept
 372 {
 373     bool did_exit = exit_status.did_exit();
 374     bool was_signalled = exit_status.was_signalled();
 375     auto service_state = get_state();
 376
 377     // For a scripted service, a termination occurs in one of three main cases:
 378     // - the start script completed (or failed), when service was STARTING
 379     // - the start script was interrupted to cancel startup; state is STOPPING
 380     // - the stop script complete (or failed), state is STOPPING
 381
 382     if (service_state == service_state_t::STOPPING) {
 383         // We might be running the stop script, or we might be running the start script and have issued
 384         // a cancel order via SIGINT:
 385         if (interrupting_start) {
 386             if (stop_timer_armed) {
 387                 restart_timer.stop_timer(event_loop);
 388                 stop_timer_armed = false;
 389             }
 390             // We issued a start interrupt, so we expected this failure:
 391             if (did_exit && exit_status.get_exit_status() != 0) {
 392                 log(loglevel_t::INFO, "Service ", get_name(), " start cancelled; exit code ",
 393                         exit_status.get_exit_status());
 394                 // Assume that a command terminating normally (with failure status) requires no cleanup:
 395                 stopped();
 396             }
 397             else {
 398                 if (was_signalled) {
 399                     log(loglevel_t::INFO, "Service ", get_name(), " start cancelled from signal ",
 400                             exit_status.get_term_sig());
 401                 }
 402                 // If the start script completed successfully, or was interrupted via our signal,
 403                 // we want to run the stop script to clean up:
 404                 bring_down();
 405             }
 406             interrupting_start = false;
 407         }
 408         else if (exit_status.did_exit_clean()) {
 409             // We were running the stop script and finished successfully
 410             stopped();
 411         }
 412         else {
 413             // ??? failed to stop! Let's log it as warning:
 414             if (did_exit) {
 415                 log(loglevel_t::WARN, "Service ", get_name(), " stop command failed with exit code ",
 416                         exit_status.get_exit_status());
 417             }
 418             else if (was_signalled) {
 419                 log(loglevel_t::WARN, "Service ", get_name(), " stop command terminated due to signal ",
 420                         exit_status.get_term_sig());
 421             }
 422             // Even if the stop script failed, assume that service is now stopped, so that any dependencies
 423             // can be stopped. There's not really any other useful course of action here.
 424             stopped();
 425         }
 426         services->process_queues();
 427     }
 428     else { // STARTING
 429         if (exit_status.did_exit_clean()) {
 430             started();
 431         }
 432         else if (was_signalled && exit_status.get_term_sig() == SIGINT && onstart_flags.skippable) {
 433             // A skippable service can be skipped by interrupting (eg by ^C if the service
 434             // starts on the console).
 435             start_skipped = true;
 436             started();
 437         }
 438         else {
 439             // failed to start
 440             if (did_exit) {
 441                 log(loglevel_t::ERROR, "Service ", get_name(), " command failed with exit code ",
 442                         exit_status.get_exit_status());
 443             }
 444             else if (was_signalled) {
 445                 log(loglevel_t::ERROR, "Service ", get_name(), " command terminated due to signal ",
 446                         exit_status.get_term_sig());
 447             }
 448             stop_reason = stopped_reason_t::FAILED;
 449             failed_to_start();
 450         }
 451         services->process_queues();
 452     }
 453 }
 454
 455 void scripted_service::exec_failed(run_proc_err errcode) noexcept
 456 {
 457     log(loglevel_t::ERROR, get_name(), ": execution failed - ",
 458             exec_stage_descriptions[static_cast<int>(errcode.stage)], strerror(errcode.st_errno));
 459     auto service_state = get_state();
 460     if (service_state == service_state_t::STARTING) {
 461         stop_reason = stopped_reason_t::EXECFAILED;
 462         failed_to_start();
 463     }
 464     else if (service_state == service_state_t::STOPPING) {
 465         // We've logged the failure, but it's probably better not to leave the service in
 466         // STOPPING state:
 467         stopped();
 468     }
 469 }
 470
 471 // Return a value as an unsigned-type value.
 472 template <typename T> typename std::make_unsigned<T>::type make_unsigned_val(T val)
 473 {
 474     return static_cast<typename std::make_unsigned<T>::type>(val);
 475 }
 476
 477 bgproc_service::pid_result_t
 478 bgproc_service::read_pid_file(bp_sys::exit_status *exit_status) noexcept
 479 {
 480     const char *pid_file_c = pid_file.c_str();
 481     int fd = open(pid_file_c, O_CLOEXEC);
 482     if (fd == -1) {
 483         log(loglevel_t::ERROR, get_name(), ": read pid file: ", strerror(errno));
 484         return pid_result_t::FAILED;
 485     }
 486
 487     char pidbuf[21]; // just enough to hold any 64-bit integer
 488     int r = complete_read(fd, pidbuf, 20);
 489     if (r < 0) {
 490         // Could not read from PID file
 491         log(loglevel_t::ERROR, get_name(), ": could not read from pidfile; ", strerror(errno));
 492         close(fd);
 493         return pid_result_t::FAILED;
 494     }
 495
 496     close(fd);
 497     pidbuf[r] = 0; // store nul terminator
 498
 499     bool valid_pid = false;
 500     try {
 501         unsigned long long v = std::stoull(pidbuf, nullptr, 0);
 502         if (v <= make_unsigned_val(std::numeric_limits<pid_t>::max())) {
 503             pid = (pid_t) v;
 504             valid_pid = true;
 505         }
 506     }
 507     catch (std::out_of_range &exc) {
 508         // Too large?
 509     }
 510     catch (std::invalid_argument &exc) {
 511         // Ok, so it doesn't look like a number: proceed...
 512     }
 513
 514     if (valid_pid) {
 515         pid_t wait_r = waitpid(pid, exit_status, WNOHANG);
 516         if (wait_r == -1 && errno == ECHILD) {
 517             // We can't track this child - check process exists:
 518             if (kill(pid, 0) == 0 || errno != ESRCH) {
 519                 tracking_child = false;
 520                 return pid_result_t::OK;
 521             }
 522             else {
 523                 log(loglevel_t::ERROR, get_name(), ": pid read from pidfile (", pid, ") is not valid");
 524                 pid = -1;
 525                 return pid_result_t::FAILED;
 526             }
 527         }
 528         else if (wait_r == pid) {
 529             pid = -1;
 530             return pid_result_t::TERMINATED;
 531         }
 532         else if (wait_r == 0) {
 533             // We can track the child
 534             child_listener.add_reserved(event_loop, pid, dasynq::DEFAULT_PRIORITY - 10);
 535             tracking_child = true;
 536             reserved_child_watch = true;
 537             return pid_result_t::OK;
 538         }
 539     }
 540
 541     log(loglevel_t::ERROR, get_name(), ": pid read from pidfile (", pid, ") is not valid");
 542     pid = -1;
 543     return pid_result_t::FAILED;
 544 }
 545
 546 void process_service::bring_down() noexcept
 547 {
 548     if (waiting_for_execstat) {
 549         // The process is still starting. This should be uncommon, but can occur during
 550         // smooth recovery. We can't do much now; we have to wait until we get the
 551         // status, and then act appropriately.
 552         return;
 553     }
 554     else if (pid != -1) {
 555         // The process is still kicking on - must actually kill it. We signal the process
 556         // group (-pid) rather than just the process as there's less risk then of creating
 557         // an orphaned process group:
 558         if (! onstart_flags.no_sigterm) {
 559             kill_pg(SIGTERM);
 560         }
 561         if (term_signal != -1) {
 562             kill_pg(term_signal);
 563         }
 564
 565         // If there's a stop timeout, arm the timer now:
 566         if (stop_timeout != time_val(0,0)) {
 567             restart_timer.arm_timer_rel(event_loop, stop_timeout);
 568             stop_timer_armed = true;
 569         }
 570
 571         // The rest is done in handle_exit_status.
 572     }
 573     else {
 574         // The process is already dead.
 575         stopped();
 576     }
 577 }
 578
 579 void bgproc_service::bring_down() noexcept
 580 {
 581     if (pid != -1) {
 582         // The process is still kicking on - must actually kill it. We signal the process
 583         // group (-pid) rather than just the process as there's less risk then of creating
 584         // an orphaned process group:
 585         if (! onstart_flags.no_sigterm) {
 586             kill_pg(SIGTERM);
 587         }
 588         if (term_signal != -1) {
 589             kill_pg(term_signal);
 590         }
 591
 592         // In most cases, the rest is done in handle_exit_status.
 593         // If we are a BGPROCESS and the process is not our immediate child, however, that
 594         // won't work - check for this now:
 595         if (! tracking_child) {
 596             stopped();
 597         }
 598         else if (stop_timeout != time_val(0,0)) {
 599             restart_timer.arm_timer_rel(event_loop, stop_timeout);
 600             stop_timer_armed = true;
 601         }
 602     }
 603     else {
 604         // The process is already dead.
 605         stopped();
 606     }
 607 }
 608
 609 void scripted_service::bring_down() noexcept
 610 {
 611         if (pid != -1) {
 612                 // We're already running the stop script; nothing to do.
 613                 return;
 614         }
 615
 616     if (stop_command.length() == 0) {
 617         stopped();
 618     }
 619     else if (! start_ps_process(stop_arg_parts, false)) {
 620         // Couldn't execute stop script, but there's not much we can do:
 621         stopped();
 622     }
 623     else {
 624         // successfully started stop script: start kill timer:
 625         if (stop_timeout != time_val(0,0)) {
 626             restart_timer.arm_timer_rel(event_loop, stop_timeout);
 627             stop_timer_armed = true;
 628         }
 629     }
 630 }
 631
 632 dasynq::rearm process_restart_timer::timer_expiry(eventloop_t &, int expiry_count)
 633 {
 634     service->timer_expired();
 635
 636     // Leave the timer disabled, or, if it has been reset by any processing above, leave it armed:
 637     return dasynq::rearm::NOOP;
 638 }