src/testbed/gnunet-helper-testbed.c

   1 /*
   2       This file is part of GNUnet
   3       Copyright (C) 2008--2013, 2016 GNUnet e.V.
   4
   5       GNUnet is free software; you can redistribute it and/or modify
   6       it under the terms of the GNU General Public License as published
   7       by the Free Software Foundation; either version 3, or (at your
   8       option) any later version.
   9
  10       GNUnet is distributed in the hope that it will be useful, but
  11       WITHOUT ANY WARRANTY; without even the implied warranty of
  12       MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13       General Public License for more details.
  14
  15       You should have received a copy of the GNU General Public License
  16       along with GNUnet; see the file COPYING.  If not, write to the
  17       Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
  18       Boston, MA 02110-1301, USA.
  19  */
  20
  21 /**
  22  * @file testbed/gnunet-helper-testbed.c
  23  * @brief Helper binary that is started from a remote controller to start
  24  *          gnunet-service-testbed. This binary also receives configuration
  25  *          from the remove controller which is put in a temporary location
  26  *          with ports and paths fixed so that gnunet-service-testbed runs
  27  *          without any hurdles.
  28  *
  29  *          This helper monitors for three termination events.  They are: (1)The
  30  *          stdin of the helper is closed for reading; (2)the helper received
  31  *          SIGTERM/SIGINT; (3)the testbed crashed.  In case of events 1 and 2
  32  *          the helper kills the testbed service.  When testbed crashed (event
  33  *          3), the helper should send a SIGTERM to its own process group; this
  34  *          behaviour will help terminate any child processes (peers) testbed
  35  *          has started and prevents them from leaking and running forever.
  36  *
  37  * @author Sree Harsha Totakura <sreeharsha@totakura.in>
  38  */
  39
  40
  41 #include "platform.h"
  42 #include "gnunet_util_lib.h"
  43 #include "gnunet_testing_lib.h"
  44 #include "gnunet_testbed_service.h"
  45 #include "testbed_helper.h"
  46 #include "testbed_api.h"
  47 #include <zlib.h>
  48
  49 /**
  50  * Generic logging shortcut
  51  */
  52 #define LOG(kind, ...)                                   \
  53   GNUNET_log (kind, __VA_ARGS__)
  54
  55 /**
  56  * Debug logging shorthand
  57  */
  58 #define LOG_DEBUG(...)                          \
  59   LOG (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
  60
  61
  62 /**
  63  * We need pipe control only on WINDOWS
  64  */
  65 #if WINDOWS
  66 #define PIPE_CONTROL GNUNET_YES
  67 #else
  68 #define PIPE_CONTROL GNUNET_NO
  69 #endif
  70
  71
  72 /**
  73  * Context for a single write on a chunk of memory
  74  */
  75 struct WriteContext
  76 {
  77   /**
  78    * The data to write
  79    */
  80   void *data;
  81
  82   /**
  83    * The length of the data
  84    */
  85   size_t length;
  86
  87   /**
  88    * The current position from where the write operation should begin
  89    */
  90   size_t pos;
  91 };
  92
  93
  94 /**
  95  * Handle to the testing system
  96  */
  97 static struct GNUNET_TESTING_System *test_system;
  98
  99 /**
 100  * Our message stream tokenizer
 101  */
 102 struct GNUNET_MessageStreamTokenizer *tokenizer;
 103
 104 /**
 105  * Disk handle from stdin
 106  */
 107 static struct GNUNET_DISK_FileHandle *stdin_fd;
 108
 109 /**
 110  * Disk handle for stdout
 111  */
 112 static struct GNUNET_DISK_FileHandle *stdout_fd;
 113
 114 /**
 115  * The process handle to the testbed service
 116  */
 117 static struct GNUNET_OS_Process *testbed;
 118
 119 /**
 120  * Pipe used to communicate shutdown via signal.
 121  */
 122 static struct GNUNET_DISK_PipeHandle *sigpipe;
 123
 124 /**
 125  * Task identifier for the read task
 126  */
 127 static struct GNUNET_SCHEDULER_Task *read_task_id;
 128
 129 /**
 130  * Task identifier for the write task
 131  */
 132 static struct GNUNET_SCHEDULER_Task *write_task_id;
 133
 134 /**
 135  * Task to kill the child
 136  */
 137 static struct GNUNET_SCHEDULER_Task *child_death_task_id;
 138
 139 /**
 140  * Are we done reading messages from stdin?
 141  */
 142 static int done_reading;
 143
 144 /**
 145  * Result to return in case we fail
 146  */
 147 static int status;
 148
 149
 150 /**
 151  * Task to shut down cleanly
 152  *
 153  * @param cls NULL
 154  */
 155 static void
 156 shutdown_task (void *cls)
 157 {
 158   LOG_DEBUG ("Shutting down\n");
 159   if (NULL != testbed)
 160   {
 161     LOG_DEBUG ("Killing testbed\n");
 162     GNUNET_break (0 == GNUNET_OS_process_kill (testbed, GNUNET_TERM_SIG));
 163   }
 164   if (NULL != read_task_id)
 165   {
 166     GNUNET_SCHEDULER_cancel (read_task_id);
 167     read_task_id = NULL;
 168   }
 169   if (NULL != write_task_id)
 170   {
 171     struct WriteContext *wc;
 172
 173     wc = GNUNET_SCHEDULER_cancel (write_task_id);
 174     write_task_id = NULL;
 175     GNUNET_free (wc->data);
 176     GNUNET_free (wc);
 177   }
 178   if (NULL != child_death_task_id)
 179   {
 180     GNUNET_SCHEDULER_cancel (child_death_task_id);
 181     child_death_task_id = NULL;
 182   }
 183   if (NULL != stdin_fd)
 184     (void) GNUNET_DISK_file_close (stdin_fd);
 185   if (NULL != stdout_fd)
 186     (void) GNUNET_DISK_file_close (stdout_fd);
 187   GNUNET_MST_destroy (tokenizer);
 188   tokenizer = NULL;
 189   if (NULL != testbed)
 190   {
 191     GNUNET_break (GNUNET_OK == GNUNET_OS_process_wait (testbed));
 192     GNUNET_OS_process_destroy (testbed);
 193     testbed = NULL;
 194   }
 195   if (NULL != test_system)
 196   {
 197     GNUNET_TESTING_system_destroy (test_system, GNUNET_YES);
 198     test_system = NULL;
 199   }
 200 }
 201
 202
 203 /**
 204  * Task to write to the standard out
 205  *
 206  * @param cls the WriteContext
 207  */
 208 static void
 209 write_task (void *cls)
 210 {
 211   struct WriteContext *wc = cls;
 212   ssize_t bytes_wrote;
 213
 214   GNUNET_assert (NULL != wc);
 215   write_task_id = NULL;
 216   bytes_wrote =
 217       GNUNET_DISK_file_write (stdout_fd, wc->data + wc->pos,
 218                               wc->length - wc->pos);
 219   if (GNUNET_SYSERR == bytes_wrote)
 220   {
 221     LOG (GNUNET_ERROR_TYPE_WARNING,
 222          "Cannot reply back configuration\n");
 223     GNUNET_free (wc->data);
 224     GNUNET_free (wc);
 225     return;
 226   }
 227   wc->pos += bytes_wrote;
 228   if (wc->pos == wc->length)
 229   {
 230     GNUNET_free (wc->data);
 231     GNUNET_free (wc);
 232     return;
 233   }
 234   write_task_id =
 235       GNUNET_SCHEDULER_add_write_file (GNUNET_TIME_UNIT_FOREVER_REL,
 236                                        stdout_fd,
 237                                        &write_task, wc);
 238 }
 239
 240
 241 /**
 242  * Task triggered whenever we receive a SIGCHLD (child
 243  * process died).
 244  *
 245  * @param cls closure, NULL if we need to self-restart
 246  */
 247 static void
 248 child_death_task (void *cls)
 249 {
 250   const struct GNUNET_DISK_FileHandle *pr;
 251   char c[16];
 252   enum GNUNET_OS_ProcessStatusType type;
 253   unsigned long code;
 254   int ret;
 255
 256   pr = GNUNET_DISK_pipe_handle (sigpipe, GNUNET_DISK_PIPE_END_READ);
 257   child_death_task_id = NULL;
 258   /* consume the signal */
 259   GNUNET_break (0 < GNUNET_DISK_file_read (pr, &c, sizeof (c)));
 260   LOG_DEBUG ("Got SIGCHLD\n");
 261   if (NULL == testbed)
 262   {
 263     GNUNET_break (0);
 264     return;
 265   }
 266   GNUNET_break (GNUNET_SYSERR !=
 267                 (ret = GNUNET_OS_process_status (testbed, &type, &code)));
 268   if (GNUNET_NO != ret)
 269   {
 270     GNUNET_OS_process_destroy (testbed);
 271     testbed = NULL;
 272     /* Send SIGTERM to our process group */
 273     if (0 != PLIBC_KILL (0, GNUNET_TERM_SIG))
 274     {
 275       GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR, "signal");
 276       GNUNET_SCHEDULER_shutdown ();   /* Couldn't send the signal, we shutdown frowning */
 277     }
 278     return;
 279   }
 280   LOG_DEBUG ("Child hasn't died.  Resuming to monitor its status\n");
 281   child_death_task_id =
 282       GNUNET_SCHEDULER_add_read_file (GNUNET_TIME_UNIT_FOREVER_REL,
 283                                       pr, &child_death_task, NULL);
 284 }
 285
 286
 287 /**
 288  * Functions with this signature are called whenever a
 289  * complete message is received by the tokenizer.
 290  *
 291  * Do not call #GNUNET_mst_destroy() in this callback
 292  *
 293  * @param cls identification of the client
 294  * @param message the actual message
 295  * @return #GNUNET_OK on success,
 296  *    #GNUNET_NO to stop further processing (no error)
 297  *    #GNUNET_SYSERR to stop further processing with error
 298  */
 299 static int
 300 tokenizer_cb (void *cls,
 301               const struct GNUNET_MessageHeader *message)
 302 {
 303   const struct GNUNET_TESTBED_HelperInit *msg;
 304   struct GNUNET_TESTBED_HelperReply *reply;
 305   struct GNUNET_CONFIGURATION_Handle *cfg;
 306   struct WriteContext *wc;
 307   char *binary;
 308   char *trusted_ip;
 309   char *hostname;
 310   char *config;
 311   char *xconfig;
 312   char *evstr;
 313   //char *str;
 314   size_t config_size;
 315   uLongf ul_config_size;
 316   size_t xconfig_size;
 317   uint16_t trusted_ip_size;
 318   uint16_t hostname_size;
 319   uint16_t msize;
 320
 321   msize = ntohs (message->size);
 322   if ((sizeof (struct GNUNET_TESTBED_HelperInit) >= msize) ||
 323       (GNUNET_MESSAGE_TYPE_TESTBED_HELPER_INIT != ntohs (message->type)))
 324   {
 325     LOG (GNUNET_ERROR_TYPE_WARNING,
 326          "Received unexpected message -- exiting\n");
 327     goto error;
 328   }
 329   msg = (const struct GNUNET_TESTBED_HelperInit *) message;
 330   trusted_ip_size = ntohs (msg->trusted_ip_size);
 331   trusted_ip = (char *) &msg[1];
 332   if ('\0' != trusted_ip[trusted_ip_size])
 333   {
 334     LOG (GNUNET_ERROR_TYPE_WARNING, "Trusted IP cannot be empty -- exiting\n");
 335     goto error;
 336   }
 337   hostname_size = ntohs (msg->hostname_size);
 338   if ((sizeof (struct GNUNET_TESTBED_HelperInit) + trusted_ip_size + 1 +
 339        hostname_size) >= msize)
 340   {
 341     GNUNET_break (0);
 342     LOG (GNUNET_ERROR_TYPE_WARNING, "Received unexpected message -- exiting\n");
 343     goto error;
 344   }
 345   ul_config_size = (uLongf) ntohs (msg->config_size);
 346   config = GNUNET_malloc (ul_config_size);
 347   xconfig_size =
 348       ntohs (message->size) - (trusted_ip_size + 1 +
 349                                sizeof (struct GNUNET_TESTBED_HelperInit));
 350   if (Z_OK !=
 351       uncompress ((Bytef *) config, &ul_config_size,
 352                   (const Bytef *) (trusted_ip + trusted_ip_size + 1 +
 353                                    hostname_size), (uLongf) xconfig_size))
 354   {
 355     LOG (GNUNET_ERROR_TYPE_WARNING,
 356          "Error while uncompressing config -- exiting\n");
 357     GNUNET_free (config);
 358     goto error;
 359   }
 360   cfg = GNUNET_CONFIGURATION_create ();
 361   if (GNUNET_OK !=
 362       GNUNET_CONFIGURATION_deserialize (cfg,
 363                                         config,
 364                                         ul_config_size,
 365                                         NULL))
 366   {
 367     LOG (GNUNET_ERROR_TYPE_WARNING,
 368          "Unable to deserialize config -- exiting\n");
 369     GNUNET_free (config);
 370     goto error;
 371   }
 372   GNUNET_free (config);
 373   hostname = NULL;
 374   if (0 != hostname_size)
 375   {
 376     hostname = GNUNET_malloc (hostname_size + 1);
 377     (void) strncpy (hostname, ((char *) &msg[1]) + trusted_ip_size + 1,
 378                     hostname_size);
 379     hostname[hostname_size] = '\0';
 380   }
 381   /* unset GNUNET_TESTING_PREFIX if present as it is more relevant for testbed */
 382   evstr = getenv (GNUNET_TESTING_PREFIX);
 383   if (NULL != evstr)
 384   {
 385     /* unsetting the variable will invalidate the pointer! */
 386     evstr = GNUNET_strdup (evstr);
 387 #ifdef WINDOWS
 388     GNUNET_break (0 != SetEnvironmentVariable (GNUNET_TESTING_PREFIX, NULL));
 389 #else
 390     GNUNET_break (0 == unsetenv (GNUNET_TESTING_PREFIX));
 391 #endif
 392   }
 393   test_system =
 394       GNUNET_TESTING_system_create ("testbed-helper", trusted_ip, hostname,
 395                                     NULL);
 396   if (NULL != evstr)
 397   {
 398 #ifdef WINDOWS
 399     GNUNET_assert (0 != SetEnvironmentVariable (GNUNET_TESTING_PREFIX,
 400                                                 evstr));
 401 #else
 402     char *evar;
 403
 404     GNUNET_asprintf (&evar,
 405                      GNUNET_TESTING_PREFIX "=%s",
 406                      evstr);
 407     GNUNET_assert (0 == putenv (evar)); /* consumes 'evar',
 408                                            see putenv(): becomes part of envrionment! */
 409 #endif
 410     GNUNET_free (evstr);
 411     evstr = NULL;
 412   }
 413   GNUNET_free_non_null (hostname);
 414   hostname = NULL;
 415   GNUNET_assert (NULL != test_system);
 416   GNUNET_assert (GNUNET_OK ==
 417                  GNUNET_TESTING_configuration_create (test_system, cfg));
 418   GNUNET_assert (GNUNET_OK ==
 419                  GNUNET_CONFIGURATION_get_value_filename (cfg, "PATHS",
 420                                                         "DEFAULTCONFIG",
 421                                                         &config));
 422   if (GNUNET_OK != GNUNET_CONFIGURATION_write (cfg, config))
 423   {
 424     LOG (GNUNET_ERROR_TYPE_WARNING,
 425          "Unable to write config file: %s -- exiting\n", config);
 426     GNUNET_CONFIGURATION_destroy (cfg);
 427     GNUNET_free (config);
 428     goto error;
 429   }
 430   LOG_DEBUG ("Staring testbed with config: %s\n", config);
 431   binary = GNUNET_OS_get_libexec_binary_path ("gnunet-service-testbed");
 432   {
 433     char *evar;
 434
 435     /* expose testbed configuration through env variable */
 436     GNUNET_asprintf (&evar,
 437                      "%s=%s",
 438                      ENV_TESTBED_CONFIG,
 439                      config);
 440     GNUNET_assert (0 == putenv (evar));  /* consumes 'evar',
 441                                             see putenv(): becomes part of envrionment! */
 442     evstr = NULL;
 443   }
 444   testbed =
 445       GNUNET_OS_start_process (PIPE_CONTROL,
 446                                GNUNET_OS_INHERIT_STD_ERR /*verbose? */ ,
 447                                NULL, NULL, NULL,
 448                                binary,
 449                                "gnunet-service-testbed",
 450                                "-c", config,
 451                                NULL);
 452   GNUNET_free (binary);
 453   GNUNET_free (config);
 454   if (NULL == testbed)
 455   {
 456     LOG (GNUNET_ERROR_TYPE_WARNING,
 457          "Error starting gnunet-service-testbed -- exiting\n");
 458     GNUNET_CONFIGURATION_destroy (cfg);
 459     goto error;
 460   }
 461   done_reading = GNUNET_YES;
 462   config = GNUNET_CONFIGURATION_serialize (cfg, &config_size);
 463   GNUNET_CONFIGURATION_destroy (cfg);
 464   cfg = NULL;
 465   xconfig_size =
 466       GNUNET_TESTBED_compress_config_ (config, config_size, &xconfig);
 467   GNUNET_free (config);
 468   wc = GNUNET_new (struct WriteContext);
 469   wc->length = xconfig_size + sizeof (struct GNUNET_TESTBED_HelperReply);
 470   reply = GNUNET_realloc (xconfig, wc->length);
 471   memmove (&reply[1], reply, xconfig_size);
 472   reply->header.type = htons (GNUNET_MESSAGE_TYPE_TESTBED_HELPER_REPLY);
 473   reply->header.size = htons ((uint16_t) wc->length);
 474   reply->config_size = htons ((uint16_t) config_size);
 475   wc->data = reply;
 476   write_task_id =
 477       GNUNET_SCHEDULER_add_write_file (GNUNET_TIME_UNIT_FOREVER_REL,
 478                                        stdout_fd,
 479                                        &write_task, wc);
 480   child_death_task_id =
 481       GNUNET_SCHEDULER_add_read_file (GNUNET_TIME_UNIT_FOREVER_REL,
 482                                       GNUNET_DISK_pipe_handle (sigpipe,
 483                                                                GNUNET_DISK_PIPE_END_READ),
 484                                       &child_death_task, NULL);
 485   return GNUNET_OK;
 486
 487 error:
 488   status = GNUNET_SYSERR;
 489   GNUNET_SCHEDULER_shutdown ();
 490   return GNUNET_SYSERR;
 491 }
 492
 493
 494 /**
 495  * Task to read from stdin
 496  *
 497  * @param cls NULL
 498  */
 499 static void
 500 read_task (void *cls)
 501 {
 502   char buf[GNUNET_MAX_MESSAGE_SIZE];
 503   ssize_t sread;
 504
 505   read_task_id = NULL;
 506   sread = GNUNET_DISK_file_read (stdin_fd,
 507                                  buf,
 508                                  sizeof (buf));
 509   if ( (GNUNET_SYSERR == sread) ||
 510        (0 == sread) )
 511   {
 512     LOG_DEBUG ("STDIN closed\n");
 513     GNUNET_SCHEDULER_shutdown ();
 514     return;
 515   }
 516   if (GNUNET_YES == done_reading)
 517   {
 518     /* didn't expect any more data! */
 519     GNUNET_break_op (0);
 520     GNUNET_SCHEDULER_shutdown ();
 521     return;
 522   }
 523   LOG_DEBUG ("Read %u bytes\n",
 524              (unsigned int) sread);
 525   /* FIXME: could introduce a GNUNET_MST_read2 to read
 526      directly from 'stdin_fd' and save a memcpy() here */
 527   if (GNUNET_OK !=
 528       GNUNET_MST_from_buffer (tokenizer,
 529                               buf,
 530                               sread,
 531                               GNUNET_NO,
 532                               GNUNET_NO))
 533   {
 534     GNUNET_break (0);
 535     GNUNET_SCHEDULER_shutdown ();
 536     return;
 537   }
 538   read_task_id                 /* No timeout while reading */
 539     = GNUNET_SCHEDULER_add_read_file (GNUNET_TIME_UNIT_FOREVER_REL,
 540                                       stdin_fd,
 541                                       &read_task,
 542                                       NULL);
 543 }
 544
 545
 546 /**
 547  * Main function that will be run.
 548  *
 549  * @param cls closure
 550  * @param args remaining command-line arguments
 551  * @param cfgfile name of the configuration file used (for saving, can be NULL!)
 552  * @param cfg configuration
 553  */
 554 static void
 555 run (void *cls,
 556      char *const *args,
 557      const char *cfgfile,
 558      const struct GNUNET_CONFIGURATION_Handle *cfg)
 559 {
 560   LOG_DEBUG ("Starting testbed helper...\n");
 561   tokenizer = GNUNET_MST_create (&tokenizer_cb, NULL);
 562   stdin_fd = GNUNET_DISK_get_handle_from_native (stdin);
 563   stdout_fd = GNUNET_DISK_get_handle_from_native (stdout);
 564   read_task_id =
 565       GNUNET_SCHEDULER_add_read_file (GNUNET_TIME_UNIT_FOREVER_REL,
 566                                       stdin_fd,
 567                                       &read_task, NULL);
 568   GNUNET_SCHEDULER_add_shutdown (&shutdown_task,
 569                                  NULL);
 570 }
 571
 572
 573 /**
 574  * Signal handler called for SIGCHLD.
 575  */
 576 static void
 577 sighandler_child_death ()
 578 {
 579   static char c;
 580   int old_errno;        /* back-up errno */
 581
 582   old_errno = errno;
 583   GNUNET_break (1 ==
 584                 GNUNET_DISK_file_write (GNUNET_DISK_pipe_handle
 585                                         (sigpipe, GNUNET_DISK_PIPE_END_WRITE),
 586                                         &c, sizeof (c)));
 587   errno = old_errno;
 588 }
 589
 590
 591 /**
 592  * Main function
 593  *
 594  * @param argc the number of command line arguments
 595  * @param argv command line arg array
 596  * @return return code
 597  */
 598 int
 599 main (int argc,
 600       char **argv)
 601 {
 602   struct GNUNET_SIGNAL_Context *shc_chld;
 603   struct GNUNET_GETOPT_CommandLineOption options[] = {
 604     GNUNET_GETOPT_OPTION_END
 605   };
 606   int ret;
 607
 608   status = GNUNET_OK;
 609   if (NULL == (sigpipe = GNUNET_DISK_pipe (GNUNET_NO, GNUNET_NO,
 610                                            GNUNET_NO, GNUNET_NO)))
 611   {
 612     GNUNET_break (0);
 613     return 1;
 614   }
 615   shc_chld = GNUNET_SIGNAL_handler_install (GNUNET_SIGCHLD,
 616                                             &sighandler_child_death);
 617   ret = GNUNET_PROGRAM_run (argc, argv,
 618                             "gnunet-helper-testbed",
 619                             "Helper for starting gnunet-service-testbed",
 620                             options,
 621                             &run,
 622                             NULL);
 623   GNUNET_SIGNAL_handler_uninstall (shc_chld);
 624   shc_chld = NULL;
 625   GNUNET_DISK_pipe_close (sigpipe);
 626   if (GNUNET_OK != ret)
 627     return 1;
 628   return (GNUNET_OK == status) ? 0 : 1;
 629 }
 630
 631 /* end of gnunet-helper-testbed.c */