Use more-or-equal (some machines are fast enough)
[oweals/gnunet.git] / src / testbed / gnunet-helper-testbed.c
1 /*
2       This file is part of GNUnet
3       (C) 2008--2013 Christian Grothoff (and other contributing authors)
4
5       GNUnet is free software; you can redistribute it and/or modify
6       it under the terms of the GNU General Public License as published
7       by the Free Software Foundation; either version 3, or (at your
8       option) any later version.
9
10       GNUnet is distributed in the hope that it will be useful, but
11       WITHOUT ANY WARRANTY; without even the implied warranty of
12       MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13       General Public License for more details.
14
15       You should have received a copy of the GNU General Public License
16       along with GNUnet; see the file COPYING.  If not, write to the
17       Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18       Boston, MA 02111-1307, USA.
19  */
20
21 /**
22  * @file testbed/gnunet-helper-testbed.c
23  * @brief Helper binary that is started from a remote controller to start
24  *          gnunet-service-testbed. This binary also receives configuration
25  *          from the remove controller which is put in a temporary location
26  *          with ports and paths fixed so that gnunet-service-testbed runs
27  *          without any hurdles.
28  *
29  *          This helper monitors for three termination events.  They are: (1)The
30  *          stdin of the helper is closed for reading; (2)the helper received
31  *          SIGTERM/SIGINT; (3)the testbed crashed.  In case of events 1 and 2
32  *          the helper kills the testbed service.  When testbed crashed (event
33  *          3), the helper should send a SIGTERM to its own process group; this
34  *          behaviour will help terminate any child processes (peers) testbed
35  *          has started and prevents them from leaking and running forever.
36  *
37  * @author Sree Harsha Totakura <sreeharsha@totakura.in>
38  */
39
40
41 #include "platform.h"
42 #include "gnunet_util_lib.h"
43 #include "gnunet_testing_lib.h"
44 #include "gnunet_testbed_service.h"
45 #include "testbed_helper.h"
46 #include "testbed_api.h"
47 #include <zlib.h>
48
49 /**
50  * Generic logging shortcut
51  */
52 #define LOG(kind, ...)                                   \
53   GNUNET_log (kind, __VA_ARGS__)
54
55 /**
56  * Debug logging shorthand
57  */
58 #define LOG_DEBUG(...)                          \
59   LOG (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
60
61
62 /**
63  * We need pipe control only on WINDOWS
64  */
65 #if WINDOWS
66 #define PIPE_CONTROL GNUNET_YES
67 #else
68 #define PIPE_CONTROL GNUNET_NO
69 #endif
70
71
72 /**
73  * Context for a single write on a chunk of memory
74  */
75 struct WriteContext
76 {
77   /**
78    * The data to write
79    */
80   void *data;
81
82   /**
83    * The length of the data
84    */
85   size_t length;
86
87   /**
88    * The current position from where the write operation should begin
89    */
90   size_t pos;
91 };
92
93
94 /**
95  * Handle to the testing system
96  */
97 static struct GNUNET_TESTING_System *test_system;
98
99 /**
100  * Our message stream tokenizer
101  */
102 struct GNUNET_SERVER_MessageStreamTokenizer *tokenizer;
103
104 /**
105  * Disk handle from stdin
106  */
107 static struct GNUNET_DISK_FileHandle *stdin_fd;
108
109 /**
110  * Disk handle for stdout
111  */
112 static struct GNUNET_DISK_FileHandle *stdout_fd;
113
114 /**
115  * The process handle to the testbed service
116  */
117 static struct GNUNET_OS_Process *testbed;
118
119 /**
120  * Pipe used to communicate shutdown via signal.
121  */
122 static struct GNUNET_DISK_PipeHandle *sigpipe;
123
124 /**
125  * Task identifier for the read task
126  */
127 static GNUNET_SCHEDULER_TaskIdentifier read_task_id;
128
129 /**
130  * Task identifier for the write task
131  */
132 static GNUNET_SCHEDULER_TaskIdentifier write_task_id;
133
134 /**
135  * Task to kill the child
136  */
137 static GNUNET_SCHEDULER_TaskIdentifier child_death_task_id;
138
139 /**
140  * shutdown task id
141  */
142 static GNUNET_SCHEDULER_TaskIdentifier shutdown_task_id;
143
144 /**
145  * Are we done reading messages from stdin?
146  */
147 static int done_reading;
148
149 /**
150  * Result to return in case we fail
151  */
152 static int status;
153
154
155 /**
156  * Task to shut down cleanly
157  *
158  * @param cls NULL
159  * @param tc the task context
160  */
161 static void
162 shutdown_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
163 {
164   LOG_DEBUG ("Shutting down\n");
165   shutdown_task_id = GNUNET_SCHEDULER_NO_TASK;
166   if (NULL != testbed)
167   {
168     LOG_DEBUG ("Killing testbed\n");
169     GNUNET_break (0 == GNUNET_OS_process_kill (testbed, GNUNET_TERM_SIG));
170   }
171   if (GNUNET_SCHEDULER_NO_TASK != read_task_id)
172   {
173     GNUNET_SCHEDULER_cancel (read_task_id);
174     read_task_id = GNUNET_SCHEDULER_NO_TASK;
175   }
176   if (GNUNET_SCHEDULER_NO_TASK != write_task_id)
177   {
178     GNUNET_SCHEDULER_cancel (write_task_id);
179     write_task_id = GNUNET_SCHEDULER_NO_TASK;
180   }
181   if (GNUNET_SCHEDULER_NO_TASK != child_death_task_id)
182   {
183     GNUNET_SCHEDULER_cancel (child_death_task_id);
184     child_death_task_id = GNUNET_SCHEDULER_NO_TASK;
185   }
186   if (NULL != stdin_fd)
187     (void) GNUNET_DISK_file_close (stdin_fd);
188   if (NULL != stdout_fd)
189     (void) GNUNET_DISK_file_close (stdout_fd);
190   GNUNET_SERVER_mst_destroy (tokenizer);
191   tokenizer = NULL;
192   if (NULL != testbed)
193   {
194     GNUNET_break (GNUNET_OK == GNUNET_OS_process_wait (testbed));
195     GNUNET_OS_process_destroy (testbed);
196     testbed = NULL;
197   }
198   if (NULL != test_system)
199   {
200     GNUNET_TESTING_system_destroy (test_system, GNUNET_YES);
201     test_system = NULL;
202   }
203 }
204
205
206 /**
207  * Scheduler shutdown task to be run now.
208  */
209 static void
210 shutdown_now (void)
211 {
212   if (GNUNET_SCHEDULER_NO_TASK != shutdown_task_id)
213     GNUNET_SCHEDULER_cancel (shutdown_task_id);
214   shutdown_task_id = GNUNET_SCHEDULER_add_now (&shutdown_task, NULL);
215 }
216
217
218 /**
219  * Task to write to the standard out
220  *
221  * @param cls the WriteContext
222  * @param tc the TaskContext
223  */
224 static void
225 write_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
226 {
227   struct WriteContext *wc = cls;
228   ssize_t bytes_wrote;
229
230   GNUNET_assert (NULL != wc);
231   write_task_id = GNUNET_SCHEDULER_NO_TASK;
232   if (0 != (GNUNET_SCHEDULER_REASON_SHUTDOWN & tc->reason))
233   {
234     GNUNET_free (wc->data);
235     GNUNET_free (wc);
236     return;
237   }
238   bytes_wrote =
239       GNUNET_DISK_file_write (stdout_fd, wc->data + wc->pos,
240                               wc->length - wc->pos);
241   if (GNUNET_SYSERR == bytes_wrote)
242   {
243     LOG (GNUNET_ERROR_TYPE_WARNING, "Cannot reply back configuration\n");
244     GNUNET_free (wc->data);
245     GNUNET_free (wc);
246     return;
247   }
248   wc->pos += bytes_wrote;
249   if (wc->pos == wc->length)
250   {
251     GNUNET_free (wc->data);
252     GNUNET_free (wc);
253     return;
254   }
255   write_task_id =
256       GNUNET_SCHEDULER_add_write_file (GNUNET_TIME_UNIT_FOREVER_REL, stdout_fd,
257                                        &write_task, wc);
258 }
259
260
261 /**
262  * Task triggered whenever we receive a SIGCHLD (child
263  * process died).
264  *
265  * @param cls closure, NULL if we need to self-restart
266  * @param tc context
267  */
268 static void
269 child_death_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
270 {
271   const struct GNUNET_DISK_FileHandle *pr;
272   char c[16];
273   enum GNUNET_OS_ProcessStatusType type;
274   unsigned long code;
275   int ret;
276
277   pr = GNUNET_DISK_pipe_handle (sigpipe, GNUNET_DISK_PIPE_END_READ);
278   child_death_task_id = GNUNET_SCHEDULER_NO_TASK;
279   if (0 == (tc->reason & GNUNET_SCHEDULER_REASON_READ_READY))
280   {
281     child_death_task_id =
282         GNUNET_SCHEDULER_add_read_file (GNUNET_TIME_UNIT_FOREVER_REL,
283                                         pr, &child_death_task, NULL);
284     return;
285   }
286   /* consume the signal */
287   GNUNET_break (0 < GNUNET_DISK_file_read (pr, &c, sizeof (c)));
288   LOG_DEBUG ("Got SIGCHLD\n");
289   if (NULL == testbed)
290   {
291     GNUNET_break (0);
292     return;
293   }
294   GNUNET_break (GNUNET_SYSERR !=
295                 (ret = GNUNET_OS_process_status (testbed, &type, &code)));
296   if (GNUNET_NO != ret)
297   {
298     GNUNET_OS_process_destroy (testbed);
299     testbed = NULL;
300     /* Send SIGTERM to our process group */
301     if (0 != PLIBC_KILL (0, GNUNET_TERM_SIG))
302     {
303       GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR, "signal");
304       shutdown_now ();          /* Couldn't send the signal, we shutdown frowning */
305     }
306     return;
307   }
308   LOG_DEBUG ("Child hasn't died.  Resuming to monitor its status\n");
309   child_death_task_id =
310       GNUNET_SCHEDULER_add_read_file (GNUNET_TIME_UNIT_FOREVER_REL,
311                                       pr, &child_death_task, NULL);
312 }
313
314
315 /**
316  * Functions with this signature are called whenever a
317  * complete message is received by the tokenizer.
318  *
319  * Do not call GNUNET_SERVER_mst_destroy in callback
320  *
321  * @param cls closure
322  * @param client identification of the client
323  * @param message the actual message
324  *
325  * @return GNUNET_OK on success, GNUNET_SYSERR to stop further processing
326  */
327 static int
328 tokenizer_cb (void *cls, void *client,
329               const struct GNUNET_MessageHeader *message)
330 {
331   const struct GNUNET_TESTBED_HelperInit *msg;
332   struct GNUNET_TESTBED_HelperReply *reply;
333   struct GNUNET_CONFIGURATION_Handle *cfg;
334   struct WriteContext *wc;
335   char *binary;
336   char *trusted_ip;
337   char *hostname;
338   char *config;
339   char *xconfig;
340   char *evstr;
341   //char *str;
342   size_t config_size;
343   uLongf ul_config_size;
344   size_t xconfig_size;
345   uint16_t trusted_ip_size;
346   uint16_t hostname_size;
347   uint16_t msize;
348
349   msize = ntohs (message->size);
350   if ((sizeof (struct GNUNET_TESTBED_HelperInit) >= msize) ||
351       (GNUNET_MESSAGE_TYPE_TESTBED_HELPER_INIT != ntohs (message->type)))
352   {
353     LOG (GNUNET_ERROR_TYPE_WARNING, "Received unexpected message -- exiting\n");
354     goto error;
355   }
356   msg = (const struct GNUNET_TESTBED_HelperInit *) message;
357   trusted_ip_size = ntohs (msg->trusted_ip_size);
358   trusted_ip = (char *) &msg[1];
359   if ('\0' != trusted_ip[trusted_ip_size])
360   {
361     LOG (GNUNET_ERROR_TYPE_WARNING, "Trusted IP cannot be empty -- exiting\n");
362     goto error;
363   }
364   hostname_size = ntohs (msg->hostname_size);
365   if ((sizeof (struct GNUNET_TESTBED_HelperInit) + trusted_ip_size + 1 +
366        hostname_size) >= msize)
367   {
368     GNUNET_break (0);
369     LOG (GNUNET_ERROR_TYPE_WARNING, "Received unexpected message -- exiting\n");
370     goto error;
371   }
372   ul_config_size = (uLongf) ntohs (msg->config_size);
373   config = GNUNET_malloc (ul_config_size);
374   xconfig_size =
375       ntohs (message->size) - (trusted_ip_size + 1 +
376                                sizeof (struct GNUNET_TESTBED_HelperInit));
377   if (Z_OK !=
378       uncompress ((Bytef *) config, &ul_config_size,
379                   (const Bytef *) (trusted_ip + trusted_ip_size + 1 +
380                                    hostname_size), (uLongf) xconfig_size))
381   {
382     LOG (GNUNET_ERROR_TYPE_WARNING,
383          "Error while uncompressing config -- exiting\n");
384     GNUNET_free (config);
385     goto error;
386   }
387   cfg = GNUNET_CONFIGURATION_create ();
388   if (GNUNET_OK !=
389       GNUNET_CONFIGURATION_deserialize (cfg, config, ul_config_size, GNUNET_NO))
390   {
391     LOG (GNUNET_ERROR_TYPE_WARNING,
392          "Unable to deserialize config -- exiting\n");
393     GNUNET_free (config);
394     goto error;
395   }
396   GNUNET_free (config);
397   hostname = NULL;
398   if (0 != hostname_size)
399   {
400     hostname = GNUNET_malloc (hostname_size + 1);
401     (void) strncpy (hostname, ((char *) &msg[1]) + trusted_ip_size + 1,
402                     hostname_size);
403     hostname[hostname_size] = '\0';
404   }
405   /* unset GNUNET_TESTING_PREFIX if present as it is more relevant for testbed */
406   evstr = getenv (GNUNET_TESTING_PREFIX);
407   if (NULL != evstr)
408   {
409     /* unsetting the variable will invalidate the pointer! */
410     evstr = GNUNET_strdup (evstr);
411 #ifdef WINDOWS
412     GNUNET_break (0 != SetEnvironmentVariable (GNUNET_TESTING_PREFIX, NULL));
413 #else
414     GNUNET_break (0 == unsetenv (GNUNET_TESTING_PREFIX));
415 #endif
416   }
417   test_system =
418       GNUNET_TESTING_system_create ("testbed-helper", trusted_ip, hostname,
419                                     NULL);
420   if (NULL != evstr)
421   {
422 #ifdef WINDOWS
423     GNUNET_assert (0 != SetEnvironmentVariable (GNUNET_TESTING_PREFIX, evstr));
424 #else
425     static char evar[2* PATH_MAX];
426
427     GNUNET_assert (0 < GNUNET_snprintf (evar, sizeof (evar),
428                                         GNUNET_TESTING_PREFIX "=%s", evstr));
429     putenv (evar);
430 #endif
431     GNUNET_free (evstr);
432     evstr = NULL;
433   }
434   GNUNET_free_non_null (hostname);
435   hostname = NULL;
436   GNUNET_assert (NULL != test_system);
437   GNUNET_assert (GNUNET_OK ==
438                  GNUNET_TESTING_configuration_create (test_system, cfg));
439   GNUNET_assert (GNUNET_OK ==
440                  GNUNET_CONFIGURATION_get_value_filename (cfg, "PATHS",
441                                                         "DEFAULTCONFIG",
442                                                         &config));
443   if (GNUNET_OK != GNUNET_CONFIGURATION_write (cfg, config))
444   {
445     LOG (GNUNET_ERROR_TYPE_WARNING,
446          "Unable to write config file: %s -- exiting\n", config);
447     GNUNET_CONFIGURATION_destroy (cfg);
448     GNUNET_free (config);
449     goto error;
450   }
451   LOG_DEBUG ("Staring testbed with config: %s\n", config);
452   binary = GNUNET_OS_get_libexec_binary_path ("gnunet-service-testbed");
453   {
454     static char evar[2 * PATH_MAX];
455
456     /* expose testbed configuration through env variable */
457     GNUNET_assert (0 < GNUNET_snprintf (evar, sizeof (evar),
458                                         "%s=%s", ENV_TESTBED_CONFIG, config));
459     GNUNET_assert (0 == putenv (evar));
460     evstr = NULL;
461   }
462   testbed =
463       GNUNET_OS_start_process (PIPE_CONTROL,
464                                GNUNET_OS_INHERIT_STD_ERR /*verbose? */ , NULL,
465                                NULL, binary, "gnunet-service-testbed", "-c",
466                                config, NULL);
467   GNUNET_free (binary);
468   GNUNET_free (config);
469   if (NULL == testbed)
470   {
471     LOG (GNUNET_ERROR_TYPE_WARNING,
472          "Error starting gnunet-service-testbed -- exiting\n");
473     GNUNET_CONFIGURATION_destroy (cfg);
474     goto error;
475   }
476   done_reading = GNUNET_YES;
477   config = GNUNET_CONFIGURATION_serialize (cfg, &config_size);
478   GNUNET_CONFIGURATION_destroy (cfg);
479   cfg = NULL;
480   xconfig_size =
481       GNUNET_TESTBED_compress_config_ (config, config_size, &xconfig);
482   GNUNET_free (config);
483   wc = GNUNET_malloc (sizeof (struct WriteContext));
484   wc->length = xconfig_size + sizeof (struct GNUNET_TESTBED_HelperReply);
485   reply = GNUNET_realloc (xconfig, wc->length);
486   memmove (&reply[1], reply, xconfig_size);
487   reply->header.type = htons (GNUNET_MESSAGE_TYPE_TESTBED_HELPER_REPLY);
488   reply->header.size = htons ((uint16_t) wc->length);
489   reply->config_size = htons ((uint16_t) config_size);
490   wc->data = reply;
491   write_task_id =
492       GNUNET_SCHEDULER_add_write_file (GNUNET_TIME_UNIT_FOREVER_REL, stdout_fd,
493                                        &write_task, wc);
494   child_death_task_id =
495       GNUNET_SCHEDULER_add_read_file (GNUNET_TIME_UNIT_FOREVER_REL,
496                                       GNUNET_DISK_pipe_handle (sigpipe,
497                                                                GNUNET_DISK_PIPE_END_READ),
498                                       &child_death_task, NULL);
499   return GNUNET_OK;
500
501 error:
502   status = GNUNET_SYSERR;
503   shutdown_now ();
504   return GNUNET_SYSERR;
505 }
506
507
508 /**
509  * Task to read from stdin
510  *
511  * @param cls NULL
512  * @param tc the task context
513  */
514 static void
515 read_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
516 {
517   char buf[GNUNET_SERVER_MAX_MESSAGE_SIZE];
518   ssize_t sread;
519
520   read_task_id = GNUNET_SCHEDULER_NO_TASK;
521   if (0 != (GNUNET_SCHEDULER_REASON_SHUTDOWN & tc->reason))
522     return;
523   sread = GNUNET_DISK_file_read (stdin_fd, buf, sizeof (buf));
524   if ((GNUNET_SYSERR == sread) || (0 == sread))
525   {
526     LOG_DEBUG ("STDIN closed\n");
527     shutdown_now ();
528     return;
529   }
530   if (GNUNET_YES == done_reading)
531   {
532     /* didn't expect any more data! */
533     GNUNET_break_op (0);
534     shutdown_now ();
535     return;
536   }
537   LOG_DEBUG ("Read %u bytes\n", sread);
538   if (GNUNET_OK !=
539       GNUNET_SERVER_mst_receive (tokenizer, NULL, buf, sread, GNUNET_NO,
540                                  GNUNET_NO))
541   {
542     GNUNET_break (0);
543     shutdown_now ();
544     return;
545   }
546   read_task_id =                /* No timeout while reading */
547       GNUNET_SCHEDULER_add_read_file (GNUNET_TIME_UNIT_FOREVER_REL, stdin_fd,
548                                       &read_task, NULL);
549 }
550
551
552 /**
553  * Main function that will be run.
554  *
555  * @param cls closure
556  * @param args remaining command-line arguments
557  * @param cfgfile name of the configuration file used (for saving, can be NULL!)
558  * @param cfg configuration
559  */
560 static void
561 run (void *cls, char *const *args, const char *cfgfile,
562      const struct GNUNET_CONFIGURATION_Handle *cfg)
563 {
564   LOG_DEBUG ("Starting testbed helper...\n");
565   tokenizer = GNUNET_SERVER_mst_create (&tokenizer_cb, NULL);
566   stdin_fd = GNUNET_DISK_get_handle_from_native (stdin);
567   stdout_fd = GNUNET_DISK_get_handle_from_native (stdout);
568   read_task_id =
569       GNUNET_SCHEDULER_add_read_file (GNUNET_TIME_UNIT_FOREVER_REL, stdin_fd,
570                                       &read_task, NULL);
571   shutdown_task_id =
572       GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL, &shutdown_task,
573                                     NULL);
574 }
575
576
577 /**
578  * Signal handler called for SIGCHLD.
579  */
580 static void
581 sighandler_child_death ()
582 {
583   static char c;
584   int old_errno;        /* back-up errno */
585
586   old_errno = errno;
587   GNUNET_break (1 ==
588                 GNUNET_DISK_file_write (GNUNET_DISK_pipe_handle
589                                         (sigpipe, GNUNET_DISK_PIPE_END_WRITE),
590                                         &c, sizeof (c)));
591   errno = old_errno;
592 }
593
594
595 /**
596  * Main function
597  *
598  * @param argc the number of command line arguments
599  * @param argv command line arg array
600  * @return return code
601  */
602 int
603 main (int argc, char **argv)
604 {
605   struct GNUNET_SIGNAL_Context *shc_chld;
606
607   struct GNUNET_GETOPT_CommandLineOption options[] = {
608     GNUNET_GETOPT_OPTION_END
609   };
610   int ret;
611
612   status = GNUNET_OK;
613   if (NULL == (sigpipe = GNUNET_DISK_pipe (GNUNET_NO, GNUNET_NO,
614                                            GNUNET_NO, GNUNET_NO)))
615   {
616     GNUNET_break (0);
617     return 1;
618   }
619   shc_chld =
620       GNUNET_SIGNAL_handler_install (GNUNET_SIGCHLD, &sighandler_child_death);
621   ret =
622       GNUNET_PROGRAM_run (argc, argv, "gnunet-helper-testbed",
623                           "Helper for starting gnunet-service-testbed", options,
624                           &run, NULL);
625   GNUNET_SIGNAL_handler_uninstall (shc_chld);
626   shc_chld = NULL;
627   GNUNET_DISK_pipe_close (sigpipe);
628   if (GNUNET_OK != ret)
629     return 1;
630   return (GNUNET_OK == status) ? 0 : 1;
631 }
632
633 /* end of gnunet-helper-testbed.c */