- notice
[oweals/gnunet.git] / src / util / helper.c
1 /*
2      This file is part of GNUnet.
3      (C) 2011, 2012 Christian Grothoff
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file util/helper.c
23  * @brief API for dealing with (SUID) helper processes that communicate via
24  *          GNUNET_MessageHeaders on stdin/stdout
25  * @author Philipp Toelke
26  * @author Christian Grothoff
27  */
28 #include "platform.h"
29 #include "gnunet_util_lib.h"
30
31
32 /**
33  * Entry in the queue of messages we need to transmit to the helper.
34  */
35 struct GNUNET_HELPER_SendHandle
36 {
37
38   /**
39    * This is an entry in a DLL.
40    */
41   struct GNUNET_HELPER_SendHandle *next;
42
43   /**
44    * This is an entry in a DLL.
45    */
46   struct GNUNET_HELPER_SendHandle *prev;
47
48   /**
49    * Message to transmit (allocated at the end of this struct)
50    */
51   const struct GNUNET_MessageHeader *msg;
52  
53   /**
54    * The handle to a helper process.
55    */
56   struct GNUNET_HELPER_Handle *h;
57  
58   /**
59    * Function to call upon completion.
60    */
61   GNUNET_HELPER_Continuation cont;
62
63   /**
64    * Closure to 'cont'.
65    */
66   void *cont_cls;
67
68   /**
69    * Current write position.
70    */
71   unsigned int wpos;
72
73 };
74
75
76 /**
77  * The handle to a helper process.
78  */
79 struct GNUNET_HELPER_Handle
80 {
81
82   /**
83    * PipeHandle to receive data from the helper
84    */
85   struct GNUNET_DISK_PipeHandle *helper_in;
86   
87   /**
88    * PipeHandle to send data to the helper
89    */
90   struct GNUNET_DISK_PipeHandle *helper_out;
91   
92   /**
93    * FileHandle to receive data from the helper
94    */
95   const struct GNUNET_DISK_FileHandle *fh_from_helper;
96   
97   /**
98    * FileHandle to send data to the helper
99    */
100   const struct GNUNET_DISK_FileHandle *fh_to_helper;
101   
102   /**
103    * The process id of the helper
104    */
105   struct GNUNET_OS_Process *helper_proc;
106
107   /**
108    * The Message-Tokenizer that tokenizes the messages comming from the helper
109    */
110   struct GNUNET_SERVER_MessageStreamTokenizer *mst;
111
112   /**
113    * The exception callback
114    */
115   GNUNET_HELPER_ExceptionCallback exp_cb;
116
117   /**
118    * The closure for callbacks
119    */
120   void *cb_cls;
121
122   /**
123    * First message queued for transmission to helper.
124    */
125   struct GNUNET_HELPER_SendHandle *sh_head;
126
127   /**
128    * Last message queued for transmission to helper.
129    */
130   struct GNUNET_HELPER_SendHandle *sh_tail;
131
132   /**
133    * Binary to run.
134    */
135   char *binary_name;
136
137   /**
138    * NULL-terminated list of command-line arguments.
139    */
140   char **binary_argv;
141                     
142   /**
143    * Task to read from the helper.
144    */
145   GNUNET_SCHEDULER_TaskIdentifier read_task;
146
147   /**
148    * Task to read from the helper.
149    */
150   GNUNET_SCHEDULER_TaskIdentifier write_task;
151
152   /**
153    * Restart task.
154    */
155   GNUNET_SCHEDULER_TaskIdentifier restart_task;
156
157   /**
158    * Does the helper support the use of a control pipe for signalling?
159    */
160   int with_control_pipe;
161
162 };
163
164
165 /**
166  * Sends termination signal to the helper process.  The helper process is not
167  * reaped; call GNUNET_HELPER_wait() for reaping the dead helper process.
168  *
169  * @param h the helper handle
170  * @param soft_kill if GNUNET_YES, signals termination by closing the helper's
171  *          stdin; GNUNET_NO to signal termination by sending SIGTERM to helper
172  * @return GNUNET_OK on success; GNUNET_SYSERR on error
173  */
174 int
175 GNUNET_HELPER_kill (struct GNUNET_HELPER_Handle *h, int soft_kill)
176 {
177   struct GNUNET_HELPER_SendHandle *sh;
178   int ret;
179
180   while (NULL != (sh = h->sh_head))
181   {
182     GNUNET_CONTAINER_DLL_remove (h->sh_head,
183                                  h->sh_tail,
184                                  sh);
185     if (NULL != sh->cont)
186       sh->cont (sh->cont_cls, GNUNET_NO);
187     GNUNET_free (sh);
188   }
189   if (GNUNET_SCHEDULER_NO_TASK != h->restart_task)
190   {
191     GNUNET_SCHEDULER_cancel (h->restart_task);
192     h->restart_task = GNUNET_SCHEDULER_NO_TASK;
193   }
194   if (NULL == h->helper_proc)
195     return GNUNET_SYSERR;
196   if (GNUNET_YES == soft_kill)
197   { 
198     /* soft-kill only possible with pipes */
199     GNUNET_assert (NULL != h->helper_in);
200     ret = GNUNET_DISK_pipe_close (h->helper_in);
201     h->helper_in = NULL;
202     h->fh_to_helper = NULL;
203     return ret;
204   }
205   if (0 != GNUNET_OS_process_kill (h->helper_proc, SIGTERM))
206     return GNUNET_SYSERR;
207   return GNUNET_OK;
208 }
209
210
211 /**
212  * Reap the helper process.  This call is blocking(!).  The helper process
213  * should either be sent a termination signal before or should be dead before
214  * calling this function
215  *
216  * @param h the helper handle
217  * @return GNUNET_OK on success; GNUNET_SYSERR on error
218  */
219 int
220 GNUNET_HELPER_wait (struct GNUNET_HELPER_Handle *h)
221 {
222   struct GNUNET_HELPER_SendHandle *sh;
223   int ret;
224
225   ret = GNUNET_SYSERR;
226   if (NULL != h->helper_proc)
227   {
228     ret = GNUNET_OS_process_wait (h->helper_proc);
229     GNUNET_OS_process_destroy (h->helper_proc);
230     h->helper_proc = NULL;
231   }
232   if (GNUNET_SCHEDULER_NO_TASK != h->read_task)
233   {
234     GNUNET_SCHEDULER_cancel (h->read_task);
235     h->read_task = GNUNET_SCHEDULER_NO_TASK;
236   }
237   if (GNUNET_SCHEDULER_NO_TASK != h->write_task)
238   {
239     GNUNET_SCHEDULER_cancel (h->write_task);
240     h->write_task = GNUNET_SCHEDULER_NO_TASK;
241   }
242   if (NULL != h->helper_in)
243   {
244     GNUNET_DISK_pipe_close (h->helper_in);
245     h->helper_in = NULL;
246     h->fh_to_helper = NULL;
247   }
248   if (NULL != h->helper_out)
249   {
250     GNUNET_DISK_pipe_close (h->helper_out);
251     h->helper_out = NULL;
252     h->fh_from_helper = NULL;
253   }
254   while (NULL != (sh = h->sh_head))
255   {
256     GNUNET_CONTAINER_DLL_remove (h->sh_head,
257                                  h->sh_tail,
258                                  sh);
259     if (NULL != sh->cont)
260       sh->cont (sh->cont_cls, GNUNET_NO);
261     GNUNET_free (sh);
262   }
263   /* purge MST buffer */
264   (void) GNUNET_SERVER_mst_receive (h->mst, NULL, NULL, 0, GNUNET_YES, GNUNET_NO);
265   return ret;
266 }
267
268
269 /**
270  * Stop the helper process, we're closing down or had an error.
271  *
272  * @param h handle to the helper process
273  * @param soft_kill if GNUNET_YES, signals termination by closing the helper's
274  *          stdin; GNUNET_NO to signal termination by sending SIGTERM to helper
275  */
276 static void
277 stop_helper (struct GNUNET_HELPER_Handle *h, int soft_kill)
278 {
279   GNUNET_break (GNUNET_OK == GNUNET_HELPER_kill (h, soft_kill));
280   GNUNET_break (GNUNET_OK == GNUNET_HELPER_wait (h));
281 }
282
283
284 /**
285  * Restart the helper process.
286  *
287  * @param cls handle to the helper process
288  * @param tc scheduler context
289  */
290 static void
291 restart_task (void *cls,
292               const struct GNUNET_SCHEDULER_TaskContext *tc);
293
294
295 /**
296  * Read from the helper-process
297  *
298  * @param cls handle to the helper process
299  * @param tc scheduler context
300  */
301 static void
302 helper_read (void *cls,
303              const struct GNUNET_SCHEDULER_TaskContext *tc)
304 {
305   struct GNUNET_HELPER_Handle *h = cls;
306   char buf[GNUNET_SERVER_MAX_MESSAGE_SIZE] GNUNET_ALIGN;
307   ssize_t t;
308
309   h->read_task = GNUNET_SCHEDULER_NO_TASK;
310   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
311   {
312     /* try again */
313     h->read_task = GNUNET_SCHEDULER_add_read_file (GNUNET_TIME_UNIT_FOREVER_REL,
314                                                    h->fh_from_helper, &helper_read, h);
315     return;
316   }
317   t = GNUNET_DISK_file_read (h->fh_from_helper, &buf, sizeof (buf));
318   if (t < 0)
319   {
320     /* On read-error, restart the helper */
321     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
322                 _("Error reading from `%s': %s\n"),
323                 h->binary_name,
324                 STRERROR (errno));
325     if (NULL != h->exp_cb)
326     {
327       h->exp_cb (h->cb_cls);
328       GNUNET_HELPER_stop (h, GNUNET_NO);
329       return;
330     }
331     stop_helper (h, GNUNET_NO);
332     /* Restart the helper */
333     h->restart_task =
334         GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS, &restart_task, h);
335     return;
336   }
337   if (0 == t)
338   {
339     /* this happens if the helper is shut down via a 
340        signal, so it is not a "hard" error */
341     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, 
342                 "Got 0 bytes from helper `%s' (EOF)\n",
343                 h->binary_name);
344     if (NULL != h->exp_cb)
345     {
346       h->exp_cb (h->cb_cls);
347       GNUNET_HELPER_stop (h, GNUNET_NO);
348       return;
349     }
350     stop_helper (h, GNUNET_NO);
351     /* Restart the helper */
352     h->restart_task =
353       GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS,
354                                     &restart_task, h);
355     return;
356   }
357   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, 
358               "Got %u bytes from helper `%s'\n",
359               (unsigned int) t,
360               h->binary_name);
361   h->read_task = GNUNET_SCHEDULER_add_read_file (GNUNET_TIME_UNIT_FOREVER_REL,
362                                                  h->fh_from_helper, &helper_read, h);
363   if (GNUNET_SYSERR ==
364       GNUNET_SERVER_mst_receive (h->mst, NULL, buf, t, GNUNET_NO, GNUNET_NO))
365   {
366     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, 
367                 _("Failed to parse inbound message from helper `%s'\n"),
368                 h->binary_name);
369     if (NULL != h->exp_cb)
370     {
371       h->exp_cb (h->cb_cls);
372       GNUNET_HELPER_stop (h, GNUNET_NO);
373       return;
374     }     
375     stop_helper (h, GNUNET_NO);
376     /* Restart the helper */
377     h->restart_task =
378         GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS,
379                                       &restart_task, h);
380     return;
381   }
382 }
383
384
385 /**
386  * Start the helper process.
387  *
388  * @param h handle to the helper process
389  */
390 static void
391 start_helper (struct GNUNET_HELPER_Handle *h)
392 {
393   h->helper_in = GNUNET_DISK_pipe (GNUNET_YES, GNUNET_YES, GNUNET_YES, GNUNET_NO);
394   h->helper_out = GNUNET_DISK_pipe (GNUNET_YES, GNUNET_YES, GNUNET_NO, GNUNET_YES);
395   if ( (h->helper_in == NULL) || (h->helper_out == NULL))
396   {
397     /* out of file descriptors? try again later... */
398     stop_helper (h, GNUNET_NO);
399     h->restart_task =
400       GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS,
401                                     &restart_task, h);    
402     return;
403   }
404   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
405               "Starting HELPER process `%s'\n",
406               h->binary_name);
407   h->fh_from_helper =
408       GNUNET_DISK_pipe_handle (h->helper_out, GNUNET_DISK_PIPE_END_READ);
409   h->fh_to_helper =
410       GNUNET_DISK_pipe_handle (h->helper_in, GNUNET_DISK_PIPE_END_WRITE);
411   h->helper_proc =
412     GNUNET_OS_start_process_vap (h->with_control_pipe, GNUNET_OS_INHERIT_STD_ERR, 
413                                  h->helper_in, h->helper_out,
414                                  h->binary_name,
415                                  h->binary_argv);
416   if (NULL == h->helper_proc)
417   {
418     /* failed to start process? try again later... */
419     stop_helper (h, GNUNET_NO);
420     h->restart_task =
421       GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS,
422                                     &restart_task, h);    
423     return;
424   }
425   GNUNET_DISK_pipe_close_end (h->helper_out, GNUNET_DISK_PIPE_END_WRITE);
426   GNUNET_DISK_pipe_close_end (h->helper_in, GNUNET_DISK_PIPE_END_READ);
427   h->read_task = GNUNET_SCHEDULER_add_read_file (GNUNET_TIME_UNIT_FOREVER_REL,
428                                                  h->fh_from_helper, 
429                                                  &helper_read, 
430                                                  h);
431 }
432
433
434 /**
435  * Restart the helper process.
436  *
437  * @param cls handle to the helper process
438  * @param tc scheduler context
439  */
440 static void
441 restart_task (void *cls,
442               const struct GNUNET_SCHEDULER_TaskContext *tc)
443 {
444   struct GNUNET_HELPER_Handle*h = cls;
445
446   h->restart_task = GNUNET_SCHEDULER_NO_TASK;
447   start_helper (h);
448 }
449
450
451 /**
452  * Starts a helper and begins reading from it. The helper process is
453  * restarted when it dies except when it is stopped using GNUNET_HELPER_stop()
454  * or when the exp_cb callback is not NULL.
455  *
456  * @param with_control_pipe does the helper support the use of a control pipe for signalling?
457  * @param binary_name name of the binary to run
458  * @param binary_argv NULL-terminated list of arguments to give when starting the binary (this
459  *                    argument must not be modified by the client for
460  *                     the lifetime of the helper handle)
461  * @param cb function to call if we get messages from the helper
462  * @param exp_cb the exception callback to call. Set this to NULL if the helper
463  *          process has to be restarted automatically when it dies/crashes
464  * @param cb_cls closure for the above callback
465  * @return the new Handle, NULL on error
466  */
467 struct GNUNET_HELPER_Handle *
468 GNUNET_HELPER_start (int with_control_pipe,
469                      const char *binary_name,
470                      char *const binary_argv[],
471                      GNUNET_SERVER_MessageTokenizerCallback cb,
472                      GNUNET_HELPER_ExceptionCallback exp_cb,
473                      void *cb_cls)
474 {
475   struct GNUNET_HELPER_Handle *h;
476   unsigned int c;
477
478   h = GNUNET_malloc (sizeof (struct GNUNET_HELPER_Handle));
479   h->with_control_pipe = with_control_pipe;
480   /* Lookup in libexec path only if we are starting gnunet helpers */
481   if (NULL != strstr (binary_name, "gnunet"))
482     h->binary_name = GNUNET_OS_get_libexec_binary_path (binary_name);
483   else
484     h->binary_name = strdup (binary_name);
485   for (c = 0; NULL != binary_argv[c]; c++);
486   h->binary_argv = GNUNET_malloc (sizeof (char *) * (c + 1));
487   for (c = 0; NULL != binary_argv[c]; c++)
488     h->binary_argv[c] = GNUNET_strdup (binary_argv[c]);
489   h->binary_argv[c] = NULL;
490   h->cb_cls = cb_cls;
491   h->mst = GNUNET_SERVER_mst_create (cb, h->cb_cls);
492   h->exp_cb = exp_cb;
493   start_helper (h);
494   return h;
495 }
496
497
498 /**
499  * Free's the resources occupied by the helper handle
500  *
501  * @param h the helper handle to free
502  */
503 void
504 GNUNET_HELPER_destroy (struct GNUNET_HELPER_Handle *h)
505 {
506   unsigned int c;
507
508   GNUNET_SERVER_mst_destroy (h->mst);
509   GNUNET_free (h->binary_name);
510   for (c = 0; h->binary_argv[c] != NULL; c++)
511     GNUNET_free (h->binary_argv[c]);
512   GNUNET_free (h->binary_argv);
513   GNUNET_free (h);
514 }
515
516
517 /**
518  * Kills the helper, closes the pipe and frees the handle
519  *
520  * @param h handle to helper to stop
521  * @param soft_kill if GNUNET_YES, signals termination by closing the helper's
522  *          stdin; GNUNET_NO to signal termination by sending SIGTERM to helper
523  */
524 void
525 GNUNET_HELPER_stop (struct GNUNET_HELPER_Handle *h, int soft_kill)
526 {
527   h->exp_cb = NULL;
528   stop_helper (h, soft_kill);
529   GNUNET_HELPER_destroy (h);
530 }
531
532
533 /**
534  * Write to the helper-process
535  *
536  * @param cls handle to the helper process
537  * @param tc scheduler context
538  */
539 static void
540 helper_write (void *cls,
541              const struct GNUNET_SCHEDULER_TaskContext *tc)
542 {
543   struct GNUNET_HELPER_Handle *h = cls;
544   struct GNUNET_HELPER_SendHandle *sh;
545   const char *buf;
546   ssize_t t;
547
548   h->write_task = GNUNET_SCHEDULER_NO_TASK;
549   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
550   {
551     /* try again */
552     h->write_task = GNUNET_SCHEDULER_add_read_file (GNUNET_TIME_UNIT_FOREVER_REL,
553                                                     h->fh_to_helper, &helper_write, h);
554     return;
555   }  
556   if (NULL == (sh = h->sh_head))
557     return; /* how did this happen? */
558   buf = (const char*) sh->msg;
559   t = GNUNET_DISK_file_write (h->fh_to_helper, &buf[sh->wpos], ntohs (sh->msg->size) - sh->wpos);
560   if (t <= 0)
561   {
562     /* On write-error, restart the helper */
563     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
564                 _("Error writing to `%s': %s\n"),
565                 h->binary_name,
566                 STRERROR (errno));
567     if (NULL != h->exp_cb)
568     {
569       h->exp_cb (h->cb_cls);
570       GNUNET_HELPER_stop (h, GNUNET_NO);
571       return;
572     }
573     stop_helper (h, GNUNET_NO);
574     /* Restart the helper */
575     h->restart_task =
576       GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS,
577                                     &restart_task, h);
578     return;
579   }
580   sh->wpos += t;
581   if (sh->wpos == ntohs (sh->msg->size))
582   {
583     GNUNET_CONTAINER_DLL_remove (h->sh_head,
584                                  h->sh_tail,
585                                  sh);
586     if (NULL != sh->cont)
587       sh->cont (sh->cont_cls, GNUNET_YES);
588     GNUNET_free (sh);
589   }
590   if (NULL != h->sh_head)
591     h->write_task = GNUNET_SCHEDULER_add_write_file (GNUNET_TIME_UNIT_FOREVER_REL,
592                                                      h->fh_to_helper, 
593                                                      &helper_write, 
594                                                      h);
595 }
596
597
598 /**
599  * Send an message to the helper.
600  *
601  * @param h helper to send message to
602  * @param msg message to send
603  * @param can_drop can the message be dropped if there is already one in the queue?
604  * @param cont continuation to run once the message is out (PREREQ_DONE on succees, CANCEL
605  *             if the helper process died, NULL during GNUNET_HELPER_stop).
606  * @param cont_cls closure for 'cont'
607  * @return NULL if the message was dropped, 
608  *         otherwise handle to cancel *cont* (actual transmission may
609  *         not be abortable)
610  */
611 struct GNUNET_HELPER_SendHandle *
612 GNUNET_HELPER_send (struct GNUNET_HELPER_Handle *h, 
613                     const struct GNUNET_MessageHeader *msg,
614                     int can_drop,
615                     GNUNET_HELPER_Continuation cont,
616                     void *cont_cls)
617 {
618   struct GNUNET_HELPER_SendHandle *sh;
619   uint16_t mlen;
620
621   if (NULL == h->fh_to_helper)
622     return NULL;
623   if ( (GNUNET_YES == can_drop) &&
624        (NULL != h->sh_head) )
625     return NULL;
626   mlen = ntohs (msg->size);
627   sh = GNUNET_malloc (sizeof (struct GNUNET_HELPER_SendHandle) + mlen);
628   sh->msg = (const struct GNUNET_MessageHeader*) &sh[1];
629   memcpy (&sh[1], msg, mlen);
630   sh->h = h;
631   sh->cont = cont;
632   sh->cont_cls = cont_cls;
633   GNUNET_CONTAINER_DLL_insert_tail (h->sh_head,
634                                     h->sh_tail,
635                                     sh);
636   if (GNUNET_SCHEDULER_NO_TASK == h->write_task)
637     h->write_task = GNUNET_SCHEDULER_add_write_file (GNUNET_TIME_UNIT_FOREVER_REL,
638                                                      h->fh_to_helper, 
639                                                      &helper_write, 
640                                                      h);
641     
642   return sh;
643 }
644
645 /**
646  * Cancel a 'send' operation.  If possible, transmitting the
647  * message is also aborted, but at least 'cont' won't be
648  * called.
649  *
650  * @param sh operation to cancel
651  */
652 void
653 GNUNET_HELPER_send_cancel (struct GNUNET_HELPER_SendHandle *sh)
654 {
655   struct GNUNET_HELPER_Handle *h = sh->h;
656
657   sh->cont = NULL;
658   sh->cont_cls = NULL;
659   if (0 == sh->wpos)
660   {
661     GNUNET_CONTAINER_DLL_remove (h->sh_head, h->sh_tail, sh);
662     if (NULL == h->sh_head)
663     {
664       GNUNET_SCHEDULER_cancel (h->write_task);
665       h->write_task = GNUNET_SCHEDULER_NO_TASK;
666     }
667     GNUNET_free (sh);
668   }
669 }
670
671
672 /* end of helper.c */