-fixing indentation
[oweals/gnunet.git] / src / util / scheduler.c
1 /*
2       This file is part of GNUnet
3       (C) 2009, 2011 Christian Grothoff (and other contributing authors)
4
5       GNUnet is free software; you can redistribute it and/or modify
6       it under the terms of the GNU General Public License as published
7       by the Free Software Foundation; either version 2, or (at your
8       option) any later version.
9
10       GNUnet is distributed in the hope that it will be useful, but
11       WITHOUT ANY WARRANTY; without even the implied warranty of
12       MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13       General Public License for more details.
14
15       You should have received a copy of the GNU General Public License
16       along with GNUnet; see the file COPYING.  If not, write to the
17       Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18       Boston, MA 02111-1307, USA.
19  */
20
21 /**
22  * @file util/scheduler.c
23  * @brief schedule computations using continuation passing style
24  * @author Christian Grothoff
25  */
26 #include "platform.h"
27 #include "gnunet_common.h"
28 #include "gnunet_os_lib.h"
29 #include "gnunet_scheduler_lib.h"
30 #include "gnunet_signal_lib.h"
31 #include "gnunet_time_lib.h"
32 #include "disk.h"
33 #define LOG(kind,...) GNUNET_log_from (kind, "util", __VA_ARGS__)
34
35 #define LOG_STRERROR(kind,syscall) GNUNET_log_from_strerror (kind, "util", syscall)
36 #ifdef LINUX
37 #include "execinfo.h"
38
39
40
41 /**
42  * Use lsof to generate file descriptor reports on select error?
43  * (turn off for stable releases).
44  */
45 #define USE_LSOF GNUNET_NO
46
47 /**
48  * Obtain trace information for all scheduler calls that schedule tasks.
49  */
50 #define EXECINFO GNUNET_NO
51
52 /**
53  * Check each file descriptor before adding
54  */
55 #define DEBUG_FDS GNUNET_EXTRA_LOGGING
56
57 /**
58  * Depth of the traces collected via EXECINFO.
59  */
60 #define MAX_TRACE_DEPTH 50
61 #endif
62
63 #define DEBUG_TASKS GNUNET_EXTRA_LOGGING
64
65 /**
66  * Should we figure out which tasks are delayed for a while
67  * before they are run? (Consider using in combination with EXECINFO).
68  */
69 #define PROFILE_DELAYS GNUNET_NO
70
71 /**
72  * Task that were in the queue for longer than this are reported if
73  * PROFILE_DELAYS is active.
74  */
75 #define DELAY_THRESHOLD GNUNET_TIME_UNIT_SECONDS
76
77 /**
78  * Linked list of pending tasks.
79  */
80 struct Task
81 {
82   /**
83    * This is a linked list.
84    */
85   struct Task *next;
86
87   /**
88    * Function to run when ready.
89    */
90   GNUNET_SCHEDULER_Task callback;
91
92   /**
93    * Closure for the callback.
94    */
95   void *callback_cls;
96
97   /**
98    * Set of file descriptors this task is waiting
99    * for for reading.  Once ready, this is updated
100    * to reflect the set of file descriptors ready
101    * for operation.
102    */
103   struct GNUNET_NETWORK_FDSet *read_set;
104
105   /**
106    * Set of file descriptors this task is waiting for for writing.
107    * Once ready, this is updated to reflect the set of file
108    * descriptors ready for operation.
109    */
110   struct GNUNET_NETWORK_FDSet *write_set;
111
112   /**
113    * Unique task identifier.
114    */
115   GNUNET_SCHEDULER_TaskIdentifier id;
116
117   /**
118    * Identifier of a prerequisite task.
119    */
120   GNUNET_SCHEDULER_TaskIdentifier prereq_id;
121
122   /**
123    * Absolute timeout value for the task, or
124    * GNUNET_TIME_UNIT_FOREVER_ABS for "no timeout".
125    */
126   struct GNUNET_TIME_Absolute timeout;
127
128 #if PROFILE_DELAYS
129   /**
130    * When was the task scheduled?
131    */
132   struct GNUNET_TIME_Absolute start_time;
133 #endif
134
135   /**
136    * Why is the task ready?  Set after task is added to ready queue.
137    * Initially set to zero.  All reasons that have already been
138    * satisfied (i.e.  read or write ready) will be set over time.
139    */
140   enum GNUNET_SCHEDULER_Reason reason;
141
142   /**
143    * Task priority.
144    */
145   enum GNUNET_SCHEDULER_Priority priority;
146
147   /**
148    * Set if we only wait for reading from a single FD, otherwise -1.
149    */
150   int read_fd;
151
152   /**
153    * Set if we only wait for writing to a single FD, otherwise -1.
154    */
155   int write_fd;
156
157   /**
158    * Should the existence of this task in the queue be counted as
159    * reason to not shutdown the scheduler?
160    */
161   int lifeness;
162
163 #if EXECINFO
164   /**
165    * Array of strings which make up a backtrace from the point when this
166    * task was scheduled (essentially, who scheduled the task?)
167    */
168   char **backtrace_strings;
169
170   /**
171    * Size of the backtrace_strings array
172    */
173   int num_backtrace_strings;
174 #endif
175
176
177 };
178
179
180 /**
181  * List of tasks waiting for an event.
182  */
183 static struct Task *pending;
184
185 /**
186  * List of tasks waiting ONLY for a timeout event.
187  * Sorted by timeout (earliest first).  Used so that
188  * we do not traverse the list of these tasks when
189  * building select sets (we just look at the head
190  * to determine the respective timeout ONCE).
191  */
192 static struct Task *pending_timeout;
193
194 /**
195  * Last inserted task waiting ONLY for a timeout event.
196  * Used to (heuristically) speed up insertion.
197  */
198 static struct Task *pending_timeout_last;
199
200 /**
201  * ID of the task that is running right now.
202  */
203 static struct Task *active_task;
204
205 /**
206  * List of tasks ready to run right now,
207  * grouped by importance.
208  */
209 static struct Task *ready[GNUNET_SCHEDULER_PRIORITY_COUNT];
210
211 /**
212  * Identity of the last task queued.  Incremented for each task to
213  * generate a unique task ID (it is virtually impossible to start
214  * more than 2^64 tasks during the lifetime of a process).
215  */
216 static GNUNET_SCHEDULER_TaskIdentifier last_id;
217
218 /**
219  * Highest number so that all tasks with smaller identifiers
220  * have already completed.  Also the lowest number of a task
221  * still waiting to be executed.
222  */
223 static GNUNET_SCHEDULER_TaskIdentifier lowest_pending_id;
224
225 /**
226  * Number of tasks on the ready list.
227  */
228 static unsigned int ready_count;
229
230 /**
231  * How many tasks have we run so far?
232  */
233 static unsigned long long tasks_run;
234
235 /**
236  * Priority of the task running right now.  Only
237  * valid while a task is running.
238  */
239 static enum GNUNET_SCHEDULER_Priority current_priority;
240
241 /**
242  * Priority of the highest task added in the current select
243  * iteration.
244  */
245 static enum GNUNET_SCHEDULER_Priority max_priority_added;
246
247 /**
248  * Value of the 'lifeness' flag for the current task.
249  */
250 static int current_lifeness;
251
252 /**
253  * Function to use as a select() in the scheduler.
254  * If NULL, we use GNUNET_NETWORK_socket_select ().
255  */
256 static GNUNET_SCHEDULER_select scheduler_select;
257
258 /**
259  * Closure for 'scheduler_select'.
260  */
261 static void *scheduler_select_cls;
262
263 /**
264  * Sets the select function to use in the scheduler (scheduler_select).
265  *
266  * @param new_select new select function to use
267  * @param new_select_cls closure for 'new_select'
268  * @return previously used select function, NULL for default
269  */
270 void
271 GNUNET_SCHEDULER_set_select (GNUNET_SCHEDULER_select new_select,
272                              void *new_select_cls)
273 {
274   scheduler_select = new_select;
275   scheduler_select_cls = new_select_cls;
276 }
277
278
279 /**
280  * Check that the given priority is legal (and return it).
281  *
282  * @param p priority value to check
283  * @return p on success, 0 on error
284  */
285 static enum GNUNET_SCHEDULER_Priority
286 check_priority (enum GNUNET_SCHEDULER_Priority p)
287 {
288   if ((p >= 0) && (p < GNUNET_SCHEDULER_PRIORITY_COUNT))
289     return p;
290   GNUNET_assert (0);
291   return 0;                     /* make compiler happy */
292 }
293
294
295 /**
296  * Is a task with this identifier still pending?  Also updates
297  * "lowest_pending_id" as a side-effect (for faster checks in the
298  * future), but only if the return value is "GNUNET_NO" (and
299  * the "lowest_pending_id" check failed).
300  *
301  * @param id which task are we checking for
302  * @return GNUNET_YES if so, GNUNET_NO if not
303  */
304 static int
305 is_pending (GNUNET_SCHEDULER_TaskIdentifier id)
306 {
307   struct Task *pos;
308   enum GNUNET_SCHEDULER_Priority p;
309   GNUNET_SCHEDULER_TaskIdentifier min;
310
311   if (id < lowest_pending_id)
312     return GNUNET_NO;
313   min = -1;                     /* maximum value */
314   pos = pending;
315   while (pos != NULL)
316   {
317     if (pos->id == id)
318       return GNUNET_YES;
319     if (pos->id < min)
320       min = pos->id;
321     pos = pos->next;
322   }
323   pos = pending_timeout;
324   while (pos != NULL)
325   {
326     if (pos->id == id)
327       return GNUNET_YES;
328     if (pos->id < min)
329       min = pos->id;
330     pos = pos->next;
331   }
332   for (p = 0; p < GNUNET_SCHEDULER_PRIORITY_COUNT; p++)
333   {
334     pos = ready[p];
335     while (pos != NULL)
336     {
337       if (pos->id == id)
338         return GNUNET_YES;
339       if (pos->id < min)
340         min = pos->id;
341       pos = pos->next;
342     }
343   }
344   lowest_pending_id = min;
345   return GNUNET_NO;
346 }
347
348
349 /**
350  * Update all sets and timeout for select.
351  *
352  * @param rs read-set, set to all FDs we would like to read (updated)
353  * @param ws write-set, set to all FDs we would like to write (updated)
354  * @param timeout next timeout (updated)
355  */
356 static void
357 update_sets (struct GNUNET_NETWORK_FDSet *rs, struct GNUNET_NETWORK_FDSet *ws,
358              struct GNUNET_TIME_Relative *timeout)
359 {
360   struct Task *pos;
361   struct GNUNET_TIME_Absolute now;
362   struct GNUNET_TIME_Relative to;
363
364   now = GNUNET_TIME_absolute_get ();
365   pos = pending_timeout;
366   if (pos != NULL)
367   {
368     to = GNUNET_TIME_absolute_get_difference (now, pos->timeout);
369     if (timeout->rel_value > to.rel_value)
370       *timeout = to;
371     if (pos->reason != 0)
372       *timeout = GNUNET_TIME_UNIT_ZERO;
373   }
374   pos = pending;
375   while (pos != NULL)
376   {
377     if ((pos->prereq_id != GNUNET_SCHEDULER_NO_TASK) &&
378         (GNUNET_YES == is_pending (pos->prereq_id)))
379     {
380       pos = pos->next;
381       continue;
382     }
383     if (pos->timeout.abs_value != GNUNET_TIME_UNIT_FOREVER_ABS.abs_value)
384     {
385       to = GNUNET_TIME_absolute_get_difference (now, pos->timeout);
386       if (timeout->rel_value > to.rel_value)
387         *timeout = to;
388     }
389     if (pos->read_fd != -1)
390       GNUNET_NETWORK_fdset_set_native (rs, pos->read_fd);
391     if (pos->write_fd != -1)
392       GNUNET_NETWORK_fdset_set_native (ws, pos->write_fd);
393     if (pos->read_set != NULL)
394       GNUNET_NETWORK_fdset_add (rs, pos->read_set);
395     if (pos->write_set != NULL)
396       GNUNET_NETWORK_fdset_add (ws, pos->write_set);
397     if (pos->reason != 0)
398       *timeout = GNUNET_TIME_UNIT_ZERO;
399     pos = pos->next;
400   }
401 }
402
403
404 /**
405  * Check if the ready set overlaps with the set we want to have ready.
406  * If so, update the want set (set all FDs that are ready).  If not,
407  * return GNUNET_NO.
408  *
409  * @param ready set that is ready
410  * @param want set that we want to be ready
411  * @return GNUNET_YES if there was some overlap
412  */
413 static int
414 set_overlaps (const struct GNUNET_NETWORK_FDSet *ready,
415               struct GNUNET_NETWORK_FDSet *want)
416 {
417   if ((NULL == want) || (NULL == ready))
418     return GNUNET_NO;
419   if (GNUNET_NETWORK_fdset_overlap (ready, want))
420   {
421     /* copy all over (yes, there maybe unrelated bits,
422      * but this should not hurt well-written clients) */
423     GNUNET_NETWORK_fdset_copy (want, ready);
424     return GNUNET_YES;
425   }
426   return GNUNET_NO;
427 }
428
429
430 /**
431  * Check if the given task is eligible to run now.
432  * Also set the reason why it is eligible.
433  *
434  * @param task task to check if it is ready
435  * @param now the current time
436  * @param rs set of FDs ready for reading
437  * @param ws set of FDs ready for writing
438  * @return GNUNET_YES if we can run it, GNUNET_NO if not.
439  */
440 static int
441 is_ready (struct Task *task, struct GNUNET_TIME_Absolute now,
442           const struct GNUNET_NETWORK_FDSet *rs,
443           const struct GNUNET_NETWORK_FDSet *ws)
444 {
445   enum GNUNET_SCHEDULER_Reason reason;
446
447   reason = task->reason;
448   if (now.abs_value >= task->timeout.abs_value)
449     reason |= GNUNET_SCHEDULER_REASON_TIMEOUT;
450   if ((0 == (reason & GNUNET_SCHEDULER_REASON_READ_READY)) &&
451       (((task->read_fd != -1) &&
452         (GNUNET_YES == GNUNET_NETWORK_fdset_test_native (rs, task->read_fd))) ||
453        (set_overlaps (rs, task->read_set))))
454     reason |= GNUNET_SCHEDULER_REASON_READ_READY;
455   if ((0 == (reason & GNUNET_SCHEDULER_REASON_WRITE_READY)) &&
456       (((task->write_fd != -1) &&
457         (GNUNET_YES == GNUNET_NETWORK_fdset_test_native (ws, task->write_fd)))
458        || (set_overlaps (ws, task->write_set))))
459     reason |= GNUNET_SCHEDULER_REASON_WRITE_READY;
460   if (reason == 0)
461     return GNUNET_NO;           /* not ready */
462   if (task->prereq_id != GNUNET_SCHEDULER_NO_TASK)
463   {
464     if (GNUNET_YES == is_pending (task->prereq_id))
465     {
466       task->reason = reason;
467       return GNUNET_NO;         /* prereq waiting */
468     }
469     reason |= GNUNET_SCHEDULER_REASON_PREREQ_DONE;
470   }
471   task->reason = reason;
472   return GNUNET_YES;
473 }
474
475
476 /**
477  * Put a task that is ready for execution into the ready queue.
478  *
479  * @param task task ready for execution
480  */
481 static void
482 queue_ready_task (struct Task *task)
483 {
484   enum GNUNET_SCHEDULER_Priority p = task->priority;
485
486   if (0 != (task->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
487     p = GNUNET_SCHEDULER_PRIORITY_SHUTDOWN;
488   task->next = ready[check_priority (p)];
489   ready[check_priority (p)] = task;
490   ready_count++;
491 }
492
493
494 /**
495  * Check which tasks are ready and move them
496  * to the respective ready queue.
497  *
498  * @param rs FDs ready for reading
499  * @param ws FDs ready for writing
500  */
501 static void
502 check_ready (const struct GNUNET_NETWORK_FDSet *rs,
503              const struct GNUNET_NETWORK_FDSet *ws)
504 {
505   struct Task *pos;
506   struct Task *prev;
507   struct Task *next;
508   struct GNUNET_TIME_Absolute now;
509
510   now = GNUNET_TIME_absolute_get ();
511   prev = NULL;
512   pos = pending_timeout;
513   while (pos != NULL)
514   {
515     next = pos->next;
516     if (now.abs_value >= pos->timeout.abs_value)
517       pos->reason |= GNUNET_SCHEDULER_REASON_TIMEOUT;
518     if (0 == pos->reason)
519       break;
520     pending_timeout = next;
521     if (pending_timeout_last == pos)
522       pending_timeout_last = NULL;
523     queue_ready_task (pos);
524     pos = next;
525   }
526   pos = pending;
527   while (pos != NULL)
528   {
529 #if DEBUG_TASKS
530     LOG (GNUNET_ERROR_TYPE_DEBUG, "Checking readiness of task: %llu / %p\n",
531          pos->id, pos->callback_cls);
532 #endif
533     next = pos->next;
534     if (GNUNET_YES == is_ready (pos, now, rs, ws))
535     {
536       if (prev == NULL)
537         pending = next;
538       else
539         prev->next = next;
540       queue_ready_task (pos);
541       pos = next;
542       continue;
543     }
544     prev = pos;
545     pos = next;
546   }
547 }
548
549
550 /**
551  * Request the shutdown of a scheduler.  Marks all currently
552  * pending tasks as ready because of shutdown.  This will
553  * cause all tasks to run (as soon as possible, respecting
554  * priorities and prerequisite tasks).  Note that tasks
555  * scheduled AFTER this call may still be delayed arbitrarily.
556  */
557 void
558 GNUNET_SCHEDULER_shutdown ()
559 {
560   struct Task *pos;
561   int i;
562
563   pos = pending_timeout;
564   while (pos != NULL)
565   {
566     pos->reason |= GNUNET_SCHEDULER_REASON_SHUTDOWN;
567     /* we don't move the task into the ready queue yet; check_ready
568      * will do that later, possibly adding additional
569      * readiness-factors */
570     pos = pos->next;
571   }
572   pos = pending;
573   while (pos != NULL)
574   {
575     pos->reason |= GNUNET_SCHEDULER_REASON_SHUTDOWN;
576     /* we don't move the task into the ready queue yet; check_ready
577      * will do that later, possibly adding additional
578      * readiness-factors */
579     pos = pos->next;
580   }
581   for (i = 0; i < GNUNET_SCHEDULER_PRIORITY_COUNT; i++)
582   {
583     pos = ready[i];
584     while (pos != NULL)
585     {
586       pos->reason |= GNUNET_SCHEDULER_REASON_SHUTDOWN;
587       /* we don't move the task into the ready queue yet; check_ready
588        * will do that later, possibly adding additional
589        * readiness-factors */
590       pos = pos->next;
591     }
592   }
593 }
594
595
596 /**
597  * Destroy a task (release associated resources)
598  *
599  * @param t task to destroy
600  */
601 static void
602 destroy_task (struct Task *t)
603 {
604   if (NULL != t->read_set)
605     GNUNET_NETWORK_fdset_destroy (t->read_set);
606   if (NULL != t->write_set)
607     GNUNET_NETWORK_fdset_destroy (t->write_set);
608 #if EXECINFO
609   GNUNET_free (t->backtrace_strings);
610 #endif
611   GNUNET_free (t);
612 }
613
614
615 /**
616  * Run at least one task in the highest-priority queue that is not
617  * empty.  Keep running tasks until we are either no longer running
618  * "URGENT" tasks or until we have at least one "pending" task (which
619  * may become ready, hence we should select on it).  Naturally, if
620  * there are no more ready tasks, we also return.
621  *
622  * @param rs FDs ready for reading
623  * @param ws FDs ready for writing
624  */
625 static void
626 run_ready (struct GNUNET_NETWORK_FDSet *rs, struct GNUNET_NETWORK_FDSet *ws)
627 {
628   enum GNUNET_SCHEDULER_Priority p;
629   struct Task *pos;
630   struct GNUNET_SCHEDULER_TaskContext tc;
631
632   max_priority_added = GNUNET_SCHEDULER_PRIORITY_KEEP;
633   do
634   {
635     if (ready_count == 0)
636       return;
637     GNUNET_assert (ready[GNUNET_SCHEDULER_PRIORITY_KEEP] == NULL);
638     /* yes, p>0 is correct, 0 is "KEEP" which should
639      * always be an empty queue (see assertion)! */
640     for (p = GNUNET_SCHEDULER_PRIORITY_COUNT - 1; p > 0; p--)
641     {
642       pos = ready[p];
643       if (pos != NULL)
644         break;
645     }
646     GNUNET_assert (pos != NULL);        /* ready_count wrong? */
647     ready[p] = pos->next;
648     ready_count--;
649     if (current_priority != pos->priority)
650     {
651       current_priority = pos->priority;
652       (void) GNUNET_OS_set_process_priority (GNUNET_OS_process_current (),
653                                              pos->priority);
654     }
655     current_lifeness = pos->lifeness;
656     active_task = pos;
657 #if PROFILE_DELAYS
658     if (GNUNET_TIME_absolute_get_duration (pos->start_time).rel_value >
659         DELAY_THRESHOLD.rel_value)
660     {
661       LOG (GNUNET_ERROR_TYPE_ERROR, "Task %llu took %llums to be scheduled\n",
662            pos->id,
663            (unsigned long long)
664            GNUNET_TIME_absolute_get_duration (pos->start_time).rel_value);
665     }
666 #endif
667     tc.reason = pos->reason;
668     tc.read_ready = (pos->read_set == NULL) ? rs : pos->read_set;
669     if ((pos->read_fd != -1) &&
670         (0 != (pos->reason & GNUNET_SCHEDULER_REASON_READ_READY)))
671       GNUNET_NETWORK_fdset_set_native (rs, pos->read_fd);
672     tc.write_ready = (pos->write_set == NULL) ? ws : pos->write_set;
673     if ((pos->write_fd != -1) &&
674         (0 != (pos->reason & GNUNET_SCHEDULER_REASON_WRITE_READY)))
675       GNUNET_NETWORK_fdset_set_native (ws, pos->write_fd);
676     if (((tc.reason & GNUNET_SCHEDULER_REASON_WRITE_READY) != 0) &&
677         (pos->write_fd != -1) &&
678         (!GNUNET_NETWORK_fdset_test_native (ws, pos->write_fd)))
679       GNUNET_abort ();          // added to ready in previous select loop!
680 #if DEBUG_TASKS
681     LOG (GNUNET_ERROR_TYPE_DEBUG, "Running task: %llu / %p\n", pos->id,
682          pos->callback_cls);
683 #endif
684     pos->callback (pos->callback_cls, &tc);
685 #if EXECINFO
686     int i;
687
688     for (i = 0; i < pos->num_backtrace_strings; i++)
689       LOG (GNUNET_ERROR_TYPE_ERROR, "Task %llu trace %d: %s\n", pos->id, i,
690            pos->backtrace_strings[i]);
691 #endif
692     active_task = NULL;
693     destroy_task (pos);
694     tasks_run++;
695   }
696   while ((pending == NULL) || (p >= max_priority_added));
697 }
698
699 /**
700  * Pipe used to communicate shutdown via signal.
701  */
702 static struct GNUNET_DISK_PipeHandle *shutdown_pipe_handle;
703
704 /**
705  * Process ID of this process at the time we installed the various
706  * signal handlers.
707  */
708 static pid_t my_pid;
709
710 /**
711  * Signal handler called for SIGPIPE.
712  */
713 #ifndef MINGW
714 static void
715 sighandler_pipe ()
716 {
717   return;
718 }
719 #endif
720 /**
721  * Signal handler called for signals that should cause us to shutdown.
722  */
723 static void
724 sighandler_shutdown ()
725 {
726   static char c;
727   int old_errno = errno;        /* backup errno */
728
729   if (getpid () != my_pid)
730     exit (1);                   /* we have fork'ed since the signal handler was created,
731                                  * ignore the signal, see https://gnunet.org/vfork discussion */
732   GNUNET_DISK_file_write (GNUNET_DISK_pipe_handle
733                           (shutdown_pipe_handle, GNUNET_DISK_PIPE_END_WRITE),
734                           &c, sizeof (c));
735   errno = old_errno;
736 }
737
738
739 /**
740  * Check if the system is still life. Trigger shutdown if we
741  * have tasks, but none of them give us lifeness.
742  *
743  * @return GNUNET_OK to continue the main loop,
744  *         GNUNET_NO to exit
745  */
746 static int
747 check_lifeness ()
748 {
749   struct Task *t;
750
751   if (ready_count > 0)
752     return GNUNET_OK;
753   for (t = pending; NULL != t; t = t->next)
754     if (t->lifeness == GNUNET_YES)
755       return GNUNET_OK;
756   for (t = pending_timeout; NULL != t; t = t->next)
757     if (t->lifeness == GNUNET_YES)
758       return GNUNET_OK;
759   if ((NULL != pending) || (NULL != pending_timeout))
760   {
761     GNUNET_SCHEDULER_shutdown ();
762     return GNUNET_OK;
763   }
764   return GNUNET_NO;
765 }
766
767
768 /**
769  * Initialize and run scheduler.  This function will return when all
770  * tasks have completed.  On systems with signals, receiving a SIGTERM
771  * (and other similar signals) will cause "GNUNET_SCHEDULER_shutdown"
772  * to be run after the active task is complete.  As a result, SIGTERM
773  * causes all active tasks to be scheduled with reason
774  * "GNUNET_SCHEDULER_REASON_SHUTDOWN".  (However, tasks added
775  * afterwards will execute normally!). Note that any particular signal
776  * will only shut down one scheduler; applications should always only
777  * create a single scheduler.
778  *
779  * @param task task to run immediately
780  * @param task_cls closure of task
781  */
782 void
783 GNUNET_SCHEDULER_run (GNUNET_SCHEDULER_Task task, void *task_cls)
784 {
785   struct GNUNET_NETWORK_FDSet *rs;
786   struct GNUNET_NETWORK_FDSet *ws;
787   struct GNUNET_TIME_Relative timeout;
788   int ret;
789   struct GNUNET_SIGNAL_Context *shc_int;
790   struct GNUNET_SIGNAL_Context *shc_term;
791
792 #ifndef MINGW
793   struct GNUNET_SIGNAL_Context *shc_quit;
794   struct GNUNET_SIGNAL_Context *shc_hup;
795   struct GNUNET_SIGNAL_Context *shc_pipe;
796 #endif
797   unsigned long long last_tr;
798   unsigned int busy_wait_warning;
799   const struct GNUNET_DISK_FileHandle *pr;
800   char c;
801
802   GNUNET_assert (active_task == NULL);
803   rs = GNUNET_NETWORK_fdset_create ();
804   ws = GNUNET_NETWORK_fdset_create ();
805   GNUNET_assert (shutdown_pipe_handle == NULL);
806   shutdown_pipe_handle = GNUNET_DISK_pipe (GNUNET_NO, GNUNET_NO, GNUNET_NO);
807   GNUNET_assert (shutdown_pipe_handle != NULL);
808   pr = GNUNET_DISK_pipe_handle (shutdown_pipe_handle,
809                                 GNUNET_DISK_PIPE_END_READ);
810   GNUNET_assert (pr != NULL);
811   my_pid = getpid ();
812   shc_int = GNUNET_SIGNAL_handler_install (SIGINT, &sighandler_shutdown);
813   shc_term = GNUNET_SIGNAL_handler_install (SIGTERM, &sighandler_shutdown);
814 #ifndef MINGW
815   shc_pipe = GNUNET_SIGNAL_handler_install (SIGPIPE, &sighandler_pipe);
816   shc_quit = GNUNET_SIGNAL_handler_install (SIGQUIT, &sighandler_shutdown);
817   shc_hup = GNUNET_SIGNAL_handler_install (SIGHUP, &sighandler_shutdown);
818 #endif
819   current_priority = GNUNET_SCHEDULER_PRIORITY_DEFAULT;
820   current_lifeness = GNUNET_YES;
821   GNUNET_SCHEDULER_add_continuation (task, task_cls,
822                                      GNUNET_SCHEDULER_REASON_STARTUP);
823 #if ENABLE_WINDOWS_WORKAROUNDS
824   active_task = (void *) (long) -1;     /* force passing of sanity check */
825   GNUNET_SCHEDULER_add_now_with_lifeness (GNUNET_NO,
826                                           &GNUNET_OS_install_parent_control_handler,
827                                           NULL);
828   active_task = NULL;
829 #endif
830   last_tr = 0;
831   busy_wait_warning = 0;
832   while (GNUNET_OK == check_lifeness ())
833   {
834     GNUNET_NETWORK_fdset_zero (rs);
835     GNUNET_NETWORK_fdset_zero (ws);
836     timeout = GNUNET_TIME_UNIT_FOREVER_REL;
837     update_sets (rs, ws, &timeout);
838     GNUNET_NETWORK_fdset_handle_set (rs, pr);
839     if (ready_count > 0)
840     {
841       /* no blocking, more work already ready! */
842       timeout = GNUNET_TIME_UNIT_ZERO;
843     }
844     if (NULL == scheduler_select)
845       ret = GNUNET_NETWORK_socket_select (rs, ws, NULL, timeout);
846     else
847       ret = scheduler_select (scheduler_select_cls, rs, ws, NULL, timeout);
848     if (ret == GNUNET_SYSERR)
849     {
850       if (errno == EINTR)
851         continue;
852
853       LOG_STRERROR (GNUNET_ERROR_TYPE_ERROR, "select");
854 #ifndef MINGW
855 #if USE_LSOF
856       char lsof[512];
857
858       snprintf (lsof, sizeof (lsof), "lsof -p %d", getpid ());
859       (void) close (1);
860       (void) dup2 (2, 1);
861       if (0 != system (lsof))
862         LOG_STRERROR (GNUNET_ERROR_TYPE_WARNING, "system");
863 #endif
864 #endif
865       GNUNET_abort ();
866       break;
867     }
868     if ((ret == 0) && (timeout.rel_value == 0) && (busy_wait_warning > 16))
869     {
870       LOG (GNUNET_ERROR_TYPE_WARNING, _("Looks like we're busy waiting...\n"));
871       sleep (1);                /* mitigate */
872     }
873     check_ready (rs, ws);
874     run_ready (rs, ws);
875     if (GNUNET_NETWORK_fdset_handle_isset (rs, pr))
876     {
877       /* consume the signal */
878       GNUNET_DISK_file_read (pr, &c, sizeof (c));
879       /* mark all active tasks as ready due to shutdown */
880       GNUNET_SCHEDULER_shutdown ();
881     }
882     if (last_tr == tasks_run)
883     {
884       busy_wait_warning++;
885     }
886     else
887     {
888       last_tr = tasks_run;
889       busy_wait_warning = 0;
890     }
891   }
892   GNUNET_SIGNAL_handler_uninstall (shc_int);
893   GNUNET_SIGNAL_handler_uninstall (shc_term);
894 #ifndef MINGW
895   GNUNET_SIGNAL_handler_uninstall (shc_pipe);
896   GNUNET_SIGNAL_handler_uninstall (shc_quit);
897   GNUNET_SIGNAL_handler_uninstall (shc_hup);
898 #endif
899   GNUNET_DISK_pipe_close (shutdown_pipe_handle);
900   shutdown_pipe_handle = NULL;
901   GNUNET_NETWORK_fdset_destroy (rs);
902   GNUNET_NETWORK_fdset_destroy (ws);
903 }
904
905
906 /**
907  * Obtain the reason code for why the current task was
908  * started.  Will return the same value as
909  * the GNUNET_SCHEDULER_TaskContext's reason field.
910  *
911  * @return reason(s) why the current task is run
912  */
913 enum GNUNET_SCHEDULER_Reason
914 GNUNET_SCHEDULER_get_reason ()
915 {
916   GNUNET_assert (active_task != NULL);
917   return active_task->reason;
918 }
919
920
921 /**
922  * Get information about the current load of this scheduler.  Use this
923  * function to determine if an elective task should be added or simply
924  * dropped (if the decision should be made based on the number of
925  * tasks ready to run).
926  *
927  * @param p priority level to look at
928  * @return number of tasks pending right now
929  */
930 unsigned int
931 GNUNET_SCHEDULER_get_load (enum GNUNET_SCHEDULER_Priority p)
932 {
933   struct Task *pos;
934   unsigned int ret;
935
936   GNUNET_assert (active_task != NULL);
937   if (p == GNUNET_SCHEDULER_PRIORITY_COUNT)
938     return ready_count;
939   if (p == GNUNET_SCHEDULER_PRIORITY_KEEP)
940     p = current_priority;
941   ret = 0;
942   pos = ready[check_priority (p)];
943   while (pos != NULL)
944   {
945     pos = pos->next;
946     ret++;
947   }
948   return ret;
949 }
950
951
952 /**
953  * Cancel the task with the specified identifier.
954  * The task must not yet have run.
955  *
956  * @param task id of the task to cancel
957  * @return original closure of the task
958  */
959 void *
960 GNUNET_SCHEDULER_cancel (GNUNET_SCHEDULER_TaskIdentifier task)
961 {
962   struct Task *t;
963   struct Task *prev;
964   enum GNUNET_SCHEDULER_Priority p;
965   int to;
966   void *ret;
967
968   GNUNET_assert (active_task != NULL);
969   to = 0;
970   prev = NULL;
971   t = pending;
972   while (t != NULL)
973   {
974     if (t->id == task)
975       break;
976     prev = t;
977     t = t->next;
978   }
979   if (t == NULL)
980   {
981     prev = NULL;
982     to = 1;
983     t = pending_timeout;
984     while (t != NULL)
985     {
986       if (t->id == task)
987         break;
988       prev = t;
989       t = t->next;
990     }
991     if (pending_timeout_last == t)
992       pending_timeout_last = NULL;
993   }
994   p = 0;
995   while (t == NULL)
996   {
997     p++;
998     if (p >= GNUNET_SCHEDULER_PRIORITY_COUNT)
999     {
1000       LOG (GNUNET_ERROR_TYPE_ERROR, _("Attempt to cancel dead task %llu!\n"),
1001            (unsigned long long) task);
1002       GNUNET_assert (0);
1003     }
1004     prev = NULL;
1005     t = ready[p];
1006     while (t != NULL)
1007     {
1008       if (t->id == task)
1009       {
1010         ready_count--;
1011         break;
1012       }
1013       prev = t;
1014       t = t->next;
1015     }
1016   }
1017   if (prev == NULL)
1018   {
1019     if (p == 0)
1020     {
1021       if (to == 0)
1022       {
1023         pending = t->next;
1024       }
1025       else
1026       {
1027         pending_timeout = t->next;
1028       }
1029     }
1030     else
1031     {
1032       ready[p] = t->next;
1033     }
1034   }
1035   else
1036   {
1037     prev->next = t->next;
1038   }
1039   ret = t->callback_cls;
1040 #if DEBUG_TASKS
1041   LOG (GNUNET_ERROR_TYPE_DEBUG, "Canceling task: %llu / %p\n", task,
1042        t->callback_cls);
1043 #endif
1044   destroy_task (t);
1045   return ret;
1046 }
1047
1048
1049 /**
1050  * Continue the current execution with the given function.  This is
1051  * similar to the other "add" functions except that there is no delay
1052  * and the reason code can be specified.
1053  *
1054  * @param task main function of the task
1055  * @param task_cls closure for 'main'
1056  * @param reason reason for task invocation
1057  */
1058 void
1059 GNUNET_SCHEDULER_add_continuation (GNUNET_SCHEDULER_Task task, void *task_cls,
1060                                    enum GNUNET_SCHEDULER_Reason reason)
1061 {
1062   struct Task *t;
1063
1064 #if EXECINFO
1065   void *backtrace_array[50];
1066 #endif
1067
1068   GNUNET_assert (NULL != task);
1069   GNUNET_assert ((active_task != NULL) ||
1070                  (reason == GNUNET_SCHEDULER_REASON_STARTUP));
1071   t = GNUNET_malloc (sizeof (struct Task));
1072 #if EXECINFO
1073   t->num_backtrace_strings = backtrace (backtrace_array, 50);
1074   t->backtrace_strings =
1075       backtrace_symbols (backtrace_array, t->num_backtrace_strings);
1076 #endif
1077   t->read_fd = -1;
1078   t->write_fd = -1;
1079   t->callback = task;
1080   t->callback_cls = task_cls;
1081   t->id = ++last_id;
1082 #if PROFILE_DELAYS
1083   t->start_time = GNUNET_TIME_absolute_get ();
1084 #endif
1085   t->reason = reason;
1086   t->priority = current_priority;
1087   t->lifeness = current_lifeness;
1088 #if DEBUG_TASKS
1089   LOG (GNUNET_ERROR_TYPE_DEBUG, "Adding continuation task: %llu / %p\n", t->id,
1090        t->callback_cls);
1091 #endif
1092   queue_ready_task (t);
1093 }
1094
1095
1096
1097 /**
1098  * Schedule a new task to be run after the specified prerequisite task
1099  * has completed. It will be run with the priority of the calling
1100  * task.
1101  *
1102  * @param prerequisite_task run this task after the task with the given
1103  *        task identifier completes (and any of our other
1104  *        conditions, such as delay, read or write-readiness
1105  *        are satisfied).  Use  GNUNET_SCHEDULER_NO_TASK to not have any dependency
1106  *        on completion of other tasks (this will cause the task to run as
1107  *        soon as possible).
1108  * @param task main function of the task
1109  * @param task_cls closure of task
1110  * @return unique task identifier for the job
1111  *         only valid until "task" is started!
1112  */
1113 GNUNET_SCHEDULER_TaskIdentifier
1114 GNUNET_SCHEDULER_add_after (GNUNET_SCHEDULER_TaskIdentifier prerequisite_task,
1115                             GNUNET_SCHEDULER_Task task, void *task_cls)
1116 {
1117   return GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_KEEP,
1118                                       prerequisite_task, GNUNET_TIME_UNIT_ZERO,
1119                                       NULL, NULL, task, task_cls);
1120 }
1121
1122
1123 /**
1124  * Schedule a new task to be run with a specified priority.
1125  *
1126  * @param prio how important is the new task?
1127  * @param task main function of the task
1128  * @param task_cls closure of task
1129  * @return unique task identifier for the job
1130  *         only valid until "task" is started!
1131  */
1132 GNUNET_SCHEDULER_TaskIdentifier
1133 GNUNET_SCHEDULER_add_with_priority (enum GNUNET_SCHEDULER_Priority prio,
1134                                     GNUNET_SCHEDULER_Task task, void *task_cls)
1135 {
1136   return GNUNET_SCHEDULER_add_select (prio, GNUNET_SCHEDULER_NO_TASK,
1137                                       GNUNET_TIME_UNIT_ZERO, NULL, NULL, task,
1138                                       task_cls);
1139 }
1140
1141
1142
1143 /**
1144  * Schedule a new task to be run with a specified delay.  The task
1145  * will be scheduled for execution once the delay has expired. It
1146  * will be run with the priority of the calling task.
1147  *
1148  * @param delay when should this operation time out? Use
1149  *        GNUNET_TIME_UNIT_FOREVER_REL for "on shutdown"
1150  * @param task main function of the task
1151  * @param task_cls closure of task
1152  * @return unique task identifier for the job
1153  *         only valid until "task" is started!
1154  */
1155 GNUNET_SCHEDULER_TaskIdentifier
1156 GNUNET_SCHEDULER_add_delayed (struct GNUNET_TIME_Relative delay,
1157                               GNUNET_SCHEDULER_Task task, void *task_cls)
1158 {
1159 #if 1
1160   /* new, optimized version */
1161   struct Task *t;
1162   struct Task *pos;
1163   struct Task *prev;
1164
1165 #if EXECINFO
1166   void *backtrace_array[MAX_TRACE_DEPTH];
1167 #endif
1168
1169   GNUNET_assert (active_task != NULL);
1170   GNUNET_assert (NULL != task);
1171   t = GNUNET_malloc (sizeof (struct Task));
1172   t->callback = task;
1173   t->callback_cls = task_cls;
1174 #if EXECINFO
1175   t->num_backtrace_strings = backtrace (backtrace_array, MAX_TRACE_DEPTH);
1176   t->backtrace_strings =
1177       backtrace_symbols (backtrace_array, t->num_backtrace_strings);
1178 #endif
1179   t->read_fd = -1;
1180   t->write_fd = -1;
1181   t->id = ++last_id;
1182 #if PROFILE_DELAYS
1183   t->start_time = GNUNET_TIME_absolute_get ();
1184 #endif
1185   t->timeout = GNUNET_TIME_relative_to_absolute (delay);
1186   t->priority = current_priority;
1187   t->lifeness = current_lifeness;
1188   /* try tail first (optimization in case we are
1189    * appending to a long list of tasks with timeouts) */
1190   prev = pending_timeout_last;
1191   if (prev != NULL)
1192   {
1193     if (prev->timeout.abs_value > t->timeout.abs_value)
1194       prev = NULL;
1195     else
1196       pos = prev->next;         /* heuristic success! */
1197   }
1198   if (prev == NULL)
1199   {
1200     /* heuristic failed, do traversal of timeout list */
1201     pos = pending_timeout;
1202   }
1203   while ((pos != NULL) &&
1204          ((pos->timeout.abs_value <= t->timeout.abs_value) ||
1205           (pos->reason != 0)))
1206   {
1207     prev = pos;
1208     pos = pos->next;
1209   }
1210   if (prev == NULL)
1211     pending_timeout = t;
1212   else
1213     prev->next = t;
1214   t->next = pos;
1215   /* hyper-optimization... */
1216   pending_timeout_last = t;
1217
1218 #if DEBUG_TASKS
1219   LOG (GNUNET_ERROR_TYPE_DEBUG, "Adding task: %llu / %p\n", t->id,
1220        t->callback_cls);
1221 #endif
1222 #if EXECINFO
1223   int i;
1224
1225   for (i = 0; i < t->num_backtrace_strings; i++)
1226     LOG (GNUNET_ERROR_TYPE_DEBUG, "Task %llu trace %d: %s\n", t->id, i,
1227          t->backtrace_strings[i]);
1228 #endif
1229   return t->id;
1230
1231 #else
1232   /* unoptimized version */
1233   return GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_KEEP,
1234                                       GNUNET_SCHEDULER_NO_TASK, delay, NULL,
1235                                       NULL, task, task_cls);
1236 #endif
1237 }
1238
1239
1240
1241 /**
1242  * Schedule a new task to be run as soon as possible. The task
1243  * will be run with the priority of the calling task.
1244  *
1245  * @param task main function of the task
1246  * @param task_cls closure of task
1247  * @return unique task identifier for the job
1248  *         only valid until "task" is started!
1249  */
1250 GNUNET_SCHEDULER_TaskIdentifier
1251 GNUNET_SCHEDULER_add_now (GNUNET_SCHEDULER_Task task, void *task_cls)
1252 {
1253   return GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_KEEP,
1254                                       GNUNET_SCHEDULER_NO_TASK,
1255                                       GNUNET_TIME_UNIT_ZERO, NULL, NULL, task,
1256                                       task_cls);
1257 }
1258
1259
1260 /**
1261  * Schedule a new task to be run as soon as possible with the
1262  * (transitive) ignore-shutdown flag either explicitly set or
1263  * explicitly enabled.  This task (and all tasks created from it,
1264  * other than by another call to this function) will either count or
1265  * not count for the 'lifeness' of the process.  This API is only
1266  * useful in a few special cases.
1267  *
1268  * @param lifeness GNUNET_YES if the task counts for lifeness, GNUNET_NO if not.
1269  * @param task main function of the task
1270  * @param task_cls closure of task
1271  * @return unique task identifier for the job
1272  *         only valid until "task" is started!
1273  */
1274 GNUNET_SCHEDULER_TaskIdentifier
1275 GNUNET_SCHEDULER_add_now_with_lifeness (int lifeness,
1276                                         GNUNET_SCHEDULER_Task task,
1277                                         void *task_cls)
1278 {
1279   GNUNET_SCHEDULER_TaskIdentifier ret;
1280
1281   ret =
1282       GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_KEEP,
1283                                    GNUNET_SCHEDULER_NO_TASK,
1284                                    GNUNET_TIME_UNIT_ZERO, NULL, NULL, task,
1285                                    task_cls);
1286   GNUNET_assert (pending->id == ret);
1287   pending->lifeness = lifeness;
1288   return ret;
1289 }
1290
1291
1292
1293
1294 /**
1295  * Schedule a new task to be run with a specified delay or when any of
1296  * the specified file descriptor sets is ready.  The delay can be used
1297  * as a timeout on the socket(s) being ready.  The task will be
1298  * scheduled for execution once either the delay has expired or any of
1299  * the socket operations is ready.  This is the most general
1300  * function of the "add" family.  Note that the "prerequisite_task"
1301  * must be satisfied in addition to any of the other conditions.  In
1302  * other words, the task will be started when
1303  * <code>
1304  * (prerequisite-run)
1305  * && (delay-ready
1306  *     || any-rs-ready
1307  *     || any-ws-ready
1308  *     || shutdown-active )
1309  * </code>
1310  *
1311  * @param delay how long should we wait? Use GNUNET_TIME_UNIT_FOREVER_REL for "forever",
1312  *        which means that the task will only be run after we receive SIGTERM
1313  * @param rfd file descriptor we want to read (can be -1)
1314  * @param wfd file descriptors we want to write (can be -1)
1315  * @param task main function of the task
1316  * @param task_cls closure of task
1317  * @return unique task identifier for the job
1318  *         only valid until "task" is started!
1319  */
1320 #ifndef MINGW
1321 static GNUNET_SCHEDULER_TaskIdentifier
1322 add_without_sets (struct GNUNET_TIME_Relative delay, int rfd, int wfd,
1323                   GNUNET_SCHEDULER_Task task, void *task_cls)
1324 {
1325   struct Task *t;
1326
1327 #if EXECINFO
1328   void *backtrace_array[MAX_TRACE_DEPTH];
1329 #endif
1330
1331   GNUNET_assert (active_task != NULL);
1332   GNUNET_assert (NULL != task);
1333   t = GNUNET_malloc (sizeof (struct Task));
1334   t->callback = task;
1335   t->callback_cls = task_cls;
1336 #if EXECINFO
1337   t->num_backtrace_strings = backtrace (backtrace_array, MAX_TRACE_DEPTH);
1338   t->backtrace_strings =
1339       backtrace_symbols (backtrace_array, t->num_backtrace_strings);
1340 #endif
1341 #if DEBUG_FDS
1342   if (-1 != rfd)
1343   {
1344     int flags = fcntl (rfd, F_GETFD);
1345
1346     if ((flags == -1) && (errno == EBADF))
1347     {
1348       LOG (GNUNET_ERROR_TYPE_ERROR, "Got invalid file descriptor %d!\n", rfd);
1349 #if EXECINFO
1350       int i;
1351
1352       for (i = 0; i < t->num_backtrace_strings; i++)
1353         LOG (GNUNET_ERROR_TYPE_DEBUG, "Trace: %s\n", t->backtrace_strings[i]);
1354 #endif
1355       GNUNET_assert (0);
1356     }
1357   }
1358   if (-1 != wfd)
1359   {
1360     int flags = fcntl (wfd, F_GETFD);
1361
1362     if (flags == -1 && errno == EBADF)
1363     {
1364       LOG (GNUNET_ERROR_TYPE_ERROR, "Got invalid file descriptor %d!\n", wfd);
1365 #if EXECINFO
1366       int i;
1367
1368       for (i = 0; i < t->num_backtrace_strings; i++)
1369         LOG (GNUNET_ERROR_TYPE_DEBUG, "Trace: %s\n", t->backtrace_strings[i]);
1370 #endif
1371       GNUNET_assert (0);
1372     }
1373   }
1374 #endif
1375   t->read_fd = rfd;
1376   GNUNET_assert (wfd >= -1);
1377   t->write_fd = wfd;
1378   t->id = ++last_id;
1379 #if PROFILE_DELAYS
1380   t->start_time = GNUNET_TIME_absolute_get ();
1381 #endif
1382   t->prereq_id = GNUNET_SCHEDULER_NO_TASK;
1383   t->timeout = GNUNET_TIME_relative_to_absolute (delay);
1384   t->priority = check_priority (current_priority);
1385   t->lifeness = current_lifeness;
1386   t->next = pending;
1387   pending = t;
1388   max_priority_added = GNUNET_MAX (max_priority_added, t->priority);
1389 #if DEBUG_TASKS
1390   LOG (GNUNET_ERROR_TYPE_DEBUG, "Adding task: %llu / %p\n", t->id,
1391        t->callback_cls);
1392 #endif
1393 #if EXECINFO
1394   int i;
1395
1396   for (i = 0; i < t->num_backtrace_strings; i++)
1397     LOG (GNUNET_ERROR_TYPE_DEBUG, "Task %llu trace %d: %s\n", t->id, i,
1398          t->backtrace_strings[i]);
1399 #endif
1400   return t->id;
1401 }
1402 #endif
1403
1404
1405
1406 /**
1407  * Schedule a new task to be run with a specified delay or when the
1408  * specified file descriptor is ready for reading.  The delay can be
1409  * used as a timeout on the socket being ready.  The task will be
1410  * scheduled for execution once either the delay has expired or the
1411  * socket operation is ready.  It will be run with the priority of
1412  * the calling task.
1413  *
1414  * @param delay when should this operation time out? Use
1415  *        GNUNET_TIME_UNIT_FOREVER_REL for "on shutdown"
1416  * @param rfd read file-descriptor
1417  * @param task main function of the task
1418  * @param task_cls closure of task
1419  * @return unique task identifier for the job
1420  *         only valid until "task" is started!
1421  */
1422 GNUNET_SCHEDULER_TaskIdentifier
1423 GNUNET_SCHEDULER_add_read_net (struct GNUNET_TIME_Relative delay,
1424                                struct GNUNET_NETWORK_Handle *rfd,
1425                                GNUNET_SCHEDULER_Task task, void *task_cls)
1426 {
1427 #if MINGW
1428   struct GNUNET_NETWORK_FDSet *rs;
1429   GNUNET_SCHEDULER_TaskIdentifier ret;
1430
1431   GNUNET_assert (rfd != NULL);
1432   rs = GNUNET_NETWORK_fdset_create ();
1433   GNUNET_NETWORK_fdset_set (rs, rfd);
1434   ret =
1435       GNUNET_SCHEDULER_add_select (check_priority (current_priority),
1436                                    GNUNET_SCHEDULER_NO_TASK, delay, rs, NULL,
1437                                    task, task_cls);
1438   GNUNET_NETWORK_fdset_destroy (rs);
1439   return ret;
1440 #else
1441   return add_without_sets (delay, GNUNET_NETWORK_get_fd (rfd), -1, task,
1442                            task_cls);
1443 #endif
1444 }
1445
1446
1447 /**
1448  * Schedule a new task to be run with a specified delay or when the
1449  * specified file descriptor is ready for writing.  The delay can be
1450  * used as a timeout on the socket being ready.  The task will be
1451  * scheduled for execution once either the delay has expired or the
1452  * socket operation is ready.  It will be run with the priority of
1453  * the calling task.
1454  *
1455  * @param delay when should this operation time out? Use
1456  *        GNUNET_TIME_UNIT_FOREVER_REL for "on shutdown"
1457  * @param wfd write file-descriptor
1458  * @param task main function of the task
1459  * @param task_cls closure of task
1460  * @return unique task identifier for the job
1461  *         only valid until "task" is started!
1462  */
1463 GNUNET_SCHEDULER_TaskIdentifier
1464 GNUNET_SCHEDULER_add_write_net (struct GNUNET_TIME_Relative delay,
1465                                 struct GNUNET_NETWORK_Handle *wfd,
1466                                 GNUNET_SCHEDULER_Task task, void *task_cls)
1467 {
1468 #if MINGW
1469   struct GNUNET_NETWORK_FDSet *ws;
1470   GNUNET_SCHEDULER_TaskIdentifier ret;
1471
1472   GNUNET_assert (wfd != NULL);
1473   ws = GNUNET_NETWORK_fdset_create ();
1474   GNUNET_NETWORK_fdset_set (ws, wfd);
1475   ret =
1476       GNUNET_SCHEDULER_add_select (check_priority (current_priority),
1477                                    GNUNET_SCHEDULER_NO_TASK, delay, NULL, ws,
1478                                    task, task_cls);
1479   GNUNET_NETWORK_fdset_destroy (ws);
1480   return ret;
1481 #else
1482   GNUNET_assert (GNUNET_NETWORK_get_fd (wfd) >= 0);
1483   return add_without_sets (delay, -1, GNUNET_NETWORK_get_fd (wfd), task,
1484                            task_cls);
1485 #endif
1486 }
1487
1488
1489 /**
1490  * Schedule a new task to be run with a specified delay or when the
1491  * specified file descriptor is ready for reading.  The delay can be
1492  * used as a timeout on the socket being ready.  The task will be
1493  * scheduled for execution once either the delay has expired or the
1494  * socket operation is ready. It will be run with the priority of
1495  * the calling task.
1496  *
1497  * @param delay when should this operation time out? Use
1498  *        GNUNET_TIME_UNIT_FOREVER_REL for "on shutdown"
1499  * @param rfd read file-descriptor
1500  * @param task main function of the task
1501  * @param task_cls closure of task
1502  * @return unique task identifier for the job
1503  *         only valid until "task" is started!
1504  */
1505 GNUNET_SCHEDULER_TaskIdentifier
1506 GNUNET_SCHEDULER_add_read_file (struct GNUNET_TIME_Relative delay,
1507                                 const struct GNUNET_DISK_FileHandle *rfd,
1508                                 GNUNET_SCHEDULER_Task task, void *task_cls)
1509 {
1510 #if MINGW
1511   struct GNUNET_NETWORK_FDSet *rs;
1512   GNUNET_SCHEDULER_TaskIdentifier ret;
1513
1514   GNUNET_assert (rfd != NULL);
1515   rs = GNUNET_NETWORK_fdset_create ();
1516   GNUNET_NETWORK_fdset_handle_set (rs, rfd);
1517   ret =
1518       GNUNET_SCHEDULER_add_select (check_priority (current_priority),
1519                                    GNUNET_SCHEDULER_NO_TASK, delay, rs, NULL,
1520                                    task, task_cls);
1521   GNUNET_NETWORK_fdset_destroy (rs);
1522   return ret;
1523 #else
1524   int fd;
1525
1526   GNUNET_DISK_internal_file_handle_ (rfd, &fd, sizeof (int));
1527   return add_without_sets (delay, fd, -1, task, task_cls);
1528
1529 #endif
1530 }
1531
1532
1533 /**
1534  * Schedule a new task to be run with a specified delay or when the
1535  * specified file descriptor is ready for writing.  The delay can be
1536  * used as a timeout on the socket being ready.  The task will be
1537  * scheduled for execution once either the delay has expired or the
1538  * socket operation is ready. It will be run with the priority of
1539  * the calling task.
1540  *
1541  * @param delay when should this operation time out? Use
1542  *        GNUNET_TIME_UNIT_FOREVER_REL for "on shutdown"
1543  * @param wfd write file-descriptor
1544  * @param task main function of the task
1545  * @param task_cls closure of task
1546  * @return unique task identifier for the job
1547  *         only valid until "task" is started!
1548  */
1549 GNUNET_SCHEDULER_TaskIdentifier
1550 GNUNET_SCHEDULER_add_write_file (struct GNUNET_TIME_Relative delay,
1551                                  const struct GNUNET_DISK_FileHandle *wfd,
1552                                  GNUNET_SCHEDULER_Task task, void *task_cls)
1553 {
1554 #if MINGW
1555   struct GNUNET_NETWORK_FDSet *ws;
1556   GNUNET_SCHEDULER_TaskIdentifier ret;
1557
1558   GNUNET_assert (wfd != NULL);
1559   ws = GNUNET_NETWORK_fdset_create ();
1560   GNUNET_NETWORK_fdset_handle_set (ws, wfd);
1561   ret =
1562       GNUNET_SCHEDULER_add_select (check_priority (current_priority),
1563                                    GNUNET_SCHEDULER_NO_TASK, delay, NULL, ws,
1564                                    task, task_cls);
1565   GNUNET_NETWORK_fdset_destroy (ws);
1566   return ret;
1567 #else
1568   int fd;
1569
1570   GNUNET_DISK_internal_file_handle_ (wfd, &fd, sizeof (int));
1571   GNUNET_assert (fd >= 0);
1572   return add_without_sets (delay, -1, fd, task, task_cls);
1573
1574 #endif
1575 }
1576
1577
1578
1579 /**
1580  * Schedule a new task to be run with a specified delay or when any of
1581  * the specified file descriptor sets is ready.  The delay can be used
1582  * as a timeout on the socket(s) being ready.  The task will be
1583  * scheduled for execution once either the delay has expired or any of
1584  * the socket operations is ready.  This is the most general
1585  * function of the "add" family.  Note that the "prerequisite_task"
1586  * must be satisfied in addition to any of the other conditions.  In
1587  * other words, the task will be started when
1588  * <code>
1589  * (prerequisite-run)
1590  * && (delay-ready
1591  *     || any-rs-ready
1592  *     || any-ws-ready
1593  *     || (shutdown-active && run-on-shutdown) )
1594  * </code>
1595  *
1596  * @param prio how important is this task?
1597  * @param prerequisite_task run this task after the task with the given
1598  *        task identifier completes (and any of our other
1599  *        conditions, such as delay, read or write-readiness
1600  *        are satisfied).  Use GNUNET_SCHEDULER_NO_TASK to not have any dependency
1601  *        on completion of other tasks.
1602  * @param delay how long should we wait? Use GNUNET_TIME_UNIT_FOREVER_REL for "forever",
1603  *        which means that the task will only be run after we receive SIGTERM
1604  * @param rs set of file descriptors we want to read (can be NULL)
1605  * @param ws set of file descriptors we want to write (can be NULL)
1606  * @param task main function of the task
1607  * @param task_cls closure of task
1608  * @return unique task identifier for the job
1609  *         only valid until "task" is started!
1610  */
1611 GNUNET_SCHEDULER_TaskIdentifier
1612 GNUNET_SCHEDULER_add_select (enum GNUNET_SCHEDULER_Priority prio,
1613                              GNUNET_SCHEDULER_TaskIdentifier prerequisite_task,
1614                              struct GNUNET_TIME_Relative delay,
1615                              const struct GNUNET_NETWORK_FDSet *rs,
1616                              const struct GNUNET_NETWORK_FDSet *ws,
1617                              GNUNET_SCHEDULER_Task task, void *task_cls)
1618 {
1619   struct Task *t;
1620
1621 #if EXECINFO
1622   void *backtrace_array[MAX_TRACE_DEPTH];
1623 #endif
1624
1625   GNUNET_assert (active_task != NULL);
1626   GNUNET_assert (NULL != task);
1627   t = GNUNET_malloc (sizeof (struct Task));
1628   t->callback = task;
1629   t->callback_cls = task_cls;
1630 #if EXECINFO
1631   t->num_backtrace_strings = backtrace (backtrace_array, MAX_TRACE_DEPTH);
1632   t->backtrace_strings =
1633       backtrace_symbols (backtrace_array, t->num_backtrace_strings);
1634 #endif
1635   t->read_fd = -1;
1636   t->write_fd = -1;
1637   if (rs != NULL)
1638   {
1639     t->read_set = GNUNET_NETWORK_fdset_create ();
1640     GNUNET_NETWORK_fdset_copy (t->read_set, rs);
1641   }
1642   if (ws != NULL)
1643   {
1644     t->write_set = GNUNET_NETWORK_fdset_create ();
1645     GNUNET_NETWORK_fdset_copy (t->write_set, ws);
1646   }
1647   t->id = ++last_id;
1648 #if PROFILE_DELAYS
1649   t->start_time = GNUNET_TIME_absolute_get ();
1650 #endif
1651   t->prereq_id = prerequisite_task;
1652   t->timeout = GNUNET_TIME_relative_to_absolute (delay);
1653   t->priority =
1654       check_priority ((prio ==
1655                        GNUNET_SCHEDULER_PRIORITY_KEEP) ? current_priority :
1656                       prio);
1657   t->lifeness = current_lifeness;
1658   t->next = pending;
1659   pending = t;
1660   max_priority_added = GNUNET_MAX (max_priority_added, t->priority);
1661 #if DEBUG_TASKS
1662   LOG (GNUNET_ERROR_TYPE_DEBUG, "Adding task: %llu / %p\n", t->id,
1663        t->callback_cls);
1664 #endif
1665 #if EXECINFO
1666   int i;
1667
1668   for (i = 0; i < t->num_backtrace_strings; i++)
1669     LOG (GNUNET_ERROR_TYPE_DEBUG, "Task %llu trace %d: %s\n", t->id, i,
1670          t->backtrace_strings[i]);
1671 #endif
1672   return t->id;
1673 }
1674
1675 /* end of scheduler.c */