RECLAIM: refactoring; cleanup
[oweals/gnunet.git] / src / testbed / testbed_api_testbed.c
1 /*
2   This file is part of GNUnet
3   Copyright (C) 2008--2013 GNUnet e.V.
4
5   GNUnet is free software: you can redistribute it and/or modify it
6   under the terms of the GNU Affero General Public License as published
7   by the Free Software Foundation, either version 3 of the License,
8   or (at your option) any later version.
9
10   GNUnet is distributed in the hope that it will be useful, but
11   WITHOUT ANY WARRANTY; without even the implied warranty of
12   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13   Affero General Public License for more details.
14  
15   You should have received a copy of the GNU Affero General Public License
16   along with this program.  If not, see <http://www.gnu.org/licenses/>.
17
18      SPDX-License-Identifier: AGPL3.0-or-later
19 */
20
21 /**
22  * @file testbed/testbed_api_testbed.c
23  * @brief high-level testbed management
24  * @author Christian Grothoff
25  * @author Sree Harsha Totakura
26  */
27
28 #include "platform.h"
29 #include "gnunet_util_lib.h"
30 #include "gnunet_testbed_service.h"
31 #include "testbed_api.h"
32 #include "testbed_api_peers.h"
33 #include "testbed_api_hosts.h"
34 #include "testbed_api_topology.h"
35
36 /**
37  * Generic loggins shorthand
38  */
39 #define LOG(kind,...)                                           \
40   GNUNET_log_from (kind, "testbed-api-testbed", __VA_ARGS__)
41
42 /**
43  * Debug logging shortcut
44  */
45 #define DEBUG(...)                              \
46   LOG (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
47
48 /**
49  * The default setup timeout in seconds
50  */
51 #define DEFAULT_SETUP_TIMEOUT 300
52
53
54 /**
55  * Configuration section for testbed
56  */
57 #define TESTBED_CONFIG_SECTION "testbed"
58
59 /**
60  * Option string for the maximum number of edges a peer is permitted to have
61  * while generating scale free topology
62  */
63 #define SCALE_FREE_CAP "SCALE_FREE_TOPOLOGY_CAP"
64
65 /**
66  * Option string for the number of edges to be established when adding a new
67  * node to the scale free network
68  */
69 #define SCALE_FREE_M "SCALE_FREE_TOPOLOGY_M"
70
71 /**
72  * Context information for the operation we start
73  */
74 struct RunContextOperation
75 {
76   /**
77    * The testbed operation handle
78    */
79   struct GNUNET_TESTBED_Operation *op;
80
81   /**
82    * Context information for GNUNET_TESTBED_run()
83    */
84   struct GNUNET_TESTBED_RunHandle *rc;
85
86   /**
87    * Closure
88    */
89   void *cls;
90
91 };
92
93
94 /**
95  * States of RunContext
96  */
97 enum State
98 {
99   /**
100    * Initial state
101    */
102   RC_INIT = 0,
103
104   /**
105    * Controllers on given hosts started and linked
106    */
107   RC_LINKED,
108
109   /**
110    * Peers are created
111    */
112   RC_PEERS_CREATED,
113
114   /**
115    * The testbed run is ready and the master callback can be called now. At this
116    * time the peers are all started and if a topology is provided in the
117    * configuration the topology would have been attempted
118    */
119   RC_READY,
120
121   /* /\** */
122   /*  * Peers are stopped */
123   /*  *\/ */
124   /* RC_PEERS_STOPPED, */
125
126   /* /\** */
127   /*  * Peers are destroyed */
128   /*  *\/ */
129   /* RC_PEERS_DESTROYED */
130
131   /**
132    * All peers shutdown (stopped and destroyed)
133    */
134   RC_PEERS_SHUTDOWN
135 };
136
137
138 /**
139  * Context for host compability checks
140  */
141 struct CompatibilityCheckContext
142 {
143   /**
144    * The run context
145    */
146   struct GNUNET_TESTBED_RunHandle *rc;
147
148   /**
149    * Handle for the compability check
150    */
151   struct GNUNET_TESTBED_HostHabitableCheckHandle *h;
152
153   /**
154    * Index of the host in the run context's hosts array
155    */
156   unsigned int index;
157 };
158
159
160 /**
161  * Testbed Run Handle
162  */
163 struct GNUNET_TESTBED_RunHandle
164 {
165   /**
166    * The controller handle
167    */
168   struct GNUNET_TESTBED_Controller *c;
169
170   /**
171    * The configuration of the controller. This is based on the cfg given to the
172    * function GNUNET_TESTBED_run(). We also use this config as a template while
173    * for peers
174    */
175   struct GNUNET_CONFIGURATION_Handle *cfg;
176
177   /**
178    * Handle to the host on which the controller runs
179    */
180   struct GNUNET_TESTBED_Host *h;
181
182   /**
183    * The handle to the controller process
184    */
185   struct GNUNET_TESTBED_ControllerProc *cproc;
186
187   /**
188    * The callback to use as controller callback
189    */
190   GNUNET_TESTBED_ControllerCallback cc;
191
192   /**
193    * The pointer to the controller callback
194    */
195   void *cc_cls;
196
197   /**
198    * The trusted IP string
199    */
200   char *trusted_ip;
201
202   /**
203    * TestMaster callback to call when testbed initialization is done
204    */
205   GNUNET_TESTBED_TestMaster test_master;
206
207   /**
208    * The closure for the TestMaster callback
209    */
210   void *test_master_cls;
211
212   /**
213    * A hashmap for operations started by us
214    */
215   struct GNUNET_CONTAINER_MultiHashMap32 *rcop_map;
216
217   /**
218    * An array of hosts loaded from the hostkeys file
219    */
220   struct GNUNET_TESTBED_Host **hosts;
221
222   /**
223    * Array of compatibility check contexts
224    */
225   struct CompatibilityCheckContext *hclist;
226
227   /**
228    * Array of peers which we create
229    */
230   struct GNUNET_TESTBED_Peer **peers;
231
232   /**
233    * The topology generation operation. Will be null if no topology is set in
234    * the configuration
235    */
236   struct GNUNET_TESTBED_Operation *topology_operation;
237
238   /**
239    * The file containing topology data. Only used if the topology is set to 'FROM_FILE'
240    */
241   char *topo_file;
242
243   /**
244    * Host registration handle
245    */
246   struct GNUNET_TESTBED_HostRegistrationHandle *reg_handle;
247
248   /**
249    * Profiling start time
250    */
251   struct GNUNET_TIME_Absolute pstart_time;
252
253   /**
254    * Host registration task
255    */
256   struct GNUNET_SCHEDULER_Task * register_hosts_task;
257
258   /**
259    * Task to be run of a timeout
260    */
261   struct GNUNET_SCHEDULER_Task * timeout_task;
262
263   /**
264    * Task run upon shutdown interrupts
265    */
266   struct GNUNET_SCHEDULER_Task *interrupt_task;
267
268   /**
269    * The event mask for the controller
270    */
271   uint64_t event_mask;
272
273   /**
274    * State of this context
275    */
276   enum State state;
277
278   /**
279    * The topology which has to be achieved with the peers started in this context
280    */
281   enum GNUNET_TESTBED_TopologyOption topology;
282
283   /**
284    * Have we already shutdown
285    */
286   int shutdown;
287
288   /**
289    * Number of hosts in the given host file
290    */
291   unsigned int num_hosts;
292
293   /**
294    * Number of registered hosts. Also used as a counter while checking
295    * habitabillity of hosts
296    */
297   unsigned int reg_hosts;
298
299   /**
300    * Current peer count for an operation; Set this to 0 and increment for each
301    * successful operation on a peer
302    */
303   unsigned int peer_count;
304
305   /**
306    * number of peers to start
307    */
308   unsigned int num_peers;
309
310   /**
311    * Expected overlay connects. Should be zero if no topology is relavant
312    */
313   unsigned int num_oc;
314
315   /**
316    * Number of random links to established
317    */
318   unsigned int random_links;
319
320   /**
321    * the number of overlay link connection attempts that succeeded
322    */
323   unsigned int links_succeeded;
324
325   /**
326    * the number of overlay link connection attempts that failed
327    */
328   unsigned int links_failed;
329
330 };
331
332
333 /**
334  * Return a 32-bit key from a pointer
335  *
336  * @param rcop the pointer
337  * @return 32-bit key
338  */
339 static uint32_t
340 rcop_key (void *rcop)
341 {
342   return * ((uint32_t *) &rcop);
343 }
344
345
346 /**
347  * Context information used for finding a pointer in the rcop_map
348  */
349 struct SearchContext
350 {
351   /**
352    * The operation pointer to look for
353    */
354   struct GNUNET_TESTBED_Operation *query;
355
356   /**
357    * The Run context operation which has the operation being queried
358    */
359   struct RunContextOperation *result;
360 };
361
362
363 /**
364  * Iterator for searching over the elements matching a given query
365  *
366  * @param cls the SearchContext
367  * @param key the 32-bit key
368  * @param value the RunContextOperation element
369  * @return GNUNET_YES to continue iteration; GNUNET_NO to cancel it
370  */
371 static int
372 search_iterator (void *cls, uint32_t key, void *value)
373 {
374   struct RunContextOperation *rcop = value;
375   struct SearchContext *sc = cls;
376
377   GNUNET_assert (NULL != rcop);
378   if (sc->query == rcop->op)
379   {
380     GNUNET_assert (NULL == sc->result);
381     sc->result = rcop;
382     return GNUNET_NO;
383   }
384   return GNUNET_YES;
385 }
386
387
388 /**
389  * Initiate a search for the given operation in the rcop_map
390  *
391  * @param rc the RunContext whose rcop_map will be searched for the given
392  *          operation
393  * @param op the given operation to search for
394  * @return the matching RunContextOperation if found; NULL if not
395  */
396 static struct RunContextOperation *
397 search_rcop (struct GNUNET_TESTBED_RunHandle *rc, struct GNUNET_TESTBED_Operation *op)
398 {
399   struct SearchContext sc;
400
401   sc.query = op;
402   sc.result = NULL;
403   if (GNUNET_SYSERR ==
404       GNUNET_CONTAINER_multihashmap32_get_multiple (rc->rcop_map,
405                                                     rcop_key (op),
406                                                     &search_iterator,
407                                                     &sc))
408   {
409     GNUNET_assert (NULL != sc.result);
410     return sc.result;
411   }
412   return NULL;
413 }
414
415
416 /**
417  * Insert an RunContextOperation into the rcop_map of the given RunContext
418  *
419  * @param rc the RunContext into whose map is to be used for insertion
420  * @param rcop the RunContextOperation to insert
421  */
422 static void
423 insert_rcop (struct GNUNET_TESTBED_RunHandle *rc, struct RunContextOperation *rcop)
424 {
425   GNUNET_assert (GNUNET_OK ==
426                  GNUNET_CONTAINER_multihashmap32_put (rc->rcop_map,
427                                                       rcop_key (rcop->op), rcop,
428                                                       GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE));
429 }
430
431
432 /**
433  * Remove a RunContextOperation from the rcop_map of the given RunContext
434  *
435  * @param rc the RunContext from whose map the given RunContextOperaton has to
436  *          be removed
437  * @param rcop the RunContextOperation
438  */
439 static void
440 remove_rcop (struct GNUNET_TESTBED_RunHandle *rc, struct RunContextOperation *rcop)
441 {
442   GNUNET_assert (GNUNET_YES ==
443                  GNUNET_CONTAINER_multihashmap32_remove (rc->rcop_map,
444                                                          rcop_key (rcop->op),
445                                                          rcop));
446 }
447
448 /**
449  * Assuming all peers have been destroyed cleanup run handle
450  *
451  * @param rc the run context
452  */
453 static void
454 cleanup (struct GNUNET_TESTBED_RunHandle *rc)
455 {
456   unsigned int hid;
457
458   GNUNET_assert (NULL == rc->register_hosts_task);
459   GNUNET_assert (NULL == rc->reg_handle);
460   GNUNET_assert (NULL == rc->peers);
461   GNUNET_assert (NULL == rc->hclist);
462   GNUNET_assert (RC_PEERS_SHUTDOWN == rc->state);
463   GNUNET_assert (0 == GNUNET_CONTAINER_multihashmap32_size (rc->rcop_map));
464   GNUNET_CONTAINER_multihashmap32_destroy (rc->rcop_map);
465   if (NULL != rc->c)
466     GNUNET_TESTBED_controller_disconnect (rc->c);
467   if (NULL != rc->cproc)
468     GNUNET_TESTBED_controller_stop (rc->cproc);
469   if (NULL != rc->h)
470     GNUNET_TESTBED_host_destroy (rc->h);
471   for (hid = 0; hid < rc->num_hosts; hid++)
472     GNUNET_TESTBED_host_destroy (rc->hosts[hid]);
473   GNUNET_free_non_null (rc->hosts);
474   if (NULL != rc->cfg)
475     GNUNET_CONFIGURATION_destroy (rc->cfg);
476   GNUNET_free_non_null (rc->topo_file);
477   GNUNET_free_non_null (rc->trusted_ip);
478   GNUNET_free (rc);
479 }
480
481
482 /**
483  * Iterator for cleaning up elements from rcop_map
484  *
485  * @param cls the RunContext
486  * @param key the 32-bit key
487  * @param value the RunContextOperation element
488  * @return always GNUNET_YES
489  */
490 static int
491 rcop_cleanup_iterator (void *cls, uint32_t key, void *value)
492 {
493   struct GNUNET_TESTBED_RunHandle *rc = cls;
494   struct RunContextOperation *rcop = value;
495
496   GNUNET_assert (rc == rcop->rc);
497   remove_rcop (rc, rcop);
498   GNUNET_TESTBED_operation_done (rcop->op);
499   GNUNET_free (rcop);
500   return GNUNET_YES;
501 }
502
503
504 /**
505  * Cancels operations and tasks which are assigned to the given run context
506  *
507  * @param rc the RunContext
508  */
509 static void
510 rc_cleanup_operations (struct GNUNET_TESTBED_RunHandle *rc)
511 {
512   struct CompatibilityCheckContext *hc;
513   unsigned int nhost;
514
515   if (NULL != rc->hclist)
516   {
517     for (nhost = 0; nhost < rc->num_hosts; nhost++)
518     {
519       hc = &rc->hclist[nhost];
520       if (NULL != hc->h)
521         GNUNET_TESTBED_is_host_habitable_cancel (hc->h);
522     }
523     GNUNET_free (rc->hclist);
524     rc->hclist = NULL;
525   }
526   /* Stop register hosts task if it is running */
527   if (NULL != rc->register_hosts_task)
528   {
529     GNUNET_SCHEDULER_cancel (rc->register_hosts_task);
530     rc->register_hosts_task = NULL;
531   }
532   if (NULL != rc->timeout_task)
533   {
534     GNUNET_SCHEDULER_cancel (rc->timeout_task);
535     rc->timeout_task = NULL;
536   }
537   if (NULL != rc->reg_handle)
538   {
539     GNUNET_TESTBED_cancel_registration (rc->reg_handle);
540     rc->reg_handle = NULL;
541   }
542   if (NULL != rc->topology_operation)
543   {
544     GNUNET_TESTBED_operation_done (rc->topology_operation);
545     rc->topology_operation = NULL;
546   }
547   /* cancel any exiting operations */
548   GNUNET_assert (GNUNET_SYSERR !=
549                  GNUNET_CONTAINER_multihashmap32_iterate (rc->rcop_map,
550                                                           &rcop_cleanup_iterator,
551                                                           rc));
552 }
553
554
555 /**
556  * Cancels the scheduled interrupt task
557  *
558  * @param rc the run context
559  */
560 static void
561 cancel_interrupt_task (struct GNUNET_TESTBED_RunHandle *rc)
562 {
563   GNUNET_SCHEDULER_cancel (rc->interrupt_task);
564   rc->interrupt_task = NULL;
565 }
566
567
568 /**
569  * This callback will be called when all the operations are completed
570  * (done/cancelled)
571  *
572  * @param cls run context
573  */
574 static void
575 wait_op_completion (void *cls)
576 {
577   struct GNUNET_TESTBED_RunHandle *rc = cls;
578   struct RunContextOperation *rcop;
579
580   if ( (NULL == rc->cproc)
581        || (NULL == rc->c)
582        || (GNUNET_YES == rc->shutdown) )
583   {
584     if (NULL != rc->peers)
585     {
586       GNUNET_free (rc->peers);
587       rc->peers = NULL;
588     }
589     goto cleanup_;
590   }
591   if (NULL == rc->peers)
592     goto cleanup_;
593   rc->shutdown = GNUNET_YES;
594   rcop = GNUNET_new (struct RunContextOperation);
595   rcop->rc = rc;
596   rcop->op = GNUNET_TESTBED_shutdown_peers (rc->c, rcop, NULL, NULL);
597   GNUNET_assert (NULL != rcop->op);
598   DEBUG ("Shutting down peers\n");
599   rc->pstart_time = GNUNET_TIME_absolute_get ();
600   insert_rcop (rc, rcop);
601   return;
602
603  cleanup_:
604   rc->state = RC_PEERS_SHUTDOWN;
605   cancel_interrupt_task (rc);
606   cleanup (rc);
607 }
608
609
610 /**
611  * Task run upon interrupts (SIGINT, SIGTERM) and upon scheduler shutdown.
612  *
613  * @param cls the RunContext which has to be acted upon
614  */
615 static void
616 interrupt (void *cls)
617 {
618   struct GNUNET_TESTBED_RunHandle *rc = cls;
619   struct GNUNET_TESTBED_Controller *c = rc->c;
620   unsigned int size;
621
622   /* reschedule */
623   rc->interrupt_task = GNUNET_SCHEDULER_add_shutdown (&interrupt, rc);
624   rc_cleanup_operations (rc);
625   if ( (GNUNET_NO == rc->shutdown) &&
626        (NULL != c) &&
627        (NULL != c->opc_map) &&
628        (0 != (size = GNUNET_CONTAINER_multihashmap32_size (c->opc_map))))
629   {
630     LOG (GNUNET_ERROR_TYPE_WARNING,
631          "Shutdown postponed as there are %u operations currently active\n",
632          size);
633     c->opcq_empty_cb = &wait_op_completion;
634     c->opcq_empty_cls = rc;
635     return;
636   }
637   wait_op_completion (rc);
638 }
639
640
641 /**
642  * Function to return the string representation of the duration between current
643  * time and `pstart_time' in `RunContext'
644  *
645  * @param rc the RunContext
646  * @return the representation string; this is NOT reentrant
647  */
648 static const char *
649 prof_time (struct GNUNET_TESTBED_RunHandle *rc)
650 {
651   struct GNUNET_TIME_Relative ptime;
652
653   ptime = GNUNET_TIME_absolute_get_duration (rc->pstart_time);
654   return GNUNET_STRINGS_relative_time_to_string (ptime, GNUNET_YES);
655 }
656
657
658 /**
659  * Task for starting peers
660  *
661  * @param cls the RunHandle
662  */
663 static void
664 start_peers_task (void *cls)
665 {
666   struct GNUNET_TESTBED_RunHandle *rc = cls;
667   struct RunContextOperation *rcop;
668   unsigned int peer;
669
670   DEBUG ("Starting Peers\n");
671   rc->pstart_time = GNUNET_TIME_absolute_get ();
672   for (peer = 0; peer < rc->num_peers; peer++)
673   {
674     rcop = GNUNET_new (struct RunContextOperation);
675     rcop->rc = rc;
676     rcop->op  = GNUNET_TESTBED_peer_start (NULL, rc->peers[peer], NULL, NULL);
677     GNUNET_assert (NULL != rcop->op);
678     rcop->cls = rc->peers[peer];
679     insert_rcop (rc, rcop);
680   }
681   rc->peer_count = 0;
682 }
683
684
685 /**
686  * Functions of this signature are called when a peer has been successfully
687  * created
688  *
689  * @param cls the closure from GNUNET_TESTBED_peer_create()
690  * @param peer the handle for the created peer; NULL on any error during
691  *          creation
692  * @param emsg NULL if peer is not NULL; else MAY contain the error description
693  */
694 static void
695 peer_create_cb (void *cls, struct GNUNET_TESTBED_Peer *peer, const char *emsg)
696 {
697   struct RunContextOperation *rcop = cls;
698   struct GNUNET_TESTBED_RunHandle *rc;
699
700   GNUNET_assert (NULL != rcop);
701   GNUNET_assert (NULL != (rc = rcop->rc));
702   remove_rcop (rc, rcop);
703   GNUNET_TESTBED_operation_done (rcop->op);
704   GNUNET_free (rcop);
705   if (NULL == peer)
706   {
707     if (NULL != emsg)
708       LOG (GNUNET_ERROR_TYPE_ERROR, "Error while creating a peer: %s\n",
709            emsg);
710     GNUNET_SCHEDULER_shutdown ();
711     return;
712   }
713   rc->peers[rc->peer_count] = peer;
714   rc->peer_count++;
715   if (rc->peer_count < rc->num_peers)
716     return;
717   DEBUG ("%u peers created in %s\n", rc->num_peers, prof_time (rc));
718   rc->state = RC_PEERS_CREATED;
719   GNUNET_SCHEDULER_add_now (&start_peers_task, rc);
720 }
721
722
723 /**
724  * call test master callback
725  *
726  * @param rc the RunContext
727  */
728 static void
729 call_master (struct GNUNET_TESTBED_RunHandle *rc)
730 {
731   GNUNET_SCHEDULER_cancel (rc->timeout_task);
732   rc->timeout_task = NULL;
733   if (NULL != rc->test_master)
734     rc->test_master (rc->test_master_cls, rc, rc->num_peers, rc->peers,
735                      rc->links_succeeded, rc->links_failed);
736 }
737
738
739 /**
740  * Callbacks of this type are called when topology configuration is completed
741  *
742  * @param cls the operation closure given to
743  *          GNUNET_TESTBED_overlay_configure_topology_va() and
744  *          GNUNET_TESTBED_overlay_configure() calls
745  * @param nsuccess the number of successful overlay connects
746  * @param nfailures the number of overlay connects which failed
747  */
748 static void
749 topology_completion_callback (void *cls, unsigned int nsuccess,
750                               unsigned int nfailures)
751 {
752   struct GNUNET_TESTBED_RunHandle *rc = cls;
753
754   DEBUG ("Overlay topology generated in %s\n", prof_time (rc));
755   GNUNET_TESTBED_operation_done (rc->topology_operation);
756   rc->topology_operation = NULL;
757   rc->links_succeeded = nsuccess;
758   rc->links_failed = nfailures;
759   rc->state = RC_READY;
760   call_master (rc);
761 }
762
763
764 /**
765  * Function to create peers
766  *
767  * @param rc the RunContext
768  */
769 static void
770 create_peers (struct GNUNET_TESTBED_RunHandle *rc)
771 {
772   struct RunContextOperation *rcop;
773   unsigned int peer;
774
775   DEBUG ("Creating peers\n");
776   rc->pstart_time = GNUNET_TIME_absolute_get ();
777   rc->peers =
778       GNUNET_malloc (sizeof (struct GNUNET_TESTBED_Peer *) * rc->num_peers);
779   GNUNET_assert (NULL != rc->c);
780   rc->peer_count = 0;
781   for (peer = 0; peer < rc->num_peers; peer++)
782   {
783     rcop = GNUNET_new (struct RunContextOperation);
784     rcop->rc = rc;
785     rcop->op =
786         GNUNET_TESTBED_peer_create (rc->c,
787                                     (0 ==
788                                      rc->num_hosts) ? rc->h : rc->hosts[peer %
789                                                                         rc->num_hosts],
790                                     rc->cfg, &peer_create_cb, rcop);
791     GNUNET_assert (NULL != rcop->op);
792     insert_rcop (rc, rcop);
793   }
794 }
795
796
797 /**
798  * Signature of the event handler function called by the
799  * respective event controller.
800  *
801  * @param cls closure
802  * @param event information about the event
803  */
804 static void
805 event_cb (void *cls, const struct GNUNET_TESTBED_EventInformation *event)
806 {
807   struct GNUNET_TESTBED_RunHandle *rc = cls;
808   struct RunContextOperation *rcop;
809
810   if (RC_INIT == rc->state)
811   {
812     switch (event->type)
813     {
814     case GNUNET_TESTBED_ET_OPERATION_FINISHED:
815       rcop = event->op_cls;
816       if (NULL != event->details.operation_finished.emsg)
817       {
818         LOG (GNUNET_ERROR_TYPE_ERROR, _("Linking controllers failed. Exiting"));
819         GNUNET_SCHEDULER_shutdown ();
820       }
821       else
822         rc->reg_hosts++;
823       GNUNET_assert (event->op == rcop->op);
824       remove_rcop (rc, rcop);
825       GNUNET_TESTBED_operation_done (rcop->op);
826       GNUNET_free (rcop);
827       if (rc->reg_hosts == rc->num_hosts)
828       {
829         rc->state = RC_LINKED;
830         create_peers (rc);
831       }
832       return;
833     default:
834       GNUNET_break (0);
835       GNUNET_SCHEDULER_shutdown ();
836       return;
837     }
838   }
839   if (GNUNET_TESTBED_ET_OPERATION_FINISHED != event->type)
840     goto call_cc;
841   if (NULL == (rcop = search_rcop (rc, event->op)))
842     goto call_cc;
843   remove_rcop (rc, rcop);
844   GNUNET_TESTBED_operation_done (rcop->op);
845   GNUNET_free (rcop);
846   if ( (GNUNET_NO == rc->shutdown)
847        && (NULL != event->details.operation_finished.emsg) )
848   {
849     LOG (GNUNET_ERROR_TYPE_ERROR, "A operation has failed with error: %s\n",
850          event->details.operation_finished.emsg);
851     GNUNET_SCHEDULER_shutdown ();
852     return;
853   }
854   GNUNET_assert (GNUNET_YES == rc->shutdown);
855   switch (rc->state)
856   {
857   case RC_LINKED:
858   case RC_PEERS_CREATED:
859   case RC_READY:
860     rc->state = RC_PEERS_SHUTDOWN;
861     GNUNET_free_non_null (rc->peers);
862     rc->peers = NULL;
863     DEBUG ("Peers shut down in %s\n", prof_time (rc));
864     GNUNET_SCHEDULER_shutdown ();
865     break;
866   default:
867     GNUNET_assert (0);
868   }
869   return;
870
871 call_cc:
872   if ((0 != (rc->event_mask & (1LL << event->type))) && (NULL != rc->cc))
873     rc->cc (rc->cc_cls, event);
874   if (GNUNET_TESTBED_ET_PEER_START != event->type)
875     return;
876   if (NULL == (rcop = search_rcop (rc, event->op))) /* Not our operation */
877     return;
878   remove_rcop (rc, rcop);
879   GNUNET_TESTBED_operation_done (rcop->op);
880   GNUNET_free (rcop);
881   rc->peer_count++;
882   if (rc->peer_count < rc->num_peers)
883     return;
884   DEBUG ("%u peers started in %s\n", rc->num_peers, prof_time (rc));
885   if (GNUNET_TESTBED_TOPOLOGY_NONE != rc->topology)
886   {
887     switch (rc->topology)
888     {
889     case GNUNET_TESTBED_TOPOLOGY_NONE:
890       GNUNET_assert (0);
891     case GNUNET_TESTBED_TOPOLOGY_ERDOS_RENYI:
892     case GNUNET_TESTBED_TOPOLOGY_SMALL_WORLD_RING:
893     case GNUNET_TESTBED_TOPOLOGY_SMALL_WORLD:
894       rc->topology_operation =
895           GNUNET_TESTBED_overlay_configure_topology (NULL, rc->num_peers,
896                                                      rc->peers, &rc->num_oc,
897                                                      &topology_completion_callback,
898                                                      rc,
899                                                      rc->topology,
900                                                      rc->random_links,
901                                                      GNUNET_TESTBED_TOPOLOGY_OPTION_END);
902       break;
903     case GNUNET_TESTBED_TOPOLOGY_FROM_FILE:
904       GNUNET_assert (NULL != rc->topo_file);
905       rc->topology_operation =
906           GNUNET_TESTBED_overlay_configure_topology (NULL, rc->num_peers,
907                                                      rc->peers, &rc->num_oc,
908                                                      &topology_completion_callback,
909                                                      rc,
910                                                      rc->topology,
911                                                      rc->topo_file,
912                                                      GNUNET_TESTBED_TOPOLOGY_OPTION_END);
913       break;
914     case GNUNET_TESTBED_TOPOLOGY_SCALE_FREE:
915       {
916         unsigned long long number;
917         unsigned int cap;
918         GNUNET_assert (GNUNET_OK ==
919                        GNUNET_CONFIGURATION_get_value_number (rc->cfg, TESTBED_CONFIG_SECTION,
920                                                               SCALE_FREE_CAP,
921                                                               &number));
922         cap = (unsigned int) number;
923         GNUNET_assert (GNUNET_OK ==
924                        GNUNET_CONFIGURATION_get_value_number (rc->cfg, TESTBED_CONFIG_SECTION,
925                                                               SCALE_FREE_M,
926                                                               &number));
927         rc->topology_operation =
928             GNUNET_TESTBED_overlay_configure_topology (NULL, rc->num_peers,
929                                                        rc->peers, &rc->num_oc,
930                                                        &topology_completion_callback,
931                                                        rc,
932                                                        rc->topology,
933                                                        cap,    /* uint16_t */
934                                                        (unsigned int) number, /* uint8_t */
935                                                        GNUNET_TESTBED_TOPOLOGY_OPTION_END);
936       }
937       break;
938     default:
939       rc->topology_operation =
940           GNUNET_TESTBED_overlay_configure_topology (NULL, rc->num_peers,
941                                                      rc->peers, &rc->num_oc,
942                                                      &topology_completion_callback,
943                                                      rc,
944                                                      rc->topology,
945                                                      GNUNET_TESTBED_TOPOLOGY_OPTION_END);
946     }
947     if (NULL == rc->topology_operation)
948       LOG (GNUNET_ERROR_TYPE_WARNING,
949            "Not generating a topology. Check number of peers\n");
950     else
951     {
952       DEBUG ("Creating overlay topology\n");
953       rc->pstart_time = GNUNET_TIME_absolute_get ();
954       return;
955     }
956   }
957   rc->state = RC_READY;
958   call_master (rc);
959 }
960
961
962 /**
963  * Task to register all hosts available in the global host list
964  *
965  * @param cls the RunContext
966  */
967 static void
968 register_hosts (void *cls);
969
970
971 /**
972  * Callback which will be called to after a host registration succeeded or failed
973  *
974  * @param cls the closure
975  * @param emsg the error message; NULL if host registration is successful
976  */
977 static void
978 host_registration_completion (void *cls, const char *emsg)
979 {
980   struct GNUNET_TESTBED_RunHandle *rc = cls;
981
982   rc->reg_handle = NULL;
983   if (NULL != emsg)
984   {
985     LOG (GNUNET_ERROR_TYPE_WARNING,
986          _("Host registration failed for a host. Error: %s\n"), emsg);
987     GNUNET_SCHEDULER_shutdown ();
988     return;
989   }
990   rc->register_hosts_task = GNUNET_SCHEDULER_add_now (&register_hosts,
991                                                       rc);
992 }
993
994
995 /**
996  * Task to register all hosts available in the global host list
997  *
998  * @param cls RunContext
999  */
1000 static void
1001 register_hosts (void *cls)
1002 {
1003   struct GNUNET_TESTBED_RunHandle *rc = cls;
1004   struct RunContextOperation *rcop;
1005   unsigned int slave;
1006
1007   rc->register_hosts_task = NULL;
1008   if (rc->reg_hosts == rc->num_hosts)
1009   {
1010     DEBUG ("All hosts successfully registered\n");
1011     /* Start slaves */
1012     for (slave = 0; slave < rc->num_hosts; slave++)
1013     {
1014       rcop = GNUNET_new (struct RunContextOperation);
1015       rcop->rc = rc;
1016       rcop->op =
1017           GNUNET_TESTBED_controller_link (rcop, rc->c, rc->hosts[slave],
1018                                           rc->h, GNUNET_YES);
1019       GNUNET_assert (NULL != rcop->op);
1020       insert_rcop (rc, rcop);
1021     }
1022     rc->reg_hosts = 0;
1023     return;
1024   }
1025   rc->reg_handle =
1026       GNUNET_TESTBED_register_host (rc->c, rc->hosts[rc->reg_hosts],
1027                                     host_registration_completion, rc);
1028   rc->reg_hosts++;
1029 }
1030
1031
1032 /**
1033  * Callback to signal successfull startup of the controller process
1034  *
1035  * @param cls the closure from GNUNET_TESTBED_controller_start()
1036  * @param cfg the configuration with which the controller has been started;
1037  *          NULL if status is not GNUNET_OK
1038  * @param status GNUNET_OK if the startup is successfull; GNUNET_SYSERR if not,
1039  *          GNUNET_TESTBED_controller_stop() shouldn't be called in this case
1040  */
1041 static void
1042 controller_status_cb (void *cls, const struct GNUNET_CONFIGURATION_Handle *cfg,
1043                       int status)
1044 {
1045   struct GNUNET_TESTBED_RunHandle *rc = cls;
1046   uint64_t event_mask;
1047
1048   if (status != GNUNET_OK)
1049   {
1050     rc->cproc = NULL;
1051     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1052                 _("Controller crash detected. Shutting down.\n"));
1053     GNUNET_SCHEDULER_shutdown ();
1054     return;
1055   }
1056   GNUNET_CONFIGURATION_destroy (rc->cfg);
1057   rc->cfg = GNUNET_CONFIGURATION_dup (cfg);
1058   event_mask = rc->event_mask;
1059   event_mask |= (1LL << GNUNET_TESTBED_ET_OPERATION_FINISHED);
1060   event_mask |= (1LL << GNUNET_TESTBED_ET_PEER_START);
1061   if (rc->topology < GNUNET_TESTBED_TOPOLOGY_NONE)
1062     event_mask |= GNUNET_TESTBED_ET_CONNECT;
1063   rc->c =
1064       GNUNET_TESTBED_controller_connect (rc->h, event_mask, &event_cb, rc);
1065   if (0 < rc->num_hosts)
1066   {
1067     rc->reg_hosts = 0;
1068     rc->register_hosts_task = GNUNET_SCHEDULER_add_now (&register_hosts, rc);
1069     return;
1070   }
1071   rc->state = RC_LINKED;
1072   create_peers (rc);
1073 }
1074
1075
1076 /**
1077  * Callback function invoked for each interface found.
1078  *
1079  * @param cls closure
1080  * @param name name of the interface (can be NULL for unknown)
1081  * @param isDefault is this presumably the default interface
1082  * @param addr address of this interface (can be NULL for unknown or unassigned)
1083  * @param broadcast_addr the broadcast address (can be NULL for unknown or unassigned)
1084  * @param netmask the network mask (can be NULL for unknown or unassigned))
1085  * @param addrlen length of the address
1086  * @return GNUNET_OK to continue iteration, GNUNET_SYSERR to abort
1087  */
1088 static int
1089 netint_proc (void *cls, const char *name, int isDefault,
1090              const struct sockaddr *addr, const struct sockaddr *broadcast_addr,
1091              const struct sockaddr *netmask, socklen_t addrlen)
1092 {
1093   struct GNUNET_TESTBED_RunHandle *rc = cls;
1094   char hostip[NI_MAXHOST];
1095   char *buf;
1096
1097   if (sizeof (struct sockaddr_in) != addrlen)
1098     return GNUNET_OK;           /* Only consider IPv4 for now */
1099   if (0 !=
1100       getnameinfo (addr, addrlen, hostip, NI_MAXHOST, NULL, 0, NI_NUMERICHOST))
1101     GNUNET_log_strerror (GNUNET_ERROR_TYPE_WARNING, "getnameinfo");
1102   if (NULL == rc->trusted_ip)
1103   {
1104     rc->trusted_ip = GNUNET_strdup (hostip);
1105     return GNUNET_YES;
1106   }
1107   (void) GNUNET_asprintf (&buf, "%s; %s", rc->trusted_ip, hostip);
1108   GNUNET_free (rc->trusted_ip);
1109   rc->trusted_ip = buf;
1110   return GNUNET_YES;
1111 }
1112
1113
1114 /**
1115  * Callbacks of this type are called by GNUNET_TESTBED_is_host_habitable to
1116  * inform whether the given host is habitable or not. The Handle returned by
1117  * GNUNET_TESTBED_is_host_habitable() is invalid after this callback is called
1118  *
1119  * @param cls NULL
1120  * @param host the host whose status is being reported; will be NULL if the host
1121  *          given to GNUNET_TESTBED_is_host_habitable() is NULL
1122  * @param status GNUNET_YES if it is habitable; GNUNET_NO if not
1123  */
1124 static void
1125 host_habitable_cb (void *cls, const struct GNUNET_TESTBED_Host *host,
1126                    int status)
1127 {
1128   struct CompatibilityCheckContext *hc = cls;
1129   struct GNUNET_TESTBED_RunHandle *rc;
1130   struct GNUNET_TESTBED_Host **old_hosts;
1131   unsigned int nhost;
1132
1133   GNUNET_assert (NULL != (rc = hc->rc));
1134   nhost = hc->index;
1135   GNUNET_assert (nhost <= rc->num_hosts);
1136   GNUNET_assert (host == rc->hosts[nhost]);
1137   hc->h = NULL;
1138   if (GNUNET_NO == status)
1139   {
1140     if ((NULL != host) && (NULL != GNUNET_TESTBED_host_get_hostname (host)))
1141       LOG (GNUNET_ERROR_TYPE_ERROR, _("Host %s cannot start testbed\n"),
1142            GNUNET_TESTBED_host_get_hostname (host));
1143     else
1144       LOG (GNUNET_ERROR_TYPE_ERROR,
1145            _("Testbed cannot be started on localhost\n"));
1146     GNUNET_SCHEDULER_shutdown ();
1147     return;
1148   }
1149   rc->reg_hosts++;
1150   if (rc->reg_hosts < rc->num_hosts)
1151     return;
1152   GNUNET_free (rc->hclist);
1153   rc->hclist = NULL;
1154   rc->h = rc->hosts[0];
1155   rc->num_hosts--;
1156   if (0 < rc->num_hosts)
1157   {
1158     old_hosts = rc->hosts;
1159     rc->hosts =
1160         GNUNET_malloc (sizeof (struct GNUNET_TESTBED_Host *) * rc->num_hosts);
1161     GNUNET_memcpy (rc->hosts, &old_hosts[1],
1162             (sizeof (struct GNUNET_TESTBED_Host *) * rc->num_hosts));
1163     GNUNET_free (old_hosts);
1164   }
1165   else
1166   {
1167     GNUNET_free (rc->hosts);
1168     rc->hosts = NULL;
1169   }
1170   GNUNET_TESTBED_host_resolve_ (rc->h);
1171   for (nhost = 0; nhost < rc->num_hosts; nhost++)
1172     GNUNET_TESTBED_host_resolve_ (rc->hosts[nhost]);
1173   GNUNET_OS_network_interfaces_list (netint_proc, rc);
1174   if (NULL == rc->trusted_ip)
1175     rc->trusted_ip = GNUNET_strdup ("127.0.0.1");
1176   rc->cproc =
1177       GNUNET_TESTBED_controller_start (rc->trusted_ip, rc->h,
1178                                        &controller_status_cb, rc);
1179   GNUNET_free (rc->trusted_ip);
1180   rc->trusted_ip = NULL;
1181   if (NULL == rc->cproc)
1182   {
1183     LOG (GNUNET_ERROR_TYPE_ERROR, _("Cannot start the master controller"));
1184     GNUNET_SCHEDULER_shutdown ();
1185   }
1186 }
1187
1188
1189 /**
1190  * Task run upon timeout while setting up the testbed
1191  *
1192  * @param cls the RunContext
1193  */
1194 static void
1195 timeout_task (void *cls)
1196 {
1197   struct GNUNET_TESTBED_RunHandle *rc = cls;
1198
1199   rc->timeout_task = NULL;
1200   LOG (GNUNET_ERROR_TYPE_ERROR,
1201        _("Shutting down testbed due to timeout while setup.\n"));
1202    GNUNET_SCHEDULER_shutdown ();
1203    if (NULL != rc->test_master)
1204      rc->test_master (rc->test_master_cls, rc, 0, NULL, 0, 0);
1205    rc->test_master = NULL;
1206 }
1207
1208
1209 /**
1210  * Convenience method for running a testbed with
1211  * a single call.  Underlay and overlay topology
1212  * are configured using the "UNDERLAY" and "OVERLAY"
1213  * options in the "[testbed]" section of the configuration\
1214  * (with possible options given in "UNDERLAY_XXX" and/or
1215  * "OVERLAY_XXX").
1216  *
1217  * The testbed is to be terminated using a call to
1218  * "GNUNET_SCHEDULER_shutdown".
1219  *
1220  * @param host_filename name of the file with the 'hosts', NULL
1221  *        to run everything on 'localhost'
1222  * @param cfg configuration to use (for testbed, controller and peers)
1223  * @param num_peers number of peers to start; FIXME: maybe put that ALSO into cfg?
1224  * @param event_mask bit mask with set of events to call 'cc' for;
1225  *                   or-ed values of "1LL" shifted by the
1226  *                   respective 'enum GNUNET_TESTBED_EventType'
1227  *                   (i.e.  "(1LL << GNUNET_TESTBED_ET_CONNECT) || ...")
1228  * @param cc controller callback to invoke on events; This callback is called
1229  *          for all peer start events even if GNUNET_TESTBED_ET_PEER_START isn't
1230  *          set in the event_mask as this is the only way get access to the
1231  *          handle of each peer
1232  * @param cc_cls closure for cc
1233  * @param test_master this callback will be called once the test is ready
1234  * @param test_master_cls closure for 'test_master'.
1235  */
1236 void
1237 GNUNET_TESTBED_run (const char *host_filename,
1238                     const struct GNUNET_CONFIGURATION_Handle *cfg,
1239                     unsigned int num_peers, uint64_t event_mask,
1240                     GNUNET_TESTBED_ControllerCallback cc, void *cc_cls,
1241                     GNUNET_TESTBED_TestMaster test_master,
1242                     void *test_master_cls)
1243 {
1244   struct GNUNET_TESTBED_RunHandle *rc;
1245   char *topology;
1246   struct CompatibilityCheckContext *hc;
1247   struct GNUNET_TIME_Relative timeout;
1248   unsigned long long number;
1249   unsigned int hid;
1250   unsigned int nhost;
1251
1252   GNUNET_assert (num_peers > 0);
1253   rc = GNUNET_new (struct GNUNET_TESTBED_RunHandle);
1254   rc->cfg = GNUNET_CONFIGURATION_dup (cfg);
1255 #if ENABLE_SUPERMUC
1256   rc->num_hosts = GNUNET_TESTBED_hosts_load_from_loadleveler (rc->cfg,
1257                                                               &rc->hosts);
1258   if (0 == rc->num_hosts)
1259   {
1260     LOG (GNUNET_ERROR_TYPE_WARNING,
1261            _("No hosts loaded from LoadLeveler. Need at least one host\n"));
1262     goto error_cleanup;
1263   }
1264 #else
1265   if (NULL != host_filename)
1266   {
1267     rc->num_hosts =
1268         GNUNET_TESTBED_hosts_load_from_file (host_filename, rc->cfg,
1269                                              &rc->hosts);
1270     if (0 == rc->num_hosts)
1271     {
1272       LOG (GNUNET_ERROR_TYPE_WARNING,
1273            _("No hosts loaded. Need at least one host\n"));
1274       goto error_cleanup;
1275     }
1276   }
1277   else
1278     rc->h = GNUNET_TESTBED_host_create (NULL, NULL, rc->cfg, 0);
1279 #endif
1280   rc->num_peers = num_peers;
1281   rc->event_mask = event_mask;
1282   rc->cc = cc;
1283   rc->cc_cls = cc_cls;
1284   rc->test_master = test_master;
1285   rc->test_master_cls = test_master_cls;
1286   rc->state = RC_INIT;
1287   rc->topology = GNUNET_TESTBED_TOPOLOGY_NONE;
1288   if (GNUNET_OK ==
1289       GNUNET_CONFIGURATION_get_value_string (rc->cfg, TESTBED_CONFIG_SECTION,
1290                                              "OVERLAY_TOPOLOGY", &topology))
1291   {
1292     if (GNUNET_NO == GNUNET_TESTBED_topology_get_ (&rc->topology, topology))
1293     {
1294       GNUNET_log_config_invalid (GNUNET_ERROR_TYPE_ERROR, TESTBED_CONFIG_SECTION,
1295                                  "OVERLAY_TOPLOGY",
1296                                  _
1297                                  ("Specified topology must be supported by testbed"));
1298     }
1299     GNUNET_free (topology);
1300   }
1301   switch (rc->topology)
1302   {
1303   case GNUNET_TESTBED_TOPOLOGY_ERDOS_RENYI:
1304   case GNUNET_TESTBED_TOPOLOGY_SMALL_WORLD_RING:
1305   case GNUNET_TESTBED_TOPOLOGY_SMALL_WORLD:
1306     if (GNUNET_OK !=
1307         GNUNET_CONFIGURATION_get_value_number (rc->cfg, TESTBED_CONFIG_SECTION,
1308                                                "OVERLAY_RANDOM_LINKS",
1309                                                &number))
1310     {
1311       /* OVERLAY option RANDOM & SMALL_WORLD_RING requires OVERLAY_RANDOM_LINKS
1312        * option to be set to the number of random links to be established  */
1313       GNUNET_log_config_missing (GNUNET_ERROR_TYPE_ERROR, TESTBED_CONFIG_SECTION,
1314                                  "OVERLAY_RANDOM_LINKS");
1315       goto error_cleanup;
1316     }
1317     if (number > UINT32_MAX)
1318     {
1319       GNUNET_break (0);         /* Too big number */
1320       goto error_cleanup;
1321     }
1322     rc->random_links = (unsigned int) number;
1323     break;
1324   case GNUNET_TESTBED_TOPOLOGY_FROM_FILE:
1325     if (GNUNET_OK !=
1326         GNUNET_CONFIGURATION_get_value_filename (rc->cfg, TESTBED_CONFIG_SECTION,
1327                                                "OVERLAY_TOPOLOGY_FILE",
1328                                                &rc->topo_file))
1329     {
1330       GNUNET_log_config_missing (GNUNET_ERROR_TYPE_ERROR, TESTBED_CONFIG_SECTION,
1331                                  "OVERLAY_TOPOLOGY_FILE");
1332       goto error_cleanup;
1333     }
1334     goto warn_ignore;
1335   case GNUNET_TESTBED_TOPOLOGY_SCALE_FREE:
1336     if (GNUNET_OK !=
1337         GNUNET_CONFIGURATION_get_value_number (rc->cfg, TESTBED_CONFIG_SECTION,
1338                                                SCALE_FREE_CAP, &number))
1339     {
1340       GNUNET_log_config_missing (GNUNET_ERROR_TYPE_ERROR, TESTBED_CONFIG_SECTION,
1341                                  SCALE_FREE_CAP);
1342       goto error_cleanup;
1343     }
1344     if (UINT16_MAX < number)
1345     {
1346       LOG (GNUNET_ERROR_TYPE_ERROR,
1347            _("Maximum number of edges a peer can have in a scale free topology"
1348              " cannot be more than %u.  Given `%s = %llu'"), UINT16_MAX,
1349            SCALE_FREE_CAP, number);
1350       goto error_cleanup;
1351     }
1352     if (GNUNET_OK !=
1353         GNUNET_CONFIGURATION_get_value_number (rc->cfg, TESTBED_CONFIG_SECTION,
1354                                                SCALE_FREE_M, &number))
1355     {
1356       GNUNET_log_config_missing (GNUNET_ERROR_TYPE_ERROR, TESTBED_CONFIG_SECTION,
1357                                  SCALE_FREE_M);
1358       goto error_cleanup;
1359     }
1360     if (UINT8_MAX < number)
1361     {
1362       LOG (GNUNET_ERROR_TYPE_ERROR,
1363            _("The number of edges that can established when adding a new node"
1364              " to scale free topology cannot be more than %u.  Given `%s = %llu'"),
1365            UINT8_MAX, SCALE_FREE_M, number);
1366       goto error_cleanup;
1367     }
1368     goto warn_ignore;
1369   case GNUNET_TESTBED_TOPOLOGY_OPTION_END:
1370     /* not allowed! */
1371     GNUNET_assert (0);
1372   default:
1373   warn_ignore:
1374     /* Warn if OVERLAY_RANDOM_LINKS is present that it will be ignored */
1375     if (GNUNET_YES ==
1376         GNUNET_CONFIGURATION_have_value (rc->cfg, TESTBED_CONFIG_SECTION,
1377                                          "OVERLAY_RANDOM_LINKS"))
1378       LOG (GNUNET_ERROR_TYPE_WARNING,
1379            "Ignoring value of `OVERLAY_RANDOM_LINKS' in given configuration\n");
1380     break;
1381   }
1382   if (0 != rc->num_hosts)
1383   {
1384     rc->hclist = GNUNET_malloc (sizeof (struct CompatibilityCheckContext)
1385                                 * rc->num_hosts);
1386     for (nhost = 0; nhost < rc->num_hosts; nhost++)
1387     {
1388       hc = &rc->hclist[nhost];
1389       hc->index = nhost;
1390       hc->rc = rc;
1391       hc->h = GNUNET_TESTBED_is_host_habitable (rc->hosts[nhost], rc->cfg,
1392                                                 &host_habitable_cb, hc);
1393       if (NULL == hc->h)
1394       {
1395         GNUNET_break (0);
1396         for (nhost = 0; nhost < rc->num_hosts; nhost++)
1397         {
1398           hc = &rc->hclist[nhost];
1399           if (NULL != hc->h)
1400             GNUNET_TESTBED_is_host_habitable_cancel (hc->h);
1401         }
1402         GNUNET_free (rc->hclist);
1403         rc->hclist = NULL;
1404         goto error_cleanup;
1405       }
1406     }
1407   }
1408   else
1409     rc->cproc =
1410         GNUNET_TESTBED_controller_start ("127.0.0.1", rc->h,
1411                                          &controller_status_cb, rc);
1412   if (GNUNET_OK != GNUNET_CONFIGURATION_get_value_time (cfg, TESTBED_CONFIG_SECTION,
1413                                                         "SETUP_TIMEOUT",
1414                                                         &timeout))
1415   {
1416     timeout = GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS,
1417                                              DEFAULT_SETUP_TIMEOUT);
1418   }
1419   rc->rcop_map = GNUNET_CONTAINER_multihashmap32_create (256);
1420   rc->timeout_task =
1421     GNUNET_SCHEDULER_add_delayed (timeout, &timeout_task, rc);
1422   GNUNET_assert (NULL == rc->interrupt_task);
1423   rc->interrupt_task =
1424     GNUNET_SCHEDULER_add_shutdown (&interrupt,
1425                                    rc);
1426   return;
1427
1428 error_cleanup:
1429   if (NULL != rc->h)
1430     GNUNET_TESTBED_host_destroy (rc->h);
1431   if (NULL != rc->hosts)
1432   {
1433     for (hid = 0; hid < rc->num_hosts; hid++)
1434       if (NULL != rc->hosts[hid])
1435         GNUNET_TESTBED_host_destroy (rc->hosts[hid]);
1436     GNUNET_free (rc->hosts);
1437   }
1438   if (NULL != rc->cfg)
1439     GNUNET_CONFIGURATION_destroy (rc->cfg);
1440   GNUNET_free (rc);
1441 }
1442
1443
1444 /**
1445  * Obtain handle to the master controller from a testbed run.  The handle
1446  * returned should not be disconnected.
1447  *
1448  * @param h the testbed run handle
1449  * @return handle to the master controller
1450  */
1451 struct GNUNET_TESTBED_Controller *
1452 GNUNET_TESTBED_run_get_controller_handle (struct GNUNET_TESTBED_RunHandle *h)
1453 {
1454   return h->c;
1455 }
1456
1457
1458 /* end of testbed_api_testbed.c */