-more datacache integration work
[oweals/gnunet.git] / src / testbed / testbed_api.c
index 322effc690c5ecdbd7b59b7b5157c467b0a373eb..7314c3bdaac7a8d70e894405ccc5648f17772679 100644 (file)
@@ -1,6 +1,6 @@
 /*
       This file is part of GNUnet
-      (C) 2008--2012 Christian Grothoff (and other contributing authors)
+      Copyright (C) 2008--2013 Christian Grothoff (and other contributing authors)
 
       GNUnet is free software; you can redistribute it and/or modify
       it under the terms of the GNU General Public License as published
 #include "testbed_api_hosts.h"
 #include "testbed_api_peers.h"
 #include "testbed_api_operations.h"
+#include "testbed_api_sd.h"
 
 /**
  * Generic logging shorthand
  */
 #define LOG(kind, ...)                          \
-  GNUNET_log_from (kind, "testbed-api", __VA_ARGS__);
+  GNUNET_log_from (kind, "testbed-api", __VA_ARGS__)
 
 /**
  * Debug logging
  */
 #define LOG_DEBUG(...)                          \
-  LOG (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
 
 /**
  * Relative time seconds shorthand
 
 
 /**
- * Testbed Helper binary name
- */
-#define HELPER_TESTBED_BINARY "gnunet-helper-testbed"
-#define HELPER_TESTBED_BINARY_SSH ". ~/.bashrc; gnunet-helper-testbed"
-
-
-/**
- * Handle for controller process
+ * The message queue for sending messages to the controller service
  */
-struct GNUNET_TESTBED_ControllerProc
+struct MessageQueue
 {
   /**
-   * The process handle
-   */
-  struct GNUNET_HELPER_Handle *helper;
-
-  /**
-   * The host where the helper is run
-   */
-  struct GNUNET_TESTBED_Host *host;
-
-  /**
-   * The controller error callback
+   * The message to be sent
    */
-  GNUNET_TESTBED_ControllerStatusCallback cb;
+  struct GNUNET_MessageHeader *msg;
 
   /**
-   * The closure for the above callback
+   * next pointer for DLL
    */
-  void *cls;
+  struct MessageQueue *next;
 
   /**
-   * The send handle for the helper
+   * prev pointer for DLL
    */
-  struct GNUNET_HELPER_SendHandle *shandle;
+  struct MessageQueue *prev;
+};
 
-  /**
-   * The message corresponding to send handle
-   */
-  struct GNUNET_MessageHeader *msg;
 
-  /**
-   * The port number for ssh; used for helpers starting ssh
-   */
-  char *port;
+/**
+ * Context data for forwarded Operation
+ */
+struct ForwardedOperationData
+{
 
   /**
-   * The ssh destination string; used for helpers starting ssh
+   * The callback to call when reply is available
    */
-  char *dst;
+  GNUNET_CLIENT_MessageHandler cc;
 
   /**
-   * The configuration of the running testbed service
+   * The closure for the above callback
    */
-  struct GNUNET_CONFIGURATION_Handle *cfg;
+  void *cc_cls;
 
 };
 
 
 /**
- * The message queue for sending messages to the controller service
+ * Context data for get slave config operations
  */
-struct MessageQueue
+struct GetSlaveConfigData
 {
   /**
-   * The message to be sent
-   */
-  struct GNUNET_MessageHeader *msg;
-
-  /**
-   * next pointer for DLL
+   * The id of the slave controller
    */
-  struct MessageQueue *next;
+  uint32_t slave_id;
 
-  /**
-   * prev pointer for DLL
-   */
-  struct MessageQueue *prev;
 };
 
 
 /**
- * Structure for a controller link
+ * Context data for controller link operations
  */
-struct ControllerLink
+struct ControllerLinkData
 {
   /**
-   * The next ptr for DLL
+   * The controller link message
    */
-  struct ControllerLink *next;
+  struct GNUNET_TESTBED_ControllerLinkRequest *msg;
 
   /**
-   * The prev ptr for DLL
+   * The id of the host which is hosting the controller to be linked
    */
-  struct ControllerLink *prev;
+  uint32_t host_id;
 
-  /**
-   * The host which will be referred in the peer start request. This is the
-   * host where the peer should be started
-   */
-  struct GNUNET_TESTBED_Host *delegated_host;
+};
 
-  /**
-   * The host which will contacted to delegate the peer start request
-   */
-  struct GNUNET_TESTBED_Host *slave_host;
 
+/**
+ * Date context for OP_SHUTDOWN_PEERS operations
+ */
+struct ShutdownPeersData
+{
   /**
-   * The configuration to be used to connect to slave host
+   * The operation completion callback to call
    */
-  const struct GNUNET_CONFIGURATION_Handle *slave_cfg;
+  GNUNET_TESTBED_OperationCompletionCallback cb;
 
   /**
-   * GNUNET_YES if the slave should be started (and stopped) by us; GNUNET_NO
-   * if we are just allowed to use the slave via TCP/IP
+   * The closure for the above callback
    */
-  int is_subordinate;
+  void *cb_cls;
 };
 
 
 /**
- * handle for host registration
+ * An entry in the stack for keeping operations which are about to expire
  */
-struct GNUNET_TESTBED_HostRegistrationHandle
+struct ExpireOperationEntry
 {
   /**
-   * The host being registered
-   */
-  struct GNUNET_TESTBED_Host *host;
-
-  /**
-   * The controller at which this host is being registered
+   * DLL head; new entries are to be inserted here
    */
-  struct GNUNET_TESTBED_Controller *c;
+  struct ExpireOperationEntry *next;
 
   /**
-   * The Registartion completion callback
+   * DLL tail; entries are deleted from here
    */
-  GNUNET_TESTBED_HostRegistrationCompletion cc;
+  struct ExpireOperationEntry *prev;
 
   /**
-   * The closure for above callback
+   * The operation.  This will be a dangling pointer when the operation is freed
    */
-  void *cc_cls;
+  const struct GNUNET_TESTBED_Operation *op;
 };
 
 
 /**
- * Context data for forwarded Operation
+ * DLL head for list of operations marked for expiry
  */
-struct ForwardedOperationData
+static struct ExpireOperationEntry *exop_head;
+
+/**
+ * DLL tail for list of operation marked for expiry
+ */
+static struct ExpireOperationEntry *exop_tail;
+
+
+/**
+ * Inserts an operation into the list of operations marked for expiry
+ *
+ * @param op the operation to insert
+ */
+static void
+exop_insert (struct GNUNET_TESTBED_Operation *op)
 {
+  struct ExpireOperationEntry *entry;
 
-  /**
-   * The callback to call when reply is available
-   */
-  GNUNET_CLIENT_MessageHandler cc;
+  entry = GNUNET_new (struct ExpireOperationEntry);
+  entry->op = op;
+  GNUNET_CONTAINER_DLL_insert_tail (exop_head, exop_tail, entry);
+}
 
-  /**
-   * The closure for the above callback
-   */
-  void *cc_cls;
 
-};
+/**
+ * Checks if an operation is present in the list of operations marked for
+ * expiry.  If the operation is found, it and the tail of operations after it
+ * are removed from the list.
+ *
+ * @param op the operation to check
+ * @return GNUNET_NO if the operation is not present in the list; GNUNET_YES if
+ *           the operation is found in the list (the operation is then removed
+ *           from the list -- calling this function again with the same
+ *           paramenter will return GNUNET_NO)
+ */
+static int
+exop_check (const struct GNUNET_TESTBED_Operation *const op)
+{
+  struct ExpireOperationEntry *entry;
+  struct ExpireOperationEntry *entry2;
+  int found;
+
+  found = GNUNET_NO;
+  entry = exop_head;
+  while (NULL != entry)
+  {
+    if (op == entry->op)
+    {
+      found = GNUNET_YES;
+      break;
+    }
+    entry = entry->next;
+  }
+  if (GNUNET_NO == found)
+    return GNUNET_NO;
+  /* Truncate the tail */
+  while (NULL != entry)
+  {
+    entry2 = entry->next;
+    GNUNET_CONTAINER_DLL_remove (exop_head, exop_tail, entry);
+    GNUNET_free (entry);
+    entry = entry2;
+  }
+  return GNUNET_YES;
+}
 
 
 /**
- * Context data for get slave config operations
+ * Context information to be used while searching for operation contexts
  */
-struct GetSlaveConfigData
+struct SearchContext
 {
   /**
-   * The id of the slave controller
+   * The result of the search
    */
-  uint32_t slave_id;
+  struct OperationContext *opc;
 
+  /**
+   * The id of the operation context we are searching for
+   */
+  uint64_t id;
 };
 
 
 /**
- * Context data for controller link operations
+ * Search iterator for searching an operation context
+ *
+ * @param cls the serach context
+ * @param key current key code
+ * @param value value in the hash map
+ * @return GNUNET_YES if we should continue to
+ *         iterate,
+ *         GNUNET_NO if not.
  */
-struct ControllerLinkData
+static int
+opc_search_iterator (void *cls, uint32_t key, void *value)
 {
-  /**
-   * The controller link message
-   */
-  struct GNUNET_TESTBED_ControllerLinkMessage *msg;
+  struct SearchContext *sc = cls;
+  struct OperationContext *opc = value;
 
-};
+  GNUNET_assert (NULL != opc);
+  GNUNET_assert (NULL == sc->opc);
+  if (opc->id != sc->id)
+    return GNUNET_YES;
+  sc->opc = opc;
+  return GNUNET_NO;
+}
 
 
 /**
  * Returns the operation context with the given id if found in the Operation
  * context queues of the controller
  *
- * @param c the controller whose queues are searched
+ * @param c the controller whose operation context map is searched
  * @param id the id which has to be checked
  * @return the matching operation context; NULL if no match found
  */
 static struct OperationContext *
 find_opc (const struct GNUNET_TESTBED_Controller *c, const uint64_t id)
 {
-  struct OperationContext *opc;
-
-  for (opc = c->ocq_head; NULL != opc; opc = opc->next)
-  {
-    if (id == opc->id)
-      return opc;
-  }
-  return NULL;
+  struct SearchContext sc;
+
+  sc.id = id;
+  sc.opc = NULL;
+  GNUNET_assert (NULL != c->opc_map);
+  if (GNUNET_SYSERR !=
+      GNUNET_CONTAINER_multihashmap32_get_multiple (c->opc_map, (uint32_t) id,
+                                                    &opc_search_iterator, &sc))
+    return NULL;
+  return sc.opc;
 }
 
 
 /**
- * Handler for GNUNET_MESSAGE_TYPE_TESTBED_ADDHOSTCONFIRM message from
- * controller (testbed service)
+ * Inserts the given operation context into the operation context map of the
+ * given controller.  Creates the operation context map if one does not exist
+ * for the controller
  *
- * @param c the controller handler
- * @param msg message received
- * @return GNUNET_YES if we can continue receiving from service; GNUNET_NO if
- *           not
+ * @param c the controller
+ * @param opc the operation context to be inserted
  */
-static int
-handle_addhostconfirm (struct GNUNET_TESTBED_Controller *c,
-                       const struct GNUNET_TESTBED_HostConfirmedMessage *msg)
+void
+GNUNET_TESTBED_insert_opc_ (struct GNUNET_TESTBED_Controller *c,
+                            struct OperationContext *opc)
 {
-  struct GNUNET_TESTBED_HostRegistrationHandle *rh;
-  char *emsg;
-  uint16_t msg_size;
+  if (NULL == c->opc_map)
+    c->opc_map = GNUNET_CONTAINER_multihashmap32_create (256);
+  GNUNET_assert (GNUNET_OK ==
+                 GNUNET_CONTAINER_multihashmap32_put (c->opc_map,
+                                                      (uint32_t) opc->id, opc,
+                                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE));
+}
 
-  rh = c->rh;
-  if (NULL == rh)
-  {
-    return GNUNET_OK;
-  }
-  if (GNUNET_TESTBED_host_get_id_ (rh->host) != ntohl (msg->host_id))
-  {
-    LOG_DEBUG ("Mismatch in host id's %u, %u of host confirm msg\n",
-               GNUNET_TESTBED_host_get_id_ (rh->host), ntohl (msg->host_id));
-    return GNUNET_OK;
-  }
-  c->rh = NULL;
-  msg_size = ntohs (msg->header.size);
-  if (sizeof (struct GNUNET_TESTBED_HostConfirmedMessage) == msg_size)
-  {
-    LOG_DEBUG ("Host %u successfully registered\n", ntohl (msg->host_id));
-    GNUNET_TESTBED_mark_host_registered_at_ (rh->host, c);
-    rh->cc (rh->cc_cls, NULL);
-    GNUNET_free (rh);
-    return GNUNET_OK;
-  }
-  /* We have an error message */
-  emsg = (char *) &msg[1];
-  if ('\0' !=
-      emsg[msg_size - sizeof (struct GNUNET_TESTBED_HostConfirmedMessage)])
-  {
-    GNUNET_break (0);
-    GNUNET_free (rh);
-    return GNUNET_NO;
-  }
-  LOG (GNUNET_ERROR_TYPE_ERROR, _("Adding host %u failed with error: %s\n"),
-       ntohl (msg->host_id), emsg);
-  rh->cc (rh->cc_cls, emsg);
-  GNUNET_free (rh);
-  return GNUNET_OK;
+
+/**
+ * Removes the given operation context from the operation context map of the
+ * given controller
+ *
+ * @param c the controller
+ * @param opc the operation context to remove
+ */
+void
+GNUNET_TESTBED_remove_opc_ (const struct GNUNET_TESTBED_Controller *c,
+                            struct OperationContext *opc)
+{
+  GNUNET_assert (NULL != c->opc_map);
+  GNUNET_assert (GNUNET_YES ==
+                 GNUNET_CONTAINER_multihashmap32_remove (c->opc_map,
+                                                         (uint32_t) opc->id,
+                                                         opc));
+  if ( (0 == GNUNET_CONTAINER_multihashmap32_size (c->opc_map))
+       && (NULL != c->opcq_empty_cb) )
+    c->opcq_empty_cb (c->opcq_empty_cls);
 }
 
 
@@ -346,15 +367,15 @@ handle_addhostconfirm (struct GNUNET_TESTBED_Controller *c,
  */
 static void
 handle_forwarded_operation_msg (struct GNUNET_TESTBED_Controller *c,
-                               struct OperationContext *opc,
-                               const struct GNUNET_MessageHeader *msg)
+                                struct OperationContext *opc,
+                                const struct GNUNET_MessageHeader *msg)
 {
   struct ForwardedOperationData *fo_data;
 
   fo_data = opc->data;
   if (NULL != fo_data->cc)
     fo_data->cc (fo_data->cc_cls, msg);
-  GNUNET_CONTAINER_DLL_remove (c->ocq_head, c->ocq_tail, opc);
+  GNUNET_TESTBED_remove_opc_ (c, opc);
   GNUNET_free (fo_data);
   GNUNET_free (opc);
 }
@@ -375,6 +396,8 @@ handle_opsuccess (struct GNUNET_TESTBED_Controller *c,
                   GNUNET_TESTBED_GenericOperationSuccessEventMessage *msg)
 {
   struct OperationContext *opc;
+  GNUNET_TESTBED_OperationCompletionCallback op_comp_cb;
+  void *op_comp_cb_cls;
   struct GNUNET_TESTBED_EventInformation event;
   uint64_t op_id;
 
@@ -386,51 +409,76 @@ handle_opsuccess (struct GNUNET_TESTBED_Controller *c,
     return GNUNET_YES;
   }
   event.type = GNUNET_TESTBED_ET_OPERATION_FINISHED;
-  event.details.operation_finished.operation = opc->op;
-  event.details.operation_finished.op_cls = opc->op_cls;
+  event.op = opc->op;
+  event.op_cls = opc->op_cls;
   event.details.operation_finished.emsg = NULL;
   event.details.operation_finished.generic = NULL;
+  op_comp_cb = NULL;
+  op_comp_cb_cls = NULL;
   switch (opc->type)
   {
   case OP_FORWARDED:
-    {
-      handle_forwarded_operation_msg
-         (c, opc, (const struct GNUNET_MessageHeader *) msg);
-      return GNUNET_YES;
-    }
+  {
+    handle_forwarded_operation_msg (c, opc,
+                                    (const struct GNUNET_MessageHeader *) msg);
+    return GNUNET_YES;
+  }
     break;
   case OP_PEER_DESTROY:
-    {
-      struct GNUNET_TESTBED_Peer *peer;
-      
-      peer = opc->data;
-      GNUNET_free (peer);
-      opc->data = NULL;
-      //PEERDESTROYDATA
-    }
+  {
+    struct GNUNET_TESTBED_Peer *peer;
+
+    peer = opc->data;
+    GNUNET_TESTBED_peer_deregister_ (peer);
+    GNUNET_free (peer);
+    opc->data = NULL;
+    //PEERDESTROYDATA
+  }
     break;
-  case OP_LINK_CONTROLLERS:
-    {
-      struct ControllerLinkData *data;
-      
-      data = opc->data;
-      GNUNET_assert (NULL != data);      
-      GNUNET_free (data);
-      opc->data = NULL;
-    }
+  case OP_SHUTDOWN_PEERS:
+  {
+    struct ShutdownPeersData *data;
+
+    data = opc->data;
+    op_comp_cb = data->cb;
+    op_comp_cb_cls = data->cb_cls;
+    GNUNET_free (data);
+    opc->data = NULL;
+    GNUNET_TESTBED_cleanup_peers_ ();
+  }
+    break;
+  case OP_MANAGE_SERVICE:
+  {
+    struct ManageServiceData *data;
+
+    GNUNET_assert (NULL != (data = opc->data));
+    op_comp_cb = data->cb;
+    op_comp_cb_cls = data->cb_cls;
+    GNUNET_free (data);
+    opc->data = NULL;
+  }
+    break;
+  case OP_PEER_RECONFIGURE:
     break;
   default:
     GNUNET_assert (0);
-  }  
-  GNUNET_CONTAINER_DLL_remove (opc->c->ocq_head, opc->c->ocq_tail, opc);
+  }
+  GNUNET_TESTBED_remove_opc_ (opc->c, opc);
   opc->state = OPC_STATE_FINISHED;
+  exop_insert (event.op);
   if (0 != (c->event_mask & (1L << GNUNET_TESTBED_ET_OPERATION_FINISHED)))
   {
     if (NULL != c->cc)
       c->cc (c->cc_cls, &event);
+    if (GNUNET_NO == exop_check (event.op))
+      return GNUNET_YES;
   }
   else
     LOG_DEBUG ("Not calling callback\n");
+  if (NULL != op_comp_cb)
+    op_comp_cb (op_comp_cb_cls, event.op, NULL);
+   /* You could have marked the operation as done by now */
+  GNUNET_break (GNUNET_NO == exop_check (event.op));
   return GNUNET_YES;
 }
 
@@ -452,6 +500,7 @@ handle_peer_create_success (struct GNUNET_TESTBED_Controller *c,
   struct OperationContext *opc;
   struct PeerCreateData *data;
   struct GNUNET_TESTBED_Peer *peer;
+  struct GNUNET_TESTBED_Operation *op;
   GNUNET_TESTBED_PeerCreateCallback cb;
   void *cls;
   uint64_t op_id;
@@ -467,7 +516,7 @@ handle_peer_create_success (struct GNUNET_TESTBED_Controller *c,
   if (OP_FORWARDED == opc->type)
   {
     handle_forwarded_operation_msg (c, opc,
-                                   (const struct GNUNET_MessageHeader *) msg);
+                                    (const struct GNUNET_MessageHeader *) msg);
     return GNUNET_YES;
   }
   GNUNET_assert (OP_PEER_CREATE == opc->type);
@@ -476,14 +525,19 @@ handle_peer_create_success (struct GNUNET_TESTBED_Controller *c,
   GNUNET_assert (NULL != data->peer);
   peer = data->peer;
   GNUNET_assert (peer->unique_id == ntohl (msg->peer_id));
-  peer->state = PS_CREATED;
+  peer->state = TESTBED_PS_CREATED;
+  GNUNET_TESTBED_peer_register_ (peer);
   cb = data->cb;
   cls = data->cls;
+  op = opc->op;
   GNUNET_free (opc->data);
-  GNUNET_CONTAINER_DLL_remove (opc->c->ocq_head, opc->c->ocq_tail, opc);
+  GNUNET_TESTBED_remove_opc_ (opc->c, opc);
   opc->state = OPC_STATE_FINISHED;
+  exop_insert (op);
   if (NULL != cb)
     cb (cls, peer, NULL);
+   /* You could have marked the operation as done by now */
+  GNUNET_break (GNUNET_NO == exop_check (op));
   return GNUNET_YES;
 }
 
@@ -508,6 +562,7 @@ handle_peer_event (struct GNUNET_TESTBED_Controller *c,
   void *pcc_cls;
   struct GNUNET_TESTBED_EventInformation event;
   uint64_t op_id;
+  uint64_t mask;
 
   GNUNET_assert (sizeof (struct GNUNET_TESTBED_PeerEventMessage) ==
                  ntohs (msg->header.size));
@@ -520,7 +575,7 @@ handle_peer_event (struct GNUNET_TESTBED_Controller *c,
   if (OP_FORWARDED == opc->type)
   {
     handle_forwarded_operation_msg (c, opc,
-                                   (const struct GNUNET_MessageHeader *) msg);
+                                    (const struct GNUNET_MessageHeader *) msg);
     return GNUNET_YES;
   }
   GNUNET_assert ((OP_PEER_START == opc->type) || (OP_PEER_STOP == opc->type));
@@ -529,15 +584,17 @@ handle_peer_event (struct GNUNET_TESTBED_Controller *c,
   peer = data->peer;
   GNUNET_assert (NULL != peer);
   event.type = (enum GNUNET_TESTBED_EventType) ntohl (msg->event_type);
+  event.op = opc->op;
+  event.op_cls = opc->op_cls;
   switch (event.type)
   {
   case GNUNET_TESTBED_ET_PEER_START:
-    peer->state = PS_STARTED;
+    peer->state = TESTBED_PS_STARTED;
     event.details.peer_start.host = peer->host;
     event.details.peer_start.peer = peer;
     break;
   case GNUNET_TESTBED_ET_PEER_STOP:
-    peer->state = PS_STOPPED;
+    peer->state = TESTBED_PS_STOPPED;
     event.details.peer_stop.peer = peer;
     break;
   default:
@@ -546,17 +603,22 @@ handle_peer_event (struct GNUNET_TESTBED_Controller *c,
   pcc = data->pcc;
   pcc_cls = data->pcc_cls;
   GNUNET_free (data);
-  GNUNET_CONTAINER_DLL_remove (opc->c->ocq_head, opc->c->ocq_tail, opc);
+  GNUNET_TESTBED_remove_opc_ (opc->c, opc);
   opc->state = OPC_STATE_FINISHED;
-  if (0 !=
-      ((GNUNET_TESTBED_ET_PEER_START | GNUNET_TESTBED_ET_PEER_STOP) &
-       c->event_mask))
+  exop_insert (event.op);
+  mask = 1LL << GNUNET_TESTBED_ET_PEER_START;
+  mask |= 1LL << GNUNET_TESTBED_ET_PEER_STOP;
+  if (0 != (mask & c->event_mask))
   {
     if (NULL != c->cc)
       c->cc (c->cc_cls, &event);
+    if (GNUNET_NO == exop_check (event.op))
+      return GNUNET_YES;
   }
   if (NULL != pcc)
     pcc (pcc_cls, NULL);
+   /* You could have marked the operation as done by now */
+  GNUNET_break (GNUNET_NO == exop_check (event.op));
   return GNUNET_YES;
 }
 
@@ -580,6 +642,7 @@ handle_peer_conevent (struct GNUNET_TESTBED_Controller *c,
   void *cb_cls;
   struct GNUNET_TESTBED_EventInformation event;
   uint64_t op_id;
+  uint64_t mask;
 
   op_id = GNUNET_ntohll (msg->operation_id);
   if (NULL == (opc = find_opc (c, op_id)))
@@ -590,15 +653,16 @@ handle_peer_conevent (struct GNUNET_TESTBED_Controller *c,
   if (OP_FORWARDED == opc->type)
   {
     handle_forwarded_operation_msg (c, opc,
-                                   (const struct GNUNET_MessageHeader *) msg);
+                                    (const struct GNUNET_MessageHeader *) msg);
     return GNUNET_YES;
   }
   GNUNET_assert (OP_OVERLAY_CONNECT == opc->type);
-  data = opc->data;
-  GNUNET_assert (NULL != data);
+  GNUNET_assert (NULL != (data = opc->data));
   GNUNET_assert ((ntohl (msg->peer1) == data->p1->unique_id) &&
                  (ntohl (msg->peer2) == data->p2->unique_id));
   event.type = (enum GNUNET_TESTBED_EventType) ntohl (msg->event_type);
+  event.op = opc->op;
+  event.op_cls = opc->op_cls;
   switch (event.type)
   {
   case GNUNET_TESTBED_ET_CONNECT:
@@ -614,18 +678,22 @@ handle_peer_conevent (struct GNUNET_TESTBED_Controller *c,
   }
   cb = data->cb;
   cb_cls = data->cb_cls;
-  GNUNET_CONTAINER_DLL_remove (opc->c->ocq_head, opc->c->ocq_tail, opc);
+  GNUNET_TESTBED_remove_opc_ (opc->c, opc);
   opc->state = OPC_STATE_FINISHED;
-  GNUNET_free (data);
-  if (0 !=
-      ((GNUNET_TESTBED_ET_CONNECT | GNUNET_TESTBED_ET_DISCONNECT) &
-       c->event_mask))
+  exop_insert (event.op);
+  mask = 1LL << GNUNET_TESTBED_ET_CONNECT;
+  mask |= 1LL << GNUNET_TESTBED_ET_DISCONNECT;
+  if (0 != (mask & c->event_mask))
   {
     if (NULL != c->cc)
       c->cc (c->cc_cls, &event);
+    if (GNUNET_NO == exop_check (event.op))
+      return GNUNET_YES;
   }
   if (NULL != cb)
     cb (cb_cls, opc->op, NULL);
+   /* You could have marked the operation as done by now */
+  GNUNET_break (GNUNET_NO == exop_check (event.op));
   return GNUNET_YES;
 }
 
@@ -661,7 +729,7 @@ handle_peer_config (struct GNUNET_TESTBED_Controller *c,
   if (OP_FORWARDED == opc->type)
   {
     handle_forwarded_operation_msg (c, opc,
-                                   (const struct GNUNET_MessageHeader *) msg);
+                                    (const struct GNUNET_MessageHeader *) msg);
     return GNUNET_YES;
   }
   data = opc->data;
@@ -669,32 +737,35 @@ handle_peer_config (struct GNUNET_TESTBED_Controller *c,
   peer = data->peer;
   GNUNET_assert (NULL != peer);
   GNUNET_assert (ntohl (msg->peer_id) == peer->unique_id);
-  pinfo = GNUNET_malloc (sizeof (struct GNUNET_TESTBED_PeerInformation));
+  pinfo = GNUNET_new (struct GNUNET_TESTBED_PeerInformation);
   pinfo->pit = data->pit;
   cb = data->cb;
   cb_cls = data->cb_cls;
+  GNUNET_assert (NULL != cb);
   GNUNET_free (data);
   opc->data = NULL;
   switch (pinfo->pit)
   {
   case GNUNET_TESTBED_PIT_IDENTITY:
-    pinfo->result.id = GNUNET_malloc (sizeof (struct GNUNET_PeerIdentity));
+    pinfo->result.id = GNUNET_new (struct GNUNET_PeerIdentity);
     (void) memcpy (pinfo->result.id, &msg->peer_identity,
-                  sizeof (struct GNUNET_PeerIdentity));
+                   sizeof (struct GNUNET_PeerIdentity));
     break;
   case GNUNET_TESTBED_PIT_CONFIGURATION:
-    pinfo->result.cfg =        /* Freed in oprelease_peer_getinfo */
-       GNUNET_TESTBED_extract_config_ (&msg->header);
+    pinfo->result.cfg =         /* Freed in oprelease_peer_getinfo */
+        GNUNET_TESTBED_extract_config_ (&msg->header);
     break;
   case GNUNET_TESTBED_PIT_GENERIC:
     GNUNET_assert (0);          /* never reach here */
     break;
   }
   opc->data = pinfo;
-  GNUNET_CONTAINER_DLL_remove (opc->c->ocq_head, opc->c->ocq_tail, opc);
+  GNUNET_TESTBED_remove_opc_ (opc->c, opc);
   opc->state = OPC_STATE_FINISHED;
-  if (NULL != cb)
-    cb (cb_cls, opc->op, pinfo, NULL);
+  cb (cb_cls, opc->op, pinfo, NULL);
+  /* We dont check whether the operation is marked as done here as the
+     operation contains data (cfg/identify) which will be freed at a later point
+  */
   return GNUNET_YES;
 }
 
@@ -716,6 +787,7 @@ handle_op_fail_event (struct GNUNET_TESTBED_Controller *c,
   struct OperationContext *opc;
   const char *emsg;
   uint64_t op_id;
+  uint64_t mask;
   struct GNUNET_TESTBED_EventInformation event;
 
   op_id = GNUNET_ntohll (msg->operation_id);
@@ -727,10 +799,10 @@ handle_op_fail_event (struct GNUNET_TESTBED_Controller *c,
   if (OP_FORWARDED == opc->type)
   {
     handle_forwarded_operation_msg (c, opc,
-                                   (const struct GNUNET_MessageHeader *) msg);
+                                    (const struct GNUNET_MessageHeader *) msg);
     return GNUNET_YES;
   }
-  GNUNET_CONTAINER_DLL_remove (opc->c->ocq_head, opc->c->ocq_tail, opc);
+  GNUNET_TESTBED_remove_opc_ (opc->c, opc);
   opc->state = OPC_STATE_FINISHED;
   emsg = GNUNET_TESTBED_parse_error_string_ (msg);
   if (NULL == emsg)
@@ -738,64 +810,98 @@ handle_op_fail_event (struct GNUNET_TESTBED_Controller *c,
   if (OP_PEER_INFO == opc->type)
   {
     struct PeerInfoData *data;
+
     data = opc->data;
     if (NULL != data->cb)
       data->cb (data->cb_cls, opc->op, NULL, emsg);
     GNUNET_free (data);
-    return GNUNET_YES;  /* We do not call controller callback for peer info */
+    return GNUNET_YES;          /* We do not call controller callback for peer info */
   }
-  if ((0 != (GNUNET_TESTBED_ET_OPERATION_FINISHED & c->event_mask)) &&
-      (NULL != c->cc))
+  event.type = GNUNET_TESTBED_ET_OPERATION_FINISHED;
+  event.op = opc->op;
+  event.op_cls = opc->op_cls;
+  event.details.operation_finished.emsg = emsg;
+  event.details.operation_finished.generic = NULL;
+  mask = (1LL << GNUNET_TESTBED_ET_OPERATION_FINISHED);
+  if ((0 != (mask & c->event_mask)) && (NULL != c->cc))
   {
-    event.type = GNUNET_TESTBED_ET_OPERATION_FINISHED;
-    event.details.operation_finished.operation = opc->op;
-    event.details.operation_finished.op_cls = opc->op_cls;
-    event.details.operation_finished.emsg = emsg;
-    event.details.operation_finished.generic = NULL;
+    exop_insert (event.op);
     c->cc (c->cc_cls, &event);
+    if (GNUNET_NO == exop_check (event.op))
+      return GNUNET_YES;
   }
   switch (opc->type)
   {
   case OP_PEER_CREATE:
-    {
-      struct PeerCreateData *data;      
-      data = opc->data;
-      GNUNET_free (data->peer);
-      if (NULL != data->cb)
-        data->cb (data->cls, NULL, emsg);
-      GNUNET_free (data);      
-    }
+  {
+    struct PeerCreateData *data;
+
+    data = opc->data;
+    GNUNET_free (data->peer);
+    if (NULL != data->cb)
+      data->cb (data->cls, NULL, emsg);
+    GNUNET_free (data);
+  }
     break;
   case OP_PEER_START:
   case OP_PEER_STOP:
-    {
-      struct PeerEventData *data;
-      data = opc->data;
-      if (NULL != data->pcc)
-        data->pcc (data->pcc_cls, emsg);
-      GNUNET_free (data);
-    }
+  {
+    struct PeerEventData *data;
+
+    data = opc->data;
+    if (NULL != data->pcc)
+      data->pcc (data->pcc_cls, emsg);
+    GNUNET_free (data);
+  }
     break;
   case OP_PEER_DESTROY:
     break;
   case OP_PEER_INFO:
     GNUNET_assert (0);
   case OP_OVERLAY_CONNECT:
-    {
-      struct OverlayConnectData *data;
-      data = opc->data;
-      if (NULL != data->cb)
-        data->cb (data->cb_cls, opc->op, emsg);
-      GNUNET_free (data);
-    }
+  {
+    struct OverlayConnectData *data;
+
+    data = opc->data;
+    GNUNET_TESTBED_operation_mark_failed (opc->op);
+    if (NULL != data->cb)
+      data->cb (data->cb_cls, opc->op, emsg);
+  }
     break;
   case OP_FORWARDED:
     GNUNET_assert (0);
-  case OP_LINK_CONTROLLERS:     /* No secondary callback */
+  case OP_LINK_CONTROLLERS:    /* No secondary callback */
+    break;
+  case OP_SHUTDOWN_PEERS:
+  {
+    struct ShutdownPeersData *data;
+
+    data = opc->data;
+    GNUNET_free (data);         /* FIXME: Decide whether we call data->op_cb */
+    opc->data = NULL;
+  }
+    break;
+  case OP_MANAGE_SERVICE:
+  {
+    struct ManageServiceData *data = opc->data;
+      GNUNET_TESTBED_OperationCompletionCallback cb;
+    void *cb_cls;
+
+    GNUNET_assert (NULL != data);
+    cb = data->cb;
+    cb_cls = data->cb_cls;
+    GNUNET_free (data);
+    opc->data = NULL;
+    exop_insert (event.op);
+    if (NULL != cb)
+      cb (cb_cls, opc->op, emsg);
+    /* You could have marked the operation as done by now */
+    GNUNET_break (GNUNET_NO == exop_check (event.op));
+  }
     break;
   default:
     GNUNET_break (0);
-  }  
+  }
   return GNUNET_YES;
 }
 
@@ -812,11 +918,12 @@ GNUNET_TESTBED_generate_slavegetconfig_msg_ (uint64_t op_id, uint32_t slave_id)
 {
   struct GNUNET_TESTBED_SlaveGetConfigurationMessage *msg;
   uint16_t msize;
-  
+
   msize = sizeof (struct GNUNET_TESTBED_SlaveGetConfigurationMessage);
   msg = GNUNET_malloc (msize);
   msg->header.size = htons (msize);
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_TESTBED_GETSLAVECONFIG);
+  msg->header.type =
+      htons (GNUNET_MESSAGE_TYPE_TESTBED_GET_SLAVE_CONFIGURATION);
   msg->operation_id = GNUNET_htonll (op_id);
   msg->slave_id = htonl (slave_id);
   return msg;
@@ -834,11 +941,12 @@ GNUNET_TESTBED_generate_slavegetconfig_msg_ (uint64_t op_id, uint32_t slave_id)
  */
 static int
 handle_slave_config (struct GNUNET_TESTBED_Controller *c,
-                    const struct GNUNET_TESTBED_SlaveConfiguration * msg)
+                     const struct GNUNET_TESTBED_SlaveConfiguration *msg)
 {
   struct OperationContext *opc;
   uint64_t op_id;
-  struct GNUNET_TESTBED_EventInformation event;  
+  uint64_t mask;
+  struct GNUNET_TESTBED_EventInformation event;
 
   op_id = GNUNET_ntohll (msg->operation_id);
   if (NULL == (opc = find_opc (c, op_id)))
@@ -851,18 +959,17 @@ handle_slave_config (struct GNUNET_TESTBED_Controller *c,
     GNUNET_break (0);
     return GNUNET_YES;
   }
-  GNUNET_free (opc->data);
-  opc->data = NULL;
   opc->state = OPC_STATE_FINISHED;
-  GNUNET_CONTAINER_DLL_remove (opc->c->ocq_head, opc->c->ocq_tail, opc);
-  if ((0 != (GNUNET_TESTBED_ET_OPERATION_FINISHED & c->event_mask)) &&
+  GNUNET_TESTBED_remove_opc_ (opc->c, opc);
+  mask = 1LL << GNUNET_TESTBED_ET_OPERATION_FINISHED;
+  if ((0 != (mask & c->event_mask)) &&
       (NULL != c->cc))
   {
     opc->data = GNUNET_TESTBED_extract_config_ (&msg->header);
-    event.type = GNUNET_TESTBED_ET_OPERATION_FINISHED;   
+    event.type = GNUNET_TESTBED_ET_OPERATION_FINISHED;
+    event.op = opc->op;
+    event.op_cls = opc->op_cls;
     event.details.operation_finished.generic = opc->data;
-    event.details.operation_finished.operation = opc->op;
-    event.details.operation_finished.op_cls = opc->op_cls;
     event.details.operation_finished.emsg = NULL;
     c->cc (c->cc_cls, &event);
   }
@@ -871,56 +978,26 @@ handle_slave_config (struct GNUNET_TESTBED_Controller *c,
 
 
 /**
- * Callback to check status for suboperations generated during overlay connect.
+ * Handler for GNUNET_MESSAGE_TYPE_TESTBED_SLAVECONFIG message from controller
+ * (testbed service)
  *
- * @param cls the OverlayConnectData
- * @param message the reply message to the suboperation
+ * @param c the controller handler
+ * @param msg message received
+ * @return GNUNET_YES if we can continue receiving from service; GNUNET_NO if
+ *           not
  */
-static void
-overlay_connect_ondemand_handler (void *cls,
-                                  const struct GNUNET_MessageHeader *message)
-{
-  struct OverlayConnectData *oc_data = cls;
-
-  switch (oc_data->state)
-  {
-  case OCD_CFG_ACQUIRE:
-    {
-      struct GNUNET_CONFIGURATION_Handle *cfg;
-
-      if (GNUNET_MESSAGE_TYPE_TESTBED_SLAVECONFIG != ntohs (message->type))
-      {
-        GNUNET_break (0);       /* treat operation as failed */
-      }
-      cfg = GNUNET_TESTBED_extract_config_ (message);
-      if (NULL == cfg)
-      {
-        GNUNET_break (0);       /* failed operation */
-      }
-      oc_data->state = OCD_LINK_CONTROLLERS;
-    }
-  default:
-    GNUNET_assert (0);
-  }
-}
-
-
-/**
- * Handler for GNUNET_MESSAGE_TYPE_TESTBED_NEEDCONTROLLERCONFIG message from
- * controller (testbed service)
- *
- * @param c the controller handler
- * @param msg message received
- * @return GNUNET_YES if we can continue receiving from service; GNUNET_NO if
- *           not
- */
-static int
-handle_need_controller_config (struct GNUNET_TESTBED_Controller *c,
-                               const struct GNUNET_TESTBED_NeedControllerConfig * msg)
+static int
+handle_link_controllers_result (struct GNUNET_TESTBED_Controller *c,
+                                const struct
+                                GNUNET_TESTBED_ControllerLinkResponse *msg)
 {
   struct OperationContext *opc;
-  struct OverlayConnectData *oc_data;
+  struct ControllerLinkData *data;
+  struct GNUNET_CONFIGURATION_Handle *cfg;
+  struct GNUNET_TESTBED_Host *host;
+  char *emsg;
   uint64_t op_id;
+  struct GNUNET_TESTBED_EventInformation event;
 
   op_id = GNUNET_ntohll (msg->operation_id);
   if (NULL == (opc = find_opc (c, op_id)))
@@ -934,35 +1011,54 @@ handle_need_controller_config (struct GNUNET_TESTBED_Controller *c,
                                     (const struct GNUNET_MessageHeader *) msg);
     return GNUNET_YES;
   }
-  GNUNET_assert (OP_OVERLAY_CONNECT == opc->type);
-  oc_data = opc->data;
-  /* FIXME: Should spawn operations to:
-     1. Acquire configuration of peer2's controller,
-     2. link peer1's controller to peer2's controller
-     3. ask them to attempt overlay connect on peer1 and peer2 again */
-  switch (oc_data->state)
+  if (OP_LINK_CONTROLLERS != opc->type)
+  {
+    GNUNET_break (0);
+    return GNUNET_YES;
+  }
+  GNUNET_assert (NULL != (data = opc->data));
+  host = GNUNET_TESTBED_host_lookup_by_id_ (data->host_id);
+  GNUNET_assert (NULL != host);
+  GNUNET_free (data);
+  opc->data = NULL;
+  opc->state = OPC_STATE_FINISHED;
+  GNUNET_TESTBED_remove_opc_ (opc->c, opc);
+  event.type = GNUNET_TESTBED_ET_OPERATION_FINISHED;
+  event.op = opc->op;
+  event.op_cls = opc->op_cls;
+  event.details.operation_finished.emsg = NULL;
+  event.details.operation_finished.generic = NULL;
+  emsg = NULL;
+  cfg = NULL;
+  if (GNUNET_NO == ntohs (msg->success))
+  {
+    emsg = GNUNET_malloc (ntohs (msg->header.size)
+                          - sizeof (struct
+                                    GNUNET_TESTBED_ControllerLinkResponse) + 1);
+    memcpy (emsg, &msg[1], ntohs (msg->header.size)
+                          - sizeof (struct
+                                    GNUNET_TESTBED_ControllerLinkResponse));
+    event.details.operation_finished.emsg = emsg;
+  }
+  else
   {
-  case OCD_INIT:
+    if (0 != ntohs (msg->config_size))
     {
-      struct GNUNET_TESTBED_SlaveGetConfigurationMessage *get_cfg_msg;
-      uint64_t sub_op_id;
-      
-      GNUNET_assert (NULL == oc_data->sub_opc);
-      sub_op_id = GNUNET_TESTBED_get_next_op_id (oc_data->p1->controller);
-      get_cfg_msg = 
-          GNUNET_TESTBED_generate_slavegetconfig_msg_ 
-          (sub_op_id, GNUNET_TESTBED_host_get_id_ (oc_data->p2->host));
-      oc_data->state = OCD_CFG_ACQUIRE;
-      oc_data->sub_opc =
-          GNUNET_TESTBED_forward_operation_msg_ (oc_data->p1->controller,
-                                                 sub_op_id, &get_cfg_msg->header,
-                                                 overlay_connect_ondemand_handler,
-                                                 oc_data);
+      cfg = GNUNET_TESTBED_extract_config_ ((const struct GNUNET_MessageHeader *) msg);
+      GNUNET_assert (NULL != cfg);
+      GNUNET_TESTBED_host_replace_cfg_ (host, cfg);
     }
-    break;
-  default:
-    GNUNET_assert (0);
   }
+  if (0 != (c->event_mask & (1L << GNUNET_TESTBED_ET_OPERATION_FINISHED)))
+  {
+    if (NULL != c->cc)
+      c->cc (c->cc_cls, &event);
+  }
+  else
+    LOG_DEBUG ("Not calling callback\n");
+  if (NULL != cfg)
+    GNUNET_CONFIGURATION_destroy (cfg);
+  GNUNET_free_non_null (emsg);
   return GNUNET_YES;
 }
 
@@ -987,19 +1083,17 @@ message_handler (void *cls, const struct GNUNET_MessageHeader *msg)
     LOG_DEBUG ("Receive timed out or connection to service dropped\n");
     return;
   }
-  status = GNUNET_OK;
   msize = ntohs (msg->size);
   switch (ntohs (msg->type))
   {
-  case GNUNET_MESSAGE_TYPE_TESTBED_ADDHOSTCONFIRM:
+  case GNUNET_MESSAGE_TYPE_TESTBED_ADD_HOST_SUCCESS:
     GNUNET_assert (msize >=
                    sizeof (struct GNUNET_TESTBED_HostConfirmedMessage));
     status =
-        handle_addhostconfirm (c,
-                               (const struct GNUNET_TESTBED_HostConfirmedMessage
-                                *) msg);
+        GNUNET_TESTBED_host_handle_addhostconfirm_
+        (c, (const struct GNUNET_TESTBED_HostConfirmedMessage*) msg);
     break;
-  case GNUNET_MESSAGE_TYPE_TESTBED_GENERICOPSUCCESS:
+  case GNUNET_MESSAGE_TYPE_TESTBED_GENERIC_OPERATION_SUCCESS:
     GNUNET_assert (msize ==
                    sizeof (struct
                            GNUNET_TESTBED_GenericOperationSuccessEventMessage));
@@ -1009,7 +1103,16 @@ message_handler (void *cls, const struct GNUNET_MessageHeader *msg)
                            GNUNET_TESTBED_GenericOperationSuccessEventMessage *)
                           msg);
     break;
-  case GNUNET_MESSAGE_TYPE_TESTBED_PEERCREATESUCCESS:
+  case GNUNET_MESSAGE_TYPE_TESTBED_OPERATION_FAIL_EVENT:
+    GNUNET_assert (msize >=
+                   sizeof (struct GNUNET_TESTBED_OperationFailureEventMessage));
+    status =
+        handle_op_fail_event (c,
+                              (const struct
+                               GNUNET_TESTBED_OperationFailureEventMessage *)
+                              msg);
+    break;
+  case GNUNET_MESSAGE_TYPE_TESTBED_CREATE_PEER_SUCCESS:
     GNUNET_assert (msize ==
                    sizeof (struct
                            GNUNET_TESTBED_PeerCreateSuccessEventMessage));
@@ -1019,7 +1122,7 @@ message_handler (void *cls, const struct GNUNET_MessageHeader *msg)
                                      GNUNET_TESTBED_PeerCreateSuccessEventMessage
                                      *) msg);
     break;
-  case GNUNET_MESSAGE_TYPE_TESTBED_PEEREVENT:
+  case GNUNET_MESSAGE_TYPE_TESTBED_PEER_EVENT:
     GNUNET_assert (msize == sizeof (struct GNUNET_TESTBED_PeerEventMessage));
     status =
         handle_peer_event (c,
@@ -1027,7 +1130,7 @@ message_handler (void *cls, const struct GNUNET_MessageHeader *msg)
                            msg);
 
     break;
-  case GNUNET_MESSAGE_TYPE_TESTBED_PEERCONFIG:
+  case GNUNET_MESSAGE_TYPE_TESTBED_PEER_INFORMATION:
     GNUNET_assert (msize >=
                    sizeof (struct
                            GNUNET_TESTBED_PeerConfigurationInformationMessage));
@@ -1037,7 +1140,7 @@ message_handler (void *cls, const struct GNUNET_MessageHeader *msg)
                              GNUNET_TESTBED_PeerConfigurationInformationMessage
                              *) msg);
     break;
-  case GNUNET_MESSAGE_TYPE_TESTBED_PEERCONEVENT:
+  case GNUNET_MESSAGE_TYPE_TESTBED_PEER_CONNECT_EVENT:
     GNUNET_assert (msize ==
                    sizeof (struct GNUNET_TESTBED_ConnectionEventMessage));
     status =
@@ -1045,29 +1148,26 @@ message_handler (void *cls, const struct GNUNET_MessageHeader *msg)
                               (const struct
                                GNUNET_TESTBED_ConnectionEventMessage *) msg);
     break;
-  case GNUNET_MESSAGE_TYPE_TESTBED_OPERATIONFAILEVENT:
-    GNUNET_assert (msize >=
-                   sizeof (struct GNUNET_TESTBED_OperationFailureEventMessage));
+  case GNUNET_MESSAGE_TYPE_TESTBED_SLAVE_CONFIGURATION:
+    GNUNET_assert (msize > sizeof (struct GNUNET_TESTBED_SlaveConfiguration));
     status =
-        handle_op_fail_event (c,
-                              (const struct
-                               GNUNET_TESTBED_OperationFailureEventMessage *)
-                              msg);
+        handle_slave_config (c,
+                             (const struct GNUNET_TESTBED_SlaveConfiguration *)
+                             msg);
     break;
-  case GNUNET_MESSAGE_TYPE_TESTBED_SLAVECONFIG:
-    GNUNET_assert (msize >
-                  sizeof (struct GNUNET_TESTBED_SlaveConfiguration));
-    status = 
-       handle_slave_config (c, (const struct 
-                                GNUNET_TESTBED_SlaveConfiguration *) msg);
+  case GNUNET_MESSAGE_TYPE_TESTBED_LINK_CONTROLLERS_RESULT:
+    status =
+        handle_link_controllers_result (c,
+                                        (const struct
+                                         GNUNET_TESTBED_ControllerLinkResponse
+                                         *) msg);
     break;
-  case GNUNET_MESSAGE_TYPE_TESTBED_NEEDCONTROLLERCONFIG:
-    GNUNET_assert (msize == sizeof (struct
-                                    GNUNET_TESTBED_NeedControllerConfig));
-    status = 
-        handle_need_controller_config (c, (const struct
-                                           GNUNET_TESTBED_NeedControllerConfig
-                                           *) msg);
+  case GNUNET_MESSAGE_TYPE_TESTBED_BARRIER_STATUS:
+    status =
+        GNUNET_TESTBED_handle_barrier_status_ (c,
+                                               (const struct
+                                                GNUNET_TESTBED_BarrierStatusMsg *)
+                                               msg);
     break;
   default:
     GNUNET_assert (0);
@@ -1153,7 +1253,7 @@ GNUNET_TESTBED_queue_message_ (struct GNUNET_TESTBED_Controller *controller,
   size = ntohs (msg->size);
   GNUNET_assert ((GNUNET_MESSAGE_TYPE_TESTBED_INIT <= type) &&
                  (GNUNET_MESSAGE_TYPE_TESTBED_MAX > type));
-  mq_entry = GNUNET_malloc (sizeof (struct MessageQueue));
+  mq_entry = GNUNET_new (struct MessageQueue);
   mq_entry->msg = msg;
   LOG (GNUNET_ERROR_TYPE_DEBUG,
        "Queueing message of type %u, size %u for sending\n", type,
@@ -1195,10 +1295,10 @@ GNUNET_TESTBED_forward_operation_msg_ (struct GNUNET_TESTBED_Controller
   struct GNUNET_MessageHeader *dup_msg;
   uint16_t msize;
 
-  data = GNUNET_malloc (sizeof (struct ForwardedOperationData));
+  data = GNUNET_new (struct ForwardedOperationData);
   data->cc = cc;
   data->cc_cls = cc_cls;
-  opc = GNUNET_malloc (sizeof (struct OperationContext));
+  opc = GNUNET_new (struct OperationContext);
   opc->c = controller;
   opc->type = OP_FORWARDED;
   opc->data = data;
@@ -1207,8 +1307,7 @@ GNUNET_TESTBED_forward_operation_msg_ (struct GNUNET_TESTBED_Controller
   dup_msg = GNUNET_malloc (msize);
   (void) memcpy (dup_msg, msg, msize);
   GNUNET_TESTBED_queue_message_ (opc->c, dup_msg);
-  GNUNET_CONTAINER_DLL_insert_tail (controller->ocq_head, controller->ocq_tail,
-                                    opc);
+  GNUNET_TESTBED_insert_opc_ (controller, opc);
   return opc;
 }
 
@@ -1222,104 +1321,12 @@ GNUNET_TESTBED_forward_operation_msg_ (struct GNUNET_TESTBED_Controller
 void
 GNUNET_TESTBED_forward_operation_msg_cancel_ (struct OperationContext *opc)
 {
-  GNUNET_CONTAINER_DLL_remove (opc->c->ocq_head, opc->c->ocq_tail, opc);
+  GNUNET_TESTBED_remove_opc_ (opc->c, opc);
   GNUNET_free (opc->data);
   GNUNET_free (opc);
 }
 
 
-/**
- * Functions with this signature are called whenever a
- * complete message is received by the tokenizer.
- *
- * Do not call GNUNET_SERVER_mst_destroy in callback
- *
- * @param cls closure
- * @param client identification of the client
- * @param message the actual message
- *
- * @return GNUNET_OK on success, GNUNET_SYSERR to stop further processing
- */
-static int
-helper_mst (void *cls, void *client, const struct GNUNET_MessageHeader *message)
-{
-  struct GNUNET_TESTBED_ControllerProc *cp = cls;
-  const struct GNUNET_TESTBED_HelperReply *msg;
-  const char *hostname;
-  char *config;
-  uLongf config_size;
-  uLongf xconfig_size;
-
-  msg = (const struct GNUNET_TESTBED_HelperReply *) message;
-  GNUNET_assert (sizeof (struct GNUNET_TESTBED_HelperReply) <
-                 ntohs (msg->header.size));
-  GNUNET_assert (GNUNET_MESSAGE_TYPE_TESTBED_HELPER_REPLY ==
-                 ntohs (msg->header.type));
-  config_size = (uLongf) ntohs (msg->config_size);
-  xconfig_size =
-      (uLongf) (ntohs (msg->header.size) -
-                sizeof (struct GNUNET_TESTBED_HelperReply));
-  config = GNUNET_malloc (config_size);
-  GNUNET_assert (Z_OK ==
-                 uncompress ((Bytef *) config, &config_size,
-                             (const Bytef *) &msg[1], xconfig_size));
-  GNUNET_assert (NULL == cp->cfg);
-  cp->cfg = GNUNET_CONFIGURATION_create ();
-  GNUNET_assert (GNUNET_CONFIGURATION_deserialize
-                 (cp->cfg, config, config_size, GNUNET_NO));
-  GNUNET_free (config);
-  if ((NULL == cp->host) ||
-      (NULL == (hostname = GNUNET_TESTBED_host_get_hostname_ (cp->host))))
-    hostname = "localhost";
-  /* Change the hostname so that we can connect to it */
-  GNUNET_CONFIGURATION_set_value_string (cp->cfg, "testbed", "hostname",
-                                         hostname);
-  cp->cb (cp->cls, cp->cfg, GNUNET_OK);
-  return GNUNET_OK;
-}
-
-
-/**
- * Continuation function from GNUNET_HELPER_send()
- *
- * @param cls closure
- * @param result GNUNET_OK on success,
- *               GNUNET_NO if helper process died
- *               GNUNET_SYSERR during GNUNET_HELPER_stop
- */
-static void
-clear_msg (void *cls, int result)
-{
-  struct GNUNET_TESTBED_ControllerProc *cp = cls;
-
-  GNUNET_assert (NULL != cp->shandle);
-  cp->shandle = NULL;
-  GNUNET_free (cp->msg);
-}
-
-
-/**
- * Callback that will be called when the helper process dies. This is not called
- * when the helper process is stoped using GNUNET_HELPER_stop()
- *
- * @param cls the closure from GNUNET_HELPER_start()
- */
-static void
-helper_exp_cb (void *cls)
-{
-  struct GNUNET_TESTBED_ControllerProc *cp = cls;
-  GNUNET_TESTBED_ControllerStatusCallback cb;
-  void *cb_cls;
-
-  cb = cp->cb;
-  cb_cls = cp->cls;
-  cp->helper = NULL;
-  GNUNET_TESTBED_controller_stop (cp);
-  if (NULL != cb)
-    cb (cb_cls, NULL, GNUNET_SYSERR);
-}
-
-
 /**
  * Function to call to start a link-controllers type operation once all queues
  * the operation is part of declare that the operation can be activated.
@@ -1331,14 +1338,14 @@ opstart_link_controllers (void *cls)
 {
   struct OperationContext *opc = cls;
   struct ControllerLinkData *data;
-  struct GNUNET_TESTBED_ControllerLinkMessage *msg;
+  struct GNUNET_TESTBED_ControllerLinkRequest *msg;
 
   GNUNET_assert (NULL != opc->data);
   data = opc->data;
   msg = data->msg;
   data->msg = NULL;
   opc->state = OPC_STATE_STARTED;
-  GNUNET_CONTAINER_DLL_insert_tail (opc->c->ocq_head, opc->c->ocq_tail, opc);
+  GNUNET_TESTBED_insert_opc_ (opc->c, opc);
   GNUNET_TESTBED_queue_message_ (opc->c, &msg->header);
 }
 
@@ -1361,7 +1368,7 @@ oprelease_link_controllers (void *cls)
     GNUNET_free (data->msg);
     break;
   case OPC_STATE_STARTED:
-    GNUNET_CONTAINER_DLL_remove (opc->c->ocq_head, opc->c->ocq_tail, opc);
+    GNUNET_TESTBED_remove_opc_ (opc->c, opc);
     break;
   case OPC_STATE_FINISHED:
     break;
@@ -1380,12 +1387,15 @@ static void
 opstart_get_slave_config (void *cls)
 {
   struct OperationContext *opc = cls;
-  struct GetSlaveConfigData *data;
+  struct GetSlaveConfigData *data = opc->data;
   struct GNUNET_TESTBED_SlaveGetConfigurationMessage *msg;
 
-  data = opc->data;
+  GNUNET_assert (NULL != data);
   msg = GNUNET_TESTBED_generate_slavegetconfig_msg_ (opc->id, data->slave_id);
-  GNUNET_CONTAINER_DLL_insert_tail (opc->c->ocq_head, opc->c->ocq_tail, opc);
+  GNUNET_free (opc->data);
+  data = NULL;
+  opc->data = NULL;
+  GNUNET_TESTBED_insert_opc_ (opc->c, opc);
   GNUNET_TESTBED_queue_message_ (opc->c, &msg->header);
   opc->state = OPC_STATE_STARTED;
 }
@@ -1407,8 +1417,7 @@ oprelease_get_slave_config (void *cls)
     GNUNET_free (opc->data);
     break;
   case OPC_STATE_STARTED:
-    GNUNET_free (opc->data);
-    GNUNET_CONTAINER_DLL_remove (opc->c->ocq_head, opc->c->ocq_tail, opc);
+    GNUNET_TESTBED_remove_opc_ (opc->c, opc);
     break;
   case OPC_STATE_FINISHED:
     if (NULL != opc->data)
@@ -1419,132 +1428,13 @@ oprelease_get_slave_config (void *cls)
 }
 
 
-/**
- * Starts a controller process at the host. FIXME: add controller start callback
- * with the configuration with which the controller is started
- *
- * @param controller_ip the ip address of the controller. Will be set as TRUSTED
- *          host when starting testbed controller at host
- * @param host the host where the controller has to be started; NULL for
- *          localhost
- * @param cfg template configuration to use for the remote controller; the
- *          remote controller will be started with a slightly modified
- *          configuration (port numbers, unix domain sockets and service home
- *          values are changed as per TESTING library on the remote host)
- * @param cb function called when the controller is successfully started or
- *          dies unexpectedly; GNUNET_TESTBED_controller_stop shouldn't be
- *          called if cb is called with GNUNET_SYSERR as status. Will never be
- *          called in the same task as 'GNUNET_TESTBED_controller_start'
- *          (synchronous errors will be signalled by returning NULL). This
- *          parameter cannot be NULL.
- * @param cls closure for above callbacks
- * @return the controller process handle, NULL on errors
- */
-struct GNUNET_TESTBED_ControllerProc *
-GNUNET_TESTBED_controller_start (const char *controller_ip,
-                                 struct GNUNET_TESTBED_Host *host,
-                                 const struct GNUNET_CONFIGURATION_Handle *cfg,
-                                 GNUNET_TESTBED_ControllerStatusCallback cb,
-                                 void *cls)
-{
-  struct GNUNET_TESTBED_ControllerProc *cp;
-  struct GNUNET_TESTBED_HelperInit *msg;
-  const char *hostname;
-  static char *const binary_argv[] = {
-    HELPER_TESTBED_BINARY, NULL
-  };
-  
-  hostname = NULL;
-  cp = GNUNET_malloc (sizeof (struct GNUNET_TESTBED_ControllerProc));
-  if ((NULL == host) || (0 == GNUNET_TESTBED_host_get_id_ (host)))
-    cp->helper =
-        GNUNET_HELPER_start (GNUNET_YES, HELPER_TESTBED_BINARY, binary_argv,
-                             &helper_mst, &helper_exp_cb, cp);
-  else
-  {
-    char *remote_args[10];
-    unsigned int argp;
-    const char *username;
-
-    username = GNUNET_TESTBED_host_get_username_ (host);
-    hostname = GNUNET_TESTBED_host_get_hostname_ (host);
-    GNUNET_asprintf (&cp->port, "%u", GNUNET_TESTBED_host_get_ssh_port_ (host));
-    if (NULL == username)
-      GNUNET_asprintf (&cp->dst, "%s", hostname);
-    else
-      GNUNET_asprintf (&cp->dst, "%s@%s", username, hostname);
-    LOG_DEBUG ("Starting SSH to destination %s\n", cp->dst);
-    argp = 0;
-    remote_args[argp++] = "ssh";
-    remote_args[argp++] = "-p";
-    remote_args[argp++] = cp->port;
-    remote_args[argp++] = "-o";
-    remote_args[argp++] = "BatchMode=yes";
-    remote_args[argp++] = "-o";
-    remote_args[argp++] = "NoHostAuthenticationForLocalhost=yes";
-    remote_args[argp++] = cp->dst;
-    remote_args[argp++] = HELPER_TESTBED_BINARY_SSH;
-    remote_args[argp++] = NULL;
-    GNUNET_assert (argp == 10);
-    cp->helper =
-        GNUNET_HELPER_start (GNUNET_NO, "ssh", remote_args, &helper_mst,
-                             &helper_exp_cb, cp);
-  }
-  if (NULL == cp->helper)
-  {
-    GNUNET_free_non_null (cp->port);
-    GNUNET_free_non_null (cp->dst);
-    GNUNET_free (cp);
-    return NULL;
-  }
-  cp->host = host;
-  cp->cb = cb;
-  cp->cls = cls;
-  msg = GNUNET_TESTBED_create_helper_init_msg_ (controller_ip, hostname, cfg);
-  cp->msg = &msg->header;
-  cp->shandle =
-      GNUNET_HELPER_send (cp->helper, &msg->header, GNUNET_NO, &clear_msg, cp);
-  if (NULL == cp->shandle)
-  {
-    GNUNET_free (msg);
-    GNUNET_TESTBED_controller_stop (cp);
-    return NULL;
-  }
-  return cp;
-}
-
-
-/**
- * Stop the controller process (also will terminate all peers and controllers
- * dependent on this controller).  This function blocks until the testbed has
- * been fully terminated (!). The controller status cb from
- * GNUNET_TESTBED_controller_start() will not be called.
- *
- * @param cproc the controller process handle
- */
-void
-GNUNET_TESTBED_controller_stop (struct GNUNET_TESTBED_ControllerProc *cproc)
-{
-  if (NULL != cproc->shandle)
-    GNUNET_HELPER_send_cancel (cproc->shandle);
-  if (NULL != cproc->helper)
-    GNUNET_HELPER_stop (cproc->helper);
-  if (NULL != cproc->cfg)
-    GNUNET_CONFIGURATION_destroy (cproc->cfg);
-  GNUNET_free_non_null (cproc->port);
-  GNUNET_free_non_null (cproc->dst);
-  GNUNET_free (cproc);
-}
-
-
 /**
  * Start a controller process using the given configuration at the
  * given host.
  *
- * @param cfg configuration to use
  * @param host host to run the controller on; This should be the same host if
  *          the controller was previously started with
- *          GNUNET_TESTBED_controller_start; NULL for localhost
+ *          GNUNET_TESTBED_controller_start()
  * @param event_mask bit mask with set of events to call 'cc' for;
  *                   or-ed values of "1LL" shifted by the
  *                   respective 'enum GNUNET_TESTBED_EventType'
@@ -1554,20 +1444,20 @@ GNUNET_TESTBED_controller_stop (struct GNUNET_TESTBED_ControllerProc *cproc)
  * @return handle to the controller
  */
 struct GNUNET_TESTBED_Controller *
-GNUNET_TESTBED_controller_connect (const struct GNUNET_CONFIGURATION_Handle
-                                   *cfg, struct GNUNET_TESTBED_Host *host,
+GNUNET_TESTBED_controller_connect (struct GNUNET_TESTBED_Host *host,
                                    uint64_t event_mask,
                                    GNUNET_TESTBED_ControllerCallback cc,
                                    void *cc_cls)
 {
   struct GNUNET_TESTBED_Controller *controller;
   struct GNUNET_TESTBED_InitMessage *msg;
+  const struct GNUNET_CONFIGURATION_Handle *cfg;
   const char *controller_hostname;
   unsigned long long max_parallel_operations;
   unsigned long long max_parallel_service_connections;
   unsigned long long max_parallel_topology_config_operations;
-  unsigned long long max_parallel_overlay_connect_operations;
 
+  GNUNET_assert (NULL != (cfg = GNUNET_TESTBED_host_get_cfg_ (host)));
   if (GNUNET_OK !=
       GNUNET_CONFIGURATION_get_value_number (cfg, "testbed",
                                              "MAX_PARALLEL_OPERATIONS",
@@ -1592,15 +1482,7 @@ GNUNET_TESTBED_controller_connect (const struct GNUNET_CONFIGURATION_Handle
     GNUNET_break (0);
     return NULL;
   }
-  if (GNUNET_OK !=
-      GNUNET_CONFIGURATION_get_value_number (cfg, "testbed",
-                                             "MAX_PARALLEL_OVERLAY_CONNECT_OPERATIONS",
-                                             &max_parallel_overlay_connect_operations))
-  {
-    GNUNET_break (0);
-    return NULL;
-  }
-  controller = GNUNET_malloc (sizeof (struct GNUNET_TESTBED_Controller));
+  controller = GNUNET_new (struct GNUNET_TESTBED_Controller);
   controller->cc = cc;
   controller->cc_cls = cc_cls;
   controller->event_mask = event_mask;
@@ -1611,37 +1493,20 @@ GNUNET_TESTBED_controller_connect (const struct GNUNET_CONFIGURATION_Handle
     GNUNET_TESTBED_controller_disconnect (controller);
     return NULL;
   }
-  if (NULL == host)
-  {
-    host = GNUNET_TESTBED_host_create_by_id_ (0);
-    if (NULL == host)           /* If the above host create fails */
-    {
-      LOG (GNUNET_ERROR_TYPE_WARNING,
-           "Treating NULL host as localhost. Multiple references to localhost "
-           "may break when localhost freed before calling disconnect \n");
-      host = GNUNET_TESTBED_host_lookup_by_id_ (0);
-    }
-    else
-    {
-      controller->aux_host = GNUNET_YES;
-    }
-  }
-  GNUNET_assert (NULL != host);
   GNUNET_TESTBED_mark_host_registered_at_ (host, controller);
   controller->host = host;
   controller->opq_parallel_operations =
-      GNUNET_TESTBED_operation_queue_create_ ((unsigned int)
-                                              max_parallel_operations);
+      GNUNET_TESTBED_operation_queue_create_ (OPERATION_QUEUE_TYPE_FIXED,
+                                              (unsigned int) max_parallel_operations);
   controller->opq_parallel_service_connections =
-      GNUNET_TESTBED_operation_queue_create_ ((unsigned int)
+      GNUNET_TESTBED_operation_queue_create_ (OPERATION_QUEUE_TYPE_FIXED,
+                                              (unsigned int)
                                               max_parallel_service_connections);
-  controller->opq_parallel_topology_config_operations=
-      GNUNET_TESTBED_operation_queue_create_ ((unsigned int)
+  controller->opq_parallel_topology_config_operations =
+      GNUNET_TESTBED_operation_queue_create_ (OPERATION_QUEUE_TYPE_FIXED,
+                                              (unsigned int)
                                               max_parallel_topology_config_operations);
-  controller->opq_parallel_overlay_connect_operations=
-      GNUNET_TESTBED_operation_queue_create_ ((unsigned int)
-                                              max_parallel_overlay_connect_operations);
-  controller_hostname = GNUNET_TESTBED_host_get_hostname_ (host);
+  controller_hostname = GNUNET_TESTBED_host_get_hostname (host);
   if (NULL == controller_hostname)
     controller_hostname = "127.0.0.1";
   msg =
@@ -1661,280 +1526,73 @@ GNUNET_TESTBED_controller_connect (const struct GNUNET_CONFIGURATION_Handle
 
 
 /**
- * Configure shared services at a controller.  Using this function,
- * you can specify that certain services (such as "resolver")
- * should not be run for each peer but instead be shared
- * across N peers on the specified host.  This function
- * must be called before any peers are created at the host.
+ * Iterator to free opc map entries
  *
- * @param controller controller to configure
- * @param service_name name of the service to share
- * @param num_peers number of peers that should share one instance
- *        of the specified service (1 for no sharing is the default),
- *        use 0 to disable the service
+ * @param cls closure
+ * @param key current key code
+ * @param value value in the hash map
+ * @return GNUNET_YES if we should continue to
+ *         iterate,
+ *         GNUNET_NO if not.
  */
-void
-GNUNET_TESTBED_controller_configure_sharing (struct GNUNET_TESTBED_Controller
-                                             *controller,
-                                             const char *service_name,
-                                             uint32_t num_peers)
+static int
+opc_free_iterator (void *cls, uint32_t key, void *value)
 {
-  struct GNUNET_TESTBED_ConfigureSharedServiceMessage *msg;
-  uint16_t service_name_size;
-  uint16_t msg_size;
+  struct GNUNET_CONTAINER_MultiHashMap32 *map = cls;
+  struct OperationContext *opc = value;
 
-  service_name_size = strlen (service_name) + 1;
-  msg_size =
-      sizeof (struct GNUNET_TESTBED_ConfigureSharedServiceMessage) +
-      service_name_size;
-  msg = GNUNET_malloc (msg_size);
-  msg->header.size = htons (msg_size);
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_TESTBED_SERVICESHARE);
-  msg->host_id = htonl (GNUNET_TESTBED_host_get_id_ (controller->host));
-  msg->num_peers = htonl (num_peers);
-  memcpy (&msg[1], service_name, service_name_size);
-  GNUNET_TESTBED_queue_message_ (controller,
-                                 (struct GNUNET_MessageHeader *) msg);
-  GNUNET_break (0);             /* This function is not yet implemented on the
-                                   testbed service */
+  GNUNET_assert (NULL != opc);
+  GNUNET_break (0);
+  GNUNET_assert (GNUNET_YES ==
+                 GNUNET_CONTAINER_multihashmap32_remove (map, key, value));
+  GNUNET_free (opc);
+  return GNUNET_YES;
 }
 
 
 /**
- * disconnects from the controller.
+ * Stop the given controller (also will terminate all peers and
+ * controllers dependent on this controller).  This function
+ * blocks until the testbed has been fully terminated (!).
  *
- * @param controller handle to controller to stop
+ * @param c handle to controller to stop
  */
 void
 GNUNET_TESTBED_controller_disconnect (struct GNUNET_TESTBED_Controller
-                                      *controller)
+                                      *c)
 {
   struct MessageQueue *mq_entry;
 
-  if (NULL != controller->th)
-    GNUNET_CLIENT_notify_transmit_ready_cancel (controller->th);
+  if (NULL != c->th)
+    GNUNET_CLIENT_notify_transmit_ready_cancel (c->th);
   /* Clear the message queue */
-  while (NULL != (mq_entry = controller->mq_head))
+  while (NULL != (mq_entry = c->mq_head))
   {
-    GNUNET_CONTAINER_DLL_remove (controller->mq_head, controller->mq_tail,
+    GNUNET_CONTAINER_DLL_remove (c->mq_head, c->mq_tail,
                                  mq_entry);
     GNUNET_free (mq_entry->msg);
     GNUNET_free (mq_entry);
   }
-  if (NULL != controller->client)
-    GNUNET_CLIENT_disconnect (controller->client);
-  GNUNET_CONFIGURATION_destroy (controller->cfg);
-  if (GNUNET_YES == controller->aux_host)
-    GNUNET_TESTBED_host_destroy (controller->host);
-  GNUNET_TESTBED_operation_queue_destroy_ (controller->opq_parallel_operations);
-  GNUNET_TESTBED_operation_queue_destroy_
-      (controller->opq_parallel_service_connections);
+  if (NULL != c->client)
+    GNUNET_CLIENT_disconnect (c->client);
+  if (NULL != c->host)
+    GNUNET_TESTBED_deregister_host_at_ (c->host, c);
+  GNUNET_CONFIGURATION_destroy (c->cfg);
+  GNUNET_TESTBED_operation_queue_destroy_ (c->opq_parallel_operations);
   GNUNET_TESTBED_operation_queue_destroy_
-      (controller->opq_parallel_topology_config_operations);
+      (c->opq_parallel_service_connections);
   GNUNET_TESTBED_operation_queue_destroy_
-      (controller->opq_parallel_overlay_connect_operations);
-  GNUNET_free (controller);
-}
-
-
-/**
- * Register a host with the controller
- *
- * @param controller the controller handle
- * @param host the host to register
- * @param cc the completion callback to call to inform the status of
- *          registration. After calling this callback the registration handle
- *          will be invalid. Cannot be NULL.
- * @param cc_cls the closure for the cc
- * @return handle to the host registration which can be used to cancel the
- *           registration
- */
-struct GNUNET_TESTBED_HostRegistrationHandle *
-GNUNET_TESTBED_register_host (struct GNUNET_TESTBED_Controller *controller,
-                              struct GNUNET_TESTBED_Host *host,
-                              GNUNET_TESTBED_HostRegistrationCompletion cc,
-                              void *cc_cls)
-{
-  struct GNUNET_TESTBED_HostRegistrationHandle *rh;
-  struct GNUNET_TESTBED_AddHostMessage *msg;
-  const char *username;
-  const char *hostname;
-  uint16_t msg_size;
-  uint16_t user_name_length;
-
-  if (NULL != controller->rh)
-    return NULL;
-  hostname = GNUNET_TESTBED_host_get_hostname_ (host);
-  if (GNUNET_YES == GNUNET_TESTBED_is_host_registered_ (host, controller))
-  {
-    LOG (GNUNET_ERROR_TYPE_WARNING, "Host hostname: %s already registered\n",
-         (NULL == hostname) ? "localhost" : hostname);
-    return NULL;
-  }
-  rh = GNUNET_malloc (sizeof (struct GNUNET_TESTBED_HostRegistrationHandle));
-  rh->host = host;
-  rh->c = controller;
-  GNUNET_assert (NULL != cc);
-  rh->cc = cc;
-  rh->cc_cls = cc_cls;
-  controller->rh = rh;
-  username = GNUNET_TESTBED_host_get_username_ (host);
-  msg_size = (sizeof (struct GNUNET_TESTBED_AddHostMessage));
-  user_name_length = 0;
-  if (NULL != username)
+      (c->opq_parallel_topology_config_operations);
+  if (NULL != c->opc_map)
   {
-    user_name_length = strlen (username) + 1;
-    msg_size += user_name_length;
+    GNUNET_assert (GNUNET_SYSERR !=
+                   GNUNET_CONTAINER_multihashmap32_iterate (c->opc_map,
+                                                            &opc_free_iterator,
+                                                            c->opc_map));
+    GNUNET_assert (0 == GNUNET_CONTAINER_multihashmap32_size (c->opc_map));
+    GNUNET_CONTAINER_multihashmap32_destroy (c->opc_map);
   }
-  /* FIXME: what happens when hostname is NULL? localhost */
-  GNUNET_assert (NULL != hostname);
-  msg_size += strlen (hostname) + 1;
-  msg = GNUNET_malloc (msg_size);
-  msg->header.size = htons (msg_size);
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_TESTBED_ADDHOST);
-  msg->host_id = htonl (GNUNET_TESTBED_host_get_id_ (host));
-  msg->ssh_port = htons (GNUNET_TESTBED_host_get_ssh_port_ (host));
-  if (NULL != username)
-  {
-    msg->user_name_length = htons (user_name_length - 1);
-    memcpy (&msg[1], username, user_name_length);
-  }
-  else
-    msg->user_name_length = htons (user_name_length);
-  strcpy (((void *) &msg[1]) + user_name_length, hostname);
-  GNUNET_TESTBED_queue_message_ (controller,
-                                 (struct GNUNET_MessageHeader *) msg);
-  return rh;
-}
-
-
-/**
- * Cancel the pending registration. Note that if the registration message is
- * already sent to the service the cancellation has only the effect that the
- * registration completion callback for the registration is never called.
- *
- * @param handle the registration handle to cancel
- */
-void
-GNUNET_TESTBED_cancel_registration (struct GNUNET_TESTBED_HostRegistrationHandle
-                                    *handle)
-{
-  if (handle != handle->c->rh)
-  {
-    GNUNET_break (0);
-    return;
-  }
-  handle->c->rh = NULL;
-  GNUNET_free (handle);
-}
-
-
-/**
- * Same as the GNUNET_TESTBED_controller_link_2, but with ids for delegated host
- * and slave host
- *
- * @param op_cls the operation closure for the event which is generated to
- *          signal success or failure of this operation
- * @param master handle to the master controller who creates the association
- * @param delegated_host_id id of the host to which requests should be delegated
- * @param slave_host_id id of the host which is used to run the slave controller
- * @param sxcfg serialized and compressed configuration
- * @param sxcfg_size the size sxcfg
- * @param scfg_size the size of uncompressed serialized configuration
- * @param is_subordinate GNUNET_YES if the controller at delegated_host should
- *          be started by the slave controller; GNUNET_NO if the slave
- *          controller has to connect to the already started delegated
- *          controller via TCP/IP
- * @return the operation handle
- */
-struct GNUNET_TESTBED_Operation *
-GNUNET_TESTBED_controller_link_2_ (void *op_cls,
-                                   struct GNUNET_TESTBED_Controller *master,
-                                   uint32_t delegated_host_id,
-                                   uint32_t slave_host_id,
-                                   const char *sxcfg, size_t sxcfg_size,
-                                   size_t scfg_size, int is_subordinate)
-{
-  struct OperationContext *opc;
-  struct GNUNET_TESTBED_ControllerLinkMessage *msg;
-  struct ControllerLinkData *data;
-  uint16_t msg_size;
-
-  msg_size = sxcfg_size + sizeof (struct GNUNET_TESTBED_ControllerLinkMessage);
-  msg = GNUNET_malloc (msg_size);
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_TESTBED_LCONTROLLERS);
-  msg->header.size = htons (msg_size);
-  msg->delegated_host_id = htonl (delegated_host_id);
-  msg->slave_host_id = htonl (slave_host_id);
-  msg->config_size = htons ((uint16_t) scfg_size);
-  msg->is_subordinate = (GNUNET_YES == is_subordinate) ? 1 : 0;
-  memcpy (&msg[1], sxcfg, sxcfg_size);
-  data = GNUNET_malloc (sizeof (struct ControllerLinkData));
-  data->msg = msg;
-  opc = GNUNET_malloc (sizeof (struct OperationContext));
-  opc->c = master;
-  opc->data = data;
-  opc->type = OP_LINK_CONTROLLERS;
-  opc->id = GNUNET_TESTBED_get_next_op_id (opc->c);
-  opc->state = OPC_STATE_INIT;
-  opc->op_cls = op_cls;
-  msg->operation_id = GNUNET_htonll (opc->id);
-  opc->op =
-      GNUNET_TESTBED_operation_create_ (opc, &opstart_link_controllers,
-                                        &oprelease_link_controllers);
-  GNUNET_TESTBED_operation_queue_insert_ (master->opq_parallel_operations,
-                                          opc->op);
-  return opc->op;
-}
-
-
-/**
- * Same as the GNUNET_TESTBED_controller_link, however expects configuration in
- * serialized and compressed
- *
- * @param op_cls the operation closure for the event which is generated to
- *          signal success or failure of this operation
- * @param master handle to the master controller who creates the association
- * @param delegated_host requests to which host should be delegated; cannot be NULL
- * @param slave_host which host is used to run the slave controller; use NULL to
- *          make the master controller connect to the delegated host
- * @param sxcfg serialized and compressed configuration
- * @param sxcfg_size the size sxcfg
- * @param scfg_size the size of uncompressed serialized configuration
- * @param is_subordinate GNUNET_YES if the controller at delegated_host should
- *          be started by the slave controller; GNUNET_NO if the slave
- *          controller has to connect to the already started delegated
- *          controller via TCP/IP
- * @return the operation handle
- */
-struct GNUNET_TESTBED_Operation *
-GNUNET_TESTBED_controller_link_2 (void *op_cls,
-                                 struct GNUNET_TESTBED_Controller *master,
-                                  struct GNUNET_TESTBED_Host *delegated_host,
-                                  struct GNUNET_TESTBED_Host *slave_host,
-                                  const char *sxcfg, size_t sxcfg_size,
-                                  size_t scfg_size, int is_subordinate)
-{ 
-  uint32_t delegated_host_id;
-  uint32_t slave_host_id;
-
-  GNUNET_assert (GNUNET_YES ==
-                 GNUNET_TESTBED_is_host_registered_ (delegated_host, master));
-  delegated_host_id = GNUNET_TESTBED_host_get_id_ (delegated_host);
-  slave_host_id = 
-      GNUNET_TESTBED_host_get_id_ ((NULL != slave_host)
-                                   ? slave_host : master->host);
-  if ((NULL != slave_host) && (0 != GNUNET_TESTBED_host_get_id_ (slave_host)))
-    GNUNET_assert (GNUNET_YES ==
-                   GNUNET_TESTBED_is_host_registered_ (slave_host, master));
-  
-  return GNUNET_TESTBED_controller_link_2_ (op_cls,
-                                            master,
-                                            delegated_host_id,
-                                            slave_host_id,
-                                            sxcfg, sxcfg_size,
-                                            scfg_size, is_subordinate);
-  GNUNET_break (0);
+  GNUNET_free (c);
 }
 
 
@@ -1964,51 +1622,29 @@ GNUNET_TESTBED_compress_config_ (const char *config, size_t size,
 
 
 /**
- * Same as the GNUNET_TESTBED_controller_link, but with ids for delegated host
- * and slave host
+ * Function to serialize and compress using zlib a configuration through a
+ * configuration handle
  *
- * @param op_cls the operation closure for the event which is generated to
- *          signal success or failure of this operation
- * @param master handle to the master controller who creates the association
- * @param delegated_host_id id of the host to which requests should be
- *          delegated; cannot be NULL
- * @param slave_host_id id of the host which should connect to controller
- *          running on delegated host ; use NULL to make the master controller
- *          connect to the delegated host
- * @param slave_cfg configuration to use for the slave controller
- * @param is_subordinate GNUNET_YES if the controller at delegated_host should
- *          be started by the slave controller; GNUNET_NO if the slave
- *          controller has to connect to the already started delegated
- *          controller via TCP/IP
- * @return the operation handle
+ * @param cfg the configuration
+ * @param size the size of configuration when serialize.  Will be set on success.
+ * @param xsize the sizeo of the compressed configuration.  Will be set on success.
+ * @return the serialized and compressed configuration
  */
-struct GNUNET_TESTBED_Operation *
-GNUNET_TESTBED_controller_link_ (void *op_cls,
-                               struct GNUNET_TESTBED_Controller *master,
-                                uint32_t delegated_host_id,
-                                uint32_t slave_host_id,
-                                const struct GNUNET_CONFIGURATION_Handle
-                                *slave_cfg,
-                                int is_subordinate)
+char *
+GNUNET_TESTBED_compress_cfg_ (const struct GNUNET_CONFIGURATION_Handle *cfg,
+                              size_t *size, size_t *xsize)
 {
-  struct GNUNET_TESTBED_Operation *op;
   char *config;
-  char *cconfig;
-  size_t cc_size;
-  size_t config_size;
+  char *xconfig;
+  size_t size_;
+  size_t xsize_;
 
-  config = GNUNET_CONFIGURATION_serialize (slave_cfg, &config_size);
-  cc_size = GNUNET_TESTBED_compress_config_ (config, config_size, &cconfig);
+  config = GNUNET_CONFIGURATION_serialize (cfg, &size_);
+  xsize_ = GNUNET_TESTBED_compress_config_ (config, size_, &xconfig);
   GNUNET_free (config);
-  /* Configuration doesn't fit in 1 message */
-  GNUNET_assert ((UINT16_MAX - 
-                 sizeof (struct GNUNET_TESTBED_ControllerLinkMessage)) >=
-                 cc_size);
-  op = GNUNET_TESTBED_controller_link_2_ (op_cls, master, delegated_host_id,
-                                          slave_host_id, (const char *) cconfig,
-                                          cc_size, config_size, is_subordinate);
-  GNUNET_free (cconfig);
-  return op;
+  *size = size_;
+  *xsize = xsize_;
+  return xconfig;
 }
 
 
@@ -2034,7 +1670,6 @@ GNUNET_TESTBED_controller_link_ (void *op_cls,
  * @param delegated_host requests to which host should be delegated; cannot be NULL
  * @param slave_host which host is used to run the slave controller; use NULL to
  *          make the master controller connect to the delegated host
- * @param slave_cfg configuration to use for the slave controller
  * @param is_subordinate GNUNET_YES if the controller at delegated_host should
  *          be started by the slave controller; GNUNET_NO if the slave
  *          controller has to connect to the already started delegated
@@ -2043,30 +1678,52 @@ GNUNET_TESTBED_controller_link_ (void *op_cls,
  */
 struct GNUNET_TESTBED_Operation *
 GNUNET_TESTBED_controller_link (void *op_cls,
-                               struct GNUNET_TESTBED_Controller *master,
+                                struct GNUNET_TESTBED_Controller *master,
                                 struct GNUNET_TESTBED_Host *delegated_host,
                                 struct GNUNET_TESTBED_Host *slave_host,
-                                const struct GNUNET_CONFIGURATION_Handle
-                                *slave_cfg, int is_subordinate)
+                                int is_subordinate)
 {
+  struct OperationContext *opc;
+  struct GNUNET_TESTBED_ControllerLinkRequest *msg;
+  struct ControllerLinkData *data;
   uint32_t slave_host_id;
   uint32_t delegated_host_id;
+  uint16_t msg_size;
 
   GNUNET_assert (GNUNET_YES ==
                  GNUNET_TESTBED_is_host_registered_ (delegated_host, master));
-  slave_host_id = 
-      GNUNET_TESTBED_host_get_id_ ((NULL != slave_host)
-                                   ? slave_host : master->host);
+  slave_host_id =
+      GNUNET_TESTBED_host_get_id_ ((NULL !=
+                                    slave_host) ? slave_host : master->host);
   delegated_host_id = GNUNET_TESTBED_host_get_id_ (delegated_host);
   if ((NULL != slave_host) && (0 != slave_host_id))
     GNUNET_assert (GNUNET_YES ==
                    GNUNET_TESTBED_is_host_registered_ (slave_host, master));
-  return GNUNET_TESTBED_controller_link_ (op_cls, master,
-                                          delegated_host_id,
-                                          slave_host_id,
-                                          slave_cfg,
-                                          is_subordinate);
-                                          
+  msg_size = sizeof (struct GNUNET_TESTBED_ControllerLinkRequest);
+  msg = GNUNET_malloc (msg_size);
+  msg->header.type = htons (GNUNET_MESSAGE_TYPE_TESTBED_LINK_CONTROLLERS);
+  msg->header.size = htons (msg_size);
+  msg->delegated_host_id = htonl (delegated_host_id);
+  msg->slave_host_id = htonl (slave_host_id);
+  msg->is_subordinate = (GNUNET_YES == is_subordinate) ? 1 : 0;
+  data = GNUNET_new (struct ControllerLinkData);
+  data->msg = msg;
+  data->host_id = delegated_host_id;
+  opc = GNUNET_new (struct OperationContext);
+  opc->c = master;
+  opc->data = data;
+  opc->type = OP_LINK_CONTROLLERS;
+  opc->id = GNUNET_TESTBED_get_next_op_id (opc->c);
+  opc->state = OPC_STATE_INIT;
+  opc->op_cls = op_cls;
+  msg->operation_id = GNUNET_htonll (opc->id);
+  opc->op =
+      GNUNET_TESTBED_operation_create_ (opc, &opstart_link_controllers,
+                                        &oprelease_link_controllers);
+  GNUNET_TESTBED_operation_queue_insert_ (master->opq_parallel_operations,
+                                          opc->op);
+  GNUNET_TESTBED_operation_begin_wait_ (opc->op);
+  return opc->op;
 }
 
 
@@ -2086,13 +1743,13 @@ struct GNUNET_TESTBED_Operation *
 GNUNET_TESTBED_get_slave_config_ (void *op_cls,
                                   struct GNUNET_TESTBED_Controller *master,
                                   uint32_t slave_host_id)
-{  
+{
   struct OperationContext *opc;
   struct GetSlaveConfigData *data;
 
-  data = GNUNET_malloc (sizeof (struct GetSlaveConfigData));
+  data = GNUNET_new (struct GetSlaveConfigData);
   data->slave_id = slave_host_id;
-  opc = GNUNET_malloc (sizeof (struct OperationContext));
+  opc = GNUNET_new (struct OperationContext);
   opc->state = OPC_STATE_INIT;
   opc->c = master;
   opc->id = GNUNET_TESTBED_get_next_op_id (master);
@@ -2103,7 +1760,8 @@ GNUNET_TESTBED_get_slave_config_ (void *op_cls,
       GNUNET_TESTBED_operation_create_ (opc, &opstart_get_slave_config,
                                         &oprelease_get_slave_config);
   GNUNET_TESTBED_operation_queue_insert_ (master->opq_parallel_operations,
-                                         opc->op); 
+                                          opc->op);
+  GNUNET_TESTBED_operation_begin_wait_ (opc->op);
   return opc->op;
 }
 
@@ -2131,7 +1789,8 @@ GNUNET_TESTBED_get_slave_config (void *op_cls,
   if (GNUNET_NO == GNUNET_TESTBED_is_host_registered_ (slave_host, master))
     return NULL;
   return GNUNET_TESTBED_get_slave_config_ (op_cls, master,
-                                           GNUNET_TESTBED_host_get_id_ (slave_host));
+                                           GNUNET_TESTBED_host_get_id_
+                                           (slave_host));
 }
 
 
@@ -2157,15 +1816,18 @@ GNUNET_TESTBED_overlay_write_topology_to_file (struct GNUNET_TESTBED_Controller
  * Creates a helper initialization message. This function is here because we
  * want to use this in testing
  *
- * @param cname the ip address of the controlling host
+ * @param trusted_ip the ip address of the controller which will be set as TRUSTED
+ *          HOST(all connections form this ip are permitted by the testbed) when
+ *          starting testbed controller at host. This can either be a single ip
+ *          address or a network address in CIDR notation.
  * @param hostname the hostname of the destination this message is intended for
  * @param cfg the configuration that has to used to start the testbed service
  *          thru helper
  * @return the initialization message
  */
 struct GNUNET_TESTBED_HelperInit *
-GNUNET_TESTBED_create_helper_init_msg_ (const char *cname,
-                                       const char *hostname,
+GNUNET_TESTBED_create_helper_init_msg_ (const char *trusted_ip,
+                                        const char *hostname,
                                         const struct GNUNET_CONFIGURATION_Handle
                                         *cfg)
 {
@@ -2174,7 +1836,7 @@ GNUNET_TESTBED_create_helper_init_msg_ (const char *cname,
   char *xconfig;
   size_t config_size;
   size_t xconfig_size;
-  uint16_t cname_len;
+  uint16_t trusted_ip_len;
   uint16_t hostname_len;
   uint16_t msg_size;
 
@@ -2183,71 +1845,72 @@ GNUNET_TESTBED_create_helper_init_msg_ (const char *cname,
   xconfig_size =
       GNUNET_TESTBED_compress_config_ (config, config_size, &xconfig);
   GNUNET_free (config);
-  cname_len = strlen (cname);
+  trusted_ip_len = strlen (trusted_ip);
   hostname_len = (NULL == hostname) ? 0 : strlen (hostname);
   msg_size =
-      xconfig_size + cname_len + 1 + sizeof (struct GNUNET_TESTBED_HelperInit);
+      xconfig_size + trusted_ip_len + 1 +
+      sizeof (struct GNUNET_TESTBED_HelperInit);
   msg_size += hostname_len;
   msg = GNUNET_realloc (xconfig, msg_size);
-  (void) memmove (((void *) &msg[1]) + cname_len + 1 + hostname_len,
-                 msg,
-                 xconfig_size);
+  (void) memmove (((void *) &msg[1]) + trusted_ip_len + 1 + hostname_len, msg,
+                  xconfig_size);
   msg->header.size = htons (msg_size);
   msg->header.type = htons (GNUNET_MESSAGE_TYPE_TESTBED_HELPER_INIT);
-  msg->cname_size = htons (cname_len);
+  msg->trusted_ip_size = htons (trusted_ip_len);
   msg->hostname_size = htons (hostname_len);
   msg->config_size = htons (config_size);
-  (void) strcpy ((char *) &msg[1], cname);
+  (void) strcpy ((char *) &msg[1], trusted_ip);
   if (0 != hostname_len)
-    (void) strncpy (((char *) &msg[1]) + cname_len + 1, hostname, hostname_len);
+    (void) strncpy (((char *) &msg[1]) + trusted_ip_len + 1, hostname,
+                    hostname_len);
   return msg;
 }
 
 
 /**
- * Cancel a pending operation.  Releases all resources
- * of the operation and will ensure that no event
- * is generated for the operation.  Does NOT guarantee
- * that the operation will be fully undone (or that
+ * This function is used to signal that the event information (struct
+ * GNUNET_TESTBED_EventInformation) from an operation has been fully processed
+ * i.e. if the event callback is ever called for this operation. If the event
+ * callback for this operation has not yet been called, calling this function
+ * cancels the operation, frees its resources and ensures the no event is
+ * generated with respect to this operation. Note that however cancelling an
+ * operation does NOT guarantee that the operation will be fully undone (or that
  * nothing ever happened).
  *
- * @param operation operation to cancel
- */
-void
-GNUNET_TESTBED_operation_cancel (struct GNUNET_TESTBED_Operation *operation)
-{
-  GNUNET_TESTBED_operation_done (operation);
-}
-
-
-/**
- * Signal that the information from an operation has been fully
- * processed.  This function MUST be called for each event
- * of type 'operation_finished' to fully remove the operation
- * from the operation queue.  After calling this function, the
- * 'op_result' becomes invalid (!).
+ * This function MUST be called for every operation to fully remove the
+ * operation from the operation queue.  After calling this function, if
+ * operation is completed and its event information is of type
+ * GNUNET_TESTBED_ET_OPERATION_FINISHED, the 'op_result' becomes invalid (!).
+
+ * If the operation is generated from GNUNET_TESTBED_service_connect() then
+ * calling this function on such as operation calls the disconnect adapter if
+ * the connect adapter was ever called.
  *
- * @param operation operation to signal completion for
+ * @param operation operation to signal completion or cancellation
  */
 void
 GNUNET_TESTBED_operation_done (struct GNUNET_TESTBED_Operation *operation)
 {
-    GNUNET_TESTBED_operation_release_ (operation);
+  (void) exop_check (operation);
+  GNUNET_TESTBED_operation_release_ (operation);
 }
 
 
 /**
  * Generates configuration by uncompressing configuration in given message. The
  * given message should be of the following types:
- * GNUNET_MESSAGE_TYPE_TESTBED_PEERCONFIG,
- * GNUNET_MESSAGE_TYPE_TESTBED_SLAVECONFIG
+ * GNUNET_MESSAGE_TYPE_TESTBED_PEER_INFORMATION,
+ * GNUNET_MESSAGE_TYPE_TESTBED_SLAVE_CONFIGURATION,
+ * GNUNET_MESSAGE_TYPE_TESTBED_ADD_HOST,
+ * GNUNET_MESSAGE_TYPE_TESTBED_LINK_CONTROLLERS,
+ * GNUNET_MESSAGE_TYPE_TESTBED_LINK_CONTROLLERS_RESULT,
  *
  * @param msg the message containing compressed configuration
- * @return handle to the parsed configuration
+ * @return handle to the parsed configuration; NULL upon error while parsing the message
  */
 struct GNUNET_CONFIGURATION_Handle *
 GNUNET_TESTBED_extract_config_ (const struct GNUNET_MessageHeader *msg)
-{  
+{
   struct GNUNET_CONFIGURATION_Handle *cfg;
   Bytef *data;
   const Bytef *xdata;
@@ -2257,42 +1920,97 @@ GNUNET_TESTBED_extract_config_ (const struct GNUNET_MessageHeader *msg)
 
   switch (ntohs (msg->type))
   {
-  case GNUNET_MESSAGE_TYPE_TESTBED_PEERCONFIG:
+  case GNUNET_MESSAGE_TYPE_TESTBED_PEER_INFORMATION:
+  {
+    const struct GNUNET_TESTBED_PeerConfigurationInformationMessage *imsg;
+
+    imsg =
+        (const struct GNUNET_TESTBED_PeerConfigurationInformationMessage *) msg;
+    data_len = (uLong) ntohs (imsg->config_size);
+    xdata_len =
+        ntohs (imsg->header.size) -
+        sizeof (struct GNUNET_TESTBED_PeerConfigurationInformationMessage);
+    xdata = (const Bytef *) &imsg[1];
+  }
+    break;
+  case GNUNET_MESSAGE_TYPE_TESTBED_SLAVE_CONFIGURATION:
+  {
+    const struct GNUNET_TESTBED_SlaveConfiguration *imsg;
+
+    imsg = (const struct GNUNET_TESTBED_SlaveConfiguration *) msg;
+    data_len = (uLong) ntohs (imsg->config_size);
+    xdata_len =
+        ntohs (imsg->header.size) -
+        sizeof (struct GNUNET_TESTBED_SlaveConfiguration);
+    xdata = (const Bytef *) &imsg[1];
+  }
+  break;
+  case GNUNET_MESSAGE_TYPE_TESTBED_ADD_HOST:
     {
-      const struct GNUNET_TESTBED_PeerConfigurationInformationMessage *imsg;
+      const struct GNUNET_TESTBED_AddHostMessage *imsg;
+      uint16_t osize;
 
-      imsg = (const struct GNUNET_TESTBED_PeerConfigurationInformationMessage *)
-         msg;
+      imsg = (const struct GNUNET_TESTBED_AddHostMessage *) msg;
       data_len = (uLong) ntohs (imsg->config_size);
-      xdata_len = ntohs (imsg->header.size)
-         - sizeof (struct GNUNET_TESTBED_PeerConfigurationInformationMessage);
+      osize = sizeof (struct GNUNET_TESTBED_AddHostMessage) +
+          ntohs (imsg->username_length) + ntohs (imsg->hostname_length);
+      xdata_len = ntohs (imsg->header.size) - osize;
+      xdata = (const Bytef *) ((const void *) imsg + osize);
+    }
+    break;
+  case GNUNET_MESSAGE_TYPE_TESTBED_LINK_CONTROLLERS_RESULT:
+    {
+      const struct GNUNET_TESTBED_ControllerLinkResponse *imsg;
+
+      imsg = (const struct GNUNET_TESTBED_ControllerLinkResponse *) msg;
+      data_len = ntohs (imsg->config_size);
+      xdata_len = ntohs (imsg->header.size) -
+          sizeof (const struct GNUNET_TESTBED_ControllerLinkResponse);
       xdata = (const Bytef *) &imsg[1];
     }
     break;
-  case GNUNET_MESSAGE_TYPE_TESTBED_SLAVECONFIG:
+  case GNUNET_MESSAGE_TYPE_TESTBED_CREATE_PEER:
     {
-      const struct GNUNET_TESTBED_SlaveConfiguration *imsg;
+      const struct GNUNET_TESTBED_PeerCreateMessage *imsg;
 
-      imsg = (const struct GNUNET_TESTBED_SlaveConfiguration *) msg;
-      data_len = (uLong) ntohs (imsg->config_size);
-      xdata_len =  ntohs (imsg->header.size) 
-         - sizeof (struct GNUNET_TESTBED_SlaveConfiguration);
+      imsg = (const struct GNUNET_TESTBED_PeerCreateMessage *) msg;
+      data_len = ntohs (imsg->config_size);
+      xdata_len = ntohs (imsg->header.size) -
+          sizeof (struct GNUNET_TESTBED_PeerCreateMessage);
+      xdata = (const Bytef *) &imsg[1];
+    }
+    break;
+  case GNUNET_MESSAGE_TYPE_TESTBED_RECONFIGURE_PEER:
+    {
+      const struct GNUNET_TESTBED_PeerReconfigureMessage *imsg;
+
+      imsg = (const struct GNUNET_TESTBED_PeerReconfigureMessage *) msg;
+      data_len =  ntohs (imsg->config_size);
+      xdata_len = ntohs (imsg->header.size) -
+          sizeof (struct GNUNET_TESTBED_PeerReconfigureMessage);
       xdata = (const Bytef *) &imsg[1];
     }
     break;
   default:
     GNUNET_assert (0);
-  }  
+  }
   data = GNUNET_malloc (data_len);
-  if (Z_OK !=
-      (ret =
-       uncompress (data, &data_len, xdata, xdata_len)))
-    GNUNET_assert (0);
+  if (Z_OK != (ret = uncompress (data, &data_len, xdata, xdata_len)))
+  {
+    GNUNET_free (data);
+    GNUNET_break_op (0);        /* Un-compression failure */
+    return NULL;
+  }
   cfg = GNUNET_CONFIGURATION_create ();
-  GNUNET_assert (GNUNET_OK ==
-                 GNUNET_CONFIGURATION_deserialize (cfg, (const char *) data,
-                                                   (size_t) data_len,
-                                                   GNUNET_NO));
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_deserialize (cfg, (const char *) data,
+                                        (size_t) data_len,
+                                        GNUNET_NO))
+  {
+    GNUNET_free (data);
+    GNUNET_break_op (0);        /* De-serialization failure */
+    return NULL;
+  }
   GNUNET_free (data);
   return cfg;
 }
@@ -2312,7 +2030,7 @@ GNUNET_TESTBED_parse_error_string_ (const struct
 {
   uint16_t msize;
   const char *emsg;
-  
+
   msize = ntohs (msg->header.size);
   if (sizeof (struct GNUNET_TESTBED_OperationFailureEventMessage) >= msize)
     return NULL;
@@ -2335,14 +2053,121 @@ GNUNET_TESTBED_parse_error_string_ (const struct
  * @return the incremented operation id.
  */
 uint64_t
-GNUNET_TESTBED_get_next_op_id (struct GNUNET_TESTBED_Controller *controller)
+GNUNET_TESTBED_get_next_op_id (struct GNUNET_TESTBED_Controller * controller)
 {
-  uint64_t op_id;  
+  uint64_t op_id;
 
   op_id = (uint64_t) GNUNET_TESTBED_host_get_id_ (controller->host);
-  op_id = op_id <<  32;
+  op_id = op_id << 32;
   op_id |= (uint64_t) controller->operation_counter++;
   return op_id;
 }
 
+
+/**
+ * Function called when a shutdown peers operation is ready
+ *
+ * @param cls the closure from GNUNET_TESTBED_operation_create_()
+ */
+static void
+opstart_shutdown_peers (void *cls)
+{
+  struct OperationContext *opc = cls;
+  struct GNUNET_TESTBED_ShutdownPeersMessage *msg;
+
+  opc->state = OPC_STATE_STARTED;
+  msg = GNUNET_new (struct GNUNET_TESTBED_ShutdownPeersMessage);
+  msg->header.size =
+      htons (sizeof (struct GNUNET_TESTBED_ShutdownPeersMessage));
+  msg->header.type = htons (GNUNET_MESSAGE_TYPE_TESTBED_SHUTDOWN_PEERS);
+  msg->operation_id = GNUNET_htonll (opc->id);
+  GNUNET_TESTBED_insert_opc_ (opc->c, opc);
+  GNUNET_TESTBED_queue_message_ (opc->c, &msg->header);
+}
+
+
+/**
+ * Callback which will be called when shutdown peers operation is released
+ *
+ * @param cls the closure from GNUNET_TESTBED_operation_create_()
+ */
+static void
+oprelease_shutdown_peers (void *cls)
+{
+  struct OperationContext *opc = cls;
+
+  switch (opc->state)
+  {
+  case OPC_STATE_STARTED:
+    GNUNET_TESTBED_remove_opc_ (opc->c, opc);
+    /* no break; continue */
+  case OPC_STATE_INIT:
+    GNUNET_free (opc->data);
+    break;
+  case OPC_STATE_FINISHED:
+    break;
+  }
+  GNUNET_free (opc);
+}
+
+
+/**
+ * Stops and destroys all peers.  Is equivalent of calling
+ * GNUNET_TESTBED_peer_stop() and GNUNET_TESTBED_peer_destroy() on all peers,
+ * except that the peer stop event and operation finished event corresponding to
+ * the respective functions are not generated.  This function should be called
+ * when there are no other pending operations.  If there are pending operations,
+ * it will return NULL
+ *
+ * @param c the controller to send this message to
+ * @param op_cls closure for the operation
+ * @param cb the callback to call when all peers are stopped and destroyed
+ * @param cb_cls the closure for the callback
+ * @return operation handle on success; NULL if any pending operations are
+ *           present
+ */
+struct GNUNET_TESTBED_Operation *
+GNUNET_TESTBED_shutdown_peers (struct GNUNET_TESTBED_Controller *c,
+                               void *op_cls,
+                               GNUNET_TESTBED_OperationCompletionCallback cb,
+                               void *cb_cls)
+{
+  struct OperationContext *opc;
+  struct ShutdownPeersData *data;
+
+  if (0 != GNUNET_CONTAINER_multihashmap32_size (c->opc_map))
+    return NULL;
+  data = GNUNET_new (struct ShutdownPeersData);
+  data->cb = cb;
+  data->cb_cls = cb_cls;
+  opc = GNUNET_new (struct OperationContext);
+  opc->c = c;
+  opc->op_cls = op_cls;
+  opc->data = data;
+  opc->id =  GNUNET_TESTBED_get_next_op_id (c);
+  opc->type = OP_SHUTDOWN_PEERS;
+  opc->state = OPC_STATE_INIT;
+  opc->op = GNUNET_TESTBED_operation_create_ (opc, &opstart_shutdown_peers,
+                                              &oprelease_shutdown_peers);
+  GNUNET_TESTBED_operation_queue_insert_ (opc->c->opq_parallel_operations,
+                                        opc->op);
+  GNUNET_TESTBED_operation_begin_wait_ (opc->op);
+  return opc->op;
+}
+
+
+/**
+ * Return the index of the peer inside of the total peer array,
+ * aka. the peer's "unique ID".
+ *
+ * @param peer Peer handle.
+ *
+ * @return The peer's unique ID.
+ */
+uint32_t
+GNUNET_TESTBED_get_index (const struct GNUNET_TESTBED_Peer *peer)
+{
+  return peer->unique_id;
+}
+
 /* end of testbed_api.c */