Using regex for exit/vpn
[oweals/gnunet.git] / src / include / gnunet_testing_lib.h
index 9fd43c8ff4e8d0ce5d981a0913901e66f832b41d..b170670d1ffe92a3d8230dd73142c77783759f23 100644 (file)
@@ -4,7 +4,7 @@
 
       GNUnet is free software; you can redistribute it and/or modify
       it under the terms of the GNU General Public License as published
-      by the Free Software Foundation; either version 2, or (at your
+      by the Free Software Foundation; either version 3, or (at your
       option) any later version.
 
       GNUnet is distributed in the hope that it will be useful, but
@@ -33,6 +33,7 @@
 #define GNUNET_TESTING_LIB_H
 
 #include "gnunet_util_lib.h"
+#include "gnunet_statistics_service.h"
 
 #ifdef __cplusplus
 extern "C"
@@ -42,6 +43,8 @@ extern "C"
 #endif
 #endif
 
+#define HOSTKEYFILESIZE 914
+
 /**
  * Handle for a GNUnet daemon (technically a set of
  * daemons; the handle is really for the master ARM
@@ -49,6 +52,33 @@ extern "C"
  */
 struct GNUNET_TESTING_Daemon;
 
+/**
+ * Linked list of hostnames and ports to use for starting daemons.
+ */
+struct GNUNET_TESTING_Host
+{
+  /**
+   * Pointer to next item in the list.
+   */
+  struct GNUNET_TESTING_Host *next;
+
+  /**
+   * Hostname to connect to.
+   */
+  char *hostname;
+
+  /**
+   * Username to use when connecting (may be null).
+   */
+  char *username;
+
+  /**
+   * Port to use for SSH connection (used for ssh
+   * connection forwarding, 0 to let ssh decide)
+   */
+  uint16_t port;
+};
+
 /**
  * Prototype of a function that will be called whenever
  * a daemon was started by the testing library.
@@ -58,10 +88,12 @@ struct GNUNET_TESTING_Daemon;
  * @param d handle for the daemon
  * @param emsg error message (NULL on success)
  */
-typedef void (*GNUNET_TESTING_NotifyHostkeyCreated)(void *cls,
-                                                    const struct GNUNET_PeerIdentity *id,
-                                                    struct GNUNET_TESTING_Daemon *d,
-                                                    const char *emsg);
+typedef void (*GNUNET_TESTING_NotifyHostkeyCreated) (void *cls,
+                                                     const struct
+                                                     GNUNET_PeerIdentity * id,
+                                                     struct
+                                                     GNUNET_TESTING_Daemon * d,
+                                                     const char *emsg);
 
 /**
  * Prototype of a function that will be called whenever
@@ -73,12 +105,14 @@ typedef void (*GNUNET_TESTING_NotifyHostkeyCreated)(void *cls,
  * @param d handle for the daemon
  * @param emsg error message (NULL on success)
  */
-typedef void (*GNUNET_TESTING_NotifyDaemonRunning)(void *cls,
-                                                  const struct GNUNET_PeerIdentity *id,
-                                                  const struct GNUNET_CONFIGURATION_Handle *cfg,
-                                                  struct GNUNET_TESTING_Daemon *d,
-                                                  const char *emsg);
-
+typedef void (*GNUNET_TESTING_NotifyDaemonRunning) (void *cls,
+                                                    const struct
+                                                    GNUNET_PeerIdentity * id,
+                                                    const struct
+                                                    GNUNET_CONFIGURATION_Handle
+                                                    * cfg,
+                                                    struct GNUNET_TESTING_Daemon
+                                                    * d, const char *emsg);
 
 /**
  * Handle to an entire testbed of GNUnet peers.
@@ -127,6 +161,11 @@ enum GNUNET_TESTING_StartPhase
    */
   SP_START_CORE,
 
+  /**
+   * CORE is up, now make sure we get the HELLO for this peer.
+   */
+  SP_GET_HELLO,
+
   /**
    * Core has notified us that we've established a connection to the service.
    * The main FSM halts here and waits to be moved to UPDATE or CLEANUP.
@@ -140,6 +179,18 @@ enum GNUNET_TESTING_StartPhase
    */
   SP_SHUTDOWN_START,
 
+  /**
+   * We should shutdown a *single* service via gnunet-arm.  Call the dead_cb
+   * upon notification from gnunet-arm that the service has been stopped.
+   */
+  SP_SERVICE_SHUTDOWN_START,
+
+  /**
+   * We should start a *single* service via gnunet-arm.  Call the daemon cb
+   * upon notification from gnunet-arm that the service has been started.
+   */
+  SP_SERVICE_START,
+
   /**
    * We've received a configuration update and are currently waiting for
    * the copy process for the update to complete.  Once it is, we will
@@ -156,8 +207,7 @@ enum GNUNET_TESTING_StartPhase
  * @param cls closure
  * @param emsg NULL on success
  */
-typedef void (*GNUNET_TESTING_NotifyCompletion)(void *cls,
-                                                const char *emsg);
+typedef void (*GNUNET_TESTING_NotifyCompletion) (void *cls, const char *emsg);
 
 /**
  * Prototype of a function that will be called with the
@@ -166,8 +216,8 @@ typedef void (*GNUNET_TESTING_NotifyCompletion)(void *cls,
  * @param cls closure
  * @param num_connections the number of connections created
  */
-typedef void (*GNUNET_TESTING_NotifyConnections)(void *cls,
-                                                unsigned int num_connections);
+typedef void (*GNUNET_TESTING_NotifyConnections) (void *cls,
+                                                  unsigned int num_connections);
 
 /**
  * Handle for a GNUnet daemon (technically a set of
@@ -176,11 +226,6 @@ typedef void (*GNUNET_TESTING_NotifyConnections)(void *cls,
  */
 struct GNUNET_TESTING_Daemon
 {
-  /**
-   * Our scheduler.
-   */
-  struct GNUNET_SCHEDULER_Handle *sched;
-
   /**
    * Our configuration.
    */
@@ -196,6 +241,11 @@ struct GNUNET_TESTING_Daemon
    */
   char *hostname;
 
+  /**
+   * Port to use for ssh, NULL to let system choose default.
+   */
+  char *ssh_port_str;
+
   /**
    * Result of GNUNET_i2s of this peer,
    * for printing
@@ -254,32 +304,34 @@ struct GNUNET_TESTING_Daemon
   void *update_cb_cls;
 
   /**
-   * Identity of this peer (once started).
+   * PID of the process we used to run gnunet-arm or SSH to start the peer.
    */
-  struct GNUNET_PeerIdentity id;
+  struct GNUNET_OS_Process *proc_arm_start;
 
   /**
-   * Flag to indicate that we've already been asked
-   * to terminate (but could not because some action
-   * was still pending).
+   * PID of the process we used to run gnunet-arm or SSH to stop the peer.
    */
-  int dead;
+  struct GNUNET_OS_Process *proc_arm_stop;
 
   /**
-   * PID of the process that we started last.
+   * PID of the process we used to run gnunet-arm or SSH to manage services at the peer.
    */
-  pid_t pid;
+  struct GNUNET_OS_Process *proc_arm_srv_start;
 
   /**
-   * In which phase are we during the start of
-   * this process?
+   * PID of the process we used to run gnunet-arm or SSH to manage services at the peer.
    */
-  enum GNUNET_TESTING_StartPhase phase;
+  struct GNUNET_OS_Process *proc_arm_srv_stop;
 
   /**
-   * ID of the current task.
+   * PID of the process we used to run copy files
    */
-  GNUNET_SCHEDULER_TaskIdentifier task;
+  struct GNUNET_OS_Process *proc_arm_copying;
+
+  /**
+   * PID of the process we used to run gnunet-peerinfo.
+   */
+  struct GNUNET_OS_Process *proc_arm_peerinfo;
 
   /**
    * Handle to the server.
@@ -291,6 +343,11 @@ struct GNUNET_TESTING_Daemon
    */
   struct GNUNET_TRANSPORT_Handle *th;
 
+  /**
+   * Handle for getting HELLOs from transport
+   */
+  struct GNUNET_TRANSPORT_GetHelloHandle *ghh;
+
   /**
    * HELLO message for this peer
    */
@@ -302,9 +359,41 @@ struct GNUNET_TESTING_Daemon
   struct GNUNET_DISK_PipeHandle *pipe_stdout;
 
   /**
-   * Output from gnunet-peerinfo is read into this buffer.
+   * Currently, a single char * pointing to a service
+   * that has been churned off.
+   *
+   * FIXME: make this a linked list of services that have been churned off!!!
    */
-  char hostkeybuf[105];
+  char *churned_services;
+
+  /**
+   * ID of the current task.
+   */
+  GNUNET_SCHEDULER_TaskIdentifier task;
+
+  /**
+   * Identity of this peer (once started).
+   */
+  struct GNUNET_PeerIdentity id;
+
+  /**
+   * Flag to indicate that we've already been asked
+   * to terminate (but could not because some action
+   * was still pending).
+   */
+  int dead;
+
+  /**
+   * GNUNET_YES if the hostkey has been created
+   * for this peer, GNUNET_NO otherwise.
+   */
+  int have_hostkey;
+
+  /**
+   * In which phase are we during the start of
+   * this process?
+   */
+  enum GNUNET_TESTING_StartPhase phase;
 
   /**
    * Current position in 'hostkeybuf' (for reading from gnunet-peerinfo)
@@ -321,6 +410,12 @@ struct GNUNET_TESTING_Daemon
    * (if it's going to be restarted later)
    */
   int churn;
+
+  /**
+   * Output from gnunet-peerinfo is read into this buffer.
+   */
+  char hostkeybuf[105];
+
 };
 
 
@@ -337,20 +432,48 @@ struct GNUNET_TESTING_PeerGroup;
  * @param cls closure
  * @param first peer id for first daemon
  * @param second peer id for the second daemon
+ * @param distance distance between the connected peers
  * @param first_cfg config for the first daemon
  * @param second_cfg config for the second daemon
  * @param first_daemon handle for the first daemon
  * @param second_daemon handle for the second daemon
  * @param emsg error message (NULL on success)
  */
-typedef void (*GNUNET_TESTING_NotifyConnection)(void *cls,
-                                                   const struct GNUNET_PeerIdentity *first,
-                                                   const struct GNUNET_PeerIdentity *second,
-                                                   const struct GNUNET_CONFIGURATION_Handle *first_cfg,
-                                                   const struct GNUNET_CONFIGURATION_Handle *second_cfg,
-                                                   struct GNUNET_TESTING_Daemon *first_daemon,
-                                                   struct GNUNET_TESTING_Daemon *second_daemon,
-                                                   const char *emsg);
+typedef void (*GNUNET_TESTING_NotifyConnection) (void *cls,
+                                                 const struct
+                                                 GNUNET_PeerIdentity * first,
+                                                 const struct
+                                                 GNUNET_PeerIdentity * second,
+                                                 uint32_t distance,
+                                                 const struct
+                                                 GNUNET_CONFIGURATION_Handle *
+                                                 first_cfg,
+                                                 const struct
+                                                 GNUNET_CONFIGURATION_Handle *
+                                                 second_cfg,
+                                                 struct GNUNET_TESTING_Daemon *
+                                                 first_daemon,
+                                                 struct GNUNET_TESTING_Daemon *
+                                                 second_daemon,
+                                                 const char *emsg);
+
+
+/**
+ * Prototype of a callback function indicating that two peers
+ * are currently connected.
+ *
+ * @param cls closure
+ * @param first peer id for first daemon
+ * @param second peer id for the second daemon
+ * @param distance distance between the connected peers
+ * @param emsg error message (NULL on success)
+ */
+typedef void (*GNUNET_TESTING_NotifyTopology) (void *cls,
+                                               const struct GNUNET_PeerIdentity
+                                               * first,
+                                               const struct GNUNET_PeerIdentity
+                                               * second, const char *emsg);
+
 
 /**
  * Starts a GNUnet daemon.  GNUnet must be installed on the target
@@ -358,26 +481,30 @@ typedef void (*GNUNET_TESTING_NotifyConnection)(void *cls,
  * reachable via "ssh" (unless the hostname is "NULL") without the
  * need to enter a password.
  *
- * @param sched scheduler to use
  * @param cfg configuration to use
  * @param timeout how long to wait starting up peers
+ * @param pretend GNUNET_YES to set up files but not start peer GNUNET_NO
+ *                to really start the peer (default)
  * @param hostname name of the machine where to run GNUnet
  *        (use NULL for localhost).
+ * @param ssh_username ssh username to use when connecting to hostname
+ * @param sshport port to pass to ssh process when connecting to hostname
+ * @param hostkey pointer to a hostkey to be written to disk (instead of being generated)
  * @param hostkey_callback function to call once the hostkey has been
  *        generated for this peer, but it hasn't yet been started
  *        (NULL to start immediately, otherwise waits on GNUNET_TESTING_daemon_continue_start)
  * @param hostkey_cls closure for hostkey callback
- * @param cb function to call with the result
+ * @param cb function to call once peer is up, or failed to start
  * @param cb_cls closure for cb
  * @return handle to the daemon (actual start will be completed asynchronously)
  */
 struct GNUNET_TESTING_Daemon *
-GNUNET_TESTING_daemon_start (struct GNUNET_SCHEDULER_Handle *sched,
-                             const struct GNUNET_CONFIGURATION_Handle *cfg,
-                             struct GNUNET_TIME_Relative timeout,
-                             const char *hostname,
-                             GNUNET_TESTING_NotifyHostkeyCreated hostkey_callback,
-                             void *hostkey_cls,
+GNUNET_TESTING_daemon_start (const struct GNUNET_CONFIGURATION_Handle *cfg,
+                             struct GNUNET_TIME_Relative timeout, int pretend,
+                             const char *hostname, const char *ssh_username,
+                             uint16_t sshport, const char *hostkey,
+                             GNUNET_TESTING_NotifyHostkeyCreated
+                             hostkey_callback, void *hostkey_cls,
                              GNUNET_TESTING_NotifyDaemonRunning cb,
                              void *cb_cls);
 
@@ -389,7 +516,33 @@ GNUNET_TESTING_daemon_start (struct GNUNET_SCHEDULER_Handle *sched,
  * @param daemon the daemon to finish starting
  */
 void
-GNUNET_TESTING_daemon_continue_startup(struct GNUNET_TESTING_Daemon *daemon);
+GNUNET_TESTING_daemon_continue_startup (struct GNUNET_TESTING_Daemon *daemon);
+
+
+/**
+ * Check whether the given daemon is running.
+ *
+ * @param daemon the daemon to check
+ * @return GNUNET_YES if the daemon is up, GNUNET_NO if the
+ *         daemon is down, GNUNET_SYSERR on error.
+ */
+int
+GNUNET_TESTING_test_daemon_running (struct GNUNET_TESTING_Daemon *daemon);
+
+
+/**
+ * Obtain the peer identity of the peer with the given configuration
+ * handle.  This function reads the private key of the peer, obtains
+ * the public key and hashes it.
+ *
+ * @param cfg configuration of the peer
+ * @param pid where to store the peer identity
+ * @return GNUNET_OK on success, GNUNET_SYSERR on failure
+ */
+int
+GNUNET_TESTING_get_peer_identity (const struct GNUNET_CONFIGURATION_Handle *cfg,
+                                 struct GNUNET_PeerIdentity *pid);
+
 
 /**
  * Restart (stop and start) a GNUnet daemon.
@@ -400,7 +553,9 @@ GNUNET_TESTING_daemon_continue_startup(struct GNUNET_TESTING_Daemon *daemon);
  */
 void
 GNUNET_TESTING_daemon_restart (struct GNUNET_TESTING_Daemon *d,
-                               GNUNET_TESTING_NotifyDaemonRunning cb, void *cb_cls);
+                               GNUNET_TESTING_NotifyDaemonRunning cb,
+                               void *cb_cls);
+
 
 /**
  * Start a peer that has previously been stopped using the daemon_stop
@@ -417,6 +572,42 @@ GNUNET_TESTING_daemon_start_stopped (struct GNUNET_TESTING_Daemon *daemon,
                                      GNUNET_TESTING_NotifyDaemonRunning cb,
                                      void *cb_cls);
 
+
+/**
+ * Starts a GNUnet daemon's service.
+ *
+ * @param d the daemon for which the service should be started
+ * @param service the name of the service to start
+ * @param timeout how long to wait for process for startup
+ * @param cb function called once gnunet-arm returns
+ * @param cb_cls closure for cb
+ */
+void
+GNUNET_TESTING_daemon_start_service (struct GNUNET_TESTING_Daemon *d,
+                                     const char *service,
+                                     struct GNUNET_TIME_Relative timeout,
+                                     GNUNET_TESTING_NotifyDaemonRunning cb,
+                                     void *cb_cls);
+
+
+/**
+ * Starts a GNUnet daemon's service which has been previously turned off.
+ *
+ * @param d the daemon for which the service should be started
+ * @param service the name of the service to start
+ * @param timeout how long to wait for process for startup
+ * @param cb function called once gnunet-arm returns
+ * @param cb_cls closure for cb
+ */
+void
+GNUNET_TESTING_daemon_start_stopped_service (struct GNUNET_TESTING_Daemon *d,
+                                             char *service,
+                                             struct GNUNET_TIME_Relative
+                                             timeout,
+                                             GNUNET_TESTING_NotifyDaemonRunning
+                                             cb, void *cb_cls);
+
+
 /**
  * Get a certain testing daemon handle.
  *
@@ -424,7 +615,22 @@ GNUNET_TESTING_daemon_start_stopped (struct GNUNET_TESTING_Daemon *daemon,
  * @param position the number of the peer to return
  */
 struct GNUNET_TESTING_Daemon *
-GNUNET_TESTING_daemon_get (struct GNUNET_TESTING_PeerGroup *pg, unsigned int position);
+GNUNET_TESTING_daemon_get (struct GNUNET_TESTING_PeerGroup *pg,
+                           unsigned int position);
+
+
+/**
+ * Get a daemon by peer identity, so callers can
+ * retrieve the daemon without knowing it's offset.
+ *
+ * @param pg the peer group to retrieve the daemon from
+ * @param peer_id the peer identity of the daemon to retrieve
+ *
+ * @return the daemon on success, or NULL if no such peer identity is found
+ */
+struct GNUNET_TESTING_Daemon *
+GNUNET_TESTING_daemon_get_by_id (struct GNUNET_TESTING_PeerGroup *pg,
+                                 const struct GNUNET_PeerIdentity *peer_id);
 
 
 /**
@@ -447,6 +653,29 @@ GNUNET_TESTING_daemon_stop (struct GNUNET_TESTING_Daemon *d,
                             int delete_files, int allow_restart);
 
 
+
+/**
+ * Create a new configuration using the given configuration
+ * as a template; however, each PORT in the existing cfg
+ * must be renumbered by incrementing "*port".  If we run
+ * out of "*port" numbers, return NULL.
+ *
+ * @param cfg template configuration
+ * @param off the current peer offset
+ * @param port port numbers to use, update to reflect
+ *             port numbers that were used
+ * @param upnum number to make unix domain socket names unique
+ * @param hostname hostname of the controlling host, to allow control connections from
+ * @param fdnum number used to offset the unix domain socket for grouped processes
+ *              (such as statistics or peerinfo, which can be shared among others)
+ *
+ * @return new configuration, NULL on error
+ */
+struct GNUNET_CONFIGURATION_Handle *
+GNUNET_TESTING_create_cfg (const struct GNUNET_CONFIGURATION_Handle *cfg, uint32_t off,
+             uint16_t * port, uint32_t * upnum, const char *hostname,
+             uint32_t * fdnum);
+
 /**
  * Changes the configuration of a GNUnet daemon.
  *
@@ -455,43 +684,58 @@ GNUNET_TESTING_daemon_stop (struct GNUNET_TESTING_Daemon *d,
  * @param cb function called once the configuration was changed
  * @param cb_cls closure for cb
  */
-void GNUNET_TESTING_daemon_reconfigure (struct GNUNET_TESTING_Daemon *d,
-                                       struct GNUNET_CONFIGURATION_Handle *cfg,
-                                       GNUNET_TESTING_NotifyCompletion cb,
-                                       void * cb_cls);
+void
+GNUNET_TESTING_daemon_reconfigure (struct GNUNET_TESTING_Daemon *d,
+                                   struct GNUNET_CONFIGURATION_Handle *cfg,
+                                   GNUNET_TESTING_NotifyCompletion cb,
+                                   void *cb_cls);
 
 
 /**
- * Establish a connection between two GNUnet daemons.
+ * Stops a single service of a GNUnet daemon.  Used like daemon_stop,
+ * only doesn't stop the entire peer in any case.  If the service
+ * is not currently running, this call is likely to fail after
+ * timeout!
  *
- * @param d1 handle for the first daemon
- * @param d2 handle for the second daemon
- * @param timeout how long is the connection attempt
- *        allowed to take?
- * @param max_connect_attempts how many times should we try to reconnect
- *        (within timeout)
- * @param cb function to call at the end
+ * @param d the daemon that should be stopped
+ * @param service the name of the service to stop
+ * @param timeout how long to wait for process for shutdown to complete
+ * @param cb function called once the service was stopped
  * @param cb_cls closure for cb
  */
-void GNUNET_TESTING_daemons_connect (struct GNUNET_TESTING_Daemon *d1,
-                                    struct GNUNET_TESTING_Daemon *d2,
-                                    struct GNUNET_TIME_Relative timeout,
-                                    unsigned int max_connect_attempts,
-                                    GNUNET_TESTING_NotifyConnection cb,
-                                    void *cb_cls);
+void
+GNUNET_TESTING_daemon_stop_service (struct GNUNET_TESTING_Daemon *d,
+                                    const char *service,
+                                    struct GNUNET_TIME_Relative timeout,
+                                    GNUNET_TESTING_NotifyCompletion cb,
+                                    void *cb_cls);
 
 
+/**
+ * Read a testing hosts file based on a configuration.
+ * Returns a DLL of hosts (caller must free!) on success
+ * or NULL on failure.
+ *
+ * @param cfg a configuration with a testing section
+ *
+ * @return DLL of hosts on success, NULL on failure
+ */
+struct GNUNET_TESTING_Host *
+GNUNET_TESTING_hosts_load (const struct GNUNET_CONFIGURATION_Handle *cfg);
 
 
 /**
- * Start count gnunetd processes with the same set of transports and
+ * Start count gnunet instances with the same set of transports and
  * applications.  The port numbers (any option called "PORT") will be
  * adjusted to ensure that no two peers running on the same system
  * have the same port(s) in their respective configurations.
  *
- * @param sched scheduler to use
  * @param cfg configuration template to use
  * @param total number of daemons to start
+ * @param max_concurrent_connections for testing, how many peers can
+*                                   we connect to simultaneously
+ * @param max_concurrent_ssh when starting with ssh, how many ssh
+ *        connections will we allow at once (based on remote hosts allowed!)
  * @param timeout total time allowed for peers to start
  * @param hostkey_callback function to call on each peers hostkey generation
  *        if NULL, peers will be started by this call, if non-null,
@@ -502,22 +746,25 @@ void GNUNET_TESTING_daemons_connect (struct GNUNET_TESTING_Daemon *d1,
  * @param cb_cls closure for cb
  * @param connect_callback function to call each time two hosts are connected
  * @param connect_callback_cls closure for connect_callback
- * @param hostnames space-separated list of hostnames to use; can be NULL (to run
- *        everything on localhost).
+ * @param hostnames linked list of host structs to use to start peers on
+ *                  (NULL to run on localhost only)
+ *
  * @return NULL on error, otherwise handle to control peer group
  */
 struct GNUNET_TESTING_PeerGroup *
-GNUNET_TESTING_daemons_start (struct GNUNET_SCHEDULER_Handle *sched,
-                              const struct GNUNET_CONFIGURATION_Handle *cfg,
+GNUNET_TESTING_daemons_start (const struct GNUNET_CONFIGURATION_Handle *cfg,
                               unsigned int total,
+                              unsigned int max_concurrent_connections,
+                              unsigned int max_concurrent_ssh,
                               struct GNUNET_TIME_Relative timeout,
-                              GNUNET_TESTING_NotifyHostkeyCreated hostkey_callback,
-                              void *hostkey_cls,
+                              GNUNET_TESTING_NotifyHostkeyCreated
+                              hostkey_callback, void *hostkey_cls,
                               GNUNET_TESTING_NotifyDaemonRunning cb,
                               void *cb_cls,
-                              GNUNET_TESTING_NotifyConnection
-                              connect_callback, void *connect_callback_cls,
-                              const char *hostnames);
+                              GNUNET_TESTING_NotifyConnection connect_callback,
+                              void *connect_callback_cls,
+                              const struct GNUNET_TESTING_Host *hostnames);
+
 
 /**
  * Function which continues a peer group starting up
@@ -526,7 +773,54 @@ GNUNET_TESTING_daemons_start (struct GNUNET_SCHEDULER_Handle *sched,
  * @param pg the peer group to continue starting
  */
 void
-GNUNET_TESTING_daemons_continue_startup(struct GNUNET_TESTING_PeerGroup *pg);
+GNUNET_TESTING_daemons_continue_startup (struct GNUNET_TESTING_PeerGroup *pg);
+
+
+/**
+ * Handle for an active request to connect two peers.
+ */
+struct GNUNET_TESTING_ConnectContext;
+
+
+/**
+ * Establish a connection between two GNUnet daemons.  The daemons
+ * must both be running and not be stopped until either the
+ * 'cb' callback is called OR the connection request has been
+ * explicitly cancelled.
+ *
+ * @param d1 handle for the first daemon
+ * @param d2 handle for the second daemon
+ * @param timeout how long is the connection attempt
+ *        allowed to take?
+ * @param max_connect_attempts how many times should we try to reconnect
+ *        (within timeout)
+ * @param send_hello GNUNET_YES to send the HELLO, GNUNET_NO to assume
+ *                   the HELLO has already been exchanged
+ * @param cb function to call at the end
+ * @param cb_cls closure for cb
+ * @return handle to cancel the request, NULL on error
+ */
+struct GNUNET_TESTING_ConnectContext *
+GNUNET_TESTING_daemons_connect (struct GNUNET_TESTING_Daemon *d1,
+                                struct GNUNET_TESTING_Daemon *d2,
+                                struct GNUNET_TIME_Relative timeout,
+                                unsigned int max_connect_attempts,
+                                int send_hello,
+                                GNUNET_TESTING_NotifyConnection cb,
+                                void *cb_cls);
+
+
+
+/**
+ * Cancel an attempt to connect two daemons.
+ *
+ * @param cc connect context
+ */
+void
+GNUNET_TESTING_daemons_connect_cancel (struct GNUNET_TESTING_ConnectContext
+                                       *cc);
+
+
 
 /**
  * Restart all peers in the given group.
@@ -546,10 +840,24 @@ GNUNET_TESTING_daemons_restart (struct GNUNET_TESTING_PeerGroup *pg,
  *
  * @param pg handle to the peer group
  * @param timeout how long to wait for shutdown
+ * @param cb callback to notify upon success or failure
+ * @param cb_cls closure for cb
  */
 void
-GNUNET_TESTING_daemons_stop (struct GNUNET_TESTING_PeerGroup *pg, 
-                            struct GNUNET_TIME_Relative timeout);
+GNUNET_TESTING_daemons_stop (struct GNUNET_TESTING_PeerGroup *pg,
+                             struct GNUNET_TIME_Relative timeout,
+                             GNUNET_TESTING_NotifyCompletion cb, void *cb_cls);
+
+
+/**
+ * Count the number of running peers.
+ *
+ * @param pg handle for the peer group
+ *
+ * @return the number of currently running peers in the peer group
+ */
+unsigned int
+GNUNET_TESTING_daemons_running (struct GNUNET_TESTING_PeerGroup *pg);
 
 
 /**
@@ -565,6 +873,7 @@ GNUNET_TESTING_daemons_stop (struct GNUNET_TESTING_PeerGroup *pg,
  * running even though the "peer" is being varied offline.
  *
  * @param pg handle for the peer group
+ * @param service the service to churn on/off, NULL for all
  * @param voff number of peers that should go offline
  * @param von number of peers that should come back online;
  *            must be zero on first call (since "testbed_start"
@@ -576,11 +885,65 @@ GNUNET_TESTING_daemons_stop (struct GNUNET_TESTING_PeerGroup *pg,
  */
 void
 GNUNET_TESTING_daemons_churn (struct GNUNET_TESTING_PeerGroup *pg,
-                              unsigned int voff,
+                              char *service, unsigned int voff,
                               unsigned int von,
                               struct GNUNET_TIME_Relative timeout,
-                              GNUNET_TESTING_NotifyCompletion cb,
-                              void *cb_cls);
+                              GNUNET_TESTING_NotifyCompletion cb, void *cb_cls);
+
+
+/**
+ * Start a given service for each of the peers in the peer group.
+ *
+ * @param pg handle for the peer group
+ * @param service the service to start
+ * @param timeout how long to wait for operations to finish before
+ *        giving up
+ * @param cb function to call once finished
+ * @param cb_cls closure for cb
+ *
+ */
+void
+GNUNET_TESTING_daemons_start_service (struct GNUNET_TESTING_PeerGroup *pg,
+                                      char *service,
+                                      struct GNUNET_TIME_Relative timeout,
+                                      GNUNET_TESTING_NotifyCompletion cb,
+                                      void *cb_cls);
+
+
+/**
+ * Callback function to process statistic values.
+ *
+ * @param cls closure
+ * @param peer the peer the statistics belong to
+ * @param subsystem name of subsystem that created the statistic
+ * @param name the name of the datum
+ * @param value the current value
+ * @param is_persistent GNUNET_YES if the value is persistent, GNUNET_NO if not
+ * @return GNUNET_OK to continue, GNUNET_SYSERR to abort iteration
+ */
+typedef int (*GNUNET_TESTING_STATISTICS_Iterator) (void *cls,
+                                                   const struct
+                                                   GNUNET_PeerIdentity * peer,
+                                                   const char *subsystem,
+                                                   const char *name,
+                                                   uint64_t value,
+                                                   int is_persistent);
+
+
+/**
+ * Iterate over all (running) peers in the peer group, retrieve
+ * all statistics from each.
+ *
+ * @param pg the peergroup to iterate statistics of
+ * @param cont continuation to call once call is completed(?)
+ * @param proc processing function for each statistic retrieved
+ * @param cls closure to pass to proc
+ */
+void
+GNUNET_TESTING_get_statistics (struct GNUNET_TESTING_PeerGroup *pg,
+                               GNUNET_STATISTICS_Callback cont,
+                               GNUNET_TESTING_STATISTICS_Iterator proc,
+                               void *cls);
 
 
 /**
@@ -629,10 +992,20 @@ enum GNUNET_TESTING_Topology
    */
   GNUNET_TESTING_TOPOLOGY_SCALE_FREE,
 
+  /**
+   * Straight line topology.
+   */
+  GNUNET_TESTING_TOPOLOGY_LINE,
+
   /**
    * All peers are disconnected.
    */
-  GNUNET_TESTING_TOPOLOGY_NONE
+  GNUNET_TESTING_TOPOLOGY_NONE,
+
+  /**
+   * Read a topology from a given file.
+   */
+  GNUNET_TESTING_TOPOLOGY_FROM_FILE
 };
 
 /**
@@ -663,36 +1036,122 @@ enum GNUNET_TESTING_TopologyOption
    */
   GNUNET_TESTING_TOPOLOGY_OPTION_DFS,
 
+  /**
+   * Find the N closest peers to each allowed peer in the
+   * topology and make sure a connection to those peers
+   * exists in the connect topology.
+   */
+  GNUNET_TESTING_TOPOLOGY_OPTION_ADD_CLOSEST,
+
   /**
    * No options specified.
    */
   GNUNET_TESTING_TOPOLOGY_OPTION_NONE
 };
 
+
+/**
+ * Get a topology from a string input.
+ *
+ * @param topology where to write the retrieved topology
+ * @param topology_string The string to attempt to
+ *        get a configuration value from
+ * @return GNUNET_YES if topology string matched a
+ *         known topology, GNUNET_NO if not
+ */
+int
+GNUNET_TESTING_topology_get (enum GNUNET_TESTING_Topology *topology,
+                             const char *topology_string);
+
+
+/**
+ * Get connect topology option from string input.
+ *
+ * @param topology_option where to write the retrieved topology
+ * @param topology_string The string to attempt to
+ *        get a configuration value from
+ * @return GNUNET_YES if topology string matched a
+ *         known topology, GNUNET_NO if not
+ */
+int
+GNUNET_TESTING_topology_option_get (enum GNUNET_TESTING_TopologyOption
+                                    *topology_option,
+                                    const char *topology_string);
+
+
 /**
  * Takes a peer group and creates a topology based on the
  * one specified.  Creates a topology means generates friend
  * files for the peers so they can only connect to those allowed
  * by the topology.  This will only have an effect once peers
  * are started if the FRIENDS_ONLY option is set in the base
- * config.  Also takes an optional restrict topology which
- * disallows direct TCP connections UNLESS they are specified in
+ * config.
+ *
+ * Also takes an optional restrict topology which
+ * disallows direct connections UNLESS they are specified in
  * the restricted topology.
  *
+ * A simple example; if the topology option is set to LINE
+ * peers can ONLY connect in a LINE.  However, if the topology
+ * option is set to 2D-torus and the restrict option is set to
+ * line with restrict_transports equal to "tcp udp", then peers
+ * may connect in a 2D-torus, but will be restricted to tcp and
+ * udp connections only in a LINE.  Generally it only makes
+ * sense to do this if restrict_topology is a subset of topology.
+ *
+ * For testing peer discovery, etc. it is generally better to
+ * leave restrict_topology as GNUNET_TESTING_TOPOLOGY_NONE and
+ * then use the connect_topology function to restrict the initial
+ * connection set.
+ *
  * @param pg the peer group struct representing the running peers
  * @param topology which topology to connect the peers in
- * @param restrict_topology allow only direct TCP connections in this topology
+ * @param restrict_topology allow only direct connections in this topology,
+ *        based on those listed in restrict_transports, set to
+ *        GNUNET_TESTING_TOPOLOGY_NONE for no restrictions
  * @param restrict_transports space delimited list of transports to blacklist
- *                            to create restricted topology
+ *                            to create restricted topology, NULL for none
  *
  * @return the maximum number of connections were all allowed peers
  *         connected to each other
  */
-int
+unsigned int
 GNUNET_TESTING_create_topology (struct GNUNET_TESTING_PeerGroup *pg,
                                 enum GNUNET_TESTING_Topology topology,
                                 enum GNUNET_TESTING_Topology restrict_topology,
-                                char *restrict_transports);
+                                const char *restrict_transports);
+
+
+/**
+ * Iterate over all (running) peers in the peer group, retrieve
+ * all connections that each currently has.
+ *
+ * @param pg the peer group we are concerned with
+ * @param cb callback for topology information
+ * @param cls closure for callback
+ */
+void
+GNUNET_TESTING_get_topology (struct GNUNET_TESTING_PeerGroup *pg,
+                             GNUNET_TESTING_NotifyTopology cb, void *cls);
+
+
+/**
+ * Stop the connection process temporarily.
+ *
+ * @param pg the peer group to stop connecting
+ */
+void
+GNUNET_TESTING_stop_connections (struct GNUNET_TESTING_PeerGroup *pg);
+
+
+/**
+ * Resume the connection process.
+ *
+ * @param pg the peer group to resume connecting
+ */
+void
+GNUNET_TESTING_resume_connections (struct GNUNET_TESTING_PeerGroup *pg);
+
 
 /**
  * There are many ways to connect peers that are supported by this function.
@@ -707,13 +1166,25 @@ GNUNET_TESTING_create_topology (struct GNUNET_TESTING_PeerGroup *pg,
  * @param topology which topology to connect the peers in
  * @param options options for connecting the topology
  * @param option_modifier modifier for options that take a parameter
+ * @param connect_timeout how long to wait before giving up on connecting
+ *                        two peers
+ * @param connect_attempts how many times to attempt to connect two peers
+ *                         over the connect_timeout duration
+ * @param notify_callback notification to be called once all connections completed
+ * @param notify_cls closure for notification callback
+ *
  * @return the number of connections that will be attempted, GNUNET_SYSERR on error
  */
 int
 GNUNET_TESTING_connect_topology (struct GNUNET_TESTING_PeerGroup *pg,
                                  enum GNUNET_TESTING_Topology topology,
                                  enum GNUNET_TESTING_TopologyOption options,
-                                 double option_modifier);
+                                 double option_modifier,
+                                 struct GNUNET_TIME_Relative connect_timeout,
+                                 unsigned int connect_attempts,
+                                 GNUNET_TESTING_NotifyCompletion
+                                 notify_callback, void *notify_cls);
+
 
 /**
  * Start or stop an individual peer from the given group.
@@ -726,80 +1197,53 @@ GNUNET_TESTING_connect_topology (struct GNUNET_TESTING_PeerGroup *pg,
  * @param cb_cls closure for cb
  */
 void
-GNUNET_TESTING_daemons_vary (struct GNUNET_TESTING_PeerGroup *pg, 
-                            unsigned int offset,
-                            int desired_status,
-                            struct GNUNET_TIME_Relative timeout,
-                            GNUNET_TESTING_NotifyCompletion cb,
-                            void *cb_cls);
+GNUNET_TESTING_daemons_vary (struct GNUNET_TESTING_PeerGroup *pg,
+                             unsigned int offset, int desired_status,
+                             struct GNUNET_TIME_Relative timeout,
+                             GNUNET_TESTING_NotifyCompletion cb, void *cb_cls);
 
 
 /**
- * Start "count" GNUnet daemons with a particular topology.
+ * Start a peer group with a given number of peers.  Notify
+ * on completion of peer startup and connection based on given
+ * topological constraints.  Optionally notify on each
+ * established connection.
  *
- * @param sched scheduler to use
  * @param cfg configuration template to use
- * @param count number of peers the testbed should have
- * @param topology desired topology (enforced via F2F)
- * @param cb function to call on each daemon that was started
- * @param cb_cls closure for cb
- * @param hostname where to run the peers; can be NULL (to run
- *        everything on localhost). Additional
- *        hosts can be specified using a NULL-terminated list of
- *        varargs, hosts will then be used round-robin from that
- *        list.
- * @return handle to control the testbed
- */
-struct GNUNET_TESTING_Testbed *
-GNUNET_TESTING_testbed_start (struct GNUNET_SCHEDULER_Handle *sched,
-                             const struct GNUNET_CONFIGURATION_Handle *cfg,
-                             unsigned int count,
-                             enum GNUNET_TESTING_Topology topology,
-                             GNUNET_TESTING_NotifyDaemonRunning cb,
-                             void *cb_cls,
-                             const char *hostname,
-                             ...);
-
-
-/**
- * Stop all of the daemons started with the start function.
+ * @param total number of daemons to start
+ * @param timeout total time allowed for peers to start
+ * @param connect_cb function to call each time two daemons are connected
+ * @param peergroup_cb function to call once all peers are up and connected
+ * @param peergroup_cls closure for peergroup callbacks
+ * @param hostnames linked list of host structs to use to start peers on
+ *                  (NULL to run on localhost only)
  *
- * @param tb handle for the testbed
- * @param cb function to call when done
- * @param cb_cls closure for cb
+ * @return NULL on error, otherwise handle to control peer group
  */
-void
-GNUNET_TESTING_testbed_stop (struct GNUNET_TESTING_Testbed *tb,
-                            GNUNET_TESTING_NotifyCompletion cb,
-                            void *cb_cls );
+struct GNUNET_TESTING_PeerGroup *
+GNUNET_TESTING_peergroup_start (const struct GNUNET_CONFIGURATION_Handle *cfg,
+                                unsigned int total,
+                                struct GNUNET_TIME_Relative timeout,
+                                GNUNET_TESTING_NotifyConnection connect_cb,
+                                GNUNET_TESTING_NotifyCompletion peergroup_cb,
+                                void *peergroup_cls,
+                                const struct GNUNET_TESTING_Host *hostnames);
 
 
 /**
- * Simulate churn in the testbed by stopping some peers (and possibly
- * re-starting others if churn is called multiple times).  This
- * function can only be used to create leave-join churn (peers "never"
- * leave for good).  First "voff" random peers that are currently
- * online will be taken offline; then "von" random peers that are then
- * offline will be put back online.  No notifications will be
- * generated for any of these operations except for the callback upon
- * completion.  Note that the implementation is at liberty to keep
- * the ARM service itself (but none of the other services or daemons)
- * running even though the "peer" is being varied offline.
+ * Print current topology to a graphviz readable file.
+ *
+ * @param pg a currently running peergroup to print to file
+ * @param output_filename the file to write the topology to
+ * @param notify_cb callback to call upon completion or failure
+ * @param notify_cb_cls closure for notify_cb
  *
- * @param tb handle for the testbed
- * @param voff number of peers that should go offline
- * @param von number of peers that should come back online;
- *            must be zero on first call (since "testbed_start"
- *            always starts all of the peers)
- * @param cb function to call at the end
- * @param cb_cls closure for cb
  */
 void
-GNUNET_TESTING_testbed_churn (struct GNUNET_TESTING_Testbed *tb,
-                             unsigned int voff,
-                             unsigned int von,
-                             GNUNET_TESTING_NotifyCompletion cb,
-                             void *cb_cls);
+GNUNET_TESTING_peergroup_topology_to_file (struct GNUNET_TESTING_PeerGroup *pg,
+                                           const char *output_filename,
+                                           GNUNET_TESTING_NotifyCompletion
+                                           notify_cb, void *notify_cb_cls);
 
 
 #if 0                           /* keep Emacsens' auto-indent happy */