-consistently use struct GNUNET_HashCode
[oweals/gnunet.git] / src / dht / test_dht_multipeer.c
index b41a8e371a4432780ecef10c0d5c50ce12bf62d6..656b4ac06ac59e4688f09564fe49a587418df327 100644 (file)
 #include "gnunet_core_service.h"
 #include "gnunet_dht_service.h"
 
-/* DEFINES */
-#define VERBOSE GNUNET_NO
-
 /* Timeout for entire testcase */
 #define TIMEOUT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_MINUTES, 30)
 
 /* Timeout for waiting for replies to get requests */
-#define GET_TIMEOUT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 60)
+#define GET_TIMEOUT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 300)
+
+/* */
+#define START_DELAY GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 30)
 
 /* Timeout for waiting for gets to complete */
 #define GET_DELAY GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_MILLISECONDS, 50)
 
 #define TEST_DATA_SIZE 8
 
-#define MAX_OUTSTANDING_PUTS 10
+#define MAX_OUTSTANDING_PUTS 100
 
-#define MAX_OUTSTANDING_GETS 10
+#define MAX_OUTSTANDING_GETS 100
 
-#define PATH_TRACKING GNUNET_YES
+#define PATH_TRACKING GNUNET_NO
 
 
 
@@ -92,12 +92,12 @@ struct TestPutContext
 struct TestGetContext
 {
   /**
-   * This is a linked list 
+   * This is a linked list
    */
   struct TestGetContext *next;
 
   /**
-   * This is a linked list 
+   * This is a linked list
    */
   struct TestGetContext *prev;
 
@@ -203,6 +203,11 @@ static enum GNUNET_DHT_RouteOption route_option;
  */
 static GNUNET_SCHEDULER_TaskIdentifier die_task;
 
+/**
+ * Task handle to use to schedule test shutdown
+ */
+GNUNET_SCHEDULER_TaskIdentifier shutdown_task;
+
 /**
  * Global return value (0 for success, anything else for failure)
  */
@@ -217,12 +222,182 @@ shutdown_callback (void *cls, const char *emsg)
 {
   if (emsg != NULL)
   {
-    fprintf (stderr,
-            "Failed to shutdown testing topology: %s\n",
-            emsg);
+    FPRINTF (stderr, "Failed to shutdown testing topology: %s\n", emsg);
     if (ok == 0)
       ok = 2;
   }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Shutdown callback completed.\n");
+}
+
+static void
+do_stop (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  if ((tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN) == 0)
+  {
+    if (GNUNET_SCHEDULER_NO_TASK != shutdown_task)
+    {
+      GNUNET_SCHEDULER_cancel(shutdown_task);
+      shutdown_task = GNUNET_SCHEDULER_NO_TASK;
+    }
+  }
+  else
+  {
+    shutdown_task = GNUNET_SCHEDULER_NO_TASK ;
+  }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Shutdown requested.\n");
+  if (NULL != pg)
+    GNUNET_TESTING_daemons_stop (pg, TIMEOUT, &shutdown_callback, NULL);
+  pg = NULL;
+}
+
+
+/**
+ * Master context for 'stat_run'.
+ */
+struct StatMaster
+{
+  struct GNUNET_STATISTICS_Handle *stat;
+  unsigned int daemon;
+  unsigned int value;
+};
+
+struct StatValues
+{
+  const char *subsystem;
+  const char *name;
+  unsigned long long total;
+};
+
+/**
+ * Statistics we print out.
+ */
+static struct StatValues stats[] = {
+  {"core", "# bytes decrypted", 0},
+  {"core", "# bytes encrypted", 0},
+  {"core", "# type maps received", 0},
+  {"core", "# session keys confirmed via PONG", 0},
+  {"core", "# peers connected", 0},
+  {"core", "# key exchanges initiated", 0},
+  {"core", "# send requests dropped (disconnected)", 0},
+  {"core", "# transmissions delayed due to corking", 0},
+  {"core", "# messages discarded (expired prior to transmission)", 0},
+  {"core", "# messages discarded (disconnected)", 0},
+  {"core", "# discarded CORE_SEND requests", 0},
+  {"core", "# discarded lower priority CORE_SEND requests", 0},
+  {"transport", "# bytes received via TCP", 0},
+  {"transport", "# bytes transmitted via TCP", 0},
+  {"dht", "# PUT messages queued for transmission", 0},
+  {"dht", "# P2P PUT requests received", 0},
+  {"dht", "# GET messages queued for transmission", 0},
+  {"dht", "# P2P GET requests received", 0},
+  {"dht", "# RESULT messages queued for transmission", 0},
+  {"dht", "# P2P RESULTS received", 0},
+  {"dht", "# Queued messages discarded (peer disconnected)", 0},
+  {"dht", "# Peers excluded from routing due to Bloomfilter", 0},
+  {"dht", "# Peer selection failed", 0},
+  {"dht", "# FIND PEER requests ignored due to Bloomfilter", 0},
+  {"dht", "# FIND PEER requests ignored due to lack of HELLO", 0},
+  {"dht", "# P2P FIND PEER requests processed", 0},
+  {"dht", "# P2P GET requests ONLY routed", 0},
+  {"dht", "# Preference updates given to core", 0},
+  {"dht", "# REPLIES ignored for CLIENTS (no match)", 0},
+  {"dht", "# GET requests from clients injected", 0},
+  {"dht", "# GET requests received from clients", 0},
+  {"dht", "# GET STOP requests received from clients", 0},
+  {"dht", "# ITEMS stored in datacache", 0},
+  {"dht", "# Good RESULTS found in datacache", 0},
+  {"dht", "# GET requests given to datacache", 0},
+  {NULL, NULL, 0}
+};
+
+
+/**
+ * Callback function to process statistic values.
+ *
+ * @param cls closure
+ * @param subsystem name of subsystem that created the statistic
+ * @param name the name of the datum
+ * @param value the current value
+ * @param is_persistent GNUNET_YES if the value is persistent, GNUNET_NO if not
+ * @return GNUNET_OK to continue, GNUNET_SYSERR to abort iteration
+ */
+static int
+print_stat (void *cls, const char *subsystem, const char *name, uint64_t value,
+            int is_persistent)
+{
+  struct StatMaster *sm = cls;
+
+  stats[sm->value].total += value;
+  FPRINTF (stderr, "Peer %2u: %12s/%50s = %12llu\n", sm->daemon, subsystem,
+           name, (unsigned long long) value);
+  return GNUNET_OK;
+}
+
+
+/**
+ * Function that gathers stats from all daemons.
+ */
+static void
+stat_run (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
+
+
+/**
+ * Function called when GET operation on stats is done.
+ */
+static void
+get_done (void *cls, int success)
+{
+  struct StatMaster *sm = cls;
+
+  GNUNET_break (GNUNET_OK == success);
+  sm->value++;
+  GNUNET_SCHEDULER_add_now (&stat_run, sm);
+}
+
+
+/**
+ * Function that gathers stats from all daemons.
+ */
+static void
+stat_run (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct StatMaster *sm = cls;
+  unsigned int i;
+
+  die_task = GNUNET_SCHEDULER_NO_TASK;
+  if (stats[sm->value].name != NULL)
+  {
+    GNUNET_STATISTICS_get (sm->stat,
+#if 0
+                           NULL, NULL,
+#else
+                           stats[sm->value].subsystem, stats[sm->value].name,
+#endif
+                           GNUNET_TIME_UNIT_FOREVER_REL, &get_done, &print_stat,
+                           sm);
+    return;
+  }
+  GNUNET_STATISTICS_destroy (sm->stat, GNUNET_NO);
+  sm->value = 0;
+  sm->daemon++;
+  if (sm->daemon == num_peers)
+  {
+    GNUNET_free (sm);
+    i = 0;
+    while (stats[i].name != NULL)
+    {
+      FPRINTF (stderr, "Total  : %12s/%50s = %12llu\n", stats[i].subsystem,
+               stats[i].name, (unsigned long long) stats[i].total);
+      i++;
+    }
+    die_task = GNUNET_SCHEDULER_add_now (&do_stop, NULL);
+    return;
+  }
+  sm->stat =
+      GNUNET_STATISTICS_create ("<driver>",
+                                GNUNET_TESTING_daemon_get (pg,
+                                                           sm->daemon)->cfg);
+  die_task = GNUNET_SCHEDULER_add_now (&stat_run, sm);
 }
 
 
@@ -235,6 +410,7 @@ finish_testing (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct TestPutContext *test_put;
   struct TestGetContext *test_get;
+  struct StatMaster *sm;
 
   die_task = GNUNET_SCHEDULER_NO_TASK;
   while (NULL != (test_put = all_puts_head))
@@ -243,9 +419,7 @@ finish_testing (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
       GNUNET_SCHEDULER_cancel (test_put->task);
     if (test_put->dht_handle != NULL)
       GNUNET_DHT_disconnect (test_put->dht_handle);
-    GNUNET_CONTAINER_DLL_remove (all_puts_head,
-                                all_puts_tail,
-                                test_put);
+    GNUNET_CONTAINER_DLL_remove (all_puts_head, all_puts_tail, test_put);
     GNUNET_free (test_put);
   }
 
@@ -257,15 +431,15 @@ finish_testing (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
       GNUNET_DHT_get_stop (test_get->get_handle);
     if (test_get->dht_handle != NULL)
       GNUNET_DHT_disconnect (test_get->dht_handle);
-    GNUNET_CONTAINER_DLL_remove (all_gets_head,
-                                all_gets_tail,
-                                test_get);
+    GNUNET_CONTAINER_DLL_remove (all_gets_head, all_gets_tail, test_get);
     GNUNET_free (test_get);
   }
-
-  ok = 0;
-  GNUNET_TESTING_daemons_stop (pg, TIMEOUT, &shutdown_callback, NULL);
-  pg = NULL;
+  sm = GNUNET_malloc (sizeof (struct StatMaster));
+  sm->stat =
+      GNUNET_STATISTICS_create ("<driver>",
+                                GNUNET_TESTING_daemon_get (pg,
+                                                           sm->daemon)->cfg);
+  die_task = GNUNET_SCHEDULER_add_now (&stat_run, sm);
 }
 
 
@@ -282,18 +456,14 @@ end_badly (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   struct TestGetContext *test_get;
 
   die_task = GNUNET_SCHEDULER_NO_TASK;
-  fprintf (stderr, 
-          "Failing test with error: `%s'!\n",
-          emsg);
+  FPRINTF (stderr, "Failing test with error: `%s'!\n", emsg);
   while (NULL != (test_put = all_puts_head))
   {
     if (test_put->task != GNUNET_SCHEDULER_NO_TASK)
       GNUNET_SCHEDULER_cancel (test_put->task);
     if (test_put->dht_handle != NULL)
       GNUNET_DHT_disconnect (test_put->dht_handle);
-    GNUNET_CONTAINER_DLL_remove (all_puts_head,
-                                all_puts_tail,
-                                test_put);
+    GNUNET_CONTAINER_DLL_remove (all_puts_head, all_puts_tail, test_put);
     GNUNET_free (test_put);
   }
 
@@ -305,13 +475,12 @@ end_badly (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
       GNUNET_DHT_get_stop (test_get->get_handle);
     if (test_get->dht_handle != NULL)
       GNUNET_DHT_disconnect (test_get->dht_handle);
-    GNUNET_CONTAINER_DLL_remove (all_gets_head,
-                                all_gets_tail,
-                                test_get);
+    GNUNET_CONTAINER_DLL_remove (all_gets_head, all_gets_tail, test_get);
     GNUNET_free (test_get);
   }
   ok = 1;
-  GNUNET_TESTING_daemons_stop (pg, TIMEOUT, &shutdown_callback, NULL);
+  /* testing_peergroup will do that in its own end_badly() handler */
+  /*GNUNET_TESTING_daemons_stop (pg, TIMEOUT, &shutdown_callback, NULL); */
   pg = NULL;
 }
 
@@ -323,7 +492,7 @@ static void
 get_stop_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct TestGetContext *test_get = cls;
-  GNUNET_HashCode search_key;   /* Key stored under */
+  struct GNUNET_HashCode search_key;   /* Key stored under */
   char original_data[TEST_DATA_SIZE];   /* Made up data to store */
 
   test_get->task = GNUNET_SCHEDULER_NO_TASK;
@@ -332,10 +501,8 @@ get_stop_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   if (test_get->succeeded != GNUNET_YES)
   {
     gets_failed++;
-    fprintf (stderr,
-            "Get from peer %s for key %s failed!\n",
-            GNUNET_i2s (&test_get->daemon->id), 
-            GNUNET_h2s (&search_key));
+    FPRINTF (stderr, "Get from peer %s for key %s failed!\n",
+             GNUNET_i2s (&test_get->daemon->id), GNUNET_h2s (&search_key));
   }
   GNUNET_assert (test_get->get_handle != NULL);
   GNUNET_DHT_get_stop (test_get->get_handle);
@@ -345,25 +512,25 @@ get_stop_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   GNUNET_DHT_disconnect (test_get->dht_handle);
   test_get->dht_handle = NULL;
 
-  fprintf (stderr,
-          "%llu gets succeeded, %llu gets failed!\n",
-          gets_completed, gets_failed);
-  GNUNET_CONTAINER_DLL_remove (all_gets_head,
-                              all_gets_tail,
-                              test_get);
+  GNUNET_CONTAINER_DLL_remove (all_gets_head, all_gets_tail, test_get);
   GNUNET_free (test_get);
-
-  if ((gets_failed > 0) && (outstanding_gets == 0))       /* Had some failures */
+  if ((gets_failed > 10) && (outstanding_gets == 0))
   {
+    /* Had more than 10% failures */
+    FPRINTF (stderr, "%llu gets succeeded, %llu gets failed!\n", gets_completed,
+             gets_failed);
     GNUNET_SCHEDULER_cancel (die_task);
-    die_task = GNUNET_SCHEDULER_add_now (&end_badly, "not all gets succeeded");
+    ok = 1;
+    die_task =
+        GNUNET_SCHEDULER_add_now (&finish_testing, "not all gets succeeded");
     return;
   }
-
-  if ( (gets_completed == num_peers * num_peers) && 
-       (outstanding_gets == 0) )  /* All gets successful */
+  if ((gets_completed + gets_failed == num_peers * num_peers) && (outstanding_gets == 0))       /* All gets successful */
   {
+    FPRINTF (stderr, "%llu gets succeeded, %llu gets failed!\n", gets_completed,
+             gets_failed);
     GNUNET_SCHEDULER_cancel (die_task);
+    ok = 0;
     die_task = GNUNET_SCHEDULER_add_now (&finish_testing, NULL);
   }
 }
@@ -381,17 +548,16 @@ get_stop_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
  */
 static void
 get_result_iterator (void *cls, struct GNUNET_TIME_Absolute exp,
-                     const GNUNET_HashCode * key,
+                     const struct GNUNET_HashCode * key,
                      const struct GNUNET_PeerIdentity *get_path,
-                    unsigned int get_path_length,
+                     unsigned int get_path_length,
                      const struct GNUNET_PeerIdentity *put_path,
-                    unsigned int put_path_length,
-                     enum GNUNET_BLOCK_Type type, size_t size, const void *data)
+                     unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
+                     size_t size, const void *data)
 {
   struct TestGetContext *test_get = cls;
-  GNUNET_HashCode search_key;   /* Key stored under */
+  struct GNUNET_HashCode search_key;   /* Key stored under */
   char original_data[TEST_DATA_SIZE];   /* Made up data to store */
-  unsigned int i;
 
   memset (original_data, test_get->uid, sizeof (original_data));
   GNUNET_CRYPTO_hash (original_data, TEST_DATA_SIZE, &search_key);
@@ -401,33 +567,33 @@ get_result_iterator (void *cls, struct GNUNET_TIME_Absolute exp,
 #if PATH_TRACKING
   if (put_path != NULL)
   {
-    fprintf (stderr, "PUT (%u) Path: ",
-            test_get->uid);
-    for (i = 0; i<put_path_length; i++)
-      fprintf (stderr, "%s%s", i == 0 ? "" : "->", GNUNET_i2s (&put_path[i]));
-    fprintf (stderr, "\n");
+    unsigned int i;
+
+    FPRINTF (stderr, "PUT (%u) Path: ", test_get->uid);
+    for (i = 0; i < put_path_length; i++)
+      FPRINTF (stderr, "%s%s", i == 0 ? "" : "->", GNUNET_i2s (&put_path[i]));
+    FPRINTF (stderr, "%s",  "\n");
   }
   if (get_path != NULL)
   {
-    fprintf (stderr, "GET (%u) Path: ",
-            test_get->uid);
+    unsigned int i;
+
+    FPRINTF (stderr, "GET (%u) Path: ", test_get->uid);
     for (i = 0; i < get_path_length; i++)
-      fprintf (stderr, "%s%s", i == 0 ? "" : "->", GNUNET_i2s (&get_path[i]));
-    fprintf (stderr, "%s%s\n",
-            get_path_length > 0 ? "->":"",
-            GNUNET_i2s (&test_get->daemon->id));
+      FPRINTF (stderr, "%s%s", i == 0 ? "" : "->", GNUNET_i2s (&get_path[i]));
+    FPRINTF (stderr, "%s%s\n", get_path_length > 0 ? "->" : "",
+             GNUNET_i2s (&test_get->daemon->id));
   }
 #endif
 
-  if ((0 != memcmp (&search_key, key, sizeof (GNUNET_HashCode))) ||
+  if ((0 != memcmp (&search_key, key, sizeof (struct GNUNET_HashCode))) ||
       (0 != memcmp (original_data, data, sizeof (original_data))))
   {
-    fprintf (stderr,
-            "Key or data is not the same as was inserted!\n");
+    FPRINTF (stderr, "%s",  "Key or data is not the same as was inserted!\n");
     return;
   }
   gets_completed++;
-  test_get->succeeded = GNUNET_YES;  
+  test_get->succeeded = GNUNET_YES;
   GNUNET_SCHEDULER_cancel (test_get->task);
   test_get->task = GNUNET_SCHEDULER_add_now (&get_stop_task, test_get);
 }
@@ -440,12 +606,13 @@ static void
 do_get (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct TestGetContext *test_get = cls;
-  GNUNET_HashCode key;          /* Made up key to store data under */
+  struct GNUNET_HashCode key;          /* Made up key to store data under */
   char data[TEST_DATA_SIZE];    /* Made up data to store */
 
   if (outstanding_gets > MAX_OUTSTANDING_GETS)
   {
-    GNUNET_SCHEDULER_add_delayed (GET_DELAY, &do_get, test_get);
+    test_get->task =
+        GNUNET_SCHEDULER_add_delayed (GET_DELAY, &do_get, test_get);
     return;
   }
   memset (data, test_get->uid, sizeof (data));
@@ -454,12 +621,11 @@ do_get (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   GNUNET_assert (test_get->dht_handle != NULL);
   outstanding_gets++;
   test_get->get_handle =
-    GNUNET_DHT_get_start (test_get->dht_handle, GNUNET_TIME_UNIT_FOREVER_REL,
-                         GNUNET_BLOCK_TYPE_TEST, &key,
-                         1, route_option, NULL, 0,
-                         &get_result_iterator, test_get);
+      GNUNET_DHT_get_start (test_get->dht_handle, 
+                            GNUNET_BLOCK_TYPE_TEST, &key, 1, route_option, NULL,
+                            0, &get_result_iterator, test_get);
   test_get->task =
-    GNUNET_SCHEDULER_add_delayed (GET_TIMEOUT, &get_stop_task, test_get);
+      GNUNET_SCHEDULER_add_delayed (GET_TIMEOUT, &get_stop_task, test_get);
 }
 
 
@@ -474,49 +640,56 @@ put_disconnect_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   test_put->task = GNUNET_SCHEDULER_NO_TASK;
   GNUNET_DHT_disconnect (test_put->dht_handle);
   test_put->dht_handle = NULL;
-  GNUNET_CONTAINER_DLL_remove (all_puts_head,
-                              all_puts_tail,
-                              test_put);
+  GNUNET_CONTAINER_DLL_remove (all_puts_head, all_puts_tail, test_put);
   GNUNET_free (test_put);
 }
 
 
 /**
- * Called when the PUT request has been transmitted to the DHT service.
- * Schedule the GET request for some time in the future.
+ * Schedule the GET requests
  */
 static void
-put_finished (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+start_gets (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  struct TestPutContext *test_put = cls;
   unsigned long long i;
   unsigned long long j;
   struct TestGetContext *test_get;
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+             "Issuing %llu GETs\n",
+             (unsigned long long) (num_peers * num_peers));
+  for (i = 0; i < num_peers; i++)
+    for (j = 0; j < num_peers; j++)
+    {
+      test_get = GNUNET_malloc (sizeof (struct TestGetContext));
+      test_get->uid = i + j * num_peers;
+      test_get->daemon = GNUNET_TESTING_daemon_get (pg, j);
+      GNUNET_CONTAINER_DLL_insert (all_gets_head, all_gets_tail, test_get);
+      test_get->task = GNUNET_SCHEDULER_add_now (&do_get, test_get);
+    }
+}
+
+
+/**
+ * Called when the PUT request has been transmitted to the DHT service.
+ */
+static void
+put_finished (void *cls, int success)
+{
+  struct TestPutContext *test_put = cls;
+
   outstanding_puts--;
   puts_completed++;
-  GNUNET_SCHEDULER_cancel (test_put->task);
-  test_put->task =
-      GNUNET_SCHEDULER_add_now (&put_disconnect_task, test_put);
-  if (puts_completed != num_peers)
+  if (GNUNET_SCHEDULER_NO_TASK != test_put->task)
+  {
+    GNUNET_SCHEDULER_cancel (test_put->task);
+  }
+  test_put->task = GNUNET_SCHEDULER_add_now (&put_disconnect_task, test_put);
+  if (puts_completed != num_peers * num_peers)
     return;
 
   GNUNET_assert (outstanding_puts == 0);
-  fprintf (stderr, 
-          "Issuing %llu GETs\n",
-          num_peers * num_peers);
-  for (i = 0; i < num_peers; i++)
-    for (j = 0; j < num_peers; j++)
-      {
-       test_get = GNUNET_malloc (sizeof (struct TestGetContext));
-       test_get->uid = i;
-       test_get->daemon = GNUNET_TESTING_daemon_get (pg, j);
-       GNUNET_CONTAINER_DLL_insert (all_gets_head,
-                                    all_gets_tail,
-                                    test_get);
-       test_get->task = GNUNET_SCHEDULER_add_now (&do_get,
-                                                  test_get);
-      }
+  GNUNET_SCHEDULER_add_delayed (START_DELAY, &start_gets, NULL);
 }
 
 
@@ -527,13 +700,14 @@ static void
 do_put (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct TestPutContext *test_put = cls;
-  GNUNET_HashCode key;          /* Made up key to store data under */
+  struct GNUNET_HashCode key;          /* Made up key to store data under */
   char data[TEST_DATA_SIZE];    /* Made up data to store */
 
   test_put->task = GNUNET_SCHEDULER_NO_TASK;
   if (outstanding_puts > MAX_OUTSTANDING_PUTS)
   {
-    test_put->task = GNUNET_SCHEDULER_add_delayed (PUT_DELAY, &do_put, test_put);
+    test_put->task =
+        GNUNET_SCHEDULER_add_delayed (PUT_DELAY, &do_put, test_put);
     return;
   }
   memset (data, test_put->uid, sizeof (data));
@@ -541,65 +715,71 @@ do_put (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   test_put->dht_handle = GNUNET_DHT_connect (test_put->daemon->cfg, 10);
   GNUNET_assert (test_put->dht_handle != NULL);
   outstanding_puts++;
-  fprintf (stderr, "PUT %u at `%s'\n",
-          test_put->uid,
-          GNUNET_i2s (&test_put->daemon->id));
-  GNUNET_DHT_put (test_put->dht_handle, &key, 1,
-                  route_option, GNUNET_BLOCK_TYPE_TEST, sizeof (data), data,
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+             "PUT %u at `%s'\n", test_put->uid,
+             GNUNET_i2s (&test_put->daemon->id));
+  GNUNET_DHT_put (test_put->dht_handle, &key, 1, route_option,
+                  GNUNET_BLOCK_TYPE_TEST, sizeof (data), data,
                   GNUNET_TIME_UNIT_FOREVER_ABS, GNUNET_TIME_UNIT_FOREVER_REL,
                   &put_finished, test_put);
   test_put->task =
-    GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL,
-                                 &put_disconnect_task, test_put);
+      GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL,
+                                    &put_disconnect_task, test_put);
 }
 
 
-
-/**
- * This function is called once testing has finished setting up the topology.
- *
- * @param cls unused
- * @param emsg variable is NULL on success (peers connected), and non-NULL on
- * failure (peers failed to connect).
- */
 static void
-run_dht_test (void *cls, const char *emsg)
+run_dht_test (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   unsigned long long i;
   struct TestPutContext *test_put;
 
-  if (emsg != NULL)
+  if ((tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN) != 0)
   {
-    fprintf (stderr,
-            "Failed to setup topology: %s\n",
-            emsg);
-    die_task =
-      GNUNET_SCHEDULER_add_now (&end_badly,
-                               "topology setup failed");
+    ok = 1;
     return;
   }
-
 #if PATH_TRACKING
-  route_option = GNUNET_DHT_RO_RECORD_ROUTE;
+  route_option =
+      GNUNET_DHT_RO_RECORD_ROUTE | GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE;
 #else
-  route_option = GNUNET_DHT_RO_NONE;
+  route_option = GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE;
 #endif
   die_task =
-    GNUNET_SCHEDULER_add_delayed (TIMEOUT, &end_badly,
-                                 "from setup puts/gets");
-  fprintf (stderr, 
-          "Issuing %llu PUTs (one per peer)\n", 
-          num_peers);
-  for (i = 0; i < num_peers; i++)
+      GNUNET_SCHEDULER_add_delayed (TIMEOUT, &end_badly,
+                                    "from setup puts/gets");
+  FPRINTF (stderr, "Issuing %llu PUTs (one per peer)\n",
+           (unsigned long long) (num_peers * num_peers));
+  for (i = 0; i < num_peers * num_peers; i++)
   {
     test_put = GNUNET_malloc (sizeof (struct TestPutContext));
     test_put->uid = i;
-    test_put->daemon = GNUNET_TESTING_daemon_get (pg, i);    
+    test_put->daemon = GNUNET_TESTING_daemon_get (pg, i % num_peers);
     test_put->task = GNUNET_SCHEDULER_add_now (&do_put, test_put);
-    GNUNET_CONTAINER_DLL_insert (all_puts_head,
-                                all_puts_tail,
-                                test_put);
+    GNUNET_CONTAINER_DLL_insert (all_puts_head, all_puts_tail, test_put);
+  }
+}
+
+
+/**
+ * This function is called once testing has finished setting up the topology.
+ *
+ * @param cls unused
+ * @param emsg variable is NULL on success (peers connected), and non-NULL on
+ * failure (peers failed to connect).
+ */
+static void
+startup_done (void *cls, const char *emsg)
+{
+  if (emsg != NULL)
+  {
+    FPRINTF (stderr, "Failed to setup topology: %s\n", emsg);
+    die_task = GNUNET_SCHEDULER_add_now (&end_badly, "topology setup failed");
+    return;
   }
+  die_task =
+      GNUNET_SCHEDULER_add_delayed (START_DELAY, &run_dht_test,
+                                    "from setup puts/gets");
 }
 
 
@@ -617,17 +797,14 @@ run (void *cls, char *const *args, const char *cfgfile,
     return;
   }
   if (GNUNET_SYSERR ==
-      GNUNET_CONFIGURATION_get_value_number (cfg, "testing", "num_peers",
+      GNUNET_CONFIGURATION_get_value_number (cfg, "testing_old", "num_peers",
                                              &num_peers))
     num_peers = DEFAULT_NUM_PEERS;
-  pg = GNUNET_TESTING_peergroup_start (cfg,
-                                      num_peers,
-                                      TIMEOUT,
-                                      NULL,
-                                      &run_dht_test,
-                                      NULL,
-                                      NULL);
+  pg = GNUNET_TESTING_peergroup_start (cfg, num_peers, TIMEOUT, NULL,
+                                       &startup_done, NULL, NULL);
   GNUNET_assert (NULL != pg);
+  shutdown_task = GNUNET_SCHEDULER_add_delayed(GNUNET_TIME_UNIT_FOREVER_REL,
+                                               &do_stop, NULL);
 }
 
 
@@ -640,9 +817,6 @@ check ()
   char *const argv[] = { "test-dht-multipeer",  /* Name to give running binary */
     "-c",
     "test_dht_multipeer_data.conf",     /* Config file to use */
-#if VERBOSE
-    "-L", "DEBUG",
-#endif
     NULL
   };
   struct GNUNET_GETOPT_CommandLineOption options[] = {
@@ -666,13 +840,8 @@ main (int argc, char *argv[])
 {
   int ret;
 
-
   GNUNET_log_setup ("test-dht-multipeer",
-#if VERBOSE
-                    "DEBUG",
-#else
                     "WARNING",
-#endif
                     NULL);
   ret = check ();
   /**