naming
[oweals/gnunet.git] / src / dht / test_dht_multipeer.c
index 82d9aa55d7440a7b6ba88dee751e1ccb8f088f5f..296a19bcacd282270bfa9359df7298c16b72fcfe 100644 (file)
 #include "gnunet_dht_service.h"
 
 /* DEFINES */
-#define VERBOSE GNUNET_NO
+#define VERBOSE GNUNET_EXTRA_LOGGING
 
 /* Timeout for entire testcase */
 #define TIMEOUT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_MINUTES, 30)
 
 /* Timeout for waiting for replies to get requests */
-#define GET_TIMEOUT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 60)
+#define GET_TIMEOUT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 300)
 
 /* */
-#define START_DELAY GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 60)
+#define START_DELAY GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 30)
 
 /* Timeout for waiting for gets to complete */
 #define GET_DELAY GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_MILLISECONDS, 50)
 
 #define TEST_DATA_SIZE 8
 
-#define MAX_OUTSTANDING_PUTS 10
+#define MAX_OUTSTANDING_PUTS 100
 
-#define MAX_OUTSTANDING_GETS 10
+#define MAX_OUTSTANDING_GETS 100
 
-#define PATH_TRACKING GNUNET_YES
+#define PATH_TRACKING GNUNET_NO
 
 
 
@@ -228,6 +228,159 @@ shutdown_callback (void *cls, const char *emsg)
   }
 }
 
+static void
+do_stop (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  GNUNET_TESTING_daemons_stop (pg, TIMEOUT, &shutdown_callback, NULL);
+  pg = NULL;
+}
+
+
+/**
+ * Master context for 'stat_run'.
+ */
+struct StatMaster
+{
+  struct GNUNET_STATISTICS_Handle *stat;
+  unsigned int daemon;
+  unsigned int value;
+};
+
+struct StatValues
+{
+  const char *subsystem;
+  const char *name;
+  unsigned long long total;
+};
+
+/**
+ * Statistics we print out.
+ */
+static struct StatValues stats[] = {
+  {"core", "# bytes decrypted", 0},
+  {"core", "# bytes encrypted", 0},
+  {"core", "# send requests dropped (disconnected)", 0},
+  {"core", "# transmissions delayed due to corking", 0},
+  {"core", "# messages discarded (expired prior to transmission)", 0},
+  {"core", "# messages discarded (disconnected)", 0},
+  {"core", "# discarded CORE_SEND requests", 0},
+  {"core", "# discarded lower priority CORE_SEND requests", 0},
+  {"transport", "# bytes received via TCP", 0},
+  {"transport", "# bytes transmitted via TCP", 0},
+  {"dht", "# PUT messages queued for transmission", 0},
+  {"dht", "# P2P PUT requests received", 0},
+  {"dht", "# GET messages queued for transmission", 0},
+  {"dht", "# P2P GET requests received", 0},
+  {"dht", "# RESULT messages queued for transmission", 0},
+  {"dht", "# P2P RESULTS received", 0},
+  {"dht", "# Queued messages discarded (peer disconnected)", 0},
+  {"dht", "# Peers excluded from routing due to Bloomfilter", 0},
+  {"dht", "# Peer selection failed", 0},
+  {"dht", "# FIND PEER requests ignored due to Bloomfilter", 0},
+  {"dht", "# FIND PEER requests ignored due to lack of HELLO", 0},
+  {"dht", "# P2P FIND PEER requests processed", 0},
+  {"dht", "# P2P GET requests ONLY routed", 0},
+  {"dht", "# Preference updates given to core", 0},
+  {"dht", "# REPLIES ignored for CLIENTS (no match)", 0},
+  {"dht", "# GET requests from clients injected", 0},
+  {"dht", "# GET requests received from clients", 0},
+  {"dht", "# GET STOP requests received from clients", 0},
+  {"dht", "# ITEMS stored in datacache", 0},
+  {"dht", "# Good RESULTS found in datacache", 0},
+  {"dht", "# GET requests given to datacache", 0},
+  {NULL, NULL, 0}
+};
+
+
+/**
+ * Callback function to process statistic values.
+ *
+ * @param cls closure
+ * @param subsystem name of subsystem that created the statistic
+ * @param name the name of the datum
+ * @param value the current value
+ * @param is_persistent GNUNET_YES if the value is persistent, GNUNET_NO if not
+ * @return GNUNET_OK to continue, GNUNET_SYSERR to abort iteration
+ */
+static int
+print_stat (void *cls, const char *subsystem, const char *name, uint64_t value,
+            int is_persistent)
+{
+  struct StatMaster *sm = cls;
+
+  stats[sm->value].total += value;
+  fprintf (stderr, "Peer %2u: %12s/%50s = %12llu\n", sm->daemon, subsystem,
+           name, (unsigned long long) value);
+  return GNUNET_OK;
+}
+
+
+/**
+ * Function that gathers stats from all daemons.
+ */
+static void
+stat_run (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
+
+
+/**
+ * Function called when GET operation on stats is done.
+ */
+static void
+get_done (void *cls, int success)
+{
+  struct StatMaster *sm = cls;
+
+  GNUNET_break (GNUNET_OK == success);
+  sm->value++;
+  GNUNET_SCHEDULER_add_now (&stat_run, sm);
+}
+
+
+/**
+ * Function that gathers stats from all daemons.
+ */
+static void
+stat_run (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct StatMaster *sm = cls;
+  unsigned int i;
+
+  die_task = GNUNET_SCHEDULER_NO_TASK;
+  if (stats[sm->value].name != NULL)
+  {
+    GNUNET_STATISTICS_get (sm->stat,
+#if 0
+                           NULL, NULL,
+#else
+                           stats[sm->value].subsystem, stats[sm->value].name,
+#endif
+                           GNUNET_TIME_UNIT_FOREVER_REL, &get_done, &print_stat,
+                           sm);
+    return;
+  }
+  GNUNET_STATISTICS_destroy (sm->stat, GNUNET_NO);
+  sm->value = 0;
+  sm->daemon++;
+  if (sm->daemon == num_peers)
+  {
+    GNUNET_free (sm);
+    i = 0;
+    while (stats[i].name != NULL)
+      {
+       fprintf (stderr, "Total  : %12s/%50s = %12llu\n", stats[i].subsystem,
+                stats[i].name, (unsigned long long) stats[i].total);
+       i++;
+      }
+    die_task = GNUNET_SCHEDULER_add_now (&do_stop, NULL);
+    return;
+  }
+  sm->stat =
+      GNUNET_STATISTICS_create ("<driver>",
+                                GNUNET_TESTING_daemon_get (pg, 
+                                                          sm->daemon)->cfg);
+  die_task = GNUNET_SCHEDULER_add_now (&stat_run, sm);
+}
+
 
 /**
  * Function scheduled to be run on the successful completion of this
@@ -238,6 +391,7 @@ finish_testing (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct TestPutContext *test_put;
   struct TestGetContext *test_get;
+  struct StatMaster *sm;
 
   die_task = GNUNET_SCHEDULER_NO_TASK;
   while (NULL != (test_put = all_puts_head))
@@ -265,10 +419,12 @@ finish_testing (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
                                 test_get);
     GNUNET_free (test_get);
   }
-
-  ok = 0;
-  GNUNET_TESTING_daemons_stop (pg, TIMEOUT, &shutdown_callback, NULL);
-  pg = NULL;
+  sm = GNUNET_malloc (sizeof (struct StatMaster));
+  sm->stat =
+    GNUNET_STATISTICS_create ("<driver>",
+                             GNUNET_TESTING_daemon_get (pg, 
+                                                        sm->daemon)->cfg);
+  die_task = GNUNET_SCHEDULER_add_now (&stat_run, sm);
 }
 
 
@@ -348,25 +504,29 @@ get_stop_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   GNUNET_DHT_disconnect (test_get->dht_handle);
   test_get->dht_handle = NULL;
 
-  fprintf (stderr,
-          "%llu gets succeeded, %llu gets failed!\n",
-          gets_completed, gets_failed);
   GNUNET_CONTAINER_DLL_remove (all_gets_head,
                               all_gets_tail,
                               test_get);
   GNUNET_free (test_get);
-
-  if ((gets_failed > 0) && (outstanding_gets == 0))       /* Had some failures */
+  if ((gets_failed > 10) && (outstanding_gets == 0))       
   {
+    /* Had more than 10% failures */
+    fprintf (stderr,
+            "%llu gets succeeded, %llu gets failed!\n",
+            gets_completed, gets_failed);
     GNUNET_SCHEDULER_cancel (die_task);
-    die_task = GNUNET_SCHEDULER_add_now (&end_badly, "not all gets succeeded");
+    ok = 1; 
+    die_task = GNUNET_SCHEDULER_add_now (&finish_testing, "not all gets succeeded");
     return;
   }
-
-  if ( (gets_completed == num_peers * num_peers) && 
+  if ( (gets_completed + gets_failed == num_peers * num_peers) && 
        (outstanding_gets == 0) )  /* All gets successful */
   {
+    fprintf (stderr,
+            "%llu gets succeeded, %llu gets failed!\n",
+            gets_completed, gets_failed);
     GNUNET_SCHEDULER_cancel (die_task);
+    ok = 0; 
     die_task = GNUNET_SCHEDULER_add_now (&finish_testing, NULL);
   }
 }
@@ -394,7 +554,6 @@ get_result_iterator (void *cls, struct GNUNET_TIME_Absolute exp,
   struct TestGetContext *test_get = cls;
   GNUNET_HashCode search_key;   /* Key stored under */
   char original_data[TEST_DATA_SIZE];   /* Made up data to store */
-  unsigned int i;
 
   memset (original_data, test_get->uid, sizeof (original_data));
   GNUNET_CRYPTO_hash (original_data, TEST_DATA_SIZE, &search_key);
@@ -404,6 +563,8 @@ get_result_iterator (void *cls, struct GNUNET_TIME_Absolute exp,
 #if PATH_TRACKING
   if (put_path != NULL)
   {
+    unsigned int i;
+
     fprintf (stderr, "PUT (%u) Path: ",
             test_get->uid);
     for (i = 0; i<put_path_length; i++)
@@ -412,6 +573,8 @@ get_result_iterator (void *cls, struct GNUNET_TIME_Absolute exp,
   }
   if (get_path != NULL)
   {
+    unsigned int i;
+
     fprintf (stderr, "GET (%u) Path: ",
             test_get->uid);
     for (i = 0; i < get_path_length; i++)
@@ -485,29 +648,20 @@ put_disconnect_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 
 
 /**
- * Called when the PUT request has been transmitted to the DHT service.
- * Schedule the GET request for some time in the future.
+ * Schedule the GET requests
  */
 static void
-put_finished (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+start_gets (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  struct TestPutContext *test_put = cls;
   unsigned long long i;
   unsigned long long j;
   struct TestGetContext *test_get;
 
-  outstanding_puts--;
-  puts_completed++;
-  GNUNET_SCHEDULER_cancel (test_put->task);
-  test_put->task =
-      GNUNET_SCHEDULER_add_now (&put_disconnect_task, test_put);
-  if (puts_completed != num_peers * num_peers)
-    return;
-
-  GNUNET_assert (outstanding_puts == 0);
+#if VERBOSE 
   fprintf (stderr, 
           "Issuing %llu GETs\n",
           num_peers * num_peers);
+#endif
   for (i = 0; i < num_peers; i++)
     for (j = 0; j < num_peers; j++)
       {
@@ -523,6 +677,29 @@ put_finished (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 }
 
 
+/**
+ * Called when the PUT request has been transmitted to the DHT service.
+ */
+static void
+put_finished (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct TestPutContext *test_put = cls;
+
+  outstanding_puts--;
+  puts_completed++;
+  GNUNET_SCHEDULER_cancel (test_put->task);
+  test_put->task =
+      GNUNET_SCHEDULER_add_now (&put_disconnect_task, test_put);
+  if (puts_completed != num_peers * num_peers)
+    return;
+  
+  GNUNET_assert (outstanding_puts == 0);
+  GNUNET_SCHEDULER_add_delayed (START_DELAY,
+                               &start_gets,
+                               NULL);
+}
+
+
 /**
  * Set up some data, and call API PUT function
  */
@@ -544,9 +721,11 @@ do_put (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   test_put->dht_handle = GNUNET_DHT_connect (test_put->daemon->cfg, 10);
   GNUNET_assert (test_put->dht_handle != NULL);
   outstanding_puts++;
+#if VERBOSE > 2
   fprintf (stderr, "PUT %u at `%s'\n",
           test_put->uid,
           GNUNET_i2s (&test_put->daemon->id));
+#endif
   GNUNET_DHT_put (test_put->dht_handle, &key, 1,
                   route_option, GNUNET_BLOCK_TYPE_TEST, sizeof (data), data,
                   GNUNET_TIME_UNIT_FOREVER_ABS, GNUNET_TIME_UNIT_FOREVER_REL,