allow empty/NULL context message
[oweals/gnunet.git] / src / transport / gnunet-transport-profiler.c
index f37d2f8a4ed8ff73ffa171e8a725ff7f01837112..af47c5c567c4c7da16ed597b6f98a5f24181a2c9 100644 (file)
@@ -1,6 +1,6 @@
 /*
  This file is part of GNUnet.
- (C) 2011-2014 Christian Grothoff (and other contributing authors)
+ Copyright (C) 2011-2015 GNUnet e.V.
 
  GNUnet is free software; you can redistribute it and/or modify
  it under the terms of the GNU General Public License as published
 
  You should have received a copy of the GNU General Public License
  along with GNUnet; see the file COPYING.  If not, write to the
- Free Software Foundation, Inc., 59 Temple Place - Suite 330,
- Boston, MA 02111-1307, USA.
+ Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
+ Boston, MA 02110-1301, USA.
  */
 
 /**
- * @file src/transport/gnunet-transport.c
- * @brief Tool to help configure, measure and control the transport subsystem.
+ * @file src/transport/gnunet-transport-profiler.c
+ * @brief Tool to help benchmark the transport subsystem.
  * @author Christian Grothoff
  * @author Nathan Evans
  *
- * This utility can be used to test if a transport mechanism for
- * GNUnet is properly configured.
+ * This utility can be used to benchmark a transport mechanism for
+ * GNUnet.
  */
 #include "platform.h"
 #include "gnunet_util_lib.h"
-#include "gnunet_resolver_service.h"
 #include "gnunet_protocols.h"
+#include "gnunet_ats_service.h"
 #include "gnunet_transport_service.h"
-#include "gnunet_nat_lib.h"
+
+struct Iteration
+{
+  struct Iteration *next;
+  struct Iteration *prev;
+  struct GNUNET_TIME_Absolute start;
+  struct GNUNET_TIME_Absolute end;
+
+  struct GNUNET_TIME_Relative dur;
+
+  /* Transmission rate for this iteration in KB/s */
+  float rate;
+
+  unsigned int msgs_sent;
+};
 
 
 /**
  */
 #define DEFAULT_MESSAGE_COUNT 1024
 
+/**
+ * Benchmarking iteration count
+ */
+#define DEFAULT_ITERATION_COUNT 1
+
 /**
  * Option -s.
  */
@@ -65,11 +84,21 @@ static int benchmark_receive;
  */
 static unsigned int benchmark_count;
 
+/**
+ * Option -i.
+ */
+static unsigned int benchmark_iterations;
+
 /**
  * Option -m.
  */
 static unsigned int benchmark_size;
 
+/**
+ * Benchmark running
+ */
+static unsigned int benchmark_running;
+
 /**
  * Which peer should we connect to?
  */
@@ -80,6 +109,11 @@ static char *cpid;
  */
 static struct GNUNET_TRANSPORT_Handle *handle;
 
+/**
+ * Handle to ATS service.
+ */
+static struct GNUNET_ATS_ConnectivityHandle *ats;
+
 /**
  * Configuration handle
  */
@@ -88,35 +122,22 @@ static struct GNUNET_CONFIGURATION_Handle *cfg;
 /**
  * Try_connect handle
  */
-struct GNUNET_TRANSPORT_TryConnectHandle *tc_handle;
+static struct GNUNET_ATS_ConnectivitySuggestHandle *ats_sh;
 
+static struct Iteration *ihead;
 
+static struct Iteration *itail;
 
 /**
  * Global return value (0 success).
  */
 static int ret;
-/**
- * Number of bytes of traffic we received so far.
- */
-static unsigned long long traffic_received;
-
-/**
- * Number of bytes of traffic we sent so far.
- */
-static unsigned long long traffic_sent;
-
-/**
- * Starting time of transmitting/receiving data.
- */
-static struct GNUNET_TIME_Absolute start_time;
-
 /**
  * Handle for current transmission request.
  */
 static struct GNUNET_TRANSPORT_TransmitHandle *th;
 
-struct GNUNET_TRANSPORT_Blacklist *bl_handle;
+static struct GNUNET_TRANSPORT_Blacklist *bl_handle;
 
 /**
  * Identity of the peer we transmit to / connect to.
@@ -124,71 +145,131 @@ struct GNUNET_TRANSPORT_Blacklist *bl_handle;
  */
 static struct GNUNET_PeerIdentity pid;
 
-/**
- * Task scheduled for cleanup / termination of the process.
- */
-static GNUNET_SCHEDULER_TaskIdentifier end;
-
-/**
- * Task for operation timeout
- */
-static GNUNET_SCHEDULER_TaskIdentifier op_timeout;
-
 /**
  * Selected level of verbosity.
  */
 static int verbosity;
 
+
 /**
  * Task run in monitor mode when the user presses CTRL-C to abort.
  * Stops monitoring activity.
  *
  * @param cls NULL
- * @param tc scheduler context
  */
 static void
-shutdown_task (void *cls,
-               const struct GNUNET_SCHEDULER_TaskContext *tc)
+shutdown_task (void *cls)
 {
-  struct GNUNET_TIME_Relative duration;
+  struct Iteration *icur;
+  struct Iteration *inext;
 
-  end = GNUNET_SCHEDULER_NO_TASK;
-  if (GNUNET_SCHEDULER_NO_TASK != op_timeout)
-  {
-    GNUNET_SCHEDULER_cancel (op_timeout);
-    op_timeout = GNUNET_SCHEDULER_NO_TASK;
-  }
+  unsigned int iterations;
+
+  unsigned long long avg_duration;
+  float avg_rate;
+  float stddev_rate;
+  float stddev_duration;
 
-  if (NULL != tc_handle)
+  if (NULL != ats_sh)
   {
-    GNUNET_TRANSPORT_try_connect_cancel (tc_handle);
-    tc_handle = NULL;
+    GNUNET_ATS_connectivity_suggest_cancel (ats_sh);
+    ats_sh = NULL;
   }
   if (NULL != th)
   {
     GNUNET_TRANSPORT_notify_transmit_ready_cancel (th);
     th = NULL;
   }
-  if (NULL != handle)
-  {
-    GNUNET_TRANSPORT_disconnect (handle);
-    handle = NULL;
-  }
   if (NULL != bl_handle )
   {
     GNUNET_TRANSPORT_blacklist_cancel (bl_handle);
     bl_handle = NULL;
   }
-#if 0
+  if (NULL != ats)
+  {
+    GNUNET_ATS_connectivity_done (ats);
+    ats = NULL;
+  }
+  if (NULL != handle)
+  {
+    GNUNET_TRANSPORT_disconnect (handle);
+    handle = NULL;
+  }
+
+  if (verbosity > 0)
+    FPRINTF (stdout, "\n");
+
+  /* Output format:
+   * All time values in ms
+   * Rate in KB/s
+   * #messages;#messagesize;#avg_dur;#avg_rate;#duration_i0;#duration_i0;... */
+
   if (benchmark_send)
   {
-    duration = GNUNET_TIME_absolute_get_duration (start_time);
-    FPRINTF (stdout,
-             _("Transmitted %llu bytes/s (%llu bytes in %s)\n"),
-             1000LL * 1000LL * traffic_sent / (1 + duration.rel_value_us),
-             traffic_sent,
-             GNUNET_STRINGS_relative_time_to_string (duration, GNUNET_YES));
+    /* First iteration to calculcate avg and stddev */
+    iterations = 0;
+    avg_duration = 0;
+    avg_rate = 0.0;
+
+    inext = ihead;
+    while (NULL != (icur = inext))
+    {
+      inext = icur->next;
+      icur->rate = ((benchmark_count * benchmark_size) / 1024) /
+          ((float) icur->dur.rel_value_us / (1000 * 1000));
+      if (verbosity > 0)
+        FPRINTF (stdout, _("%llu B in %llu ms == %.2f KB/s!\n"),
+            ((long long unsigned int) benchmark_count * benchmark_size),
+            ((long long unsigned int) icur->dur.rel_value_us / 1000),
+            (float) icur->rate);
+
+      avg_duration += icur->dur.rel_value_us / (1000);
+      avg_rate  += icur->rate;
+      iterations ++;
+    }
+
+    /* Calculate average rate */
+    avg_rate /= iterations;
+    /* Calculate average duration */
+    avg_duration /= iterations;
+
+    stddev_rate = 0;
+    stddev_duration = 0;
+    inext = ihead;
+    while (NULL != (icur = inext))
+    {
+      inext = icur->next;
+      stddev_rate += ((icur->rate-avg_rate) *
+          (icur->rate-avg_rate));
+      stddev_duration += (((icur->dur.rel_value_us / 1000) - avg_duration) *
+          ((icur->dur.rel_value_us / 1000) - avg_duration));
+
+    }
+    /* Calculate standard deviation rate */
+    stddev_rate = stddev_rate / iterations;
+    stddev_rate = sqrtf(stddev_rate);
+
+    /* Calculate standard deviation duration */
+    stddev_duration = stddev_duration / iterations;
+    stddev_duration = sqrtf(stddev_duration);
+
+    /* Output */
+    FPRINTF (stdout, _("%u;%u;%llu;%llu;%.2f;%.2f"),benchmark_count, benchmark_size,
+        avg_duration, (unsigned long long) stddev_duration, avg_rate, stddev_rate);
+
+    inext = ihead;
+    while (NULL != (icur = inext))
+    {
+      inext = icur->next;
+      GNUNET_CONTAINER_DLL_remove (ihead, itail, icur);
+
+      FPRINTF (stdout, _(";%llu;%.2f"),
+          (long long unsigned int) (icur->dur.rel_value_us / 1000), icur->rate);
+
+      GNUNET_free (icur);
+    }
   }
+#if 0
   if (benchmark_receive)
   {
     duration = GNUNET_TIME_absolute_get_duration (start_time);
@@ -199,27 +280,11 @@ shutdown_task (void *cls,
              GNUNET_STRINGS_relative_time_to_string (duration, GNUNET_YES));
   }
 #endif
+  FPRINTF (stdout, _("\n"));
 }
 
-
 static void
-operation_timeout (void *cls,
-                   const struct GNUNET_SCHEDULER_TaskContext *tc)
-{
-
-  op_timeout = GNUNET_SCHEDULER_NO_TASK;
-  if ((benchmark_send) || (benchmark_receive))
-  {
-    FPRINTF (stdout,
-             _("Failed to connect to `%s'\n"),
-             GNUNET_i2s_full (&pid));
-    if (GNUNET_SCHEDULER_NO_TASK != end)
-      GNUNET_SCHEDULER_cancel (end);
-    end = GNUNET_SCHEDULER_add_now (&shutdown_task, NULL);
-    ret = 1;
-    return;
-  }
-}
+iteration_done ();
 
 
 /**
@@ -238,60 +303,58 @@ transmit_data (void *cls,
                size_t size,
                void *buf)
 {
-  static  msgs_sent = 0;
   struct GNUNET_MessageHeader *m = buf;
 
-
+  th = NULL;
   if ((NULL == buf) || (0 == size))
   {
     th = NULL;
     return 0;
   }
 
-  msgs_sent ++;
+  itail->msgs_sent ++;
 
   GNUNET_assert(size >= sizeof(struct GNUNET_MessageHeader));
   GNUNET_assert(size < GNUNET_SERVER_MAX_MESSAGE_SIZE);
   m->size = ntohs (size);
   m->type = ntohs (GNUNET_MESSAGE_TYPE_DUMMY);
   memset (&m[1], 52, size - sizeof(struct GNUNET_MessageHeader));
-  traffic_sent += size;
 
-  if (msgs_sent <benchmark_count)
+  if (itail->msgs_sent < benchmark_count)
   {
-  th = GNUNET_TRANSPORT_notify_transmit_ready (handle, &pid,
-                                               benchmark_size,
-                                               GNUNET_TIME_UNIT_FOREVER_REL,
-                                               &transmit_data, NULL);
+    th = GNUNET_TRANSPORT_notify_transmit_ready (handle, &pid, benchmark_size,
+        GNUNET_TIME_UNIT_FOREVER_REL, &transmit_data, NULL );
   }
   else
   {
-    if (verbosity > 0)
-      FPRINTF (stdout, _("DONE!\n"));
+
+    iteration_done();
     return size;
   }
   if (verbosity > 0)
-    FPRINTF (stdout, _("Transmitting %u bytes to %s\n"), (unsigned int) size,
-        GNUNET_i2s (&pid));
+    if (itail->msgs_sent % 10 == 0 )
+    FPRINTF (stdout, _("."));
   return size;
 }
 
+
 static void
-start_benchmark ()
+iteration_start ()
 {
+  struct Iteration *icur;
   ret = 0;
+
   if (benchmark_send)
   {
-    if (GNUNET_SCHEDULER_NO_TASK != op_timeout)
-    {
-      GNUNET_SCHEDULER_cancel (op_timeout);
-      op_timeout = GNUNET_SCHEDULER_NO_TASK;
-    }
+    benchmark_running = GNUNET_YES;
+    icur = GNUNET_new (struct Iteration);
+    GNUNET_CONTAINER_DLL_insert_tail (ihead, itail, icur);
+    icur->start = GNUNET_TIME_absolute_get();
+
     if (verbosity > 0)
       FPRINTF (stdout,
-          _("Successfully connected to `%s', starting to send %u messages in %u byte blocks\n"),
+          _("\nStarting benchmark to `%s', starting to send %u messages in %u byte blocks\n"),
           GNUNET_i2s (&pid), benchmark_count, benchmark_size);
-    start_time = GNUNET_TIME_absolute_get ();
     if (NULL == th)
       th = GNUNET_TRANSPORT_notify_transmit_ready (handle, &pid, benchmark_size,
           GNUNET_TIME_UNIT_FOREVER_REL, &transmit_data, NULL );
@@ -302,6 +365,26 @@ start_benchmark ()
 }
 
 
+static void
+iteration_done ()
+{
+  static int it_count = 0;
+  it_count ++;
+
+  itail->dur = GNUNET_TIME_absolute_get_duration (itail->start);
+  if (it_count == benchmark_iterations)
+  {
+    benchmark_running = GNUNET_NO;
+    GNUNET_SCHEDULER_shutdown ();
+    return;
+  }
+  else
+  {
+    iteration_start ();
+  }
+}
+
+
 /**
  * Function called to notify transport users that another
  * peer connected to us.
@@ -313,10 +396,13 @@ static void
 notify_connect (void *cls,
                 const struct GNUNET_PeerIdentity *peer)
 {
-  if (0 != memcmp (&pid, peer, sizeof(struct GNUNET_PeerIdentity)))
+  if (0 != memcmp (&pid,
+                   peer,
+                   sizeof(struct GNUNET_PeerIdentity)))
   {
     FPRINTF (stdout,
-        _("Connected to different peer `%s'\n"), GNUNET_i2s (&pid));
+             _("Connected to different peer `%s'\n"),
+             GNUNET_i2s (&pid));
     return;
   }
 
@@ -324,14 +410,7 @@ notify_connect (void *cls,
     FPRINTF (stdout,
         _("Successfully connected to `%s'\n"),
         GNUNET_i2s (&pid));
-
-  if (NULL != tc_handle)
-  {
-    GNUNET_TRANSPORT_try_connect_cancel (tc_handle);
-    tc_handle = NULL;
-  }
-
-  start_benchmark ();
+  iteration_start ();
 }
 
 
@@ -348,16 +427,15 @@ notify_disconnect (void *cls,
 {
   if (0 != memcmp (&pid, peer, sizeof(struct GNUNET_PeerIdentity)))
     return;
-  if (benchmark_send)
+  if (GNUNET_YES == benchmark_running)
   {
     FPRINTF (stdout, _("Disconnected from peer `%s' while benchmarking\n"),
         GNUNET_i2s (&pid));
-    if (GNUNET_SCHEDULER_NO_TASK != end)
-      GNUNET_SCHEDULER_cancel (end);
     return;
   }
 }
 
+
 /**
  * Function called by the transport for each received message.
  *
@@ -379,66 +457,24 @@ notify_receive (void *cls,
                _("Received %u bytes from %s\n"),
                (unsigned int) ntohs (message->size),
                GNUNET_i2s (peer));
-
-    if (traffic_received == 0)
-      start_time = GNUNET_TIME_absolute_get ();
-    traffic_received += ntohs (message->size);
     return;
   }
 }
 
 
-
-static void
-try_connect_cb (void *cls,
-                const int result)
-{
-  static int retries = 0;
-
-  if (GNUNET_OK == result)
-  {
-    tc_handle = NULL;
-    return;
-  }
-
-  retries++;
-  if (retries < 10)
-  {
-    if (verbosity > 0)
-      FPRINTF (stdout, _("Retrying to connect to `%s'\n"), GNUNET_i2s (&pid));
-
-    tc_handle = GNUNET_TRANSPORT_try_connect (handle, &pid, try_connect_cb,
-        NULL);
-  }
-  else
-  {
-    FPRINTF (stderr,
-             "%s",
-             _("Failed to send connect request to transport service\n"));
-    if (GNUNET_SCHEDULER_NO_TASK != end)
-      GNUNET_SCHEDULER_cancel (end);
-    ret = 1;
-    end = GNUNET_SCHEDULER_add_now (&shutdown_task, NULL);
-    return;
-  }
-}
-
 static int
-blacklist_cb (void *cls, const struct GNUNET_PeerIdentity *peer)
+blacklist_cb (void *cls,
+              const struct GNUNET_PeerIdentity *peer)
 {
   if (0 != memcmp (&pid, peer, sizeof(struct GNUNET_PeerIdentity)))
   {
     if (verbosity > 0)
       FPRINTF (stdout,
-          _("Denying connection to `%s'\n"),
-          GNUNET_i2s (&peer));
+               _("Denying connection to `%s'\n"),
+               GNUNET_i2s (peer));
     return GNUNET_SYSERR;
   }
 
-  if (verbosity > 0)
-    FPRINTF (stdout,
-        _("Permitting connection to `%s'\n"),
-        GNUNET_i2s (&pid));
   return GNUNET_OK;
 }
 
@@ -455,30 +491,36 @@ static void
 testservice_task (void *cls, int result)
 {
   ret = 1;
-#if 0
+
   if (GNUNET_YES != result)
   {
     FPRINTF (stderr, _("Service `%s' is not running\n"), "transport");
     return;
   }
-#endif
+
+  if (GNUNET_SERVER_MAX_MESSAGE_SIZE <= benchmark_size)
+  {
+    FPRINTF (stderr, _("Message size too big!\n"));
+    return;
+  }
 
   if (NULL == cpid)
   {
     FPRINTF (stderr, _("No peer identity given\n"));
     return;
   }
-  if ((GNUNET_OK != GNUNET_CRYPTO_eddsa_public_key_from_string (cpid, strlen (cpid),
-              &pid.public_key)))
+  if ((GNUNET_OK !=
+       GNUNET_CRYPTO_eddsa_public_key_from_string (cpid, strlen (cpid),
+                                                   &pid.public_key)))
   {
     FPRINTF (stderr, _("Failed to parse peer identity `%s'\n"), cpid);
     return;
   }
 
-
   if (1 == benchmark_send)
   {
-    FPRINTF (stderr,
+    if (verbosity > 0)
+      FPRINTF (stderr,
         _("Trying to send %u messages with size %u to peer `%s'\n"),
           benchmark_count, benchmark_size, GNUNET_i2s (&pid));
   }
@@ -494,22 +536,35 @@ testservice_task (void *cls, int result)
     return;
   }
 
-  handle = GNUNET_TRANSPORT_connect (cfg, NULL, NULL, &notify_receive,
-      &notify_connect, &notify_disconnect);
+  ats = GNUNET_ATS_connectivity_init (cfg);
+  if (NULL == ats)
+  {
+    FPRINTF (stderr, "%s", _("Failed to connect to ATS service\n"));
+    ret = 1;
+    return;
+  }
 
+  handle = GNUNET_TRANSPORT_connect (cfg, NULL, NULL,
+                                     &notify_receive,
+                                     &notify_connect,
+                                     &notify_disconnect);
   if (NULL == handle)
   {
     FPRINTF (stderr, "%s", _("Failed to connect to transport service\n"));
+    GNUNET_ATS_connectivity_done (ats);
+    ats = NULL;
     ret = 1;
     return;
   }
 
-  bl_handle = GNUNET_TRANSPORT_blacklist (cfg, blacklist_cb, NULL);
-  tc_handle = GNUNET_TRANSPORT_try_connect(handle, &pid, try_connect_cb, NULL);
-
-  end = GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL,
-                                      &shutdown_task,
-                                      NULL);
+  bl_handle = GNUNET_TRANSPORT_blacklist (cfg,
+                                          &blacklist_cb,
+                                          NULL);
+  ats_sh = GNUNET_ATS_connectivity_suggest (ats,
+                                            &pid,
+                                            1);
+  GNUNET_SCHEDULER_add_shutdown (&shutdown_task,
+                                NULL);
 }
 
 
@@ -532,12 +587,15 @@ run (void *cls,
       &testservice_task, (void *) cfg);
 }
 
+
 int
 main (int argc, char * const *argv)
 {
   int res;
   benchmark_count = DEFAULT_MESSAGE_COUNT;
   benchmark_size = DEFAULT_MESSAGE_SIZE;
+  benchmark_iterations = DEFAULT_ITERATION_COUNT;
+  benchmark_running = GNUNET_NO;
 
   static const struct GNUNET_GETOPT_CommandLineOption options[] = {
 
@@ -547,6 +605,9 @@ main (int argc, char * const *argv)
     { 'r', "receive", NULL, gettext_noop
       ("receive data from peer"), 0,
       &GNUNET_GETOPT_set_one, &benchmark_receive},
+    { 'i', "iterations", NULL, gettext_noop
+      ("iterations"), 1,
+      &GNUNET_GETOPT_set_uint, &benchmark_iterations},
     { 'n', "number", NULL, gettext_noop
       ("number of messages to send"), 1,
       &GNUNET_GETOPT_set_uint, &benchmark_count},
@@ -574,4 +635,4 @@ main (int argc, char * const *argv)
   return 1;
 }
 
-/* end of gnunet-transport.c */
+/* end of gnunet-transport-profiler.c */