-fix channel data range to make -1 legal value
[oweals/gnunet.git] / src / testbed / gnunet-testbed-profiler.c
index 4247bbebf4dede057f1533091ff36afccffa29cc..17f1d6ba90bbee84e7e6413bc70440fc2a84213f 100644 (file)
@@ -1,6 +1,6 @@
 /*
      This file is part of GNUnet.
-     (C) 2011, 2012 Christian Grothoff (and other contributing authors)
+     (C) 2008--2013 Christian Grothoff (and other contributing authors)
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
 /**
  * @file testbed/gnunet-testbed-profiler.c
  * @brief Profiling driver for the testbed.
- * @author Sree Harsha Totakura <sreeharsha@totakura.in> 
+ * @author Sree Harsha Totakura <sreeharsha@totakura.in>
  */
 
 #include "platform.h"
-#include "gnunet_common.h"
+#include "gnunet_util_lib.h"
 #include "gnunet_testbed_service.h"
 #include "testbed_api_hosts.h"
 
  * Generic loggins shorthand
  */
 #define LOG(kind,...)                                           \
-  GNUNET_log_from (kind, "testbed-api-testbed", __VA_ARGS__)
-
-/**
- * DLL of operations
- */
-struct DLLOperation
-{
-  /**
-   * The testbed operation handle
-   */
-  struct GNUNET_TESTBED_Operation *op;
-
-  /**
-   * Closure
-   */
-  void *cls;
-
-  /**
-   * The next pointer for DLL
-   */
-  struct DLLOperation *next;
-
-  /**
-   * The prev pointer for DLL
-   */
-  struct DLLOperation *prev;
-};
+  GNUNET_log (kind, __VA_ARGS__)
 
 
 /**
- * An array of hosts loaded from the hostkeys file
- */
-static struct GNUNET_TESTBED_Host **hosts;
-
-/**
- * The array of peers; we fill this as the peers are given to us by the testbed
+ * Handle to global configuration
  */
-static struct GNUNET_TESTBED_Peer **peers;
+struct GNUNET_CONFIGURATION_Handle *cfg;
 
 /**
- * Operation handle
+ * Peer linking - topology operation
  */
-static struct GNUNET_TESTBED_Operation *op;
+struct GNUNET_TESTBED_Operation *topology_op;
 
 /**
- * Host registration handle
+ * Name of the file with the hosts to run the test over (configuration option).
+ * It will be NULL if ENABLE_LL is set
  */
-static struct GNUNET_TESTBED_HostRegistrationHandle *reg_handle;
+static char *hosts_file;
 
 /**
- * Handle to the master controller process
+ * Abort task identifier
  */
-struct GNUNET_TESTBED_ControllerProc *mc_proc;
+static GNUNET_SCHEDULER_TaskIdentifier abort_task;
 
 /**
- * Handle to the master controller
+ * Shutdown task identifier
  */
-struct GNUNET_TESTBED_Controller *mc;
+static GNUNET_SCHEDULER_TaskIdentifier shutdown_task;
 
 /**
- * Handle to global configuration
+ * Global event mask for all testbed events
  */
-struct GNUNET_CONFIGURATION_Handle *cfg;
+uint64_t event_mask;
 
 /**
- * Abort task identifier
+ * Number of peers to be started by the profiler
  */
-static GNUNET_SCHEDULER_TaskIdentifier abort_task;
+static unsigned int num_peers;
 
 /**
- * Host registration task identifier
+ * Number of timeout failures to tolerate
  */
-static GNUNET_SCHEDULER_TaskIdentifier register_hosts_task;
+static unsigned int num_cont_fails;
 
 /**
- * Global event mask for all testbed events
+ * Continuous failures during overlay connect operations
  */
-uint64_t event_mask;
+static unsigned int cont_fails;
 
 /**
- * Current peer id
+ * Links which are successfully established
  */
-unsigned int peer_id;
+static unsigned int established_links;
 
 /**
- * Number of peers to be started by the profiler
+ * Links which are not successfully established
  */
-static unsigned int num_peers;
+static unsigned int failed_links;
 
 /**
- * Number of hosts in the hosts array
+ * Global testing status
  */
-static unsigned int num_hosts;
+static int result;
 
 /**
- * Global testing status
+ * Are we running non interactively
  */
-static int result;
+static int noninteractive;
 
 
 /**
@@ -142,24 +112,18 @@ static int result;
 static void
 do_shutdown (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  unsigned int nhost;
-
+  shutdown_task = GNUNET_SCHEDULER_NO_TASK;
   if (GNUNET_SCHEDULER_NO_TASK != abort_task)
+  {
     GNUNET_SCHEDULER_cancel (abort_task);
-  if (GNUNET_SCHEDULER_NO_TASK != register_hosts_task)
-    GNUNET_SCHEDULER_cancel (register_hosts_task);
-  GNUNET_free_non_null (peers);
-  if (NULL != reg_handle)
-    GNUNET_TESTBED_cancel_registration (reg_handle);
-  for (nhost = 0; nhost < num_hosts; nhost++)
-    if (NULL != hosts[nhost])
-      GNUNET_TESTBED_host_destroy (hosts[nhost]);
-  GNUNET_free_non_null (hosts);
-  if (NULL != mc_proc)
-    GNUNET_TESTBED_controller_stop (mc_proc);
+    abort_task = GNUNET_SCHEDULER_NO_TASK;
+  }
   if (NULL != cfg)
+  {
     GNUNET_CONFIGURATION_destroy (cfg);
-  GNUNET_SCHEDULER_shutdown ();        /* Stop scheduler to shutdown testbed run */  
+    cfg = NULL;
+  }
+  GNUNET_SCHEDULER_shutdown (); /* Stop scheduler to shutdown testbed run */
 }
 
 
@@ -172,135 +136,117 @@ do_shutdown (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 static void
 do_abort (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "Aborting\n");
+  LOG (GNUNET_ERROR_TYPE_WARNING, "Aborting\n");
   abort_task = GNUNET_SCHEDULER_NO_TASK;
   result = GNUNET_SYSERR;
-  GNUNET_SCHEDULER_add_now (&do_shutdown, NULL);
+  if (GNUNET_SCHEDULER_NO_TASK != shutdown_task)
+    GNUNET_SCHEDULER_cancel (shutdown_task);
+  shutdown_task = GNUNET_SCHEDULER_add_now (&do_shutdown, NULL);
 }
 
 
 /**
- * Controller event callback
- *
- * @param cls NULL
- * @param event the controller event
+ * Function to print summary about how many overlay links we have made and how
+ * many failed
  */
 static void
-controller_event_cb (void *cls,
-                     const struct GNUNET_TESTBED_EventInformation *event)
+print_overlay_links_summary ()
 {
+  static int printed_already;
 
-  switch (event->type)
-  {
-  case GNUNET_TESTBED_ET_PEER_START:
-    GNUNET_assert (NULL == peers[peer_id]);
-    GNUNET_assert (NULL != event->details.peer_start.peer);
-    peers[peer_id++] = event->details.peer_start.peer;
-    break;
-  case GNUNET_TESTBED_ET_PEER_STOP:
-    GNUNET_assert (NULL != op);
-    GNUNET_TESTBED_operation_done (op);
-    GNUNET_assert (peers[0] == event->details.peer_stop.peer);
-    GNUNET_SCHEDULER_add_now (&do_shutdown, NULL);
-    break;
-  default:
-    GNUNET_assert (0);
-  }
-}
-
-
-/**
- * Task to register all hosts available in the global host list
- *
- * @param cls NULL
- * @param tc the scheduler task context
- */
-static void
-register_hosts (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
-
-
-/**
- * Callback which will be called to after a host registration succeeded or failed
- *
- * @param cls the closure
- * @param emsg the error message; NULL if host registration is successful
- */
-static void
-host_registration_completion (void *cls, const char *emsg)
-{
-  reg_handle = NULL;
-  if (NULL != emsg)
-  {
-    LOG (GNUNET_ERROR_TYPE_WARNING,
-         _("Host registration failed for a host. Error: %s\n"), emsg);
-    GNUNET_SCHEDULER_cancel (abort_task);
-    abort_task = GNUNET_SCHEDULER_add_now (&do_abort, NULL);
+  if (GNUNET_YES == printed_already)
     return;
-  }
-  register_hosts_task = GNUNET_SCHEDULER_add_now (&register_hosts, NULL);
+  printed_already = GNUNET_YES;
+  printf ("%u links succeeded\n", established_links);
+  printf ("%u links failed due to timeouts\n", failed_links);
 }
 
 
 /**
- * Task to register all hosts available in the global host list
+ * Controller event callback
  *
  * @param cls NULL
- * @param tc the scheduler task context
+ * @param event the controller event
  */
 static void
-register_hosts (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+controller_event_cb (void *cls,
+                     const struct GNUNET_TESTBED_EventInformation *event)
 {
-  static unsigned int reg_host;
-
-  register_hosts_task = GNUNET_SCHEDULER_NO_TASK;
-  if (reg_host == num_hosts)
+  switch (event->type)
+  {
+  case GNUNET_TESTBED_ET_OPERATION_FINISHED:
+    /* Control reaches here when a peer linking operation fails */
+    if (NULL != event->details.operation_finished.emsg)
+    {
+      printf ("F");
+      fflush (stdout);
+      failed_links++;
+      if (++cont_fails > num_cont_fails)
+      {
+        printf ("\nAborting due to very high failure rate\n");
+        print_overlay_links_summary ();
+        if (GNUNET_SCHEDULER_NO_TASK != abort_task)
+         GNUNET_SCHEDULER_cancel (abort_task);
+        abort_task = GNUNET_SCHEDULER_add_now (&do_abort, NULL);
+        return;
+      }
+    }
+    break;
+  case GNUNET_TESTBED_ET_CONNECT:
   {
-    LOG (GNUNET_ERROR_TYPE_DEBUG,
-         "All hosts successfully registered\n");
-    /* Start peer create task */
+    if (0 != cont_fails)
+      cont_fails--;
+    if (0 == established_links)
+      printf ("Establishing links. Please wait\n");
+    printf (".");
+    fflush (stdout);
+    established_links++;
+  }
+    break;
+  default:
+    GNUNET_break (0);
   }
-  reg_handle = GNUNET_TESTBED_register_host (mc, hosts[reg_host++],
-                                             host_registration_completion,
-                                             NULL);
 }
 
 
 /**
- * Callback to signal successfull startup of the controller process
+ * Signature of a main function for a testcase.
  *
- * @param cls the closure from GNUNET_TESTBED_controller_start()
- * @param cfg the configuration with which the controller has been started;
- *          NULL if status is not GNUNET_OK
- * @param status GNUNET_OK if the startup is successfull; GNUNET_SYSERR if not,
- *          GNUNET_TESTBED_controller_stop() shouldn't be called in this case
+ * @param cls closure
+ * @param h the run handle
+ * @param num_peers number of peers in 'peers'
+ * @param peers handle to peers run in the testbed
+ * @param links_succeeded the number of overlay link connection attempts that
+ *          succeeded
+ * @param links_failed the number of overlay link
  */
 static void
-status_cb (void *cls, const struct GNUNET_CONFIGURATION_Handle *config, int status)
+test_run (void *cls,
+          struct GNUNET_TESTBED_RunHandle *h,
+          unsigned int num_peers, struct GNUNET_TESTBED_Peer **peers,
+          unsigned int links_succeeded,
+          unsigned int links_failed)
 {
-  GNUNET_SCHEDULER_cancel (abort_task);
-  if (GNUNET_OK != status)
+  result = GNUNET_OK;
+  fprintf (stdout, "\n");
+  print_overlay_links_summary ();
+  if (noninteractive)
   {
-    mc_proc = NULL;
-    abort_task = GNUNET_SCHEDULER_add_now (&do_abort, NULL);
-    return;
-  }
-  event_mask = 0;
-  event_mask |= (1LL << GNUNET_TESTBED_ET_PEER_START);
-  event_mask |= (1LL << GNUNET_TESTBED_ET_PEER_STOP);
-  event_mask |= (1LL << GNUNET_TESTBED_ET_CONNECT);
-  event_mask |= (1LL << GNUNET_TESTBED_ET_DISCONNECT);
-  mc = GNUNET_TESTBED_controller_connect (config, hosts[0], event_mask,
-                                          &controller_event_cb, NULL);
-  if (NULL == mc)
-  {
-    LOG (GNUNET_ERROR_TYPE_WARNING,
-         _("Unable to connect to master controller -- Check config\n"));
-    abort_task = GNUNET_SCHEDULER_add_now (&do_abort, NULL);
+    GNUNET_SCHEDULER_cancel (abort_task);
+    abort_task = GNUNET_SCHEDULER_NO_TASK;
+    shutdown_task = GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL,
+                                                  &do_shutdown, NULL);
     return;
   }
-  register_hosts_task = GNUNET_SCHEDULER_add_now (&register_hosts, NULL);
-  abort_task = GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL,
-                                             &do_abort, NULL);
+#if (!ENABLE_SUPERMUC)
+  fprintf (stdout, "Testbed running, waiting for keystroke to shut down\n");
+  fflush (stdout);
+  (void) getc (stdin);
+#endif
+  fprintf (stdout, "Shutting down. Please wait\n");
+  fflush (stdout);
+  shutdown_task = GNUNET_SCHEDULER_add_now (&do_shutdown, NULL);
+  return;
 }
 
 
@@ -310,56 +256,26 @@ status_cb (void *cls, const struct GNUNET_CONFIGURATION_Handle *config, int stat
  * @param cls closure
  * @param args remaining command-line arguments
  * @param cfgfile name of the configuration file used (for saving, can be NULL!)
- * @param cfg configuration
+ * @param config configuration
  */
 static void
 run (void *cls, char *const *args, const char *cfgfile,
      const struct GNUNET_CONFIGURATION_Handle *config)
 {
-  unsigned int nhost;
-
-  if (NULL == args[0])
-  {
-    fprintf (stderr, _("No hosts-file specified on command line\n"));
-    return;
-  }
   if (0 == num_peers)
   {
-    result = GNUNET_OK;
-    return;
-  }
-  num_hosts = GNUNET_TESTBED_hosts_load_from_file (args[0], &hosts);
-  if (0 == num_hosts)
-  {
-    fprintf (stderr, _("No hosts loaded. Need atleast one host\n"));
-    return;
-  }
-  for (nhost = 0; nhost < num_hosts; nhost++)
-  {
-    if (GNUNET_YES != GNUNET_TESTBED_is_host_habitable (hosts[nhost]))
-    {
-      fprintf (stderr, _("Host %s cannot start testbed\n"),
-                         GNUNET_TESTBED_host_get_hostname_ (hosts[nhost]));
-      break;
-    }
-  }
-  if (num_hosts != nhost)
-  {
-    fprintf (stderr, _("Exiting\n"));
-    GNUNET_SCHEDULER_add_now (&do_shutdown, NULL);
+    LOG (GNUNET_ERROR_TYPE_ERROR, _("Exiting as the number of peers is %u\n"),
+         num_peers);
     return;
   }
   cfg = GNUNET_CONFIGURATION_dup (config);
-  mc_proc = 
-      GNUNET_TESTBED_controller_start (GNUNET_TESTBED_host_get_hostname_ 
-                                       (hosts[0]),
-                                       hosts[0],
-                                       cfg,
-                                       status_cb,
-                                       NULL);
+  event_mask = 0;
+  event_mask |= (1LL << GNUNET_TESTBED_ET_CONNECT);
+  event_mask |= (1LL << GNUNET_TESTBED_ET_OPERATION_FINISHED);
+  GNUNET_TESTBED_run (hosts_file, cfg, num_peers, event_mask, controller_event_cb,
+                      NULL, &test_run, NULL);
   abort_task =
-      GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_relative_multiply
-                                    (GNUNET_TIME_UNIT_SECONDS, 5), &do_abort,
+      GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL, &do_abort,
                                     NULL);
 }
 
@@ -373,24 +289,35 @@ int
 main (int argc, char *const *argv)
 {
   static const struct GNUNET_GETOPT_CommandLineOption options[] = {
-    { 'n', "num-peers", "COUNT",
-      gettext_noop ("create COUNT number of peers"),
-      GNUNET_YES, &GNUNET_GETOPT_set_uint, &num_peers },
-    { 'n', "num-peers", "COUNT",
-      gettext_noop ("create COUNT number of peers"),
-      GNUNET_YES, &GNUNET_GETOPT_set_uint, &num_peers },
+    {'p', "num-peers", "COUNT",
+     gettext_noop ("create COUNT number of peers"),
+     GNUNET_YES, &GNUNET_GETOPT_set_uint, &num_peers},
+    {'e', "num-errors", "COUNT",
+     gettext_noop ("tolerate COUNT number of continious timeout failures"),
+     GNUNET_YES, &GNUNET_GETOPT_set_uint, &num_cont_fails},
+    {'n', "non-interactive", NULL,
+     gettext_noop ("run profiler in non-interactive mode where upon "
+                   "testbed setup the profiler does not wait for a "
+                   "keystroke but continues to run until a termination "
+                   "signal is received"),
+     GNUNET_NO, &GNUNET_GETOPT_set_one, &noninteractive},
+#if !ENABLE_SUPERMUC
+    {'H', "hosts", "FILENAME",
+     gettext_noop ("name of the file with the login information for the testbed"),
+     GNUNET_YES, &GNUNET_GETOPT_set_string, &hosts_file},
+#endif
     GNUNET_GETOPT_OPTION_END
   };
+  const char *binaryHelp = "gnunet-testbed-profiler [OPTIONS]";
   int ret;
 
   if (GNUNET_OK != GNUNET_STRINGS_get_utf8_args (argc, argv, &argc, &argv))
     return 2;
-  
   result = GNUNET_SYSERR;
   ret =
-      GNUNET_PROGRAM_run (argc, argv, "gnunet-testbed-profiler [OPTIONS] hosts-file",
-                          _("Profiler for testbed"),
+      GNUNET_PROGRAM_run (argc, argv, "gnunet-testbed-profiler", binaryHelp,
                           options, &run, NULL);
+  GNUNET_free ((void *) argv);
   if (GNUNET_OK != ret)
     return ret;
   if (GNUNET_OK != result)