src/testbed/testbed_api_hosts.c

   1 /*
   2       This file is part of GNUnet
   3       (C) 2008--2012 Christian Grothoff (and other contributing authors)
   4
   5       GNUnet is free software; you can redistribute it and/or modify
   6       it under the terms of the GNU General Public License as published
   7       by the Free Software Foundation; either version 3, or (at your
   8       option) any later version.
   9
  10       GNUnet is distributed in the hope that it will be useful, but
  11       WITHOUT ANY WARRANTY; without even the implied warranty of
  12       MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13       General Public License for more details.
  14
  15       You should have received a copy of the GNU General Public License
  16       along with GNUnet; see the file COPYING.  If not, write to the
  17       Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18       Boston, MA 02111-1307, USA.
  19  */
  20
  21 /**
  22  * @file testbed/testbed_api_hosts.c
  23  * @brief API for manipulating 'hosts' controlled by the GNUnet testing service;
  24  *        allows parsing hosts files, starting, stopping and communicating (via
  25  *        SSH/stdin/stdout) with the remote (or local) processes
  26  * @author Christian Grothoff
  27  */
  28 #include "platform.h"
  29 #include "gnunet_util_lib.h"
  30 #include "gnunet_testbed_service.h"
  31 #include "gnunet_core_service.h"
  32 #include "gnunet_transport_service.h"
  33
  34 #include "testbed_api.h"
  35 #include "testbed_api_hosts.h"
  36
  37 /**
  38  * Generic logging shorthand
  39  */
  40 #define LOG(kind, ...)                          \
  41   GNUNET_log_from (kind, "testbed-api-hosts", __VA_ARGS__);
  42
  43 /**
  44  * Number of extra elements we create space for when we grow host list
  45  */
  46 #define HOST_LIST_GROW_STEP 10
  47
  48
  49 /**
  50  * A list entry for registered controllers list
  51  */
  52 struct RegisteredController
  53 {
  54   /**
  55    * The controller at which this host is registered
  56    */
  57   const struct GNUNET_TESTBED_Controller *controller;
  58
  59   /**
  60    * The next ptr for DLL
  61    */
  62   struct RegisteredController *next;
  63
  64   /**
  65    * The prev ptr for DLL
  66    */
  67   struct RegisteredController *prev;
  68 };
  69
  70
  71 /**
  72  * Opaque handle to a host running experiments managed by the testing framework.
  73  * The master process must be able to SSH to this host without password (via
  74  * ssh-agent).
  75  */
  76 struct GNUNET_TESTBED_Host
  77 {
  78
  79   /**
  80    * The next pointer for DLL
  81    */
  82   struct GNUNET_TESTBED_Host *next;
  83
  84   /**
  85    * The prev pointer for DLL
  86    */
  87   struct GNUNET_TESTBED_Host *prev;
  88
  89   /**
  90    * The hostname of the host; NULL for localhost
  91    */
  92   const char *hostname;
  93
  94   /**
  95    * The username to be used for SSH login
  96    */
  97   const char *username;
  98
  99   /**
 100    * The head for the list of controllers where this host is registered
 101    */
 102   struct RegisteredController *rc_head;
 103
 104   /**
 105    * The tail for the list of controllers where this host is registered
 106    */
 107   struct RegisteredController *rc_tail;
 108
 109   /**
 110    * Global ID we use to refer to a host on the network
 111    */
 112   uint32_t id;
 113
 114   /**
 115    * The port which is to be used for SSH
 116    */
 117   uint16_t port;
 118
 119 };
 120
 121
 122 /**
 123  * Array of available hosts
 124  */
 125 static struct GNUNET_TESTBED_Host **host_list;
 126
 127 /**
 128  * The size of the available hosts list
 129  */
 130 static unsigned int host_list_size;
 131
 132
 133 /**
 134  * Lookup a host by ID.
 135  *
 136  * @param id global host ID assigned to the host; 0 is
 137  *        reserved to always mean 'localhost'
 138  * @return handle to the host, NULL if host not found
 139  */
 140 struct GNUNET_TESTBED_Host *
 141 GNUNET_TESTBED_host_lookup_by_id_ (uint32_t id)
 142 {
 143   if (host_list_size <= id)
 144     return NULL;
 145   return host_list[id];
 146 }
 147
 148
 149 /**
 150  * Create a host by ID; given this host handle, we could not
 151  * run peers at the host, but we can talk about the host
 152  * internally.
 153  *
 154  * @param id global host ID assigned to the host; 0 is
 155  *        reserved to always mean 'localhost'
 156  * @return handle to the host, NULL on error
 157  */
 158 struct GNUNET_TESTBED_Host *
 159 GNUNET_TESTBED_host_create_by_id_ (uint32_t id)
 160 {
 161   return GNUNET_TESTBED_host_create_with_id (id, NULL, NULL, 0);
 162 }
 163
 164
 165 /**
 166  * Obtain the host's unique global ID.
 167  *
 168  * @param host handle to the host, NULL means 'localhost'
 169  * @return id global host ID assigned to the host (0 is
 170  *         'localhost', but then obviously not globally unique)
 171  */
 172 uint32_t
 173 GNUNET_TESTBED_host_get_id_ (const struct GNUNET_TESTBED_Host * host)
 174 {
 175   return host->id;
 176 }
 177
 178
 179 /**
 180  * Obtain the host's hostname.
 181  *
 182  * @param host handle to the host, NULL means 'localhost'
 183  * @return hostname of the host
 184  */
 185 const char *
 186 GNUNET_TESTBED_host_get_hostname (const struct GNUNET_TESTBED_Host *host)
 187 {
 188   return host->hostname;
 189 }
 190
 191
 192 /**
 193  * Obtain the host's username
 194  *
 195  * @param host handle to the host, NULL means 'localhost'
 196  * @return username to login to the host
 197  */
 198 const char *
 199 GNUNET_TESTBED_host_get_username_ (const struct GNUNET_TESTBED_Host *host)
 200 {
 201   return host->username;
 202 }
 203
 204
 205 /**
 206  * Obtain the host's ssh port
 207  *
 208  * @param host handle to the host, NULL means 'localhost'
 209  * @return username to login to the host
 210  */
 211 uint16_t
 212 GNUNET_TESTBED_host_get_ssh_port_ (const struct GNUNET_TESTBED_Host * host)
 213 {
 214   return host->port;
 215 }
 216
 217
 218 /**
 219  * Create a host to run peers and controllers on.
 220  *
 221  * @param id global host ID assigned to the host; 0 is
 222  *        reserved to always mean 'localhost'
 223  * @param hostname name of the host, use "NULL" for localhost
 224  * @param username username to use for the login; may be NULL
 225  * @param port port number to use for ssh; use 0 to let ssh decide
 226  * @return handle to the host, NULL on error
 227  */
 228 struct GNUNET_TESTBED_Host *
 229 GNUNET_TESTBED_host_create_with_id (uint32_t id, const char *hostname,
 230                                     const char *username, uint16_t port)
 231 {
 232   struct GNUNET_TESTBED_Host *host;
 233   unsigned int new_size;
 234
 235   if ((id < host_list_size) && (NULL != host_list[id]))
 236   {
 237     LOG (GNUNET_ERROR_TYPE_WARNING, "Host with id: %u already created\n", id);
 238     return NULL;
 239   }
 240   host = GNUNET_malloc (sizeof (struct GNUNET_TESTBED_Host));
 241   host->hostname = (NULL != hostname) ? GNUNET_strdup (hostname) : NULL;
 242   host->username = (NULL != username) ? GNUNET_strdup (username) : NULL;
 243   host->id = id;
 244   host->port = (0 == port) ? 22 : port;
 245   new_size = host_list_size;
 246   while (id >= new_size)
 247     new_size += HOST_LIST_GROW_STEP;
 248   if (new_size != host_list_size)
 249     GNUNET_array_grow (host_list, host_list_size, new_size);
 250   GNUNET_assert (id < host_list_size);
 251   LOG (GNUNET_ERROR_TYPE_DEBUG, "Adding host with id: %u\n", host->id);
 252   host_list[id] = host;
 253   return host;
 254 }
 255
 256
 257 /**
 258  * Create a host to run peers and controllers on.
 259  *
 260  * @param hostname name of the host, use "NULL" for localhost
 261  * @param username username to use for the login; may be NULL
 262  * @param port port number to use for ssh; use 0 to let ssh decide
 263  * @return handle to the host, NULL on error
 264  */
 265 struct GNUNET_TESTBED_Host *
 266 GNUNET_TESTBED_host_create (const char *hostname, const char *username,
 267                             uint16_t port)
 268 {
 269   static uint32_t uid_generator;
 270
 271   if (NULL == hostname)
 272     return GNUNET_TESTBED_host_create_with_id (0, hostname, username, port);
 273   return GNUNET_TESTBED_host_create_with_id (++uid_generator, hostname,
 274                                              username, port);
 275 }
 276
 277
 278 /**
 279  * Load a set of hosts from a configuration file.
 280  *
 281  * @param filename file with the host specification
 282  * @param hosts set to the hosts found in the file; caller must free this if
 283  *          number of hosts returned is greater than 0
 284  * @return number of hosts returned in 'hosts', 0 on error
 285  */
 286 unsigned int
 287 GNUNET_TESTBED_hosts_load_from_file (const char *filename,
 288                                      struct GNUNET_TESTBED_Host ***hosts)
 289 {
 290   //struct GNUNET_TESTBED_Host **host_array;
 291   struct GNUNET_TESTBED_Host *starting_host;
 292   char *data;
 293   char *buf;
 294   char username[256];
 295   char hostname[256];
 296   uint64_t fs;
 297   short int port;
 298   int ret;
 299   unsigned int offset;
 300   unsigned int count;
 301
 302
 303   GNUNET_assert (NULL != filename);
 304   if (GNUNET_YES != GNUNET_DISK_file_test (filename))
 305   {
 306     LOG (GNUNET_ERROR_TYPE_WARNING, _("Hosts file %s not found\n"), filename);
 307     return 0;
 308   }
 309   if (GNUNET_OK !=
 310       GNUNET_DISK_file_size (filename, &fs, GNUNET_YES, GNUNET_YES))
 311     fs = 0;
 312   if (0 == fs)
 313   {
 314     LOG (GNUNET_ERROR_TYPE_WARNING, _("Hosts file %s has no data\n"), filename);
 315     return 0;
 316   }
 317   data = GNUNET_malloc (fs);
 318   if (fs != GNUNET_DISK_fn_read (filename, data, fs))
 319   {
 320     GNUNET_free (data);
 321     LOG (GNUNET_ERROR_TYPE_WARNING, _("Hosts file %s cannot be read\n"),
 322          filename);
 323     return 0;
 324   }
 325   buf = data;
 326   offset = 0;
 327   starting_host = NULL;
 328   count = 0;
 329   while (offset < (fs - 1))
 330   {
 331     offset++;
 332     if (((data[offset] == '\n')) && (buf != &data[offset]))
 333     {
 334       data[offset] = '\0';
 335       ret = SSCANF (buf, "%255[a-zA-Z0-9_]@%255[a-zA-Z0-9.]:%5hd",
 336                     username, hostname, &port);
 337       if  (3 == ret)
 338       {
 339         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 340                     "Successfully read host %s, port %d and user %s from file\n",
 341                     hostname, port, username);
 342         /* We store hosts in a static list; hence we only require the starting
 343            host pointer in that list to access the newly created list of hosts */
 344         if (NULL == starting_host)
 345           starting_host = GNUNET_TESTBED_host_create (hostname, username,
 346                                                       port);
 347         else
 348           (void) GNUNET_TESTBED_host_create (hostname, username, port);
 349         count++;
 350       }
 351       else
 352         GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 353                     "Error reading line `%s' in hostfile\n", buf);
 354       buf = &data[offset + 1];
 355     }
 356     else if ((data[offset] == '\n') || (data[offset] == '\0'))
 357       buf = &data[offset + 1];
 358   }
 359   GNUNET_free (data);
 360   if (NULL == starting_host)
 361     return 0;
 362   *hosts = GNUNET_malloc (sizeof (struct GNUNET_TESTBED_Host *) * count);
 363   memcpy (*hosts,
 364           &host_list[GNUNET_TESTBED_host_get_id_ (starting_host)],
 365           sizeof (struct GNUNET_TESTBED_Host *) * count);
 366   return count;
 367 }
 368
 369
 370 /**
 371  * Destroy a host handle.  Must only be called once everything
 372  * running on that host has been stopped.
 373  *
 374  * @param host handle to destroy
 375  */
 376 void
 377 GNUNET_TESTBED_host_destroy (struct GNUNET_TESTBED_Host *host)
 378 {
 379   struct RegisteredController *rc;
 380   uint32_t id;
 381
 382   GNUNET_assert (host->id < host_list_size);
 383   GNUNET_assert (host_list[host->id] == host);
 384   host_list[host->id] = NULL;
 385   /* clear registered controllers list */
 386   for (rc = host->rc_head; NULL != rc; rc = host->rc_head)
 387   {
 388     GNUNET_CONTAINER_DLL_remove (host->rc_head, host->rc_tail, rc);
 389     GNUNET_free (rc);
 390   }
 391   GNUNET_free_non_null ((char *) host->username);
 392   GNUNET_free_non_null ((char *) host->hostname);
 393   GNUNET_free (host);
 394   while (host_list_size >= HOST_LIST_GROW_STEP)
 395   {
 396     for (id = host_list_size - 1; id > host_list_size - HOST_LIST_GROW_STEP;
 397          id--)
 398       if (NULL != host_list[id])
 399         break;
 400     if (id != host_list_size - HOST_LIST_GROW_STEP)
 401       break;
 402     if (NULL != host_list[id])
 403       break;
 404     host_list_size -= HOST_LIST_GROW_STEP;
 405   }
 406   host_list =
 407       GNUNET_realloc (host_list,
 408                       sizeof (struct GNUNET_TESTBED_Host *) * host_list_size);
 409 }
 410
 411
 412 /**
 413  * Marks a host as registered with a controller
 414  *
 415  * @param host the host to mark
 416  * @param controller the controller at which this host is registered
 417  */
 418 void
 419 GNUNET_TESTBED_mark_host_registered_at_ (struct GNUNET_TESTBED_Host *host,
 420                                          const struct GNUNET_TESTBED_Controller
 421                                          *const controller)
 422 {
 423   struct RegisteredController *rc;
 424
 425   for (rc = host->rc_head; NULL != rc; rc = rc->next)
 426   {
 427     if (controller == rc->controller)   /* already registered at controller */
 428     {
 429       GNUNET_break (0);
 430       return;
 431     }
 432   }
 433   rc = GNUNET_malloc (sizeof (struct RegisteredController));
 434   rc->controller = controller;
 435   GNUNET_CONTAINER_DLL_insert_tail (host->rc_head, host->rc_tail, rc);
 436 }
 437
 438
 439 /**
 440  * Checks whether a host has been registered
 441  *
 442  * @param host the host to check
 443  * @param controller the controller at which host's registration is checked
 444  * @return GNUNET_YES if registered; GNUNET_NO if not
 445  */
 446 int
 447 GNUNET_TESTBED_is_host_registered_ (const struct GNUNET_TESTBED_Host *host,
 448                                     const struct GNUNET_TESTBED_Controller
 449                                     *const controller)
 450 {
 451   struct RegisteredController *rc;
 452
 453   for (rc = host->rc_head; NULL != rc; rc = rc->next)
 454   {
 455     if (controller == rc->controller)   /* already registered at controller */
 456     {
 457       return GNUNET_YES;
 458     }
 459   }
 460   return GNUNET_NO;
 461 }
 462
 463
 464 /**
 465  * The handle for whether a host is habitable or not
 466  */
 467 struct GNUNET_TESTBED_HostHabitableCheckHandle
 468 {
 469   /**
 470    * The host to check
 471    */
 472   const struct GNUNET_TESTBED_Host *host;
 473
 474   /* /\** */
 475   /*  * the configuration handle to lookup the path of the testbed helper */
 476   /*  *\/ */
 477   /* const struct GNUNET_CONFIGURATION_Handle *cfg; */
 478
 479   /**
 480    * The callback to call once we have the status
 481    */
 482   GNUNET_TESTBED_HostHabitableCallback cb;
 483
 484   /**
 485    * The callback closure
 486    */
 487   void *cb_cls;
 488
 489   /**
 490    * The process handle for the SSH process
 491    */
 492   struct GNUNET_OS_Process *auxp;
 493
 494   /**
 495    * The SSH destination address string
 496    */
 497   char *ssh_addr;
 498
 499   /**
 500    * The destination port string
 501    */
 502   char *portstr;
 503
 504   /**
 505    * The path for hte testbed helper binary
 506    */
 507   char *helper_binary_path;
 508
 509   /**
 510    * Task id for the habitability check task
 511    */
 512   GNUNET_SCHEDULER_TaskIdentifier habitability_check_task;
 513
 514   /**
 515    * How long we wait before checking the process status. Should grow
 516    * exponentially
 517    */
 518   struct GNUNET_TIME_Relative wait_time;
 519
 520 };
 521
 522
 523 /**
 524  * Task for checking whether a host is habitable or not
 525  *
 526  * @param cls GNUNET_TESTBED_HostHabitableCheckHandle
 527  * @param tc the scheduler task context
 528  */
 529 static void
 530 habitability_check (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 531 {
 532   struct GNUNET_TESTBED_HostHabitableCheckHandle *h = cls;
 533   void *cb_cls;
 534   GNUNET_TESTBED_HostHabitableCallback cb;
 535   const struct GNUNET_TESTBED_Host *host;
 536   unsigned long code;
 537   enum GNUNET_OS_ProcessStatusType type;
 538   int ret;
 539
 540   h->habitability_check_task = GNUNET_SCHEDULER_NO_TASK;
 541   ret = GNUNET_OS_process_status (h->auxp, &type, &code);
 542   if (GNUNET_SYSERR == ret)
 543   {
 544     GNUNET_break (0);
 545     ret = GNUNET_NO;
 546     goto call_cb;
 547   }
 548   if (GNUNET_NO == ret)
 549   {
 550     h->wait_time = GNUNET_TIME_STD_BACKOFF (h->wait_time);
 551     h->habitability_check_task =
 552         GNUNET_SCHEDULER_add_delayed (h->wait_time,
 553                                       &habitability_check, h);
 554     return;
 555   }
 556   GNUNET_OS_process_destroy (h->auxp);
 557   h->auxp = NULL;
 558   ret = (0 != code) ? GNUNET_NO : GNUNET_YES;
 559
 560  call_cb:
 561   GNUNET_free (h->ssh_addr);
 562   GNUNET_free (h->portstr);
 563   GNUNET_free (h->helper_binary_path);
 564   if (NULL != h->auxp)
 565     GNUNET_OS_process_destroy (h->auxp);
 566   cb = h->cb;
 567   cb_cls = h->cb_cls;
 568   host = h->host;
 569   GNUNET_free (h);
 570   if (NULL != cb)
 571     cb (cb_cls, host, ret);
 572 }
 573
 574
 575 /**
 576  * Checks whether a host can be used to start testbed service
 577  *
 578  * @param host the host to check
 579  * @param config the configuration handle to lookup the path of the testbed
 580  *          helper
 581  * @param cb the callback to call to inform about habitability of the given host
 582  * @param cb_cls the closure for the callback
 583  * @return NULL upon any error or a handle which can be passed to
 584  *           GNUNET_TESTBED_is_host_habitable_cancel()
 585  */
 586 struct GNUNET_TESTBED_HostHabitableCheckHandle *
 587 GNUNET_TESTBED_is_host_habitable (const struct GNUNET_TESTBED_Host *host,
 588                                   const struct GNUNET_CONFIGURATION_Handle
 589                                   *config,
 590                                   GNUNET_TESTBED_HostHabitableCallback cb,
 591                                   void *cb_cls)
 592 {
 593   struct GNUNET_TESTBED_HostHabitableCheckHandle *h;
 594   char *remote_args[11];
 595   const char *hostname;
 596   unsigned int argp;
 597
 598   h = GNUNET_malloc (sizeof (struct GNUNET_TESTBED_HostHabitableCheckHandle));
 599   h->cb = cb;
 600   h->cb_cls = cb_cls;
 601   h->host = host;
 602   hostname = (NULL == host->hostname) ? "127.0.0.1" : host->hostname;
 603   if (NULL == host->username)
 604     h->ssh_addr = GNUNET_strdup (hostname);
 605   else
 606     GNUNET_asprintf (&h->ssh_addr, "%s@%s", host->username, hostname);
 607   if (GNUNET_OK != GNUNET_CONFIGURATION_get_value_string (config, "testbed",
 608                                                           "HELPER_BINARY_PATH",
 609                                                           &h->helper_binary_path))
 610     h->helper_binary_path =
 611         GNUNET_OS_get_libexec_binary_path (HELPER_TESTBED_BINARY);
 612   argp = 0;
 613   remote_args[argp++] = "ssh";
 614   GNUNET_asprintf (&h->portstr, "%u", host->port);
 615   remote_args[argp++] = "-p";
 616   remote_args[argp++] = h->portstr;
 617   remote_args[argp++] = "-o";
 618   remote_args[argp++] = "BatchMode=yes";
 619   remote_args[argp++] = "-o";
 620   remote_args[argp++] = "NoHostAuthenticationForLocalhost=yes";
 621   remote_args[argp++] = h->ssh_addr;
 622   remote_args[argp++] = "stat";
 623   remote_args[argp++] = h->helper_binary_path;
 624   remote_args[argp++] = NULL;
 625   GNUNET_assert (argp == 11);
 626   h->auxp =
 627       GNUNET_OS_start_process_vap (GNUNET_NO, GNUNET_OS_INHERIT_STD_ERR, NULL,
 628                                    NULL, "ssh", remote_args);
 629   if (NULL == h->auxp)
 630   {
 631     GNUNET_break (0);         /* Cannot exec SSH? */
 632     GNUNET_free (h->ssh_addr);
 633     GNUNET_free (h->portstr);
 634     GNUNET_free (h->helper_binary_path);
 635     GNUNET_free (h);
 636     return NULL;
 637   }
 638   h->wait_time = GNUNET_TIME_STD_BACKOFF (h->wait_time);
 639   h->habitability_check_task =
 640       GNUNET_SCHEDULER_add_delayed (h->wait_time,
 641                                     &habitability_check, h);
 642   return h;
 643 }
 644
 645
 646 /**
 647  * Function to cancel a request started using GNUNET_TESTBED_is_host_habitable()
 648  *
 649  * @param struct handle the habitability check handle
 650  */
 651 void
 652 GNUNET_TESTBED_is_host_habitable_cancel (struct
 653                                          GNUNET_TESTBED_HostHabitableCheckHandle
 654                                          *handle)
 655 {
 656   GNUNET_SCHEDULER_cancel (handle->habitability_check_task);
 657   (void) GNUNET_OS_process_kill (handle->auxp, SIGTERM);
 658   (void) GNUNET_OS_process_wait (handle->auxp);
 659   GNUNET_OS_process_destroy (handle->auxp);
 660   GNUNET_free (handle->ssh_addr);
 661   GNUNET_free (handle->portstr);
 662   GNUNET_free (handle->helper_binary_path);
 663   GNUNET_free (handle);
 664 }
 665 /* end of testbed_api_hosts.c */