src/dht/test_dht_twopeer_put_get.c

   1 /*
   2      This file is part of GNUnet.
   3      (C) 2009 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20 /**
  21  * @file dht/test_dht_twopeer_put_get.c
  22  * @brief base testcase for testing DHT service with
  23  *        two running peers.
  24  *
  25  * This testcase starts peers using the GNUNET_TESTING_daemons_start
  26  * function call.  On peer start, connects to the peers DHT service
  27  * by calling GNUNET_DHT_connected.  Once notified about all peers
  28  * being started (by the peers_started_callback function), calls
  29  * GNUNET_TESTING_connect_topology, which connects the peers in a
  30  * "straight line" topology.  On notification that all peers have
  31  * been properly connected, runs the do_put function to insert data
  32  * at the first peer.  Once the GNUNET_DHT_put function completes,
  33  * calls the do_get function which initiates a GNUNET_DHT_get from
  34  * the *second* peer.  If the GET is successful, schedules finish_testing
  35  * to stop the test and shut down peers.  If GET is unsuccessful
  36  * after GET_TIMEOUT seconds, prints an error message and shuts down
  37  * the peers.
  38  */
  39 #include "platform.h"
  40 #include "gnunet_testing_lib.h"
  41 #include "gnunet_core_service.h"
  42 #include "gnunet_dht_service.h"
  43
  44 /* DEFINES */
  45 #define VERBOSE GNUNET_YES
  46
  47 /* Timeout for entire testcase */
  48 #define TIMEOUT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_MINUTES, 5)
  49
  50 /* Timeout for waiting for replies to get requests */
  51 #define GET_TIMEOUT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 30)
  52
  53 /* If number of peers not in config file, use this number */
  54 #define DEFAULT_NUM_PEERS 2
  55
  56 /* Globals */
  57
  58 /**
  59  * Directory to store temp data in, defined in config file
  60  */
  61 static char *test_directory;
  62
  63 /**
  64  * Variable used to store the number of connections we should wait for.
  65  */
  66 static unsigned int expected_connections;
  67
  68 /**
  69  * Variable used to keep track of how many peers aren't yet started.
  70  */
  71 static unsigned long long peers_left;
  72
  73 /**
  74  * Handle to the set of all peers run for this test.
  75  */
  76 static struct GNUNET_TESTING_PeerGroup *pg;
  77
  78 /**
  79  * Global handle we will use for GET requests.
  80  */
  81 struct GNUNET_DHT_GetHandle *global_get_handle;
  82
  83 /**
  84  * Global scheduler, used for all GNUNET_SCHEDULER_* functions.
  85  */
  86 static struct GNUNET_SCHEDULER_Handle *sched;
  87
  88 /**
  89  * Total number of peers to run, set based on config file.
  90  */
  91 static unsigned long long num_peers;
  92
  93 /**
  94  * Global used to count how many connections we have currently
  95  * been notified about (how many times has topology_callback been called
  96  * with success?)
  97  */
  98 static unsigned int total_connections;
  99
 100 /**
 101  * Global used to count how many failed connections we have
 102  * been notified about (how many times has topology_callback
 103  * been called with failure?)
 104  */
 105 static unsigned int failed_connections;
 106
 107 /* Task handle to use to schedule test failure */
 108 GNUNET_SCHEDULER_TaskIdentifier die_task;
 109
 110 /* Global return value (0 for success, anything else for failure) */
 111 static int ok;
 112
 113 /**
 114  * Peer identity of the first peer started.
 115  */
 116 static struct GNUNET_PeerIdentity peer1id;
 117
 118 /**
 119  * Peer identity of the second peer started.
 120  */
 121 static struct GNUNET_PeerIdentity peer2id;
 122
 123 /**
 124  * Handle to the first peers DHT service (via the API)
 125  */
 126 static struct GNUNET_DHT_Handle *peer1dht;
 127
 128 /**
 129  * Handle to the second peers DHT service (via the API)
 130  */
 131 static struct GNUNET_DHT_Handle *peer2dht;
 132
 133 /**
 134  * Check whether peers successfully shut down.
 135  */
 136 void shutdown_callback (void *cls,
 137                         const char *emsg)
 138 {
 139   if (emsg != NULL)
 140     {
 141       if (ok == 0)
 142         ok = 2;
 143     }
 144 }
 145
 146 /**
 147  * Function scheduled to be run on the successful completion of this
 148  * testcase.  Specifically, called when our get request completes.
 149  */
 150 static void
 151 finish_testing (void *cls, const struct GNUNET_SCHEDULER_TaskContext * tc)
 152 {
 153   GNUNET_assert (pg != NULL);
 154   GNUNET_assert (peer1dht != NULL);
 155   GNUNET_assert (peer2dht != NULL);
 156   GNUNET_DHT_disconnect(peer1dht);
 157   GNUNET_DHT_disconnect(peer2dht);
 158   GNUNET_TESTING_daemons_stop (pg, TIMEOUT, &shutdown_callback, NULL);
 159   ok = 0;
 160 }
 161
 162 /**
 163  * Continuation for the GNUNET_DHT_get_stop call, so that we don't shut
 164  * down the peers without freeing memory associated with GET request.
 165  */
 166 static void
 167 end_badly_cont (void *cls, const struct GNUNET_SCHEDULER_TaskContext * tc)
 168 {
 169   if (peer1dht != NULL)
 170       GNUNET_DHT_disconnect(peer1dht);
 171
 172   if (peer2dht != NULL)
 173     GNUNET_DHT_disconnect(peer2dht);
 174
 175   if (pg != NULL)
 176     GNUNET_TESTING_daemons_stop (pg, TIMEOUT, &shutdown_callback, NULL);
 177 }
 178
 179 /**
 180  * Check if the get_handle is being used, if so stop the request.  Either
 181  * way, schedule the end_badly_cont function which actually shuts down the
 182  * test.
 183  */
 184 static void
 185 end_badly (void *cls, const struct GNUNET_SCHEDULER_TaskContext * tc)
 186 {
 187   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Failing test with error: `%s'!\n", (char *)cls);
 188   if (global_get_handle != NULL)
 189     {
 190       GNUNET_DHT_get_stop(global_get_handle);
 191       global_get_handle = NULL;
 192     }
 193   GNUNET_SCHEDULER_add_now(sched, &end_badly_cont, NULL);
 194   ok = 1;
 195 }
 196
 197 /**
 198  * Iterator called if the GET request initiated returns a response.
 199  *
 200  * @param cls closure
 201  * @param exp when will this value expire
 202  * @param key key of the result
 203  * @param type type of the result
 204  * @param size number of bytes in data
 205  * @param data pointer to the result data
 206  */
 207 void get_result_iterator (void *cls,
 208                           struct GNUNET_TIME_Absolute exp,
 209                           const GNUNET_HashCode * key,
 210                           const struct GNUNET_PeerIdentity * const *get_path,
 211                           const struct GNUNET_PeerIdentity * const *put_path,
 212                           enum GNUNET_BLOCK_Type type,
 213                           size_t size,
 214                           const void *data)
 215 {
 216   GNUNET_HashCode original_key; /* Key data was stored data under */
 217   char original_data[4]; /* Made up data that was stored */
 218   memset(&original_key, 42, sizeof(GNUNET_HashCode)); /* Set the key to what it was set to previously */
 219   memset(original_data, 43, sizeof(original_data));
 220
 221   if ((0 != memcmp(&original_key, key, sizeof (GNUNET_HashCode))) || (0 != memcmp(original_data, data, sizeof(original_data))))
 222   {
 223     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Key or data is not the same as was inserted!\n");
 224     GNUNET_SCHEDULER_cancel(sched, die_task);
 225     GNUNET_SCHEDULER_add_now(sched, &end_badly, "key or data mismatch in get response!\n");
 226     return;
 227   }
 228
 229   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Received correct GET response!\n");
 230   GNUNET_SCHEDULER_cancel(sched, die_task);
 231   GNUNET_DHT_get_stop(global_get_handle);
 232   GNUNET_SCHEDULER_add_now (sched, &finish_testing, NULL);
 233 }
 234
 235 /**
 236  * Start the GET request for the same key/data that was inserted.
 237  */
 238 static void
 239 do_get (void *cls, const struct GNUNET_SCHEDULER_TaskContext * tc)
 240 {
 241   GNUNET_HashCode key; /* Key for data lookup */
 242   memset(&key, 42, sizeof(GNUNET_HashCode)); /* Set the key to the same thing as when data was inserted */
 243   global_get_handle = GNUNET_DHT_get_start(peer2dht, GNUNET_TIME_relative_get_forever(),
 244                                            GNUNET_BLOCK_TYPE_TEST,
 245                                            &key,
 246                                            GNUNET_DHT_RO_NONE,
 247                                            NULL, 0,
 248                                            NULL, 0,
 249                                            &get_result_iterator, NULL);
 250 }
 251
 252 /**
 253  * Called when the PUT request has been transmitted to the DHT service.
 254  * Schedule the GET request for some time in the future.
 255  */
 256 static void
 257 put_finished (void *cls, const struct GNUNET_SCHEDULER_TaskContext * tc)
 258 {
 259   GNUNET_SCHEDULER_cancel (sched, die_task);
 260   die_task = GNUNET_SCHEDULER_add_delayed (sched, GET_TIMEOUT,
 261                                            &end_badly, "waiting for get response (data not found)");
 262   GNUNET_SCHEDULER_add_delayed(sched, GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 10), &do_get, NULL);
 263 }
 264
 265 /**
 266  * Set up some data, and call API PUT function
 267  */
 268 static void
 269 do_put (void *cls, const struct GNUNET_SCHEDULER_TaskContext * tc)
 270 {
 271   GNUNET_HashCode key; /* Made up key to store data under */
 272   char data[4]; /* Made up data to store */
 273   memset(&key, 42, sizeof(GNUNET_HashCode)); /* Set the key to something simple so we can issue GET request */
 274   memset(data, 43, sizeof(data));
 275
 276   /* Insert the data at the first peer */
 277   GNUNET_DHT_put(peer1dht,
 278                  &key,
 279                  GNUNET_DHT_RO_NONE,
 280                  GNUNET_BLOCK_TYPE_TEST,
 281                  sizeof(data), data,
 282                  GNUNET_TIME_UNIT_FOREVER_ABS,
 283                  GNUNET_TIME_UNIT_FOREVER_REL,
 284                  &put_finished, NULL);
 285 }
 286
 287 /**
 288  * This function is called whenever a connection attempt is finished between two of
 289  * the started peers (started with GNUNET_TESTING_daemons_start).  The total
 290  * number of times this function is called should equal the number returned
 291  * from the GNUNET_TESTING_connect_topology call.
 292  *
 293  * The emsg variable is NULL on success (peers connected), and non-NULL on
 294  * failure (peers failed to connect).
 295  */
 296 void
 297 topology_callback (void *cls,
 298                    const struct GNUNET_PeerIdentity *first,
 299                    const struct GNUNET_PeerIdentity *second,
 300                    uint32_t distance,
 301                    const struct GNUNET_CONFIGURATION_Handle *first_cfg,
 302                    const struct GNUNET_CONFIGURATION_Handle *second_cfg,
 303                    struct GNUNET_TESTING_Daemon *first_daemon,
 304                    struct GNUNET_TESTING_Daemon *second_daemon,
 305                    const char *emsg)
 306 {
 307   if (emsg == NULL)
 308     {
 309       total_connections++;
 310 #if VERBOSE
 311       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "connected peer %s to peer %s, distance %u\n",
 312                  first_daemon->shortname,
 313                  second_daemon->shortname,
 314                  distance);
 315 #endif
 316     }
 317 #if VERBOSE
 318   else
 319     {
 320       failed_connections++;
 321       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Failed to connect peer %s to peer %s with error :\n%s\n",
 322                   first_daemon->shortname,
 323                   second_daemon->shortname, emsg);
 324     }
 325 #endif
 326
 327   if (total_connections == expected_connections)
 328     {
 329 #if VERBOSE
 330       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 331                   "Created %d total connections, which is our target number!  Starting next phase of testing.\n",
 332                   total_connections);
 333 #endif
 334       GNUNET_SCHEDULER_cancel (sched, die_task);
 335       die_task = GNUNET_SCHEDULER_add_delayed (sched, TIMEOUT,
 336                                                &end_badly, "from test gets");
 337
 338       GNUNET_SCHEDULER_add_delayed (sched, GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 2), &do_put, NULL);
 339     }
 340   else if (total_connections + failed_connections == expected_connections)
 341     {
 342       GNUNET_SCHEDULER_cancel (sched, die_task);
 343       die_task = GNUNET_SCHEDULER_add_now (sched,
 344                                            &end_badly, "from topology_callback (too many failed connections)");
 345     }
 346 }
 347
 348
 349 /**
 350  * Callback which is called whenever a peer is started (as a result of the
 351  * GNUNET_TESTING_daemons_start call.
 352  *
 353  * @param cls closure argument given to GNUNET_TESTING_daemons_start
 354  * @param id the GNUNET_PeerIdentity of the started peer
 355  * @param cfg the configuration for this specific peer (needed to connect
 356  *            to the DHT)
 357  * @param d the handle to the daemon started
 358  * @param emsg NULL if peer started, non-NULL on error
 359  */
 360 static void
 361 peers_started_callback (void *cls,
 362        const struct GNUNET_PeerIdentity *id,
 363        const struct GNUNET_CONFIGURATION_Handle *cfg,
 364        struct GNUNET_TESTING_Daemon *d, const char *emsg)
 365 {
 366   if (emsg != NULL)
 367     {
 368       GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "Failed to start daemon with error: `%s'\n",
 369                   emsg);
 370       return;
 371     }
 372   GNUNET_assert (id != NULL);
 373
 374   /* This is the first peer started */
 375   if (peers_left == num_peers)
 376   {
 377     memcpy(&peer1id, id, sizeof(struct GNUNET_PeerIdentity)); /* Save the peer id */
 378     peer1dht = GNUNET_DHT_connect(sched, cfg, 100); /* Connect to the first peers DHT service */
 379     if (peer1dht == NULL) /* If DHT connect failed */
 380     {
 381       GNUNET_SCHEDULER_cancel (sched, die_task);
 382       GNUNET_SCHEDULER_add_now(sched, &end_badly, "Failed to get dht handle!\n");
 383     }
 384   }
 385   else /* This is the second peer started */
 386   {
 387     memcpy(&peer2id, id, sizeof(struct GNUNET_PeerIdentity)); /* Same as for first peer... */
 388     peer2dht = GNUNET_DHT_connect(sched, cfg, 100);
 389     if (peer2dht == NULL)
 390     {
 391       GNUNET_SCHEDULER_cancel (sched, die_task);
 392       GNUNET_SCHEDULER_add_now(sched, &end_badly, "Failed to get dht handle!\n");
 393     }
 394   }
 395
 396   /* Decrement number of peers left to start */
 397   peers_left--;
 398
 399   if (peers_left == 0) /* Indicates all peers started */
 400     {
 401 #if VERBOSE
 402       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 403                   "All %d daemons started, now connecting peers!\n",
 404                   num_peers);
 405 #endif
 406       expected_connections = -1;
 407       if ((pg != NULL)) /* Sanity check */
 408         {
 409           /* Connect peers in a "straight line" topology, return the number of expected connections */
 410           expected_connections = GNUNET_TESTING_connect_topology (pg, GNUNET_TESTING_TOPOLOGY_LINE, GNUNET_TESTING_TOPOLOGY_OPTION_ALL, 0.0);
 411         }
 412
 413       /* Cancel current timeout fail task */
 414       GNUNET_SCHEDULER_cancel (sched, die_task);
 415       if (expected_connections == GNUNET_SYSERR) /* Some error happened */
 416         die_task = GNUNET_SCHEDULER_add_now (sched,
 417                                              &end_badly, "from connect topology (bad return)");
 418
 419       /* Schedule timeout on failure task */
 420       die_task = GNUNET_SCHEDULER_add_delayed (sched,
 421                                                TIMEOUT,
 422                                                &end_badly, "from connect topology (timeout)");
 423       ok = 0;
 424     }
 425 }
 426
 427 static void
 428 run (void *cls,
 429      struct GNUNET_SCHEDULER_Handle *s,
 430      char *const *args,
 431      const char *cfgfile, const struct GNUNET_CONFIGURATION_Handle *cfg)
 432 {
 433   sched = s;
 434
 435   /* Get path from configuration file */
 436   if (GNUNET_YES != GNUNET_CONFIGURATION_get_value_string(cfg, "paths", "servicehome", &test_directory))
 437     {
 438       ok = 404;
 439       return;
 440     }
 441
 442   /* Get number of peers to start from configuration (should be two) */
 443   if (GNUNET_SYSERR ==
 444       GNUNET_CONFIGURATION_get_value_number (cfg, "testing", "num_peers",
 445                                              &num_peers))
 446     num_peers = DEFAULT_NUM_PEERS;
 447
 448   /* Set peers_left so we know when all peers started */
 449   peers_left = num_peers;
 450
 451   /* Set up a task to end testing if peer start fails */
 452   die_task = GNUNET_SCHEDULER_add_delayed (sched,
 453                                            TIMEOUT,
 454                                            &end_badly, "didn't start all daemons in reasonable amount of time!!!");
 455
 456   /* Start num_peers peers, call peers_started_callback on peer start, topology_callback on peer connect */
 457   /* Read the API documentation for other parameters! */
 458   pg = GNUNET_TESTING_daemons_start (sched, cfg,
 459                                      num_peers, TIMEOUT, NULL, NULL, &peers_started_callback, NULL,
 460                                      &topology_callback, NULL, NULL);
 461
 462 }
 463
 464 static int
 465 check ()
 466 {
 467   int ret;
 468   /* Arguments for GNUNET_PROGRAM_run */
 469   char *const argv[] = {"test-dht-twopeer-put-get", /* Name to give running binary */
 470     "-c",
 471     "test_dht_twopeer_data.conf", /* Config file to use */
 472 #if VERBOSE
 473     "-L", "DEBUG",
 474 #endif
 475     NULL
 476   };
 477   struct GNUNET_GETOPT_CommandLineOption options[] = {
 478     GNUNET_GETOPT_OPTION_END
 479   };
 480   /* Run the run function as a new program */
 481   ret = GNUNET_PROGRAM_run ((sizeof (argv) / sizeof (char *)) - 1,
 482                       argv, "test-dht-twopeer-put-get", "nohelp",
 483                       options, &run, &ok);
 484   if (ret != GNUNET_OK)
 485     {
 486       GNUNET_log(GNUNET_ERROR_TYPE_WARNING, "`test-dht-twopeer': Failed with error code %d\n", ret);
 487     }
 488   return ok;
 489 }
 490
 491 int
 492 main (int argc, char *argv[])
 493 {
 494   int ret;
 495
 496   GNUNET_log_setup ("test-dht-twopeer",
 497 #if VERBOSE
 498                     "DEBUG",
 499 #else
 500                     "WARNING",
 501 #endif
 502                     NULL);
 503   ret = check ();
 504   /**
 505    * Need to remove base directory, subdirectories taken care
 506    * of by the testing framework.
 507    */
 508   if (GNUNET_DISK_directory_remove (test_directory) != GNUNET_OK)
 509     {
 510       GNUNET_log(GNUNET_ERROR_TYPE_WARNING, "Failed to remove testing directory %s\n", test_directory);
 511     }
 512   return ret;
 513 }
 514
 515 /* end of test_dht_twopeer_put_get.c */