src/dht/test_dht_twopeer_get_put.c

   1 /*
   2      This file is part of GNUnet.
   3      (C) 2009 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20 /**
  21  * @file dht/test_dht_twopeer_get_put.c
  22  * @brief base testcase for testing DHT service with
  23  *        two running peers.
  24  *
  25  * This testcase starts peers using the GNUNET_TESTING_daemons_start
  26  * function call.  On peer start, connects to the peers DHT service
  27  * by calling GNUNET_DHT_connected.  Once notified about all peers
  28  * being started (by the peers_started_callback function), calls
  29  * GNUNET_TESTING_connect_topology, which connects the peers in a
  30  * "straight line" topology.  On notification that all peers have
  31  * been properly connected, calls the do_get function which initiates
  32  * a GNUNET_DHT_get from the *second* peer. Once the GNUNET_DHT_get
  33  * function starts, runs the do_put function to insert data at the first peer.
  34  *   If the GET is successful, schedules finish_testing
  35  * to stop the test and shut down peers.  If GET is unsuccessful
  36  * after GET_TIMEOUT seconds, prints an error message and shuts down
  37  * the peers.
  38  */
  39 #include "platform.h"
  40 #include "gnunet_testing_lib.h"
  41 #include "gnunet_core_service.h"
  42 #include "gnunet_dht_service.h"
  43 #include "block_dns.h"
  44 #include "gnunet_signatures.h"
  45
  46 /* DEFINES */
  47 #define VERBOSE GNUNET_EXTRA_LOGGING
  48
  49 /* Timeout for entire testcase */
  50 #define TIMEOUT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 40)
  51
  52 /* Timeout for waiting for replies to get requests */
  53 #define GET_TIMEOUT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 30)
  54
  55 /* If number of peers not in config file, use this number */
  56 #define DEFAULT_NUM_PEERS 2
  57
  58 #define DNS GNUNET_NO
  59
  60 /* Globals */
  61
  62 /**
  63  * Directory to store temp data in, defined in config file
  64  */
  65 static char *test_directory;
  66
  67 /**
  68  * Variable used to store the number of connections we should wait for.
  69  */
  70 static unsigned int expected_connections;
  71
  72 /**
  73  * Variable used to keep track of how many peers aren't yet started.
  74  */
  75 static unsigned long long peers_left;
  76
  77 /**
  78  * Handle to the set of all peers run for this test.
  79  */
  80 static struct GNUNET_TESTING_PeerGroup *pg;
  81
  82 /**
  83  * Global handle we will use for GET requests.
  84  */
  85 struct GNUNET_DHT_GetHandle *global_get_handle;
  86
  87
  88 /**
  89  * Total number of peers to run, set based on config file.
  90  */
  91 static unsigned long long num_peers;
  92
  93 /**
  94  * Global used to count how many connections we have currently
  95  * been notified about (how many times has topology_callback been called
  96  * with success?)
  97  */
  98 static unsigned int total_connections;
  99
 100 /**
 101  * Global used to count how many failed connections we have
 102  * been notified about (how many times has topology_callback
 103  * been called with failure?)
 104  */
 105 static unsigned int failed_connections;
 106
 107 /* Task handle to use to schedule test failure */
 108 GNUNET_SCHEDULER_TaskIdentifier die_task;
 109
 110 /* Global return value (0 for success, anything else for failure) */
 111 static int ok;
 112
 113 #if DNS
 114 struct GNUNET_DNS_Record data;
 115 #endif
 116
 117 /**
 118  * Peer identity of the first peer started.
 119  */
 120 static struct GNUNET_PeerIdentity peer1id;
 121
 122 /**
 123  * Peer identity of the second peer started.
 124  */
 125 static struct GNUNET_PeerIdentity peer2id;
 126
 127 /**
 128  * Handle to the first peers DHT service (via the API)
 129  */
 130 static struct GNUNET_DHT_Handle *peer1dht;
 131
 132 /**
 133  * Handle to the second peers DHT service (via the API)
 134  */
 135 static struct GNUNET_DHT_Handle *peer2dht;
 136
 137 static void
 138 do_put (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
 139
 140 /**
 141  * Check whether peers successfully shut down.
 142  */
 143 void
 144 shutdown_callback (void *cls, const char *emsg)
 145 {
 146   if (emsg != NULL)
 147   {
 148     if (ok == 0)
 149       ok = 2;
 150   }
 151 }
 152
 153 /**
 154  * Function scheduled to be run on the successful completion of this
 155  * testcase.  Specifically, called when our get request completes.
 156  */
 157 static void
 158 finish_testing (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 159 {
 160   GNUNET_assert (pg != NULL);
 161   GNUNET_assert (peer1dht != NULL);
 162   GNUNET_assert (peer2dht != NULL);
 163   GNUNET_DHT_disconnect (peer1dht);
 164   GNUNET_DHT_disconnect (peer2dht);
 165   GNUNET_TESTING_daemons_stop (pg, TIMEOUT, &shutdown_callback, NULL);
 166   ok = 0;
 167 }
 168
 169 /**
 170  * Continuation for the GNUNET_DHT_get_stop call, so that we don't shut
 171  * down the peers without freeing memory associated with GET request.
 172  */
 173 static void
 174 end_badly_cont (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 175 {
 176   if (peer1dht != NULL)
 177     GNUNET_DHT_disconnect (peer1dht);
 178
 179   if (peer2dht != NULL)
 180     GNUNET_DHT_disconnect (peer2dht);
 181
 182   if (pg != NULL)
 183     GNUNET_TESTING_daemons_stop (pg, TIMEOUT, &shutdown_callback, NULL);
 184 }
 185
 186 /**
 187  * Check if the get_handle is being used, if so stop the request.  Either
 188  * way, schedule the end_badly_cont function which actually shuts down the
 189  * test.
 190  */
 191 static void
 192 end_badly (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 193 {
 194   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Failing test with error: `%s'!\n",
 195               (char *) cls);
 196   if (global_get_handle != NULL)
 197   {
 198     GNUNET_DHT_get_stop (global_get_handle);
 199     global_get_handle = NULL;
 200   }
 201   GNUNET_SCHEDULER_add_now (&end_badly_cont, NULL);
 202   ok = 1;
 203 }
 204
 205 /**
 206  * Iterator called if the GET request initiated returns a response.
 207  *
 208  * @param cls closure
 209  * @param exp when will this value expire
 210  * @param key key of the result
 211  * @param type type of the result
 212  * @param size number of bytes in data
 213  * @param data pointer to the result data
 214  */
 215 void
 216 get_result_iterator (void *cls, struct GNUNET_TIME_Absolute exp,
 217                      const GNUNET_HashCode * key,
 218                      const struct GNUNET_PeerIdentity  *get_path,
 219                      unsigned int get_path_size,
 220                      const struct GNUNET_PeerIdentity  *put_path,
 221                      unsigned int put_path_size,
 222                      enum GNUNET_BLOCK_Type type, size_t size,
 223                      const void *result_data)
 224 {
 225   GNUNET_HashCode original_key; /* Key data was stored data under */
 226   char original_data[4];        /* Made up data that was stored */
 227
 228   memset (&original_key, 42, sizeof (GNUNET_HashCode)); /* Set the key to what it was set to previously */
 229   memset (original_data, 43, sizeof (original_data));
 230
 231 #if DNS
 232   if ((sizeof (original_data) != size) ||
 233       (0 != memcmp (&data.service_descriptor, key, sizeof (GNUNET_HashCode))) ||
 234       (0 != memcmp ((char *) &data, result_data, sizeof (original_data))))
 235   {
 236     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 237                 "Key or data is not the same as was inserted!\n");
 238     GNUNET_SCHEDULER_cancel (die_task);
 239     GNUNET_SCHEDULER_add_now (&end_badly,
 240                               "key or data mismatch in get response!\n");
 241     return;
 242   }
 243 #else
 244   if ((sizeof (original_data) != size) ||
 245       (0 != memcmp (&original_key, key, sizeof (GNUNET_HashCode))) ||
 246       (0 != memcmp (original_data, result_data, sizeof (original_data))))
 247   {
 248     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 249                 "Key or data is not the same as was inserted!\n");
 250     GNUNET_SCHEDULER_cancel (die_task);
 251     GNUNET_SCHEDULER_add_now (&end_badly,
 252                               "key or data mismatch in get response!\n");
 253     return;
 254   }
 255 #endif
 256
 257   GNUNET_SCHEDULER_cancel (die_task);
 258   GNUNET_DHT_get_stop (global_get_handle);
 259   GNUNET_SCHEDULER_add_now (&finish_testing, NULL);
 260 }
 261
 262 /**
 263  * Start the GET request for the same key/data that was inserted.
 264  */
 265 static void
 266 do_get (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 267 {
 268   GNUNET_HashCode key;          /* Key for data lookup */
 269
 270 #if DNS
 271   memcpy (&key, &data.service_descriptor, sizeof (GNUNET_HashCode));
 272 #else
 273   memset (&key, 42, sizeof (GNUNET_HashCode));  /* Set the key to the same thing as when data was inserted */
 274 #endif
 275   global_get_handle =
 276       GNUNET_DHT_get_start (peer2dht, GNUNET_TIME_relative_get_forever (),
 277 #if DNS
 278                             GNUNET_BLOCK_TYPE_DNS,
 279 #else
 280                             GNUNET_BLOCK_TYPE_TEST,
 281 #endif
 282                             &key, 1, GNUNET_DHT_RO_NONE,
 283                             NULL, 0, &get_result_iterator, NULL);
 284   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_relative_multiply
 285                                 (GNUNET_TIME_UNIT_SECONDS, 10), &do_put, NULL);
 286 }
 287
 288 /**
 289  * Called when the PUT request has been transmitted to the DHT service.
 290  * Schedule the GET request for some time in the future.
 291  */
 292 static void
 293 put_finished (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 294 {
 295   GNUNET_SCHEDULER_cancel (die_task);
 296   die_task =
 297       GNUNET_SCHEDULER_add_delayed (GET_TIMEOUT, &end_badly,
 298                                     "waiting for get response (data not found)");
 299 }
 300
 301
 302 #if !DNS
 303 /**
 304  * Set up some data, and call API PUT function
 305  */
 306 static void
 307 do_put (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 308 {
 309   GNUNET_HashCode key;          /* Made up key to store data under */
 310   char data[4];                 /* Made up data to store */
 311
 312   memset (&key, 42, sizeof (GNUNET_HashCode));  /* Set the key to something simple so we can issue GET request */
 313   memset (data, 43, sizeof (data));
 314
 315   /* Insert the data at the first peer */
 316   GNUNET_DHT_put (peer1dht, &key, 1, GNUNET_DHT_RO_NONE,
 317                   GNUNET_BLOCK_TYPE_TEST, sizeof (data), data,
 318                   GNUNET_TIME_UNIT_FOREVER_ABS, GNUNET_TIME_UNIT_FOREVER_REL,
 319                   &put_finished, NULL);
 320 }
 321 #else
 322
 323 /**
 324  * Set up some data, and call API PUT function
 325  */
 326 static void
 327 do_put (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 328 {
 329   char *name = "philipptoelke.gnunet.";
 330   size_t size = sizeof (struct GNUNET_DNS_Record);
 331
 332   memset (&data, 0, size);
 333
 334   data.purpose.size = htonl (size - sizeof (struct GNUNET_CRYPTO_RsaSignature));
 335   data.purpose.purpose = GNUNET_SIGNATURE_PURPOSE_DNS_RECORD;
 336
 337   GNUNET_CRYPTO_hash (name, strlen (name) + 1, &data.service_descriptor);
 338
 339   data.service_type = htonl (GNUNET_DNS_SERVICE_TYPE_UDP);
 340   data.ports = htons (69);
 341
 342   char *keyfile;
 343
 344   GNUNET_asprintf (&keyfile, "/tmp/test_dns_data_key");
 345   struct GNUNET_CRYPTO_RsaPrivateKey *my_private_key =
 346       GNUNET_CRYPTO_rsa_key_create_from_file (keyfile);
 347   GNUNET_free (keyfile);
 348   GNUNET_assert (my_private_key != NULL);
 349
 350   GNUNET_CRYPTO_rsa_key_get_public (my_private_key, &data.peer);
 351
 352   data.expiration_time =
 353       GNUNET_TIME_relative_to_absolute (GNUNET_TIME_UNIT_HOURS);
 354
 355   /* Sign the block */
 356   if (GNUNET_OK !=
 357       GNUNET_CRYPTO_rsa_sign (my_private_key, &data.purpose, &data.signature))
 358   {
 359     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "could not sign DNS_Record\n");
 360     return;
 361   }
 362   GNUNET_CRYPTO_rsa_key_free (my_private_key);
 363
 364   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Putting with key %08x\n",
 365               *((unsigned int *) &data.service_descriptor));
 366
 367   GNUNET_DHT_put (peer1dht, &data.service_descriptor, DEFAULT_PUT_REPLICATION,
 368                   GNUNET_DHT_RO_NONE, GNUNET_BLOCK_TYPE_DNS, size,
 369                   (char *) &data,
 370                   GNUNET_TIME_relative_to_absolute (GNUNET_TIME_UNIT_HOURS),
 371                   GNUNET_TIME_UNIT_MINUTES, &put_finished, NULL);
 372 }
 373 #endif
 374
 375 /**
 376  * This function is called whenever a connection attempt is finished between two of
 377  * the started peers (started with GNUNET_TESTING_daemons_start).  The total
 378  * number of times this function is called should equal the number returned
 379  * from the GNUNET_TESTING_connect_topology call.
 380  *
 381  * The emsg variable is NULL on success (peers connected), and non-NULL on
 382  * failure (peers failed to connect).
 383  */
 384 void
 385 topology_callback (void *cls, const struct GNUNET_PeerIdentity *first,
 386                    const struct GNUNET_PeerIdentity *second, uint32_t distance,
 387                    const struct GNUNET_CONFIGURATION_Handle *first_cfg,
 388                    const struct GNUNET_CONFIGURATION_Handle *second_cfg,
 389                    struct GNUNET_TESTING_Daemon *first_daemon,
 390                    struct GNUNET_TESTING_Daemon *second_daemon,
 391                    const char *emsg)
 392 {
 393   if (emsg == NULL)
 394   {
 395     total_connections++;
 396 #if VERBOSE
 397     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 398                 "connected peer %s to peer %s, distance %u\n",
 399                 first_daemon->shortname, second_daemon->shortname, distance);
 400 #endif
 401   }
 402 #if VERBOSE
 403   else
 404   {
 405     failed_connections++;
 406     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 407                 "Failed to connect peer %s to peer %s with error :\n%s\n",
 408                 first_daemon->shortname, second_daemon->shortname, emsg);
 409   }
 410 #endif
 411
 412   if (total_connections == expected_connections)
 413   {
 414 #if VERBOSE
 415     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 416                 "Created %d total connections, which is our target number!  Starting next phase of testing.\n",
 417                 total_connections);
 418 #endif
 419     GNUNET_SCHEDULER_cancel (die_task);
 420     die_task =
 421         GNUNET_SCHEDULER_add_delayed (TIMEOUT, &end_badly, "from test gets");
 422
 423     GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_relative_multiply
 424                                   (GNUNET_TIME_UNIT_SECONDS, 2), &do_get, NULL);
 425   }
 426   else if (total_connections + failed_connections == expected_connections)
 427   {
 428     GNUNET_SCHEDULER_cancel (die_task);
 429     die_task =
 430         GNUNET_SCHEDULER_add_now (&end_badly,
 431                                   "from topology_callback (too many failed connections)");
 432   }
 433 }
 434
 435
 436 /**
 437  * Callback which is called whenever a peer is started (as a result of the
 438  * GNUNET_TESTING_daemons_start call.
 439  *
 440  * @param cls closure argument given to GNUNET_TESTING_daemons_start
 441  * @param id the GNUNET_PeerIdentity of the started peer
 442  * @param cfg the configuration for this specific peer (needed to connect
 443  *            to the DHT)
 444  * @param d the handle to the daemon started
 445  * @param emsg NULL if peer started, non-NULL on error
 446  */
 447 static void
 448 peers_started_callback (void *cls, const struct GNUNET_PeerIdentity *id,
 449                         const struct GNUNET_CONFIGURATION_Handle *cfg,
 450                         struct GNUNET_TESTING_Daemon *d, const char *emsg)
 451 {
 452   if (emsg != NULL)
 453   {
 454     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 455                 "Failed to start daemon with error: `%s'\n", emsg);
 456     return;
 457   }
 458   GNUNET_assert (id != NULL);
 459
 460   /* This is the first peer started */
 461   if (peers_left == num_peers)
 462   {
 463     memcpy (&peer1id, id, sizeof (struct GNUNET_PeerIdentity)); /* Save the peer id */
 464     peer1dht = GNUNET_DHT_connect (cfg, 100);   /* Connect to the first peers DHT service */
 465     if (peer1dht == NULL)       /* If DHT connect failed */
 466     {
 467       GNUNET_SCHEDULER_cancel (die_task);
 468       GNUNET_SCHEDULER_add_now (&end_badly, "Failed to get dht handle!\n");
 469     }
 470   }
 471   else                          /* This is the second peer started */
 472   {
 473     memcpy (&peer2id, id, sizeof (struct GNUNET_PeerIdentity)); /* Same as for first peer... */
 474     peer2dht = GNUNET_DHT_connect (cfg, 100);
 475     if (peer2dht == NULL)
 476     {
 477       GNUNET_SCHEDULER_cancel (die_task);
 478       GNUNET_SCHEDULER_add_now (&end_badly, "Failed to get dht handle!\n");
 479     }
 480   }
 481
 482   /* Decrement number of peers left to start */
 483   peers_left--;
 484
 485   if (peers_left == 0)          /* Indicates all peers started */
 486   {
 487 #if VERBOSE
 488     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 489                 "All %d daemons started, now connecting peers!\n", num_peers);
 490 #endif
 491     expected_connections = -1;
 492     if ((pg != NULL))           /* Sanity check */
 493     {
 494       /* Connect peers in a "straight line" topology, return the number of expected connections */
 495       expected_connections =
 496           GNUNET_TESTING_connect_topology (pg, GNUNET_TESTING_TOPOLOGY_LINE,
 497                                            GNUNET_TESTING_TOPOLOGY_OPTION_ALL,
 498                                            0.0, TIMEOUT, 12, NULL, NULL);
 499     }
 500
 501     /* Cancel current timeout fail task */
 502     GNUNET_SCHEDULER_cancel (die_task);
 503     if (expected_connections == GNUNET_SYSERR)  /* Some error happened */
 504       die_task =
 505           GNUNET_SCHEDULER_add_now (&end_badly,
 506                                     "from connect topology (bad return)");
 507
 508     /* Schedule timeout on failure task */
 509     die_task =
 510         GNUNET_SCHEDULER_add_delayed (TIMEOUT, &end_badly,
 511                                       "from connect topology (timeout)");
 512     ok = 0;
 513   }
 514 }
 515
 516 static void
 517 run (void *cls, char *const *args, const char *cfgfile,
 518      const struct GNUNET_CONFIGURATION_Handle *cfg)
 519 {
 520
 521   /* Get path from configuration file */
 522   if (GNUNET_YES !=
 523       GNUNET_CONFIGURATION_get_value_string (cfg, "paths", "servicehome",
 524                                              &test_directory))
 525   {
 526     ok = 404;
 527     return;
 528   }
 529
 530   /* Get number of peers to start from configuration (should be two) */
 531   if (GNUNET_SYSERR ==
 532       GNUNET_CONFIGURATION_get_value_number (cfg, "testing", "num_peers",
 533                                              &num_peers))
 534     num_peers = DEFAULT_NUM_PEERS;
 535
 536   /* Set peers_left so we know when all peers started */
 537   peers_left = num_peers;
 538
 539   /* Set up a task to end testing if peer start fails */
 540   die_task =
 541       GNUNET_SCHEDULER_add_delayed (TIMEOUT, &end_badly,
 542                                     "didn't start all daemons in reasonable amount of time!!!");
 543
 544   /* Start num_peers peers, call peers_started_callback on peer start, topology_callback on peer connect */
 545   /* Read the API documentation for other parameters! */
 546   pg = GNUNET_TESTING_daemons_start (cfg, num_peers, 2, 2, TIMEOUT, NULL, NULL,
 547                                      &peers_started_callback, NULL,
 548                                      &topology_callback, NULL, NULL);
 549
 550 }
 551
 552 static int
 553 check ()
 554 {
 555   int ret;
 556
 557   /* Arguments for GNUNET_PROGRAM_run */
 558   char *const argv[] = { "test-dht-twopeer-get-put",    /* Name to give running binary */
 559     "-c",
 560     "test_dht_twopeer_data.conf",       /* Config file to use */
 561 #if VERBOSE
 562     "-L", "DEBUG",
 563 #endif
 564     NULL
 565   };
 566   struct GNUNET_GETOPT_CommandLineOption options[] = {
 567     GNUNET_GETOPT_OPTION_END
 568   };
 569   /* Run the run function as a new program */
 570   ret =
 571       GNUNET_PROGRAM_run ((sizeof (argv) / sizeof (char *)) - 1, argv,
 572                           "test-dht-twopeer-get-put", "nohelp", options, &run,
 573                           &ok);
 574   if (ret != GNUNET_OK)
 575   {
 576     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 577                 "`test-dht-twopeer': Failed with error code %d\n", ret);
 578   }
 579   return ok;
 580 }
 581
 582 int
 583 main (int argc, char *argv[])
 584 {
 585   int ret;
 586
 587   GNUNET_log_setup ("test-dht-twopeer",
 588 #if VERBOSE
 589                     "DEBUG",
 590 #else
 591                     "WARNING",
 592 #endif
 593                     NULL);
 594   ret = check ();
 595   /**
 596    * Need to remove base directory, subdirectories taken care
 597    * of by the testing framework.
 598    */
 599   if (GNUNET_DISK_directory_remove (test_directory) != GNUNET_OK)
 600   {
 601     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 602                 "Failed to remove testing directory %s\n", test_directory);
 603   }
 604   return ret;
 605 }
 606
 607 /* end of test_dht_twopeer_get_put.c */