src/transport/test_transport_api_unreliability.c

   1 /*
   2      This file is part of GNUnet.
   3      (C) 2009, 2010 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20 /**
  21  * @file transport/test_transport_api_unreliability.c
  22  * @brief test case for transports; ensures messages get
  23  *        through, regardless of order
  24  *
  25  * This test case serves as a base for unreliable
  26  * transport test cases to check that the transports
  27  * achieve reliable message delivery.
  28  */
  29 #include "platform.h"
  30 #include "gnunet_common.h"
  31 #include "gnunet_hello_lib.h"
  32 #include "gnunet_getopt_lib.h"
  33 #include "gnunet_os_lib.h"
  34 #include "gnunet_program_lib.h"
  35 #include "gnunet_scheduler_lib.h"
  36 #include "gnunet_server_lib.h"
  37 #include "gnunet_transport_service.h"
  38 #include "gauger.h"
  39 #include "transport.h"
  40 #include "transport-testing.h"
  41
  42 #define VERBOSE GNUNET_NO
  43
  44 #define VERBOSE_ARM GNUNET_EXTRA_LOGGING
  45
  46 #define START_ARM GNUNET_YES
  47
  48 /**
  49  * Testcase timeout
  50  */
  51 #define TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 900)
  52
  53 /**
  54  * How long until we give up on transmitting the message?
  55  */
  56 #define TIMEOUT_TRANSMIT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 60)
  57
  58 static char *test_source;
  59
  60 static char *test_plugin;
  61
  62 static char *test_name;
  63
  64 static int ok;
  65
  66 static GNUNET_SCHEDULER_TaskIdentifier die_task;
  67
  68 struct PeerContext *p1;
  69
  70 struct PeerContext *p2;
  71
  72 struct GNUNET_TRANSPORT_TransmitHandle *th;
  73
  74 char *cfg_file_p1;
  75
  76 char *cfg_file_p2;
  77
  78 uint32_t max_bps_p1;
  79 uint32_t max_bps_p2;
  80
  81 struct GNUNET_TRANSPORT_TESTING_handle *tth;
  82
  83 /*
  84  * Testcase specific declarations
  85  */
  86
  87 /**
  88  * Note that this value must not significantly exceed
  89  * 'MAX_PENDING' in 'gnunet-service-transport.c', otherwise
  90  * messages may be dropped even for a reliable transport.
  91  */
  92 #define TOTAL_MSGS (1024 * 3)
  93
  94 #define MTYPE 12345
  95
  96 struct TestMessage
  97 {
  98   struct GNUNET_MessageHeader header;
  99   uint32_t num;
 100 };
 101
 102 static char *test_name;
 103
 104 static int msg_scheduled;
 105 static int msg_sent;
 106 static int msg_recv_expected;
 107 static int msg_recv;
 108
 109 static int test_connected;
 110 static int test_sending;
 111 static int test_send_timeout;
 112
 113 static unsigned long long total_bytes;
 114
 115 static struct GNUNET_TIME_Absolute start_time;
 116
 117 static char bitmap[TOTAL_MSGS / 8];
 118
 119 static GNUNET_TRANSPORT_TESTING_ConnectRequest cc;
 120
 121 /*
 122  * END Testcase specific declarations
 123  */
 124
 125 #if VERBOSE
 126 #define OKPP do { ok++; fprintf (stderr, "Now at stage %u at %s:%u\n", ok, __FILE__, __LINE__); } while (0)
 127 #else
 128 #define OKPP do { ok++; } while (0)
 129 #endif
 130
 131 static int
 132 get_bit (const char *map, unsigned int bit);
 133
 134 static void
 135 end ()
 136 {
 137   unsigned long long delta;
 138
 139   char *value_name;
 140
 141   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Stopping peers\n");
 142
 143   delta = GNUNET_TIME_absolute_get_duration (start_time).rel_value;
 144   fprintf (stderr, "\nThroughput was %llu kb/s\n",
 145            total_bytes * 1000 / 1024 / delta);
 146   GNUNET_asprintf (&value_name, "unreliable_%s", test_plugin);
 147   GAUGER ("TRANSPORT", value_name, (int) (total_bytes * 1000 / 1024 / delta),
 148           "kb/s");
 149   GNUNET_free (value_name);
 150
 151   if (die_task != GNUNET_SCHEDULER_NO_TASK)
 152     GNUNET_SCHEDULER_cancel (die_task);
 153
 154   if (th != NULL)
 155     GNUNET_TRANSPORT_notify_transmit_ready_cancel (th);
 156   th = NULL;
 157
 158   if (cc != NULL)
 159     GNUNET_TRANSPORT_TESTING_connect_peers_cancel (tth, cc);
 160   cc = NULL;
 161
 162   GNUNET_TRANSPORT_TESTING_stop_peer (tth, p1);
 163   GNUNET_TRANSPORT_TESTING_stop_peer (tth, p2);
 164
 165   GNUNET_TRANSPORT_TESTING_done (tth);
 166
 167   ok = 0;
 168
 169   int i;
 170
 171   for (i = 0; i < TOTAL_MSGS; i++)
 172   {
 173     if (get_bit (bitmap, i) == 0)
 174     {
 175       GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "Did not receive message %d\n", i);
 176       ok = -1;
 177     }
 178   }
 179 }
 180
 181 static void
 182 end_badly ()
 183 {
 184   die_task = GNUNET_SCHEDULER_NO_TASK;
 185   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Fail! Stopping peers\n");
 186
 187   if (test_connected == GNUNET_YES)
 188     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Peers got connected\n");
 189   else
 190     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Peers got NOT connected\n");
 191
 192   if (test_sending == GNUNET_NO)
 193     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 194                 "Testcase did not send any messages before timeout\n");
 195   else
 196     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 197                 "Reliability failed: Last message sent %u, Next message scheduled %u, Last message received %u, Message expected %u\n",
 198                 msg_sent, msg_scheduled, msg_recv, msg_recv_expected);
 199   if (test_send_timeout == GNUNET_YES)
 200     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 201                 "Test had timeout while waiting to send data\n");
 202
 203
 204   if (th != NULL)
 205     GNUNET_TRANSPORT_notify_transmit_ready_cancel (th);
 206   th = NULL;
 207
 208   if (cc != NULL)
 209     GNUNET_TRANSPORT_TESTING_connect_peers_cancel (tth, cc);
 210   cc = NULL;
 211
 212   if (p1 != NULL)
 213     GNUNET_TRANSPORT_TESTING_stop_peer (tth, p1);
 214   if (p2 != NULL)
 215     GNUNET_TRANSPORT_TESTING_stop_peer (tth, p2);
 216
 217   GNUNET_TRANSPORT_TESTING_done (tth);
 218
 219   ok = GNUNET_SYSERR;
 220 }
 221
 222
 223 static unsigned int
 224 get_size (unsigned int iter)
 225 {
 226   unsigned int ret;
 227
 228   ret = (iter * iter * iter);
 229
 230 #ifndef LINUX
 231   /* FreeBSD/OSX etc. Unix DGRAMs do not work
 232      with large messages */
 233   if (0 == strcmp ("unix",
 234                    test_plugin))
 235     return sizeof (struct TestMessage) + (ret % 1024);
 236 #endif
 237   return sizeof (struct TestMessage) + (ret % 60000);
 238 }
 239
 240
 241 /**
 242  * Sets a bit active in the bitmap.
 243  *
 244  * @param bitIdx which bit to set
 245  */
 246 static void
 247 set_bit (unsigned int bitIdx)
 248 {
 249   size_t arraySlot;
 250   unsigned int targetBit;
 251
 252   if (bitIdx >= sizeof (bitmap) * 8)
 253   {
 254     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "tried to set bit %d of %d(!?!?)\n",
 255                 bitIdx, sizeof (bitmap) * 8);
 256     return;
 257   }
 258   arraySlot = bitIdx / 8;
 259   targetBit = (1L << (bitIdx % 8));
 260   bitmap[arraySlot] |= targetBit;
 261 }
 262
 263 /**
 264  * Obtain a bit from bitmap.
 265  * @param map the bitmap
 266  * @param bit index from bitmap
 267  *
 268  * @return Bit \a bit from hashcode \a code
 269  */
 270 static int
 271 get_bit (const char *map, unsigned int bit)
 272 {
 273   if (bit >= TOTAL_MSGS)
 274   {
 275     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "get bit %d of %d(!?!?)\n", bit,
 276                 sizeof (bitmap) * 8);
 277     return 0;
 278   }
 279   return ((map)[bit >> 3] & (1 << (bit & 7))) > 0;
 280 }
 281
 282
 283 static void
 284 notify_receive (void *cls, const struct GNUNET_PeerIdentity *peer,
 285                 const struct GNUNET_MessageHeader *message,
 286                 const struct GNUNET_ATS_Information *ats, uint32_t ats_count)
 287 {
 288   static int n;
 289
 290   unsigned int s;
 291   char cbuf[GNUNET_SERVER_MAX_MESSAGE_SIZE - 1];
 292   const struct TestMessage *hdr;
 293
 294   hdr = (const struct TestMessage *) message;
 295
 296   if (MTYPE != ntohs (message->type))
 297     return;
 298   msg_recv_expected = n;
 299   msg_recv = ntohl (hdr->num);
 300   s = get_size (ntohl (hdr->num));
 301
 302   if (ntohs (message->size) != s)
 303   {
 304     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 305                 "Expected message %u of size %u, got %u bytes of message %u\n",
 306                 ntohl (hdr->num), s, ntohs (message->size), ntohl (hdr->num));
 307     if (GNUNET_SCHEDULER_NO_TASK != die_task)
 308       GNUNET_SCHEDULER_cancel (die_task);
 309     test_sending = GNUNET_YES;
 310     die_task = GNUNET_SCHEDULER_add_now (&end_badly, NULL);
 311     return;
 312   }
 313
 314   memset (cbuf, ntohl (hdr->num), s - sizeof (struct TestMessage));
 315   if (0 != memcmp (cbuf, &hdr[1], s - sizeof (struct TestMessage)))
 316   {
 317     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 318                 "Expected message %u with bits %u, but body did not match\n",
 319                 ntohl (hdr->num), (unsigned char) n);
 320     if (GNUNET_SCHEDULER_NO_TASK != die_task)
 321       GNUNET_SCHEDULER_cancel (die_task);
 322     test_sending = GNUNET_YES;
 323     die_task = GNUNET_SCHEDULER_add_now (&end_badly, NULL);
 324     return;
 325   }
 326 #if VERBOSE
 327   if (ntohl (hdr->num) % 5 == 0)
 328   {
 329     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got message %u of size %u\n",
 330                 ntohl (hdr->num), ntohs (message->size));
 331   }
 332 #endif
 333   n++;
 334   set_bit (ntohl (hdr->num));
 335   test_sending = GNUNET_YES;
 336   if (0 == (n % (TOTAL_MSGS / 100)))
 337   {
 338     fprintf (stderr, ".");
 339     if (GNUNET_SCHEDULER_NO_TASK != die_task)
 340       GNUNET_SCHEDULER_cancel (die_task);
 341     die_task = GNUNET_SCHEDULER_add_delayed (TIMEOUT, &end_badly, NULL);
 342   }
 343   if (n == TOTAL_MSGS)
 344   {
 345     end ();
 346   }
 347 }
 348
 349
 350 static size_t
 351 notify_ready (void *cls, size_t size, void *buf)
 352 {
 353   static int n;
 354   char *cbuf = buf;
 355   struct TestMessage hdr;
 356   unsigned int s;
 357   unsigned int ret;
 358
 359   th = NULL;
 360
 361   if (buf == NULL)
 362   {
 363     test_send_timeout = GNUNET_YES;
 364     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 365                 "Timeout occurred while waiting for transmit_ready for msg %u of %u\n",
 366                 msg_scheduled, TOTAL_MSGS);
 367     if (GNUNET_SCHEDULER_NO_TASK != die_task)
 368       GNUNET_SCHEDULER_cancel (die_task);
 369     die_task = GNUNET_SCHEDULER_add_now (&end_badly, NULL);
 370     ok = 42;
 371     return 0;
 372   }
 373   ret = 0;
 374   s = get_size (n);
 375   GNUNET_assert (size >= s);
 376   GNUNET_assert (buf != NULL);
 377   cbuf = buf;
 378   do
 379   {
 380     hdr.header.size = htons (s);
 381     hdr.header.type = htons (MTYPE);
 382     hdr.num = htonl (n);
 383     msg_sent = n;
 384     memcpy (&cbuf[ret], &hdr, sizeof (struct TestMessage));
 385     ret += sizeof (struct TestMessage);
 386     memset (&cbuf[ret], n, s - sizeof (struct TestMessage));
 387     ret += s - sizeof (struct TestMessage);
 388 #if VERBOSE
 389     if (n % 5000 == 0)
 390     {
 391       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Sending message %u of size %u\n", n,
 392                   s);
 393     }
 394
 395 #endif
 396     n++;
 397     s = get_size (n);
 398     if (0 == GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, 16))
 399       break;                    /* sometimes pack buffer full, sometimes not */
 400   }
 401   while (size - ret >= s);
 402   if (n < TOTAL_MSGS)
 403   {
 404     th = GNUNET_TRANSPORT_notify_transmit_ready (p2->th, &p1->id, s, 0,
 405                                                  TIMEOUT_TRANSMIT,
 406                                                  &notify_ready, NULL);
 407     msg_scheduled = n;
 408   }
 409   else
 410   {
 411     fprintf (stderr, "\n");
 412     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "All messages scheduled to be sent\n");
 413     if (GNUNET_SCHEDULER_NO_TASK != die_task)
 414       GNUNET_SCHEDULER_cancel (die_task);
 415     die_task = GNUNET_SCHEDULER_add_delayed (TIMEOUT, &end_badly, NULL);
 416   }
 417   if (n % 5000 == 0)
 418   {
 419     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 420                 "Returning total message block of size %u\n", ret);
 421   }
 422   total_bytes += ret;
 423   return ret;
 424 }
 425
 426
 427 static void
 428 notify_connect (void *cls, const struct GNUNET_PeerIdentity *peer,
 429                 const struct GNUNET_ATS_Information *ats, uint32_t ats_count)
 430 {
 431
 432   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Peer `%4s' connected to us (%p)!\n",
 433               GNUNET_i2s (peer), cls);
 434 }
 435
 436
 437 static void
 438 notify_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
 439 {
 440   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Peer `%4s' disconnected (%p)!\n",
 441               GNUNET_i2s (peer), cls);
 442   if (th != NULL)
 443     GNUNET_TRANSPORT_notify_transmit_ready_cancel (th);
 444   th = NULL;
 445 }
 446
 447 static void
 448 sendtask ()
 449 {
 450   start_time = GNUNET_TIME_absolute_get ();
 451   th = GNUNET_TRANSPORT_notify_transmit_ready (p2->th, &p1->id, get_size (0), 0,
 452                                                TIMEOUT_TRANSMIT, &notify_ready,
 453                                                NULL);
 454 }
 455
 456 static void
 457 testing_connect_cb (struct PeerContext *p1, struct PeerContext *p2, void *cls)
 458 {
 459   char *p1_c = GNUNET_strdup (GNUNET_i2s (&p1->id));
 460
 461   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Peers connected: %s <-> %s\n", p1_c,
 462               GNUNET_i2s (&p2->id));
 463   GNUNET_free (p1_c);
 464
 465   test_connected = GNUNET_YES;
 466   cc = NULL;
 467
 468   GNUNET_SCHEDULER_add_now (&sendtask, NULL);
 469 }
 470
 471 void
 472 start_cb (struct PeerContext *p, void *cls)
 473 {
 474   static int started;
 475
 476   started++;
 477
 478   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Peer %u (`%s') started\n", p->no,
 479               GNUNET_i2s (&p->id));
 480
 481   if (started != 2)
 482     return;
 483
 484   test_connected = GNUNET_NO;
 485   cc = GNUNET_TRANSPORT_TESTING_connect_peers (tth, p1, p2, &testing_connect_cb,
 486                                                NULL);
 487
 488 }
 489
 490 static void
 491 run (void *cls, char *const *args, const char *cfgfile,
 492      const struct GNUNET_CONFIGURATION_Handle *cfg)
 493 {
 494   die_task = GNUNET_SCHEDULER_add_delayed (TIMEOUT, &end_badly, NULL);
 495   test_send_timeout = GNUNET_NO;
 496
 497
 498   p1 = GNUNET_TRANSPORT_TESTING_start_peer (tth, cfg_file_p1, 1,
 499                                             &notify_receive, &notify_connect,
 500                                             &notify_disconnect, &start_cb,
 501                                             NULL);
 502   p2 = GNUNET_TRANSPORT_TESTING_start_peer (tth, cfg_file_p2, 2,
 503                                             &notify_receive, &notify_connect,
 504                                             &notify_disconnect, &start_cb,
 505                                             NULL);
 506
 507
 508   if ((p1 == NULL) || (p2 == NULL))
 509   {
 510     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Fail! Could not start peers!\n");
 511     if (die_task != GNUNET_SCHEDULER_NO_TASK)
 512       GNUNET_SCHEDULER_cancel (die_task);
 513     die_task = GNUNET_SCHEDULER_add_now (&end_badly, NULL);
 514     return;
 515   }
 516
 517
 518 }
 519
 520 static int
 521 check ()
 522 {
 523   static char *const argv[] = { "test-transport-api-unreliability",
 524     "-c",
 525     "test_transport_api_data.conf",
 526 #if VERBOSE
 527     "-L", "DEBUG",
 528 #endif
 529     NULL
 530   };
 531   static struct GNUNET_GETOPT_CommandLineOption options[] = {
 532     GNUNET_GETOPT_OPTION_END
 533   };
 534
 535 #if WRITECONFIG
 536   setTransportOptions ("test_transport_api_data.conf");
 537 #endif
 538   ok = GNUNET_SYSERR;
 539
 540   GNUNET_PROGRAM_run ((sizeof (argv) / sizeof (char *)) - 1, argv, test_name,
 541                       "nohelp", options, &run, &ok);
 542
 543   return ok;
 544 }
 545
 546 int
 547 main (int argc, char *argv[])
 548 {
 549   int ret;
 550   int nat_res;
 551
 552   GNUNET_TRANSPORT_TESTING_get_test_name (argv[0], &test_name);
 553
 554   GNUNET_log_setup (test_name,
 555 #if VERBOSE
 556                     "DEBUG",
 557 #else
 558                     "WARNING",
 559 #endif
 560                     NULL);
 561
 562   GNUNET_TRANSPORT_TESTING_get_test_source_name (__FILE__, &test_source);
 563   GNUNET_TRANSPORT_TESTING_get_test_plugin_name (argv[0], test_source,
 564                                                  &test_plugin);
 565
 566   tth = GNUNET_TRANSPORT_TESTING_init ();
 567
 568   if ((strcmp (test_plugin, "tcp_nat") == 0) ||
 569       (strcmp (test_plugin, "udp_nat") == 0))
 570   {
 571     nat_res = GNUNET_OS_check_helper_binary ("gnunet-nat-server");
 572     if (GNUNET_NO == nat_res)
 573     {
 574       GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "Cannot run NAT test: `%s' %s \n",
 575                   "gnunet-nat-server", "SUID not set");
 576       return 0;
 577     }
 578     if (GNUNET_SYSERR == nat_res)
 579     {
 580       GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "Cannot run NAT test: `%s' %s \n",
 581                   "gnunet-nat-server", "file not found");
 582       return 0;
 583     }
 584   }
 585
 586   GNUNET_TRANSPORT_TESTING_get_config_name (argv[0], &cfg_file_p1, 1);
 587   GNUNET_TRANSPORT_TESTING_get_config_name (argv[0], &cfg_file_p2, 2);
 588
 589   ret = check ();
 590
 591   GNUNET_free (cfg_file_p1);
 592   GNUNET_free (cfg_file_p2);
 593
 594   GNUNET_free (test_source);
 595   GNUNET_free (test_plugin);
 596   GNUNET_free (test_name);
 597
 598
 599   return ret;
 600 }
 601
 602 /* end of test_transport_api_unreliability.c */