src/transport/test_transport_api_unreliability.c

   1 /*
   2      This file is part of GNUnet.
   3      (C) 2009, 2010 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20 /**
  21  * @file transport/test_transport_api_unreliability.c
  22  * @brief test case for transports; ensures messages get
  23  *        through, regardless of order
  24  *
  25  * This test case serves as a base for unreliable
  26  * transport test cases to check that the transports
  27  * achieve reliable message delivery.
  28  */
  29 #include "platform.h"
  30 #include "gnunet_transport_service.h"
  31 #include "gauger.h"
  32 #include "transport-testing.h"
  33
  34 /**
  35  * Testcase timeout
  36  */
  37 #define TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 900)
  38
  39 /**
  40  * How long until we give up on transmitting the message?
  41  */
  42 #define TIMEOUT_TRANSMIT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 60)
  43
  44 static char *test_source;
  45
  46 static char *test_plugin;
  47
  48 static char *test_name;
  49
  50 static int ok;
  51
  52 static GNUNET_SCHEDULER_TaskIdentifier die_task;
  53
  54 struct PeerContext *p1;
  55
  56 struct PeerContext *p2;
  57
  58 struct GNUNET_TRANSPORT_TransmitHandle *th;
  59
  60 char *cfg_file_p1;
  61
  62 char *cfg_file_p2;
  63
  64 uint32_t max_bps_p1;
  65 uint32_t max_bps_p2;
  66
  67 struct GNUNET_TRANSPORT_TESTING_handle *tth;
  68
  69 /*
  70  * Testcase specific declarations
  71  */
  72
  73 /**
  74  * Total number of messages to send
  75  *
  76  * Note that this value must not significantly exceed
  77  * 'MAX_PENDING' in 'gnunet-service-transport.c', otherwise
  78  * messages may be dropped even for a reliable transport.
  79  */
  80 #define TOTAL_MSGS (1024 * 3)
  81
  82 #define MTYPE 12345
  83
  84 GNUNET_NETWORK_STRUCT_BEGIN
  85
  86 struct TestMessage
  87 {
  88   struct GNUNET_MessageHeader header;
  89   uint32_t num;
  90 };
  91 GNUNET_NETWORK_STRUCT_END
  92
  93 static char *test_name;
  94
  95 static int msg_scheduled;
  96 static int msg_sent;
  97 static int msg_recv_expected;
  98 static int msg_recv;
  99
 100 static int test_connected;
 101 static int test_sending;
 102 static int test_send_timeout;
 103
 104 static unsigned long long total_bytes;
 105
 106 static struct GNUNET_TIME_Absolute start_time;
 107
 108 static char bitmap[TOTAL_MSGS / 8];
 109
 110 static GNUNET_TRANSPORT_TESTING_ConnectRequest cc;
 111
 112 /*
 113  * END Testcase specific declarations
 114  */
 115
 116 #if VERBOSE
 117 #define OKPP do { ok++; FPRINTF (stderr, "Now at stage %u at %s:%u\n", ok, __FILE__, __LINE__); } while (0)
 118 #else
 119 #define OKPP do { ok++; } while (0)
 120 #endif
 121
 122 static int
 123 get_bit (const char *map, unsigned int bit);
 124
 125 static void
 126 end ()
 127 {
 128   unsigned long long delta;
 129
 130   char *value_name;
 131
 132   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Stopping peers\n");
 133
 134   delta = GNUNET_TIME_absolute_get_duration (start_time).rel_value;
 135   FPRINTF (stderr, "\nThroughput was %llu kb/s\n",
 136            total_bytes * 1000 / 1024 / delta);
 137   GNUNET_asprintf (&value_name, "unreliable_%s", test_plugin);
 138   GAUGER ("TRANSPORT", value_name, (int) (total_bytes * 1000 / 1024 / delta),
 139           "kb/s");
 140   GNUNET_free (value_name);
 141
 142   if (die_task != GNUNET_SCHEDULER_NO_TASK)
 143     GNUNET_SCHEDULER_cancel (die_task);
 144
 145   if (th != NULL)
 146     GNUNET_TRANSPORT_notify_transmit_ready_cancel (th);
 147   th = NULL;
 148
 149   if (cc != NULL)
 150     GNUNET_TRANSPORT_TESTING_connect_peers_cancel (tth, cc);
 151   cc = NULL;
 152
 153   GNUNET_TRANSPORT_TESTING_stop_peer (tth, p1);
 154   GNUNET_TRANSPORT_TESTING_stop_peer (tth, p2);
 155
 156   GNUNET_TRANSPORT_TESTING_done (tth);
 157
 158   ok = 0;
 159
 160   int i;
 161
 162   for (i = 0; i < TOTAL_MSGS; i++)
 163   {
 164     if (get_bit (bitmap, i) == 0)
 165     {
 166       GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Did not receive message %d\n", i);
 167       ok = -1;
 168     }
 169   }
 170 }
 171
 172 static void
 173 end_badly ()
 174 {
 175   die_task = GNUNET_SCHEDULER_NO_TASK;
 176   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Fail! Stopping peers\n");
 177
 178   if (test_connected == GNUNET_YES)
 179     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Peers got connected\n");
 180   else
 181     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Peers got NOT connected\n");
 182
 183   if (test_sending == GNUNET_NO)
 184     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 185                 "Testcase did not send any messages before timeout\n");
 186   else
 187     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 188                 "Reliability failed: Last message sent %u, Next message scheduled %u, Last message received %u, Message expected %u\n",
 189                 msg_sent, msg_scheduled, msg_recv, msg_recv_expected);
 190   if (test_send_timeout == GNUNET_YES)
 191     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 192                 "Test had timeout while waiting to send data\n");
 193
 194   int i;
 195
 196   for (i = 0; i < TOTAL_MSGS; i++)
 197   {
 198     if (get_bit (bitmap, i) == 0)
 199     {
 200       GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Did not receive message %d\n", i);
 201       ok = -1;
 202     }
 203   }
 204
 205   if (th != NULL)
 206     GNUNET_TRANSPORT_notify_transmit_ready_cancel (th);
 207   th = NULL;
 208
 209   if (cc != NULL)
 210     GNUNET_TRANSPORT_TESTING_connect_peers_cancel (tth, cc);
 211   cc = NULL;
 212
 213   if (p1 != NULL)
 214     GNUNET_TRANSPORT_TESTING_stop_peer (tth, p1);
 215   if (p2 != NULL)
 216     GNUNET_TRANSPORT_TESTING_stop_peer (tth, p2);
 217
 218   GNUNET_TRANSPORT_TESTING_done (tth);
 219
 220   ok = GNUNET_SYSERR;
 221 }
 222
 223
 224 static unsigned int
 225 get_size (unsigned int iter)
 226 {
 227   unsigned int ret;
 228
 229   ret = (iter * iter * iter);
 230
 231 #ifndef LINUX
 232   /* FreeBSD/OSX etc. Unix DGRAMs do not work
 233    * with large messages */
 234   if (0 == strcmp ("unix", test_plugin))
 235     return sizeof (struct TestMessage) + (ret % 1024);
 236 #endif
 237   return sizeof (struct TestMessage) + (ret % 60000);
 238 }
 239
 240
 241 /**
 242  * Sets a bit active in the bitmap.
 243  *
 244  * @param bitIdx which bit to set
 245  * @return GNUNET_SYSERR on error, GNUNET_OK on success
 246  */
 247 static int
 248 set_bit (unsigned int bitIdx)
 249 {
 250   size_t arraySlot;
 251   unsigned int targetBit;
 252
 253   if (bitIdx >= sizeof (bitmap) * 8)
 254   {
 255     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "tried to set bit %d of %d(!?!?)\n",
 256                 bitIdx, sizeof (bitmap) * 8);
 257     return GNUNET_SYSERR;
 258   }
 259   arraySlot = bitIdx / 8;
 260   targetBit = (1L << (bitIdx % 8));
 261   bitmap[arraySlot] |= targetBit;
 262   return GNUNET_OK;
 263 }
 264
 265 /**
 266  * Obtain a bit from bitmap.
 267  * @param map the bitmap
 268  * @param bit index from bitmap
 269  *
 270  * @return Bit \a bit from hashcode \a code
 271  */
 272 static int
 273 get_bit (const char *map, unsigned int bit)
 274 {
 275   if (bit > TOTAL_MSGS)
 276   {
 277     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "get bit %d of %d(!?!?)\n", bit,
 278                 sizeof (bitmap) * 8);
 279     return 0;
 280   }
 281   return ((map)[bit >> 3] & (1 << (bit & 7))) > 0;
 282 }
 283
 284
 285 static void
 286 notify_receive (void *cls, const struct GNUNET_PeerIdentity *peer,
 287                 const struct GNUNET_MessageHeader *message,
 288                 const struct GNUNET_ATS_Information *ats, uint32_t ats_count)
 289 {
 290   static int n;
 291
 292   unsigned int s;
 293   char cbuf[GNUNET_SERVER_MAX_MESSAGE_SIZE - 1];
 294   const struct TestMessage *hdr;
 295
 296   hdr = (const struct TestMessage *) message;
 297
 298   if (MTYPE != ntohs (message->type))
 299     return;
 300   msg_recv_expected = n;
 301   msg_recv = ntohl (hdr->num);
 302   s = get_size (ntohl (hdr->num));
 303
 304   if (ntohs (message->size) != s)
 305   {
 306     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 307                 "Expected message %u of size %u, got %u bytes of message %u\n",
 308                 ntohl (hdr->num), s, ntohs (message->size), ntohl (hdr->num));
 309     if (GNUNET_SCHEDULER_NO_TASK != die_task)
 310       GNUNET_SCHEDULER_cancel (die_task);
 311     test_sending = GNUNET_YES;
 312     die_task = GNUNET_SCHEDULER_add_now (&end_badly, NULL);
 313     return;
 314   }
 315
 316   memset (cbuf, ntohl (hdr->num), s - sizeof (struct TestMessage));
 317   if (0 != memcmp (cbuf, &hdr[1], s - sizeof (struct TestMessage)))
 318   {
 319     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 320                 "Expected message %u with bits %u, but body did not match\n",
 321                 ntohl (hdr->num), (unsigned char) n);
 322     if (GNUNET_SCHEDULER_NO_TASK != die_task)
 323       GNUNET_SCHEDULER_cancel (die_task);
 324     test_sending = GNUNET_YES;
 325     die_task = GNUNET_SCHEDULER_add_now (&end_badly, NULL);
 326     return;
 327   }
 328 #if VERBOSE
 329   if (ntohl (hdr->num) % 5 == 0)
 330   {
 331     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got message %u of size %u\n",
 332                 ntohl (hdr->num), ntohs (message->size));
 333   }
 334 #endif
 335   n++;
 336   if (GNUNET_SYSERR == set_bit (ntohl (hdr->num)))
 337   {
 338       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 339                   _("Message id %u is bigger than maxmimum number of messages %u expected\n"),
 340                   ntohl (hdr->num), TOTAL_MSGS);
 341   }
 342   test_sending = GNUNET_YES;
 343   if (0 == (n % (TOTAL_MSGS / 100)))
 344   {
 345     FPRINTF (stderr, "%s",  ".");
 346     if (GNUNET_SCHEDULER_NO_TASK != die_task)
 347       GNUNET_SCHEDULER_cancel (die_task);
 348     die_task = GNUNET_SCHEDULER_add_delayed (TIMEOUT, &end_badly, NULL);
 349   }
 350   if (n == TOTAL_MSGS)
 351   {
 352     end ();
 353   }
 354 }
 355
 356
 357 static size_t
 358 notify_ready (void *cls, size_t size, void *buf)
 359 {
 360   static int n;
 361   char *cbuf = buf;
 362   struct TestMessage hdr;
 363   unsigned int s;
 364   unsigned int ret;
 365
 366   th = NULL;
 367
 368   if (buf == NULL)
 369   {
 370     test_send_timeout = GNUNET_YES;
 371     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 372                 "Timeout occurred while waiting for transmit_ready for msg %u of %u\n",
 373                 msg_scheduled, TOTAL_MSGS);
 374     if (GNUNET_SCHEDULER_NO_TASK != die_task)
 375       GNUNET_SCHEDULER_cancel (die_task);
 376     die_task = GNUNET_SCHEDULER_add_now (&end_badly, NULL);
 377     ok = 42;
 378     return 0;
 379   }
 380   ret = 0;
 381   s = get_size (n);
 382   GNUNET_assert (size >= s);
 383   GNUNET_assert (buf != NULL);
 384   GNUNET_assert (n < TOTAL_MSGS);
 385   cbuf = buf;
 386   do
 387   {
 388     GNUNET_assert (n < TOTAL_MSGS);
 389     hdr.header.size = htons (s);
 390     hdr.header.type = htons (MTYPE);
 391     hdr.num = htonl (n);
 392     msg_sent = n;
 393     memcpy (&cbuf[ret], &hdr, sizeof (struct TestMessage));
 394     ret += sizeof (struct TestMessage);
 395     memset (&cbuf[ret], n, s - sizeof (struct TestMessage));
 396     ret += s - sizeof (struct TestMessage);
 397
 398 #if VERBOSE
 399     if (n % 5000 == 0)
 400     {
 401       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Sending message %u of size %u\n", n,
 402                   s);
 403     }
 404 #endif
 405     n++;
 406     s = get_size (n);
 407     if (0 == GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, 16))
 408       break;                    /* sometimes pack buffer full, sometimes not */
 409   }
 410   while ((size - ret >= s) && (n < TOTAL_MSGS));
 411   if (n < TOTAL_MSGS)
 412   {
 413     th = GNUNET_TRANSPORT_notify_transmit_ready (p2->th, &p1->id, s, 0,
 414                                                  TIMEOUT_TRANSMIT,
 415                                                  &notify_ready, NULL);
 416     msg_scheduled = n;
 417   }
 418   else
 419   {
 420     FPRINTF (stderr, "%s",  "\n");
 421     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "All messages scheduled to be sent\n");
 422     if (GNUNET_SCHEDULER_NO_TASK != die_task)
 423       GNUNET_SCHEDULER_cancel (die_task);
 424     die_task = GNUNET_SCHEDULER_add_delayed (TIMEOUT, &end_badly, NULL);
 425   }
 426   if (n % 5000 == 0)
 427   {
 428     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 429                 "Returning total message block of size %u\n", ret);
 430   }
 431   total_bytes += ret;
 432   return ret;
 433 }
 434
 435
 436 static void
 437 notify_connect (void *cls, const struct GNUNET_PeerIdentity *peer,
 438                 const struct GNUNET_ATS_Information *ats, uint32_t ats_count)
 439 {
 440
 441   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Peer `%4s' connected to us (%p)!\n",
 442               GNUNET_i2s (peer), cls);
 443 }
 444
 445
 446 static void
 447 notify_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
 448 {
 449   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Peer `%4s' disconnected (%p)!\n",
 450               GNUNET_i2s (peer), cls);
 451   if (th != NULL)
 452     GNUNET_TRANSPORT_notify_transmit_ready_cancel (th);
 453   th = NULL;
 454 }
 455
 456 static void
 457 sendtask ()
 458 {
 459   start_time = GNUNET_TIME_absolute_get ();
 460   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Starting to send %u messages\n",
 461               TOTAL_MSGS);
 462   th = GNUNET_TRANSPORT_notify_transmit_ready (p2->th, &p1->id, get_size (0), 0,
 463                                                TIMEOUT_TRANSMIT, &notify_ready,
 464                                                NULL);
 465 }
 466
 467 static void
 468 testing_connect_cb (struct PeerContext *p1, struct PeerContext *p2, void *cls)
 469 {
 470   char *p1_c = GNUNET_strdup (GNUNET_i2s (&p1->id));
 471
 472   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Peers connected: %s <-> %s\n", p1_c,
 473               GNUNET_i2s (&p2->id));
 474   GNUNET_free (p1_c);
 475
 476   test_connected = GNUNET_YES;
 477   cc = NULL;
 478
 479   GNUNET_SCHEDULER_add_now (&sendtask, NULL);
 480 }
 481
 482 void
 483 start_cb (struct PeerContext *p, void *cls)
 484 {
 485   static int started;
 486
 487   started++;
 488
 489   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Peer %u (`%s') started\n", p->no,
 490               GNUNET_i2s (&p->id));
 491
 492   if (started != 2)
 493     return;
 494
 495   test_connected = GNUNET_NO;
 496   cc = GNUNET_TRANSPORT_TESTING_connect_peers (tth, p1, p2, &testing_connect_cb,
 497                                                NULL);
 498
 499 }
 500
 501 static void
 502 run (void *cls, char *const *args, const char *cfgfile,
 503      const struct GNUNET_CONFIGURATION_Handle *cfg)
 504 {
 505   die_task = GNUNET_SCHEDULER_add_delayed (TIMEOUT, &end_badly, NULL);
 506   test_send_timeout = GNUNET_NO;
 507
 508
 509   p1 = GNUNET_TRANSPORT_TESTING_start_peer (tth, cfg_file_p1, 1,
 510                                             &notify_receive, &notify_connect,
 511                                             &notify_disconnect, &start_cb,
 512                                             NULL);
 513   p2 = GNUNET_TRANSPORT_TESTING_start_peer (tth, cfg_file_p2, 2,
 514                                             &notify_receive, &notify_connect,
 515                                             &notify_disconnect, &start_cb,
 516                                             NULL);
 517
 518
 519   if ((p1 == NULL) || (p2 == NULL))
 520   {
 521     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Fail! Could not start peers!\n");
 522     if (die_task != GNUNET_SCHEDULER_NO_TASK)
 523       GNUNET_SCHEDULER_cancel (die_task);
 524     die_task = GNUNET_SCHEDULER_add_now (&end_badly, NULL);
 525     return;
 526   }
 527
 528
 529 }
 530
 531 static int
 532 check ()
 533 {
 534   static char *const argv[] = { "test-transport-api-unreliability",
 535     "-c",
 536     "test_transport_api_data.conf",
 537     NULL
 538   };
 539   static struct GNUNET_GETOPT_CommandLineOption options[] = {
 540     GNUNET_GETOPT_OPTION_END
 541   };
 542
 543 #if WRITECONFIG
 544   setTransportOptions ("test_transport_api_data.conf");
 545 #endif
 546   ok = GNUNET_SYSERR;
 547
 548   GNUNET_PROGRAM_run ((sizeof (argv) / sizeof (char *)) - 1, argv, test_name,
 549                       "nohelp", options, &run, &ok);
 550
 551   return ok;
 552 }
 553
 554 int
 555 main (int argc, char *argv[])
 556 {
 557   int ret;
 558
 559   GNUNET_TRANSPORT_TESTING_get_test_name (argv[0], &test_name);
 560
 561   GNUNET_log_setup (test_name,
 562                     "WARNING",
 563                     NULL);
 564
 565   GNUNET_TRANSPORT_TESTING_get_test_source_name (__FILE__, &test_source);
 566   GNUNET_TRANSPORT_TESTING_get_test_plugin_name (argv[0], test_source,
 567                                                  &test_plugin);
 568
 569   tth = GNUNET_TRANSPORT_TESTING_init ();
 570
 571   GNUNET_TRANSPORT_TESTING_get_config_name (argv[0], &cfg_file_p1, 1);
 572   GNUNET_TRANSPORT_TESTING_get_config_name (argv[0], &cfg_file_p2, 2);
 573
 574   ret = check ();
 575
 576   GNUNET_free (cfg_file_p1);
 577   GNUNET_free (cfg_file_p2);
 578
 579   GNUNET_free (test_source);
 580   GNUNET_free (test_plugin);
 581   GNUNET_free (test_name);
 582
 583
 584   return ret;
 585 }
 586
 587 /* end of test_transport_api_unreliability.c */