src/ats-tests/perf_ats.c

   1 /*
   2    This file is part of GNUnet.
   3    Copyright (C) 2010-2013, 2016 GNUnet e.V.
   4
   5    GNUnet is free software: you can redistribute it and/or modify it
   6    under the terms of the GNU Affero General Public License as published
   7    by the Free Software Foundation, either version 3 of the License,
   8    or (at your option) any later version.
   9
  10    GNUnet is distributed in the hope that it will be useful, but
  11    WITHOUT ANY WARRANTY; without even the implied warranty of
  12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13    Affero General Public License for more details.
  14
  15    You should have received a copy of the GNU Affero General Public License
  16    along with this program.  If not, see <http://www.gnu.org/licenses/>.
  17
  18      SPDX-License-Identifier: AGPL3.0-or-later
  19  */
  20 /**
  21  * @file ats/perf_ats.c
  22  * @brief ats benchmark: start peers and modify preferences, monitor change over time
  23  * @author Christian Grothoff
  24  * @author Matthias Wachs
  25  */
  26 #include "platform.h"
  27 #include "gnunet_util_lib.h"
  28 #include "gnunet_testbed_service.h"
  29 #include "gnunet_ats_service.h"
  30 #include "gnunet_core_service.h"
  31 #include "ats-testing.h"
  32
  33
  34 #define TEST_ATS_PREFRENCE_FREQUENCY GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 1)
  35 #define TEST_ATS_PREFRENCE_START 1.0
  36 #define TEST_ATS_PREFRENCE_DELTA 1.0
  37
  38 #define TEST_MESSAGE_FREQUENCY GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 1)
  39
  40 #define TEST_TIMEOUT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 120)
  41 #define BENCHMARK_DURATION GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 10)
  42 #define LOGGING_FREQUENCY GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_MILLISECONDS, 500)
  43 #define TESTNAME_PREFIX "perf_ats_"
  44 #define DEFAULT_SLAVES_NUM 2
  45 #define DEFAULT_MASTERS_NUM 1
  46
  47 /**
  48  * timeout task
  49  */
  50 static struct GNUNET_SCHEDULER_Task *timeout_task;
  51
  52 /**
  53  * Progress task
  54  */
  55 static struct GNUNET_SCHEDULER_Task *progress_task;
  56
  57 /**
  58  * Test result
  59  */
  60 static int result;
  61
  62 /**
  63  * Test result logging
  64  */
  65 static int logging;
  66
  67 /**
  68  * Test core (#GNUNET_YES) or transport (#GNUNET_NO)
  69  */
  70 static int test_core;
  71
  72 /**
  73  * Solver string
  74  */
  75 static char *solver;
  76
  77 /**
  78  * Preference string
  79  */
  80 static char *testname;
  81
  82 /**
  83  * Preference string
  84  */
  85 static char *pref_str;
  86
  87 /**
  88  * ATS preference value
  89  */
  90 static int pref_val;
  91
  92 /**
  93  * Benchmark duration
  94  */
  95 static struct GNUNET_TIME_Relative perf_duration;
  96
  97 /**
  98  * Logging frequency
  99  */
 100 static struct GNUNET_TIME_Relative log_frequency;
 101
 102 /**
 103  * Number master peers
 104  */
 105 static unsigned int num_masters;
 106
 107 /**
 108  * Array of master peers
 109  */
 110 static struct BenchmarkPeer *mps;
 111
 112 /**
 113  * Number slave peers
 114  */
 115 static unsigned int num_slaves;
 116
 117 /**
 118  * Array of master peers
 119  */
 120 static struct BenchmarkPeer *sps;
 121
 122 static struct LoggingHandle *l;
 123
 124
 125 static void
 126 evaluate()
 127 {
 128   int c_m;
 129   int c_s;
 130   unsigned int duration;
 131   struct BenchmarkPeer *mp;
 132   struct BenchmarkPartner *p;
 133
 134   unsigned int kb_sent_sec;
 135   double kb_sent_percent;
 136   unsigned int kb_recv_sec;
 137   double kb_recv_percent;
 138   unsigned int rtt;
 139
 140   duration = 1 + (perf_duration.rel_value_us / (1000 * 1000));
 141   for (c_m = 0; c_m < num_masters; c_m++)
 142     {
 143       mp = &mps[c_m];
 144       fprintf(stderr,
 145               "Master [%u]: sent: %u KiB in %u sec. = %u KiB/s, received: %u KiB in %u sec. = %u KiB/s\n",
 146               mp->no, mp->total_bytes_sent / 1024, duration,
 147               (mp->total_bytes_sent / 1024) / duration,
 148               mp->total_bytes_received / 1024, duration,
 149               (mp->total_bytes_received / 1024) / duration);
 150
 151       for (c_s = 0; c_s < num_slaves; c_s++)
 152         {
 153           p = &mp->partners[c_s];
 154           kb_sent_sec = 0;
 155           kb_recv_sec = 0;
 156           kb_sent_percent = 0.0;
 157           kb_recv_percent = 0.0;
 158           rtt = 0;
 159
 160           if (duration > 0)
 161             {
 162               kb_sent_sec = (p->bytes_sent / 1024) / duration;
 163               kb_recv_sec = (p->bytes_received / 1024) / duration;
 164             }
 165
 166           if (mp->total_bytes_sent > 0)
 167             kb_sent_percent = ((double)p->bytes_sent * 100) / mp->total_bytes_sent;
 168           if (mp->total_bytes_received > 0)
 169             kb_recv_percent = ((double)p->bytes_received * 100) / mp->total_bytes_received;
 170           if (1000 * p->messages_sent > 0)
 171             rtt = p->total_app_rtt / (1000 * p->messages_sent);
 172           fprintf(stderr,
 173                   "%c Master [%u] -> Slave [%u]: sent %u KiB/s (%.2f %%), received %u KiB/s (%.2f %%)\n",
 174                   (mp->pref_partner == p->dest) ? '*' : ' ',
 175                   mp->no, p->dest->no,
 176                   kb_sent_sec, kb_sent_percent,
 177                   kb_recv_sec, kb_recv_percent);
 178           fprintf(stderr,
 179                   "%c Master [%u] -> Slave [%u]: Average application layer RTT: %u ms\n",
 180                   (mp->pref_partner == p->dest) ? '*' : ' ',
 181                   mp->no, p->dest->no, rtt);
 182         }
 183     }
 184 }
 185
 186
 187 /**
 188  * Shutdown nicely
 189  *
 190  * @param cls NULL
 191  */
 192 static void
 193 do_shutdown(void *cls)
 194 {
 195   if (GNUNET_YES == logging)
 196     GNUNET_ATS_TEST_logging_clean_up(l);
 197   if (NULL != timeout_task)
 198     {
 199       GNUNET_SCHEDULER_cancel(timeout_task);
 200       timeout_task = NULL;
 201     }
 202   if (NULL != progress_task)
 203     {
 204       fprintf(stderr, "0\n");
 205       GNUNET_SCHEDULER_cancel(progress_task);
 206       progress_task = NULL;
 207     }
 208   GNUNET_log(GNUNET_ERROR_TYPE_INFO,
 209              "Benchmarking done\n");
 210   GNUNET_ATS_TEST_shutdown_topology();
 211 }
 212
 213
 214 /**
 215  * Shutdown nicely
 216  *
 217  * @param cls NULL
 218  */
 219 static void
 220 do_timeout(void *cls)
 221 {
 222   GNUNET_log(GNUNET_ERROR_TYPE_INFO,
 223              "Terminating with timeout\n");
 224   timeout_task = NULL;
 225   evaluate();
 226   GNUNET_SCHEDULER_shutdown();
 227 }
 228
 229
 230 static void
 231 print_progress(void *cls)
 232 {
 233   static int calls;
 234
 235   progress_task = NULL;
 236   fprintf(stderr,
 237           "%llu..",
 238           (long long unsigned)perf_duration.rel_value_us / (1000 * 1000) - calls);
 239   calls++;
 240
 241   progress_task = GNUNET_SCHEDULER_add_delayed(GNUNET_TIME_UNIT_SECONDS,
 242                                                &print_progress,
 243                                                NULL);
 244 }
 245
 246
 247 static void
 248 ats_pref_task(void *cls)
 249 {
 250   struct BenchmarkPeer *me = cls;
 251
 252   me->ats_task = NULL;
 253
 254   GNUNET_log(GNUNET_ERROR_TYPE_DEBUG, " Master [%u] set preference for slave [%u] to %f\n",
 255              me->no, me->pref_partner->no, me->pref_value);
 256   GNUNET_ATS_performance_change_preference(me->ats_perf_handle,
 257                                            &me->pref_partner->id,
 258                                            pref_val, me->pref_value, GNUNET_ATS_PREFERENCE_END);
 259   me->pref_value += TEST_ATS_PREFRENCE_DELTA;
 260   me->ats_task = GNUNET_SCHEDULER_add_delayed(TEST_ATS_PREFRENCE_FREQUENCY,
 261                                               &ats_pref_task, cls);
 262 }
 263
 264
 265 static void
 266 start_benchmark(void *cls)
 267 {
 268   int c_m;
 269   int c_s;
 270
 271   progress_task = GNUNET_SCHEDULER_add_now(&print_progress,
 272                                            NULL);
 273
 274   GNUNET_log(GNUNET_ERROR_TYPE_INFO,
 275              "Topology connected, start benchmarking...\n");
 276
 277   /* Start sending test messages */
 278   for (c_m = 0; c_m < num_masters; c_m++)
 279     {
 280       for (c_s = 0; c_s < num_slaves; c_s++)
 281         {
 282           GNUNET_ATS_TEST_generate_traffic_start(&mps[c_m],
 283                                                  &mps[c_m].partners[c_s],
 284                                                  GNUNET_ATS_TEST_TG_LINEAR,
 285                                                  UINT32_MAX,
 286                                                  UINT32_MAX,
 287                                                  GNUNET_TIME_UNIT_MINUTES,
 288                                                  GNUNET_TIME_UNIT_FOREVER_REL);
 289         }
 290       if (pref_val != GNUNET_ATS_PREFERENCE_END)
 291         mps[c_m].ats_task = GNUNET_SCHEDULER_add_now(&ats_pref_task,
 292                                                      &mps[c_m]);
 293     }
 294
 295   if (GNUNET_YES == logging)
 296     l = GNUNET_ATS_TEST_logging_start(log_frequency,
 297                                       testname, mps,
 298                                       num_masters, num_slaves,
 299                                       GNUNET_NO);
 300 }
 301
 302
 303 static void
 304 do_benchmark(void *cls,
 305              struct BenchmarkPeer *masters,
 306              struct BenchmarkPeer *slaves)
 307 {
 308   mps = masters;
 309   sps = slaves;
 310   GNUNET_SCHEDULER_add_shutdown(&do_shutdown,
 311                                 NULL);
 312   timeout_task = GNUNET_SCHEDULER_add_delayed(perf_duration,
 313                                               &do_timeout,
 314                                               NULL);
 315   progress_task = GNUNET_SCHEDULER_add_now(&start_benchmark,
 316                                            NULL);
 317 }
 318
 319
 320 static struct BenchmarkPartner *
 321 find_partner(struct BenchmarkPeer *me,
 322              const struct GNUNET_PeerIdentity *peer)
 323 {
 324   int c_m;
 325
 326   GNUNET_assert(NULL != me);
 327   GNUNET_assert(NULL != peer);
 328
 329   for (c_m = 0; c_m < me->num_partners; c_m++)
 330     {
 331       /* Find a partner with other as destination */
 332       if (0 == GNUNET_memcmp(peer, &me->partners[c_m].dest->id))
 333         {
 334           return &me->partners[c_m];
 335         }
 336     }
 337   return NULL;
 338 }
 339
 340
 341 static void
 342 log_request_cb(void *cls,
 343                const struct GNUNET_HELLO_Address *address,
 344                int address_active,
 345                struct GNUNET_BANDWIDTH_Value32NBO bandwidth_out,
 346                struct GNUNET_BANDWIDTH_Value32NBO bandwidth_in,
 347                const struct GNUNET_ATS_Properties *ats)
 348 {
 349   struct BenchmarkPeer *me = cls;
 350   struct BenchmarkPartner *p;
 351   char *peer_id;
 352
 353   p = find_partner(me, &address->peer);
 354   if (NULL == p)
 355     {
 356       /* This is not one of my partners
 357        * Will happen since the peers will connect to each other due to gossiping
 358        */
 359       return;
 360     }
 361   peer_id = GNUNET_strdup(GNUNET_i2s(&me->id));
 362
 363   if ((p->bandwidth_in != ntohl(bandwidth_in.value__)) ||
 364       (p->bandwidth_out != ntohl(bandwidth_out.value__)))
 365     p->bandwidth_in = ntohl(bandwidth_in.value__);
 366   p->bandwidth_out = ntohl(bandwidth_out.value__);
 367
 368   GNUNET_log(GNUNET_ERROR_TYPE_DEBUG,
 369              "%s [%u] received ATS information for peers `%s'\n",
 370              (GNUNET_YES == p->me->master) ? "Master" : "Slave",
 371              p->me->no,
 372              GNUNET_i2s(&p->dest->id));
 373
 374   GNUNET_free(peer_id);
 375   if (NULL != l)
 376     GNUNET_ATS_TEST_logging_now(l);
 377 }
 378
 379
 380 /*
 381  * Start the performance test case
 382  */
 383 int
 384 main(int argc, char *argv[])
 385 {
 386   char *tmp;
 387   char *tmp_sep;
 388   char *test_name;
 389   char *conf_name;
 390   char *comm_name;
 391   char *dotexe;
 392   char *prefs[] = GNUNET_ATS_PreferenceTypeString;
 393   int c;
 394
 395   result = 0;
 396
 397   /* Determine testname
 398    * perf_ats_<solver>_<transport>_<preference>[.exe]*/
 399
 400   /* Find test prefix, store in temp */
 401   tmp = strstr(argv[0], TESTNAME_PREFIX);
 402   if (NULL == tmp)
 403     {
 404       fprintf(stderr, "Unable to parse test name `%s'\n", argv[0]);
 405       return GNUNET_SYSERR;
 406     }
 407
 408   /* Set tmp to end of test name prefix */
 409   tmp += strlen(TESTNAME_PREFIX);
 410
 411   /* Determine solver name */
 412   solver = GNUNET_strdup(tmp);
 413   /* Remove .exe prefix */
 414   if (NULL != (dotexe = strstr(solver, ".exe")) && dotexe[4] == '\0')
 415     dotexe[0] = '\0';
 416
 417   /* Determine first '_' after solver */
 418   tmp_sep = strchr(solver, '_');
 419   if (NULL == tmp_sep)
 420     {
 421       fprintf(stderr, "Unable to parse test name `%s'\n", argv[0]);
 422       GNUNET_free(solver);
 423       return GNUNET_SYSERR;
 424     }
 425   tmp_sep[0] = '\0';
 426   comm_name = GNUNET_strdup(&tmp_sep[1]);
 427   tmp_sep = strchr(comm_name, '_');
 428   if (NULL == tmp_sep)
 429     {
 430       fprintf(stderr, "Unable to parse test name `%s'\n", argv[0]);
 431       GNUNET_free(solver);
 432       return GNUNET_SYSERR;
 433     }
 434   tmp_sep[0] = '\0';
 435   for (c = 0; c <= strlen(comm_name); c++)
 436     comm_name[c] = toupper(comm_name[c]);
 437   if (0 == strcmp(comm_name, "CORE"))
 438     test_core = GNUNET_YES;
 439   else if (0 == strcmp(comm_name, "TRANSPORT"))
 440     test_core = GNUNET_NO;
 441   else
 442     {
 443       GNUNET_free(comm_name);
 444       GNUNET_free(solver);
 445       return GNUNET_SYSERR;
 446     }
 447
 448   pref_str = GNUNET_strdup(tmp_sep + 1);
 449
 450   GNUNET_asprintf(&conf_name, "%s%s_%s.conf", TESTNAME_PREFIX, solver,
 451                   pref_str);
 452   GNUNET_asprintf(&test_name, "%s%s_%s", TESTNAME_PREFIX, solver, pref_str);
 453
 454   for (c = 0; c <= strlen(pref_str); c++)
 455     pref_str[c] = toupper(pref_str[c]);
 456   pref_val = -1;
 457
 458   if (0 != strcmp(pref_str, "NONE"))
 459     {
 460       for (c = 0; c < GNUNET_ATS_PREFERENCE_END; c++)
 461         {
 462           if (0 == strcmp(pref_str, prefs[c]))
 463             {
 464               pref_val = c;
 465               break;
 466             }
 467         }
 468     }
 469   else
 470     {
 471       /* abuse terminator to indicate no pref */
 472       pref_val = GNUNET_ATS_PREFERENCE_END;
 473     }
 474   if (-1 == pref_val)
 475     {
 476       fprintf(stderr, "Unknown preference: `%s'\n", pref_str);
 477       GNUNET_free(solver);
 478       GNUNET_free(pref_str);
 479       GNUNET_free(comm_name);
 480       return -1;
 481     }
 482
 483   for (c = 0; c < (argc - 1); c++)
 484     {
 485       if (0 == strcmp(argv[c], "-d"))
 486         break;
 487     }
 488   if (c < argc - 1)
 489     {
 490       if (GNUNET_OK != GNUNET_STRINGS_fancy_time_to_relative(argv[c + 1], &perf_duration))
 491         fprintf(stderr, "Failed to parse duration `%s'\n", argv[c + 1]);
 492     }
 493   else
 494     {
 495       perf_duration = BENCHMARK_DURATION;
 496     }
 497   fprintf(stderr, "Running benchmark for %llu secs\n", (unsigned long long)(perf_duration.rel_value_us) / (1000 * 1000));
 498
 499   for (c = 0; c < (argc - 1); c++)
 500     {
 501       if (0 == strcmp(argv[c], "-s"))
 502         break;
 503     }
 504   if (c < argc - 1)
 505     {
 506       if ((0L != (num_slaves = strtol(argv[c + 1], NULL, 10)))
 507           && (num_slaves >= 1))
 508         fprintf(stderr, "Starting %u slave peers\n", num_slaves);
 509       else
 510         num_slaves = DEFAULT_SLAVES_NUM;
 511     }
 512   else
 513     num_slaves = DEFAULT_SLAVES_NUM;
 514
 515   for (c = 0; c < (argc - 1); c++)
 516     {
 517       if (0 == strcmp(argv[c], "-m"))
 518         break;
 519     }
 520   if (c < argc - 1)
 521     {
 522       if ((0L != (num_masters = strtol(argv[c + 1], NULL, 10)))
 523           && (num_masters >= 2))
 524         fprintf(stderr, "Starting %u master peers\n", num_masters);
 525       else
 526         num_masters = DEFAULT_MASTERS_NUM;
 527     }
 528   else
 529     num_masters = DEFAULT_MASTERS_NUM;
 530
 531   logging = GNUNET_NO;
 532   for (c = 0; c < argc; c++)
 533     {
 534       if (0 == strcmp(argv[c], "-l"))
 535         logging = GNUNET_YES;
 536     }
 537
 538   if (GNUNET_YES == logging)
 539     {
 540       for (c = 0; c < (argc - 1); c++)
 541         {
 542           if (0 == strcmp(argv[c], "-f"))
 543             break;
 544         }
 545       if (c < argc - 1)
 546         {
 547           if (GNUNET_OK != GNUNET_STRINGS_fancy_time_to_relative(argv[c + 1], &log_frequency))
 548             fprintf(stderr, "Failed to parse duration `%s'\n", argv[c + 1]);
 549         }
 550       else
 551         {
 552           log_frequency = LOGGING_FREQUENCY;
 553         }
 554       fprintf(stderr, "Using log frequency %llu ms\n",
 555               (unsigned long long)(log_frequency.rel_value_us) / (1000));
 556     }
 557
 558   GNUNET_asprintf(&testname, "%s_%s_%s", solver, comm_name, pref_str);
 559
 560   if (num_slaves < num_masters)
 561     {
 562       fprintf(stderr,
 563               "Number of master peers is lower than slaves! exit...\n");
 564       GNUNET_free(test_name);
 565       GNUNET_free(solver);
 566       GNUNET_free(pref_str);
 567       GNUNET_free(comm_name);
 568       return GNUNET_SYSERR;
 569     }
 570
 571   /**
 572    * Setup the topology
 573    */
 574   GNUNET_ATS_TEST_create_topology("perf-ats",
 575                                   conf_name,
 576                                   num_slaves,
 577                                   num_masters,
 578                                   test_core,
 579                                   &do_benchmark,
 580                                   NULL,
 581                                   &log_request_cb);
 582
 583   return result;
 584 }
 585
 586 /* end of file perf_ats.c */