5db2f3b244a839961c39af54e639cbff1dd50c0a
[oweals/gnunet.git] / src / ats-tests / perf_ats.c
1 /*
2  This file is part of GNUnet.
3  Copyright (C) 2010-2013 Christian Grothoff (and other contributing authors)
4
5  GNUnet is free software; you can redistribute it and/or modify
6  it under the terms of the GNU General Public License as published
7  by the Free Software Foundation; either version 3, or (at your
8  option) any later version.
9
10  GNUnet is distributed in the hope that it will be useful, but
11  WITHOUT ANY WARRANTY; without even the implied warranty of
12  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  General Public License for more details.
14
15  You should have received a copy of the GNU General Public License
16  along with GNUnet; see the file COPYING.  If not, write to the
17  Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18  Boston, MA 02111-1307, USA.
19  */
20 /**
21  * @file ats/perf_ats.c
22  * @brief ats benchmark: start peers and modify preferences, monitor change over time
23  * @author Christian Grothoff
24  * @author Matthias Wachs
25  */
26 #include "platform.h"
27 #include "gnunet_util_lib.h"
28 #include "gnunet_testbed_service.h"
29 #include "gnunet_ats_service.h"
30 #include "gnunet_core_service.h"
31 #include "ats-testing.h"
32
33
34 #define TEST_ATS_PREFRENCE_FREQUENCY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 1)
35 #define TEST_ATS_PREFRENCE_START 1.0
36 #define TEST_ATS_PREFRENCE_DELTA 1.0
37
38 #define TEST_MESSAGE_FREQUENCY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 1)
39
40 #define TEST_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 120)
41 #define BENCHMARK_DURATION GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 10)
42 #define LOGGING_FREQUENCY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MILLISECONDS, 500)
43 #define TESTNAME_PREFIX "perf_ats_"
44 #define DEFAULT_SLAVES_NUM 2
45 #define DEFAULT_MASTERS_NUM 1
46 /**
47  * Shutdown task
48  */
49 static struct GNUNET_SCHEDULER_Task * shutdown_task;
50
51 /**
52  * Progress task
53  */
54 static struct GNUNET_SCHEDULER_Task * progress_task;
55
56 /**
57  * Test result
58  */
59 static int result;
60
61 /**
62  * Test result logging
63  */
64 static int logging;
65
66 /**Test core (GNUNET_YES) or transport (GNUNET_NO)
67  */
68 static int test_core;
69
70 /**
71  * Solver string
72  */
73 static char *solver;
74
75 /**
76  * Preference string
77  */
78 static char *testname;
79
80 /**
81  * Preference string
82  */
83 static char *pref_str;
84
85 /**
86  * ATS preference value
87  */
88 static int pref_val;
89
90 /**
91  * Benchmark duration
92  */
93 static struct GNUNET_TIME_Relative perf_duration;
94
95 /**
96  * Logging frequency
97  */
98 static struct GNUNET_TIME_Relative log_frequency;
99
100 /**
101  * Number master peers
102  */
103 static unsigned int num_masters;
104
105 /**
106  * Array of master peers
107  */
108 static struct BenchmarkPeer *mps;
109
110 /**
111  * Number slave peers
112  */
113 static unsigned int num_slaves;
114
115 /**
116  * Array of master peers
117  */
118 static struct BenchmarkPeer *sps;
119
120 static struct LoggingHandle *l;
121
122 static void
123 evaluate ()
124 {
125   int c_m;
126   int c_s;
127   unsigned int duration;
128   struct BenchmarkPeer *mp;
129   struct BenchmarkPartner *p;
130
131   unsigned int kb_sent_sec;
132   double kb_sent_percent;
133   unsigned int kb_recv_sec;
134   double kb_recv_percent;
135   unsigned int rtt;
136
137   duration = (perf_duration.rel_value_us / (1000 * 1000));
138   for (c_m = 0; c_m < num_masters; c_m++)
139   {
140     mp = &mps[c_m];
141     fprintf (stderr,
142         _("Master [%u]: sent: %u KiB in %u sec. = %u KiB/s, received: %u KiB in %u sec. = %u KiB/s\n"),
143         mp->no, mp->total_bytes_sent / 1024, duration,
144         (mp->total_bytes_sent / 1024) / duration,
145         mp->total_bytes_received / 1024, duration,
146         (mp->total_bytes_received / 1024) / duration);
147
148     for (c_s = 0; c_s < num_slaves; c_s++)
149     {
150       p = &mp->partners[c_s];
151
152       kb_sent_sec = 0;
153       kb_recv_sec = 0;
154       kb_sent_percent = 0.0;
155       kb_recv_percent = 0.0;
156       rtt = 0;
157
158       if (duration > 0)
159       {
160           kb_sent_sec = (p->bytes_sent / 1024) / duration;
161           kb_recv_sec = (p->bytes_received / 1024) / duration;
162       }
163
164       if (mp->total_bytes_sent > 0)
165           kb_sent_percent = ((double) p->bytes_sent * 100) / mp->total_bytes_sent;
166       if (mp->total_bytes_received > 0)
167           kb_recv_percent = ((double) p->bytes_received * 100) / mp->total_bytes_received;
168       if (1000 * p->messages_sent > 0)
169           rtt = p->total_app_rtt / (1000 * p->messages_sent);
170       fprintf (stderr,
171           "%c Master [%u] -> Slave [%u]: sent %u KiB/s (%.2f %%), received %u KiB/s (%.2f %%)\n",
172           (mp->pref_partner == p->dest) ? '*' : ' ',
173           mp->no, p->dest->no,
174           kb_sent_sec, kb_sent_percent,
175                   kb_recv_sec, kb_recv_percent);
176       fprintf (stderr,
177           "%c Master [%u] -> Slave [%u]: Average application layer RTT: %u ms\n",
178           (mp->pref_partner == p->dest) ? '*' : ' ',
179           mp->no, p->dest->no, rtt);
180     }
181   }
182 }
183
184 /**
185  * Shutdown nicely
186  *
187  * @param cls NULL
188  * @param tc the task context
189  */
190 static void
191 do_shutdown (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
192 {
193
194   if (GNUNET_YES == logging)
195     GNUNET_ATS_TEST_logging_clean_up(l);
196
197   shutdown_task = NULL;
198   if (NULL != progress_task)
199   {
200     fprintf (stderr, "0\n");
201     GNUNET_SCHEDULER_cancel (progress_task);
202   }
203   progress_task = NULL;
204
205   evaluate ();
206   GNUNET_log(GNUNET_ERROR_TYPE_INFO, _("Benchmarking done\n"));
207
208   GNUNET_ATS_TEST_shutdown_topology();
209 }
210
211
212 static void
213 print_progress ()
214 {
215   static int calls;
216   progress_task = NULL;
217
218   fprintf (stderr, "%llu..",
219       (long long unsigned) perf_duration.rel_value_us / (1000 * 1000) - calls);
220   calls++;
221
222   progress_task = GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS,
223       &print_progress, NULL );
224 }
225
226 static void
227 ats_pref_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
228 {
229   struct BenchmarkPeer *me = cls;
230
231   me->ats_task = NULL;
232
233   GNUNET_log(GNUNET_ERROR_TYPE_DEBUG, " Master [%u] set preference for slave [%u] to %f\n",
234       me->no, me->pref_partner->no, me->pref_value);
235   GNUNET_ATS_performance_change_preference (me->ats_perf_handle,
236       &me->pref_partner->id,
237       pref_val, me->pref_value, GNUNET_ATS_PREFERENCE_END);
238   me->pref_value += TEST_ATS_PREFRENCE_DELTA;
239   me->ats_task = GNUNET_SCHEDULER_add_delayed (TEST_ATS_PREFRENCE_FREQUENCY,
240       &ats_pref_task, cls);
241 }
242
243 static void
244 start_benchmark()
245 {
246   int c_m;
247   int c_s;
248
249   GNUNET_log(GNUNET_ERROR_TYPE_INFO, _("Benchmarking start\n"));
250
251   if (NULL != shutdown_task)
252     GNUNET_SCHEDULER_cancel(shutdown_task);
253   shutdown_task = GNUNET_SCHEDULER_add_delayed(perf_duration, &do_shutdown,
254       NULL );
255
256   progress_task = GNUNET_SCHEDULER_add_now(&print_progress, NULL );
257
258   GNUNET_log(GNUNET_ERROR_TYPE_INFO,
259       "Topology connected, start benchmarking...\n");
260
261   /* Start sending test messages */
262   for (c_m = 0; c_m < num_masters; c_m++)
263     {
264       for (c_s = 0; c_s < num_slaves; c_s++)
265       {
266         GNUNET_ATS_TEST_generate_traffic_start (&mps[c_m], &mps[c_m].partners[c_s],
267             GNUNET_ATS_TEST_TG_LINEAR, UINT32_MAX, UINT32_MAX,
268             GNUNET_TIME_UNIT_MINUTES, GNUNET_TIME_UNIT_FOREVER_REL);
269       }
270       if (pref_val != GNUNET_ATS_PREFERENCE_END)
271         mps[c_m].ats_task = GNUNET_SCHEDULER_add_now(&ats_pref_task, &mps[c_m]);
272     }
273
274   if (GNUNET_YES == logging)
275     l = GNUNET_ATS_TEST_logging_start (log_frequency, testname, mps,
276         num_masters, num_slaves, GNUNET_NO);
277 }
278
279 static void
280 do_benchmark (void *cls, struct BenchmarkPeer *masters, struct BenchmarkPeer *slaves)
281 {
282   mps = masters;
283   sps = slaves;
284
285   GNUNET_SCHEDULER_add_now(&start_benchmark, NULL);
286 }
287
288
289
290
291 static struct BenchmarkPartner *
292 find_partner (struct BenchmarkPeer *me, const struct GNUNET_PeerIdentity * peer)
293 {
294   int c_m;
295   GNUNET_assert (NULL != me);
296   GNUNET_assert (NULL != peer);
297
298   for (c_m = 0; c_m < me->num_partners; c_m++)
299   {
300     /* Find a partner with other as destination */
301     if (0 == memcmp (peer, &me->partners[c_m].dest->id,
302             sizeof(struct GNUNET_PeerIdentity)))
303     {
304       return &me->partners[c_m];
305     }
306   }
307   return NULL;
308 }
309
310 static void
311 test_recv_cb (void *cls,
312                       const struct GNUNET_PeerIdentity * peer,
313                       const struct GNUNET_MessageHeader * message)
314 {
315
316 }
317
318
319 static void
320 log_request_cb (void *cls, const struct GNUNET_HELLO_Address *address,
321     int address_active, struct GNUNET_BANDWIDTH_Value32NBO bandwidth_out,
322     struct GNUNET_BANDWIDTH_Value32NBO bandwidth_in,
323     const struct GNUNET_ATS_Properties *ats)
324 {
325   struct BenchmarkPeer *me = cls;
326   struct BenchmarkPartner *p;
327   char *peer_id;
328
329   p = find_partner (me, &address->peer);
330   if (NULL == p)
331   {
332     /* This is not one of my partners
333      * Will happen since the peers will connect to each other due to gossiping
334      */
335     return;
336   }
337   peer_id = GNUNET_strdup (GNUNET_i2s (&me->id));
338
339   if ((p->bandwidth_in != ntohl (bandwidth_in.value__)) ||
340       (p->bandwidth_out != ntohl (bandwidth_out.value__)))
341   p->bandwidth_in = ntohl (bandwidth_in.value__);
342   p->bandwidth_out = ntohl (bandwidth_out.value__);
343
344   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "%s [%u] received ATS information for peers `%s'\n",
345       (GNUNET_YES == p->me->master) ? "Master" : "Slave",
346           p->me->no,
347           GNUNET_i2s (&p->dest->id));
348
349   GNUNET_free(peer_id);
350   if (NULL != l)
351     GNUNET_ATS_TEST_logging_now (l);
352 }
353
354
355 /*
356  * Start the performance test case
357  */
358 int
359 main (int argc, char *argv[])
360 {
361   char *tmp;
362   char *tmp_sep;
363   char *test_name;
364   char *conf_name;
365   char *comm_name;
366   char *dotexe;
367   char *prefs[GNUNET_ATS_PreferenceCount] = GNUNET_ATS_PreferenceTypeString;
368   int c;
369
370   result = 0;
371
372   /* Determine testname
373    * perf_ats_<solver>_<transport>_<preference>[.exe]*/
374
375   /* Find test prefix, store in temp */
376   tmp = strstr (argv[0], TESTNAME_PREFIX);
377   if (NULL == tmp)
378   {
379     fprintf (stderr, "Unable to parse test name `%s'\n", argv[0]);
380     return GNUNET_SYSERR;
381   }
382
383   /* Set tmp to end of test name prefix */
384   tmp += strlen (TESTNAME_PREFIX);
385
386   /* Determine solver name */
387   solver = GNUNET_strdup (tmp);
388   /* Remove .exe prefix */
389   if (NULL != (dotexe = strstr (solver, ".exe")) && dotexe[4] == '\0')
390     dotexe[0] = '\0';
391
392   /* Determine first '_' after solver */
393   tmp_sep = strchr (solver, '_');
394   if (NULL == tmp_sep)
395   {
396     fprintf (stderr, "Unable to parse test name `%s'\n", argv[0]);
397     GNUNET_free(solver);
398     return GNUNET_SYSERR;
399   }
400   tmp_sep[0] = '\0';
401   comm_name = GNUNET_strdup (&tmp_sep[1]);
402   tmp_sep = strchr (comm_name, '_');
403   if (NULL == tmp_sep)
404   {
405     fprintf (stderr, "Unable to parse test name `%s'\n", argv[0]);
406     GNUNET_free(solver);
407     return GNUNET_SYSERR;
408   }
409   tmp_sep[0] = '\0';
410   for (c = 0; c <= strlen (comm_name); c++)
411     comm_name[c] = toupper (comm_name[c]);
412   if (0 == strcmp (comm_name, "CORE"))
413     test_core = GNUNET_YES;
414   else if (0 == strcmp (comm_name, "TRANSPORT"))
415     test_core = GNUNET_NO;
416   else
417   {
418     GNUNET_free (comm_name);
419     GNUNET_free (solver);
420     return GNUNET_SYSERR;
421   }
422
423   pref_str = GNUNET_strdup(tmp_sep + 1);
424
425   GNUNET_asprintf (&conf_name, "%s%s_%s.conf", TESTNAME_PREFIX, solver,
426       pref_str);
427   GNUNET_asprintf (&test_name, "%s%s_%s", TESTNAME_PREFIX, solver, pref_str);
428
429   for (c = 0; c <= strlen (pref_str); c++)
430     pref_str[c] = toupper (pref_str[c]);
431   pref_val = -1;
432
433   if (0 != strcmp (pref_str, "NONE"))
434   {
435     for (c = 1; c < GNUNET_ATS_PreferenceCount; c++)
436     {
437       if (0 == strcmp (pref_str, prefs[c]))
438       {
439         pref_val = c;
440         break;
441       }
442     }
443   }
444   else
445   {
446     /* abuse terminator to indicate no pref */
447     pref_val = GNUNET_ATS_PREFERENCE_END;
448   }
449   if (-1 == pref_val)
450   {
451     fprintf (stderr, "Unknown preference: `%s'\n", pref_str);
452     GNUNET_free(solver);
453     GNUNET_free(pref_str);
454     GNUNET_free (comm_name);
455     return -1;
456   }
457
458   for (c = 0; c < (argc - 1); c++)
459   {
460     if (0 == strcmp (argv[c], "-d"))
461       break;
462   }
463   if (c < argc - 1)
464   {
465     if (GNUNET_OK != GNUNET_STRINGS_fancy_time_to_relative (argv[c + 1], &perf_duration))
466         fprintf (stderr, "Failed to parse duration `%s'\n", argv[c + 1]);
467   }
468   else
469   {
470     perf_duration = BENCHMARK_DURATION;
471   }
472   fprintf (stderr, "Running benchmark for %llu secs\n", (unsigned long long) (perf_duration.rel_value_us) / (1000 * 1000));
473
474   for (c = 0; c < (argc - 1); c++)
475   {
476     if (0 == strcmp (argv[c], "-s"))
477       break;
478   }
479   if (c < argc - 1)
480   {
481     if ((0L != (num_slaves = strtol (argv[c + 1], NULL, 10)))
482         && (num_slaves >= 1))
483       fprintf (stderr, "Starting %u slave peers\n", num_slaves);
484     else
485       num_slaves = DEFAULT_SLAVES_NUM;
486   }
487   else
488     num_slaves = DEFAULT_SLAVES_NUM;
489
490   for (c = 0; c < (argc - 1); c++)
491   {
492     if (0 == strcmp (argv[c], "-m"))
493       break;
494   }
495   if (c < argc - 1)
496   {
497     if ((0L != (num_masters = strtol (argv[c + 1], NULL, 10)))
498         && (num_masters >= 2))
499       fprintf (stderr, "Starting %u master peers\n", num_masters);
500     else
501       num_masters = DEFAULT_MASTERS_NUM;
502   }
503   else
504     num_masters = DEFAULT_MASTERS_NUM;
505
506   logging = GNUNET_NO;
507   for (c = 0; c < argc; c++)
508   {
509     if (0 == strcmp (argv[c], "-l"))
510       logging = GNUNET_YES;
511   }
512
513   if (GNUNET_YES == logging)
514   {
515     for (c = 0; c < (argc - 1); c++)
516     {
517       if (0 == strcmp (argv[c], "-f"))
518         break;
519     }
520     if (c < argc - 1)
521     {
522       if (GNUNET_OK != GNUNET_STRINGS_fancy_time_to_relative (argv[c + 1], &log_frequency))
523           fprintf (stderr, "Failed to parse duration `%s'\n", argv[c + 1]);
524     }
525     else
526     {
527       log_frequency = LOGGING_FREQUENCY;
528     }
529     fprintf (stderr, "Using log frequency %llu ms\n",
530         (unsigned long long) (log_frequency.rel_value_us) / (1000));
531   }
532
533   GNUNET_asprintf (&testname, "%s_%s_%s",solver, comm_name, pref_str);
534
535   if (num_slaves < num_masters)
536   {
537     fprintf (stderr, "Number of master peers is lower than slaves! exit...\n");
538     GNUNET_free(test_name);
539     GNUNET_free(solver);
540     GNUNET_free(pref_str);
541     GNUNET_free (comm_name);
542     return GNUNET_SYSERR;
543   }
544
545   /**
546    * Setup the topology
547    */
548   GNUNET_ATS_TEST_create_topology ("perf-ats", conf_name,
549       num_slaves, num_masters,
550       test_core,
551       &do_benchmark,
552       NULL,
553       &test_recv_cb,
554       &log_request_cb);
555
556   return result;
557 }
558
559 /* end of file perf_ats.c */