- added benchmarking for updates
[oweals/gnunet.git] / src / ats / perf_ats_mlp.c
1 /*
2      This file is part of GNUnet.
3      (C) 2010,2011 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20 /**
21  * @file ats/perf_ats_mlp
22  * @brief performance test for the MLP solver
23  * @author Christian Grothoff
24  * @author Matthias Wachs
25
26  */
27 #include "platform.h"
28 #include "gnunet_util_lib.h"
29 #include "gnunet_statistics_service.h"
30 #include "gnunet-service-ats_addresses_mlp.h"
31
32 #define VERBOSE GNUNET_YES
33 #define VERBOSE_ARM GNUNET_NO
34
35 #define MLP_MAX_EXEC_DURATION   GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 3)
36 #define MLP_MAX_ITERATIONS      INT_MAX
37
38 #define DEF_PEERS 10
39 #define DEF_ADDRESSES_PER_PEER 5
40 #define DEF_ATS_VALUES 2
41 #define DEF_ATS_MAX_DELAY 30
42 #define DEF_ATS_MAX_DISTANCE 3
43
44 static unsigned int peers;
45 static unsigned int addresses;
46 static unsigned int numeric;
47 static unsigned int update_percentage;
48
49 static int start;
50 static int end;
51
52 struct PeerContext *p;
53 struct ATS_Address *a;
54
55 static int ret;
56
57 struct GNUNET_CONTAINER_MultiHashMap * amap;
58
59 struct GAS_MLP_Handle *mlp;
60
61
62
63
64 GNUNET_SCHEDULER_TaskIdentifier shutdown_task;
65
66 struct PeerContext
67 {
68   struct GNUNET_PeerIdentity id;
69
70   struct Address *addr;
71 };
72
73 struct Address
74 {
75   char *plugin;
76   size_t plugin_len;
77
78   void *addr;
79   size_t addr_len;
80
81   struct GNUNET_ATS_Information *ats;
82   int ats_count;
83
84   void *session;
85 };
86
87 void
88 do_shutdown (void *cls,
89              const struct GNUNET_SCHEDULER_TaskContext *tc)
90 {
91   unsigned int ca;
92
93   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Shutdown\n");
94
95   if (NULL != mlp)
96   {
97     GAS_mlp_done (mlp);
98     mlp = NULL;
99   }
100
101   if (NULL != a)
102   {
103     for (ca=0; ca < (peers * addresses); ca++)
104     {
105       GNUNET_free (a[ca].plugin);
106       GNUNET_free (a[ca].ats);
107     }
108   }
109
110   if (NULL != amap)
111     GNUNET_CONTAINER_multihashmap_destroy(amap);
112   GNUNET_free_non_null (a);
113   GNUNET_free_non_null (p);
114
115 }
116
117 static void
118 update_addresses (struct ATS_Address * a, unsigned int addrs, unsigned int percentage)
119 {
120   if (percentage == 0)
121     return;
122
123   unsigned int ua = (addrs) * ((float) percentage / 100);
124   GNUNET_log (GNUNET_ERROR_TYPE_INFO, "Updating %u of %u addresses per peer\n", ua, addrs);
125
126   unsigned int updated[addrs];
127   unsigned int u_types[DEF_ATS_VALUES];
128   unsigned int updates = 0;
129   unsigned int u_type = 0;
130   unsigned int u_val = 0;
131   unsigned int cur = 0;
132
133   u_types[0] = 0;
134   u_types[1] = 0;
135
136   while (updates < ua)
137   {
138     cur = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, addrs);
139     if (0 == updated[cur])
140     {
141       u_type = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, DEF_ATS_VALUES);
142       switch (u_type) {
143         case 0:
144             do
145             {
146             u_val = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, DEF_ATS_MAX_DELAY);
147             GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Updating DELAY from %u to %u\n",a[cur].ats[u_type].value, u_val);
148             }
149             while (a[cur].ats[u_type].value == u_val);
150           break;
151         case 1:
152           do
153           {
154             u_val = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, DEF_ATS_MAX_DISTANCE);
155             GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Updating DISTANCE from %u to %u\n",a[cur].ats[u_type].value, u_val);
156           }
157           while (a[cur].ats[u_type].value == u_val);
158           break;
159         default:
160           GNUNET_break (0);
161           break;
162       }
163       u_types[u_type]++;
164
165       a[cur].ats[u_type].value = u_val;
166       updated[cur] = 1;
167       updates++;
168     }
169   }
170   GNUNET_log (GNUNET_ERROR_TYPE_INFO, "Updated %u delay and %u distance values\n", u_types[0], u_types[1]);
171
172 }
173
174
175 static void
176 check (void *cls, char *const *args, const char *cfgfile,
177        const struct GNUNET_CONFIGURATION_Handle *cfg)
178 {
179   unsigned int c = 0;
180   unsigned int c2 = 0;
181   unsigned int ca = 0;
182   int update = GNUNET_NO;
183   int range = GNUNET_NO;
184   int res;
185
186 #if !HAVE_LIBGLPK
187   GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "GLPK not installed!");
188   ret = 1;
189   return;
190 #endif
191
192   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Setting up %u peers with %u addresses per peer\n", peers, addresses);
193
194   mlp = GAS_mlp_init (cfg, NULL, MLP_MAX_EXEC_DURATION, MLP_MAX_ITERATIONS);
195   if (NULL == mlp)
196   {
197     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Failed to init MLP\n");
198     ret = 1;
199     if (GNUNET_SCHEDULER_NO_TASK != shutdown_task)
200       GNUNET_SCHEDULER_cancel(shutdown_task);
201     shutdown_task = GNUNET_SCHEDULER_add_now (&do_shutdown, NULL);
202   }
203
204   if (peers == 0)
205     peers = DEF_PEERS;
206   if (addresses == 0)
207     addresses = DEF_ADDRESSES_PER_PEER;
208
209   p = GNUNET_malloc (peers * sizeof (struct ATS_Peer));
210   a = GNUNET_malloc (peers * addresses * sizeof (struct ATS_Address));
211
212   amap = GNUNET_CONTAINER_multihashmap_create(addresses * peers);
213
214   mlp->auto_solve = GNUNET_NO;
215   if (start == 0)
216       start = 0;
217   if (end == 0)
218       end = -1;
219   if ((start != -1) && (end != -1))
220   {
221     GNUNET_log (GNUNET_ERROR_TYPE_INFO, "Solving problem starting from %u to %u\n", start , end);
222     range = GNUNET_YES;
223   }
224   else
225     GNUNET_log (GNUNET_ERROR_TYPE_INFO, "Solving problem for %u peers\n", peers);
226
227   if ((update_percentage >= 0) && (update_percentage <= 100))
228   {
229     update = GNUNET_YES;
230     GNUNET_log (GNUNET_ERROR_TYPE_INFO, "Benchmarking with existing presolution and %u \% updated addresses\n", update_percentage);
231   }
232   else if ((update_percentage > 100) && (update_percentage != UINT_MAX))
233   {
234     GNUNET_log (GNUNET_ERROR_TYPE_INFO, "Invalid percentage: %u\n", update_percentage);
235     ret = 1;
236     return;
237   }
238
239   for (c=0; c < peers; c++)
240   {
241     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Setting up peer %u\n", c);
242     GNUNET_CRYPTO_hash_create_random(GNUNET_CRYPTO_QUALITY_NONCE, &p[c].id.hashPubKey);
243
244     for (c2=0; c2 < addresses; c2++)
245     {
246       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Setting up address %u for peer %u\n", c2, c);
247       /* Setting required information */
248       a[ca].mlp_information = NULL;
249       a[ca].prev = NULL;
250       a[ca].next = NULL;
251
252       /* Setting address */
253       a[ca].peer = p[c].id;
254       a[ca].plugin = strdup("test");
255       a[ca].atsp_network_type = GNUNET_ATS_NET_LOOPBACK;
256
257       a[ca].ats = GNUNET_malloc (DEF_ATS_VALUES * sizeof (struct GNUNET_ATS_Information));
258       a[ca].ats[0].type = GNUNET_ATS_QUALITY_NET_DELAY;
259       a[ca].ats[0].value = GNUNET_CRYPTO_random_u32(GNUNET_CRYPTO_QUALITY_WEAK, DEF_ATS_MAX_DELAY);
260       a[ca].ats[1].type = GNUNET_ATS_QUALITY_NET_DISTANCE;
261       a[ca].ats[1].value = GNUNET_CRYPTO_random_u32(GNUNET_CRYPTO_QUALITY_WEAK, DEF_ATS_MAX_DISTANCE);
262       a[ca].ats_count = 2;
263       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Setting up address %u\n", ca);
264       GNUNET_CONTAINER_multihashmap_put (amap, &a[ca].peer.hashPubKey, &a[ca], GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
265       GAS_mlp_address_update(mlp, amap, &a[ca]);
266       ca++;
267     }
268
269     GNUNET_log (GNUNET_ERROR_TYPE_INFO, "Problem contains %u peers and %u adresses\n", mlp->c_p, mlp->addr_in_problem);
270
271     if (((GNUNET_YES == range) && (((start >= 0) && ((c+1) >= start)) && (c <= end))) || ((c+1) == peers))
272     {
273       GNUNET_assert ((c+1) == mlp->c_p);
274       GNUNET_assert ((c+1) * addresses == mlp->addr_in_problem);
275
276       /* Solving the problem */
277       struct GAS_MLP_SolutionContext ctx;
278
279       res = GAS_mlp_solve_problem(mlp, &ctx);
280
281       if (GNUNET_NO == update)
282       {
283         if (GNUNET_OK == res)
284         {
285           GNUNET_assert (GNUNET_OK == ctx.lp_result);
286           GNUNET_assert (GNUNET_OK == ctx.mlp_result);
287           if (GNUNET_YES == numeric)
288             printf ("%u;%u;%llu;%llu\n",mlp->c_p, mlp->addr_in_problem, (long long unsigned int) ctx.lp_duration.rel_value, (long long unsigned int) ctx.mlp_duration.rel_value);
289           else
290             GNUNET_log (GNUNET_ERROR_TYPE_INFO, "Problem solved for %u peers with %u address successfully (LP: %llu ms / MLP: %llu ms)\n",
291                 mlp->c_p, mlp->addr_in_problem, ctx.lp_duration.rel_value, ctx.mlp_duration.rel_value);
292         }
293         else
294           GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Solving problem with %u peers and %u addresses failed\n", c, c2);
295       }
296       else
297       {
298         struct GAS_MLP_SolutionContext uctx;
299         /* Update addresses */
300         update_addresses (a, (c+1) * c2, update_percentage);
301
302         /* Solve again */
303         res = GAS_mlp_solve_problem(mlp, &uctx);
304
305         if (GNUNET_OK == res)
306         {
307           GNUNET_assert (GNUNET_OK == uctx.lp_result);
308           GNUNET_assert (GNUNET_OK == uctx.mlp_result);
309           if (GNUNET_YES == numeric)
310             printf ("%u;%u;%llu;%llu;%llu;%llu\n",mlp->c_p, mlp->addr_in_problem,
311                 (long long unsigned int) ctx.lp_duration.rel_value, (long long unsigned int) ctx.mlp_duration.rel_value,
312                 (long long unsigned int) uctx.lp_duration.rel_value, (long long unsigned int) uctx.mlp_duration.rel_value);
313           else
314             GNUNET_log (GNUNET_ERROR_TYPE_INFO, "Updated Problem solved for %u peers with %u address successfully (Initial: LP/MLP: %llu/%llu ms, Update: %llu/%llu ms)\n",
315                 mlp->c_p, mlp->addr_in_problem,
316                 (long long unsigned int) ctx.lp_duration.rel_value, (long long unsigned int) ctx.mlp_duration.rel_value,
317                 (long long unsigned int) uctx.lp_duration.rel_value, (long long unsigned int) uctx.mlp_duration.rel_value);
318         }
319         else
320           GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Solving updated problem with %u peers and %u addresses failed\n", c, c2);
321       }
322     }
323   }
324
325   if (GNUNET_SCHEDULER_NO_TASK != shutdown_task)
326     GNUNET_SCHEDULER_cancel(shutdown_task);
327   shutdown_task = GNUNET_SCHEDULER_add_now (&do_shutdown, NULL);
328
329 }
330
331
332 int
333 main (int argc, char *argv[])
334 {
335   /* Init invalid */
336   update_percentage = UINT_MAX;
337   static struct GNUNET_GETOPT_CommandLineOption options[] = {
338     {'a', "addresses", NULL,
339      gettext_noop ("addresses per peer"), 1,
340      &GNUNET_GETOPT_set_uint, &addresses},
341     {'p', "peers", NULL,
342      gettext_noop ("peers"), 1,
343      &GNUNET_GETOPT_set_uint, &peers},
344      {'n', "numeric", NULL,
345       gettext_noop ("numeric output only"), 0,
346       &GNUNET_GETOPT_set_one, &numeric},
347     {'e', "end", NULL,
348      gettext_noop ("end solving problem"), 1,
349      &GNUNET_GETOPT_set_uint, &end},
350    {'s', "start", NULL,
351     gettext_noop ("start solving problem"), 1,
352     &GNUNET_GETOPT_set_uint, &start},
353     {'u', "update", NULL,
354      gettext_noop ("benchmark with existing solution (address updates)"), 1,
355      &GNUNET_GETOPT_set_uint, &update_percentage},
356     GNUNET_GETOPT_OPTION_END
357   };
358
359
360   GNUNET_PROGRAM_run (argc, argv,
361                       "perf_ats_mlp", "nohelp", options,
362                       &check, NULL);
363
364
365   return ret;
366 }
367
368 /* end of file perf_ats_mlp.c */