-renaming
[oweals/gnunet.git] / src / rps / gnunet-service-rps.c
1 /*
2      This file is part of GNUnet.
3      Copyright (C)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file rps/gnunet-service-rps.c
23  * @brief rps service implementation
24  * @author Julius Bünger
25  */
26 #include "platform.h"
27 #include "gnunet_util_lib.h"
28 #include "gnunet_cadet_service.h"
29 #include "gnunet_nse_service.h"
30 #include "rps.h"
31
32 #include "gnunet-service-rps_sampler.h"
33
34 #include <math.h>
35 #include <inttypes.h>
36
37 #define LOG(kind, ...) GNUNET_log(kind, __VA_ARGS__)
38
39 // TODO modify @brief in every file
40
41 // TODO check for overflows
42
43 // TODO align message structs
44
45 // (TODO api -- possibility of getting weak random peer immideately)
46
47 // TODO connect to friends
48
49 // TODO store peers somewhere
50
51 // TODO ignore list?
52
53 // hist_size_init, hist_size_max
54
55 /**
56  * Our configuration.
57  */
58 static const struct GNUNET_CONFIGURATION_Handle *cfg;
59
60 /**
61  * Our own identity.
62  */
63 static struct GNUNET_PeerIdentity own_identity;
64
65
66   struct GNUNET_PeerIdentity *
67 get_rand_peer_ignore_list (const struct GNUNET_PeerIdentity *peer_list, unsigned int size,
68                            const struct GNUNET_PeerIdentity *ignore_list, unsigned int ignore_size);
69
70
71 /***********************************************************************
72  * Housekeeping with peers
73 ***********************************************************************/
74
75 /**
76  * Struct used to store the context of a connected client.
77  */
78 struct ClientContext
79 {
80   /**
81    * The message queue to communicate with the client.
82    */
83   struct GNUNET_MQ_Handle *mq;
84 };
85
86 /**
87  * Used to keep track in what lists single peerIDs are.
88  */
89 enum PeerFlags
90 {
91   PULL_REPLY_PENDING   = 0x01,
92   IN_OTHER_GOSSIP_LIST = 0x02, // unneeded?
93   IN_OWN_SAMPLER_LIST  = 0x04, // unneeded?
94   IN_OWN_GOSSIP_LIST   = 0x08, // unneeded?
95
96   /**
97    * We set this bit when we can be sure the other peer is/was live.
98    */
99   VALID                = 0x10
100 };
101
102
103 /**
104  * Functions of this type can be used to be stored at a peer for later execution.
105  */
106 typedef void (* PeerOp) (void *cls, const struct GNUNET_PeerIdentity *peer);
107
108 /**
109  * Outstanding operation on peer consisting of callback and closure
110  */
111 struct PeerOutstandingOp
112 {
113   /**
114    * Callback
115    */
116   PeerOp op;
117
118   /**
119    * Closure
120    */
121   void *op_cls;
122 };
123
124
125 /**
126  * Struct used to keep track of other peer's status
127  *
128  * This is stored in a multipeermap.
129  */
130 struct PeerContext
131 {
132   /**
133    * In own gossip/sampler list, in other's gossip/sampler list
134    */
135   uint32_t peer_flags;
136
137   /**
138    * Message queue open to client
139    */
140   struct GNUNET_MQ_Handle *mq;
141
142   /**
143    * Channel open to client.
144    */
145   struct GNUNET_CADET_Channel *send_channel;
146
147   /**
148    * Channel open from client.
149    */
150   struct GNUNET_CADET_Channel *recv_channel; // unneeded?
151
152   /**
153    * Array of outstanding operations on this peer.
154    */
155   struct PeerOutstandingOp *outstanding_ops;
156
157   /**
158    * Number of outstanding operations.
159    */
160   unsigned int num_outstanding_ops;
161   //size_t num_outstanding_ops;
162
163   /**
164    * Handle to the callback given to cadet_ntfy_tmt_rdy()
165    *
166    * To be canceled on shutdown.
167    */
168   struct GNUNET_CADET_TransmitHandle *is_live_task;
169
170   /**
171    * Identity of the peer
172    */
173   struct GNUNET_PeerIdentity peer_id;
174
175   /**
176    * This is pobably followed by 'statistical' data (when we first saw
177    * him, how did we get his ID, how many pushes (in a timeinterval),
178    * ...)
179    */
180 };
181
182 /***********************************************************************
183  * /Housekeeping with peers
184 ***********************************************************************/
185
186
187
188
189
190 /***********************************************************************
191  * Globals
192 ***********************************************************************/
193
194 /**
195  * Sampler used for the Brahms protocol itself.
196  */
197 static struct RPS_Sampler *prot_sampler;
198
199 /**
200  * Sampler used for the clients.
201  */
202 static struct RPS_Sampler *client_sampler;
203
204 /**
205  * Set of all peers to keep track of them.
206  */
207 static struct GNUNET_CONTAINER_MultiPeerMap *peer_map;
208
209
210 /**
211  * The gossiped list of peers.
212  */
213 static struct GNUNET_PeerIdentity *gossip_list;
214
215 /**
216  * Size of the gossiped list
217  */
218 //static unsigned int gossip_list_size;
219 static uint32_t gossip_list_size;
220
221
222 /**
223  * The size of sampler we need to be able to satisfy the client's need of
224  * random peers.
225  */
226 static unsigned int sampler_size_client_need;
227
228 /**
229  * The size of sampler we need to be able to satisfy the Brahms protocol's
230  * need of random peers.
231  *
232  * This is directly taken as the #gossip_list_size on update of the
233  * #gossip_list
234  *
235  * This is one minimum size the sampler grows to.
236  */
237 static unsigned int sampler_size_est_need;
238
239
240 /**
241  * Percentage of total peer number in the gossip list
242  * to send random PUSHes to
243  */
244 static float alpha;
245
246 /**
247  * Percentage of total peer number in the gossip list
248  * to send random PULLs to
249  */
250 static float beta;
251
252 /**
253  * The percentage gamma of history updates.
254  * Simply 1 - alpha - beta
255  */
256
257
258 /**
259  * Identifier for the main task that runs periodically.
260  */
261 static struct GNUNET_SCHEDULER_Task *do_round_task;
262
263 /**
264  * Time inverval the do_round task runs in.
265  */
266 static struct GNUNET_TIME_Relative round_interval;
267
268
269
270 /**
271  * List to store peers received through pushes temporary.
272  *
273  * TODO -> multipeermap
274  */
275 static struct GNUNET_PeerIdentity *push_list;
276
277 /**
278  * Size of the push_list;
279  */
280 static unsigned int push_list_size;
281 //size_t push_list_size;
282
283 /**
284  * List to store peers received through pulls temporary.
285  *
286  * TODO -> multipeermap
287  */
288 static struct GNUNET_PeerIdentity *pull_list;
289
290 /**
291  * Size of the pull_list;
292  */
293 static unsigned int pull_list_size;
294 //size_t pull_list_size;
295
296
297 /**
298  * Handler to NSE.
299  */
300 static struct GNUNET_NSE_Handle *nse;
301
302 /**
303  * Handler to CADET.
304  */
305 static struct GNUNET_CADET_Handle *cadet_handle;
306
307
308 /**
309  * Request counter.
310  *
311  * Only needed in the beginning to check how many of the 64 deltas
312  * we already have
313  */
314 static unsigned int req_counter;
315
316 /**
317  * Time of the last request we received.
318  *
319  * Used to compute the expected request rate.
320  */
321 static struct GNUNET_TIME_Absolute last_request;
322
323 /**
324  * Size of #request_deltas.
325  */
326 #define REQUEST_DELTAS_SIZE 64
327 static unsigned int request_deltas_size = REQUEST_DELTAS_SIZE;
328
329 /**
330  * Last 64 deltas between requests
331  */
332 static struct GNUNET_TIME_Relative request_deltas[REQUEST_DELTAS_SIZE];
333
334 /**
335  * The prediction of the rate of requests
336  */
337 static struct GNUNET_TIME_Relative  request_rate;
338
339
340 /**
341  * List with the peers we sent requests to.
342  */
343 struct GNUNET_PeerIdentity *pending_pull_reply_list;
344
345 /**
346  * Size of #pending_pull_reply_list.
347  */
348 uint32_t pending_pull_reply_list_size;
349
350
351 /**
352  * Number of history update tasks.
353  */
354 uint32_t num_hist_update_tasks;
355
356
357 /**
358  * Closure used to pass the client and the id to the callback
359  * that replies to a client's request
360  */
361 struct ReplyCls
362 {
363   /**
364    * The identifier of the request
365    */
366   uint32_t id;
367
368   /**
369    * The client handle to send the reply to
370    */
371   struct GNUNET_SERVER_Client *client;
372 };
373
374
375 #ifdef ENABLE_MALICIOUS
376 /**
377  * Type of malicious peer
378  *
379  * 0 Don't act malicious at all - Default
380  * 1 Try to maximise representation
381  * 2 Try to partition the network
382  */
383 uint32_t mal_type = 0;
384
385 /**
386  * Other malicious peers
387  */
388 static struct GNUNET_PeerIdentity *mal_peers = NULL;
389
390 /**
391  * Hashmap of malicious peers used as set.
392  * Used to more efficiently check whether we know that peer.
393  */
394 static struct GNUNET_CONTAINER_MultiPeerMap *mal_peer_set = NULL;
395
396 /**
397  * Number of other malicious peers
398  */
399 static uint32_t num_mal_peers = 0;
400
401
402 /**
403  * If type is 2 This struct is used to store the attacked peers in a DLL
404  */
405 struct AttackedPeer
406 {
407   /**
408    * DLL
409    */
410   struct AttackedPeer *next;
411   struct AttackedPeer *prev;
412
413   /**
414    * PeerID
415    */
416   struct GNUNET_PeerIdentity peer_id;
417 };
418
419 /**
420  * If type is 2 this is the DLL of attacked peers
421  */
422 static struct AttackedPeer *att_peers_head = NULL;
423 static struct AttackedPeer *att_peers_tail = NULL;
424
425 /**
426  * This index is used to point to an attacked peer to
427  * implement the round-robin-ish way to select attacked peers.
428  */
429 static struct AttackedPeer *att_peer_index = NULL;
430
431 /**
432  * Hashmap of attacked peers used as set.
433  * Used to more efficiently check whether we know that peer.
434  */
435 static struct GNUNET_CONTAINER_MultiPeerMap *att_peer_set = NULL;
436
437 /**
438  * Number of attacked peers
439  */
440 static uint32_t num_attacked_peers = 0;
441
442
443 /**
444  * If type is 1 this is the attacked peer
445  */
446 static struct GNUNET_PeerIdentity attacked_peer;
447
448 /**
449  * The limit of PUSHes we can send in one round.
450  * This is an assumption of the Brahms protocol and either implemented
451  * via proof of work
452  * or
453  * assumend to be the bandwidth limitation.
454  */
455 static uint32_t push_limit = 10000;
456 #endif /* ENABLE_MALICIOUS */
457
458
459 /***********************************************************************
460  * /Globals
461 ***********************************************************************/
462
463
464
465
466
467
468 /***********************************************************************
469  * Util functions
470 ***********************************************************************/
471
472 /**
473  * Set a peer flag of given peer context.
474  */
475 #define set_peer_flag(peer_ctx, mask) (peer_ctx->peer_flags |= mask)
476
477 /**
478  * Get peer flag of given peer context.
479  */
480 #define get_peer_flag(peer_ctx, mask) (peer_ctx->peer_flags & mask ? GNUNET_YES : GNUNET_NO)
481
482 /**
483  * Unset flag of given peer context.
484  */
485 #define unset_peer_flag(peer_ctx, mask) (peer_ctx->peer_flags &= (~mask))
486
487 /**
488  * Compute the minimum of two ints
489  */
490 #define min(x, y) ((x < y) ? x : y)
491
492 /**
493  * Clean the send channel of a peer
494  */
495 void
496 peer_clean (const struct GNUNET_PeerIdentity *peer);
497
498
499 /**
500  * Check if peer is already in peer array.
501  */
502   int
503 in_arr (const struct GNUNET_PeerIdentity *array,
504         unsigned int arr_size,
505         const struct GNUNET_PeerIdentity *peer)
506 {
507   GNUNET_assert (NULL != peer);
508
509   if (0 == arr_size)
510     return GNUNET_NO;
511
512   GNUNET_assert (NULL != array);
513
514   unsigned int i;
515
516   for (i = 0; i < arr_size ; i++)
517     if (0 == GNUNET_CRYPTO_cmp_peer_identity (&array[i], peer))
518       return GNUNET_YES;
519   return GNUNET_NO;
520 }
521
522
523 /**
524  * Print peerlist to log.
525  */
526 void
527 print_peer_list (struct GNUNET_PeerIdentity *list, unsigned int len)
528 {
529   unsigned int i;
530
531   LOG (GNUNET_ERROR_TYPE_DEBUG,
532        "Printing peer list of length %u at %p:\n",
533        len,
534        list);
535   for (i = 0 ; i < len ; i++)
536   {
537     LOG (GNUNET_ERROR_TYPE_DEBUG,
538          "%u. peer: %s\n",
539          i, GNUNET_i2s (&list[i]));
540   }
541 }
542
543
544 /**
545  * Remove peer from list.
546  */
547   void
548 rem_from_list (struct GNUNET_PeerIdentity **peer_list,
549                unsigned int *list_size,
550                const struct GNUNET_PeerIdentity *peer)
551 {
552   unsigned int i;
553   struct GNUNET_PeerIdentity *tmp;
554
555   tmp = *peer_list;
556
557   LOG (GNUNET_ERROR_TYPE_DEBUG,
558        "Removing peer %s from list at %p\n",
559        GNUNET_i2s (peer),
560        tmp);
561
562   for ( i = 0 ; i < *list_size ; i++ )
563   {
564     if (0 == GNUNET_CRYPTO_cmp_peer_identity (&tmp[i], peer))
565     {
566       if (i < *list_size -1)
567       { /* Not at the last entry -- shift peers left */
568         memcpy (&tmp[i], &tmp[i +1],
569                 ((*list_size) - i -1) * sizeof (struct GNUNET_PeerIdentity));
570       }
571       /* Remove last entry (should be now useless PeerID) */
572       GNUNET_array_grow (tmp, *list_size, (*list_size) -1);
573     }
574   }
575   *peer_list = tmp;
576 }
577
578 /**
579  * Get random peer from the given list but don't return one from the @a ignore_list.
580  */
581   struct GNUNET_PeerIdentity *
582 get_rand_peer_ignore_list (const struct GNUNET_PeerIdentity *peer_list,
583                            uint32_t list_size,
584                            const struct GNUNET_PeerIdentity *ignore_list,
585                            uint32_t ignore_size)
586 {
587   uint32_t r_index;
588   uint32_t tmp_size;
589   struct GNUNET_PeerIdentity *tmp_peer_list;
590   struct GNUNET_PeerIdentity *peer;
591
592   GNUNET_assert (NULL != peer_list);
593   if (0 == list_size)
594     return NULL;
595
596   tmp_size = 0;
597   tmp_peer_list = NULL;
598   GNUNET_array_grow (tmp_peer_list, tmp_size, list_size);
599   memcpy (tmp_peer_list,
600           peer_list,
601           list_size * sizeof (struct GNUNET_PeerIdentity));
602   peer = GNUNET_new (struct GNUNET_PeerIdentity);
603
604   /**;
605    * Choose the r_index of the peer we want to return
606    * at random from the interval of the gossip list
607    */
608   r_index = GNUNET_CRYPTO_random_u64 (GNUNET_CRYPTO_QUALITY_STRONG,
609                                       tmp_size);
610   *peer = tmp_peer_list[r_index];
611
612   while (in_arr (ignore_list, ignore_size, peer))
613   {
614     rem_from_list (&tmp_peer_list, &tmp_size, peer);
615
616     print_peer_list (tmp_peer_list, tmp_size);
617
618     if (0 == tmp_size)
619     {
620       GNUNET_free (peer);
621       return NULL;
622     }
623
624     /**;
625      * Choose the r_index of the peer we want to return
626      * at random from the interval of the gossip list
627      */
628     r_index = GNUNET_CRYPTO_random_u64 (GNUNET_CRYPTO_QUALITY_STRONG,
629                                         tmp_size);
630     *peer = tmp_peer_list[r_index];
631   }
632
633
634   GNUNET_array_grow (tmp_peer_list, tmp_size, 0);
635
636   return peer;
637 }
638
639
640 /**
641  * Get the context of a peer. If not existing, create.
642  */
643   struct PeerContext *
644 get_peer_ctx (struct GNUNET_CONTAINER_MultiPeerMap *peer_map,
645               const struct GNUNET_PeerIdentity *peer)
646 {
647   struct PeerContext *ctx;
648
649   if ( GNUNET_YES == GNUNET_CONTAINER_multipeermap_contains (peer_map, peer))
650   {
651     ctx = GNUNET_CONTAINER_multipeermap_get (peer_map, peer);
652   }
653   else
654   {
655     ctx = GNUNET_new (struct PeerContext);
656     ctx->peer_flags = 0;
657     ctx->mq = NULL;
658     ctx->send_channel = NULL;
659     ctx->recv_channel = NULL;
660     ctx->outstanding_ops = NULL;
661     ctx->num_outstanding_ops = 0;
662     ctx->is_live_task = NULL;
663     ctx->peer_id = *peer;
664     (void) GNUNET_CONTAINER_multipeermap_put (peer_map, peer, ctx,
665                                               GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
666   }
667   return ctx;
668 }
669
670
671 /**
672  * Put random peer from sampler into the gossip list as history update.
673  */
674   void
675 hist_update (void *cls, struct GNUNET_PeerIdentity *ids, uint32_t num_peers)
676 {
677   GNUNET_assert (1 == num_peers);
678
679   if (gossip_list_size < sampler_size_est_need)
680     GNUNET_array_append (gossip_list, gossip_list_size, *ids);
681
682   if (0 < num_hist_update_tasks)
683     num_hist_update_tasks--;
684 }
685
686
687 /**
688  * Set the peer flag to living and call the outstanding operations on this peer.
689  */
690 static size_t
691 peer_is_live (struct PeerContext *peer_ctx)
692 {
693   struct GNUNET_PeerIdentity *peer;
694
695   /* Cancle is_live_task if still scheduled */
696   if (NULL != peer_ctx->is_live_task)
697   {
698     GNUNET_CADET_notify_transmit_ready_cancel (peer_ctx->is_live_task);
699     peer_ctx->is_live_task = NULL;
700   }
701
702   peer = &peer_ctx->peer_id;
703   set_peer_flag (peer_ctx, VALID);
704
705   LOG (GNUNET_ERROR_TYPE_DEBUG, "Peer %s is live\n", GNUNET_i2s (peer));
706
707   if (0 < peer_ctx->num_outstanding_ops)
708   { /* Call outstanding operations */
709     unsigned int i;
710
711     for (i = 0 ; i < peer_ctx->num_outstanding_ops ; i++)
712       peer_ctx->outstanding_ops[i].op (peer_ctx->outstanding_ops[i].op_cls, peer);
713     GNUNET_array_grow (peer_ctx->outstanding_ops, peer_ctx->num_outstanding_ops, 0);
714   }
715
716   return 0;
717 }
718
719
720 /**
721  * Callback that is called when a channel was effectively established.
722  * This is given to ntfy_tmt_rdy and called when the channel was
723  * successfully established.
724  */
725 static size_t
726 cadet_ntfy_tmt_rdy_cb (void *cls, size_t size, void *buf)
727 {
728   struct PeerContext *peer_ctx = (struct PeerContext *) cls;
729
730   peer_ctx->is_live_task = NULL;
731   LOG (GNUNET_ERROR_TYPE_DEBUG,
732        "Set ->is_live_task = NULL for peer %s\n",
733        GNUNET_i2s (&peer_ctx->peer_id));
734
735   if (NULL != buf
736       && 0 != size)
737   {
738     peer_is_live (peer_ctx);
739   }
740   else
741   {
742     LOG (GNUNET_ERROR_TYPE_WARNING,
743          "Problems establishing a connection to peer %s in order to check liveliness\n",
744          GNUNET_i2s (&peer_ctx->peer_id));
745     // TODO reschedule? cleanup?
746   }
747
748   //if (NULL != peer_ctx->is_live_task)
749   //{
750   //  LOG (GNUNET_ERROR_TYPE_DEBUG,
751   //       "Trying to cancle is_live_task for peer %s\n",
752   //       GNUNET_i2s (&peer_ctx->peer_id));
753   //  GNUNET_CADET_notify_transmit_ready_cancel (peer_ctx->is_live_task);
754   //  peer_ctx->is_live_task = NULL;
755   //}
756
757   return 0;
758 }
759
760
761 /**
762  * Get the channel of a peer. If not existing, create.
763  */
764   struct GNUNET_CADET_Channel *
765 get_channel (struct GNUNET_CONTAINER_MultiPeerMap *peer_map,
766              const struct GNUNET_PeerIdentity *peer)
767 {
768   struct PeerContext *peer_ctx;
769
770   peer_ctx = get_peer_ctx (peer_map, peer);
771
772   GNUNET_assert (NULL == peer_ctx->is_live_task);
773
774   if (NULL == peer_ctx->send_channel)
775   {
776     LOG (GNUNET_ERROR_TYPE_DEBUG,
777          "Trying to establish channel to peer %s\n",
778          GNUNET_i2s (peer));
779
780     peer_ctx->send_channel =
781       GNUNET_CADET_channel_create (cadet_handle,
782                                    NULL,
783                                    peer,
784                                    GNUNET_RPS_CADET_PORT,
785                                    GNUNET_CADET_OPTION_RELIABLE);
786
787     // do I have to explicitly put it in the peer_map?
788     (void) GNUNET_CONTAINER_multipeermap_put
789       (peer_map,
790        peer,
791        peer_ctx,
792        GNUNET_CONTAINER_MULTIHASHMAPOPTION_REPLACE);
793   }
794   return peer_ctx->send_channel;
795 }
796
797
798 /**
799  * Get the message queue of a specific peer.
800  *
801  * If we already have a message queue open to this client,
802  * simply return it, otherways create one.
803  */
804   struct GNUNET_MQ_Handle *
805 get_mq (struct GNUNET_CONTAINER_MultiPeerMap *peer_map,
806         const struct GNUNET_PeerIdentity *peer_id)
807 {
808   struct PeerContext *peer_ctx;
809
810   peer_ctx = get_peer_ctx (peer_map, peer_id);
811
812   GNUNET_assert (NULL == peer_ctx->is_live_task);
813
814   if (NULL == peer_ctx->mq)
815   {
816     (void) get_channel (peer_map, peer_id);
817     peer_ctx->mq = GNUNET_CADET_mq_create (peer_ctx->send_channel);
818     //do I have to explicitly put it in the peer_map?
819     (void) GNUNET_CONTAINER_multipeermap_put (peer_map, peer_id, peer_ctx,
820                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_REPLACE);
821   }
822   return peer_ctx->mq;
823 }
824
825
826 /**
827  * Issue check whether peer is live
828  *
829  * @param peer_ctx the context of the peer
830  */
831 void
832 check_peer_live (struct PeerContext *peer_ctx)
833 {
834   (void) get_channel (peer_map, &peer_ctx->peer_id);
835   LOG (GNUNET_ERROR_TYPE_DEBUG,
836        "Get informed about peer %s getting live\n",
837        GNUNET_i2s (&peer_ctx->peer_id));
838   if (NULL == peer_ctx->is_live_task)
839   {
840     peer_ctx->is_live_task =
841         GNUNET_CADET_notify_transmit_ready (peer_ctx->send_channel,
842                                             GNUNET_NO,
843                                             GNUNET_TIME_UNIT_FOREVER_REL,
844                                             sizeof (struct GNUNET_MessageHeader),
845                                             cadet_ntfy_tmt_rdy_cb,
846                                             peer_ctx);
847   }
848   else
849   {
850     LOG (GNUNET_ERROR_TYPE_DEBUG,
851          "Already waiting for notification\n");
852   }
853 }
854
855
856 /**
857  * Sum all time relatives of an array.
858   */
859   struct GNUNET_TIME_Relative
860 T_relative_sum (const struct GNUNET_TIME_Relative *rel_array, uint32_t arr_size)
861 {
862   struct GNUNET_TIME_Relative sum;
863   uint32_t i;
864
865   sum = GNUNET_TIME_UNIT_ZERO;
866   for ( i = 0 ; i < arr_size ; i++ )
867   {
868     sum = GNUNET_TIME_relative_add (sum, rel_array[i]);
869   }
870   return sum;
871 }
872
873
874 /**
875  * Compute the average of given time relatives.
876  */
877   struct GNUNET_TIME_Relative
878 T_relative_avg (const struct GNUNET_TIME_Relative *rel_array, uint32_t arr_size)
879 {
880   return GNUNET_TIME_relative_divide (T_relative_sum (rel_array, arr_size), arr_size);
881 }
882
883
884 /**
885  * Insert PeerID in #pull_list
886  *
887  * Called once we know a peer is live.
888  */
889   void
890 insert_in_pull_list (void *cls, const struct GNUNET_PeerIdentity *peer)
891 {
892   if (GNUNET_NO == in_arr (pull_list, pull_list_size, peer))
893     GNUNET_array_append (pull_list, pull_list_size, *peer);
894
895   peer_clean (peer);
896 }
897
898 /**
899  * Check whether #insert_in_pull_list was already scheduled
900  */
901   int
902 insert_in_pull_list_scheduled (const struct PeerContext *peer_ctx)
903 {
904   unsigned int i;
905
906   for ( i = 0 ; i < peer_ctx->num_outstanding_ops ; i++ )
907     if (insert_in_pull_list == peer_ctx->outstanding_ops[i].op)
908       return GNUNET_YES;
909   return GNUNET_NO;
910 }
911
912
913 /**
914  * Insert PeerID in #gossip_list
915  *
916  * Called once we know a peer is live.
917  */
918   void
919 insert_in_gossip_list (void *cls, const struct GNUNET_PeerIdentity *peer)
920 {
921   if (GNUNET_NO == in_arr (gossip_list, gossip_list_size, peer))
922     GNUNET_array_append (gossip_list, gossip_list_size, *peer);
923
924   (void) get_channel (peer_map, peer);
925 }
926
927 /**
928  * Check whether #insert_in_gossip_list was already scheduled
929  */
930   int
931 insert_in_gossip_list_scheduled (const struct PeerContext *peer_ctx)
932 {
933   unsigned int i;
934
935   for ( i = 0 ; i < peer_ctx->num_outstanding_ops ; i++ )
936     if (insert_in_gossip_list == peer_ctx->outstanding_ops[i].op)
937       return GNUNET_YES;
938   return GNUNET_NO;
939 }
940
941
942 /**
943  * Update sampler with given PeerID.
944  */
945   void
946 insert_in_sampler (void *cls, const struct GNUNET_PeerIdentity *peer)
947 {
948   LOG (GNUNET_ERROR_TYPE_DEBUG,
949        "Updating samplers with peer %s from insert_in_sampler()\n",
950        GNUNET_i2s (peer));
951   RPS_sampler_update (prot_sampler,   peer);
952   RPS_sampler_update (client_sampler, peer);
953 }
954
955
956 /**
957  * Check whether #insert_in_sampler was already scheduled
958  */
959 static int
960 insert_in_sampler_scheduled (const struct PeerContext *peer_ctx)
961 {
962   unsigned int i;
963
964   for (i = 0 ; i < peer_ctx->num_outstanding_ops ; i++)
965     if (insert_in_sampler== peer_ctx->outstanding_ops[i].op)
966       return GNUNET_YES;
967   return GNUNET_NO;
968 }
969
970
971 /**
972  * Wrapper around #RPS_sampler_resize()
973  *
974  * If we do not have enough sampler elements, double current sampler size
975  * If we have more than enough sampler elements, halv current sampler size
976  */
977 static void
978 resize_wrapper (struct RPS_Sampler *sampler, uint32_t new_size)
979 {
980   unsigned int sampler_size;
981
982   // TODO statistics
983   // TODO respect the min, max
984   sampler_size = RPS_sampler_get_size (sampler);
985   if (sampler_size > new_size * 4)
986   { /* Shrinking */
987     RPS_sampler_resize (sampler, sampler_size / 2);
988   }
989   else if (sampler_size < new_size)
990   { /* Growing */
991     RPS_sampler_resize (sampler, sampler_size * 2);
992   }
993   LOG (GNUNET_ERROR_TYPE_DEBUG, "sampler_size is now %u\n", sampler_size);
994 }
995
996
997 /**
998  * Wrapper around #RPS_sampler_resize() resizing the client sampler
999  */
1000 static void
1001 client_resize_wrapper ()
1002 {
1003   uint32_t bigger_size;
1004   unsigned int sampler_size;
1005
1006   // TODO statistics
1007
1008   sampler_size = RPS_sampler_get_size (client_sampler);
1009
1010   if (sampler_size_est_need > sampler_size_client_need)
1011     bigger_size = sampler_size_est_need;
1012   else
1013     bigger_size = sampler_size_client_need;
1014
1015   // TODO respect the min, max
1016   resize_wrapper (client_sampler, bigger_size);
1017   LOG (GNUNET_ERROR_TYPE_DEBUG, "sampler_size is now %u\n", sampler_size);
1018 }
1019
1020
1021 /**
1022  * Estimate request rate
1023  *
1024  * Called every time we receive a request from the client.
1025  */
1026   void
1027 est_request_rate()
1028 {
1029   struct GNUNET_TIME_Relative max_round_duration;
1030
1031   if (request_deltas_size > req_counter)
1032     req_counter++;
1033   if ( 1 < req_counter)
1034   {
1035     /* Shift last request deltas to the right */
1036     memcpy (&request_deltas[1],
1037         request_deltas,
1038         (req_counter - 1) * sizeof (struct GNUNET_TIME_Relative));
1039
1040     /* Add current delta to beginning */
1041     request_deltas[0] =
1042         GNUNET_TIME_absolute_get_difference (last_request,
1043                                              GNUNET_TIME_absolute_get ());
1044     request_rate = T_relative_avg (request_deltas, req_counter);
1045
1046     /* Compute the duration a round will maximally take */
1047     max_round_duration =
1048         GNUNET_TIME_relative_add (round_interval,
1049                                   GNUNET_TIME_relative_divide (round_interval, 2));
1050
1051     /* Set the estimated size the sampler has to have to
1052      * satisfy the current client request rate */
1053     sampler_size_client_need =
1054         max_round_duration.rel_value_us / request_rate.rel_value_us;
1055
1056     /* Resize the sampler */
1057     client_resize_wrapper ();
1058   }
1059   last_request = GNUNET_TIME_absolute_get ();
1060 }
1061
1062
1063 /**
1064  * Add all peers in @a peer_array to @peer_map used as set.
1065  *
1066  * @param peer_array array containing the peers
1067  * @param num_peers number of peers in @peer_array
1068  * @param peer_map the peermap to use as set
1069  */
1070 static void
1071 add_peer_array_to_set (const struct GNUNET_PeerIdentity *peer_array,
1072                        unsigned int num_peers,
1073                        struct GNUNET_CONTAINER_MultiPeerMap *peer_map)
1074 {
1075   unsigned int i;
1076   if (NULL == peer_map)
1077     peer_map = GNUNET_CONTAINER_multipeermap_create (num_peers + 1,
1078                                                      GNUNET_NO);
1079   for (i = 0 ; i < num_peers ; i++)
1080   {
1081     GNUNET_CONTAINER_multipeermap_put (peer_map,
1082                                        &peer_array[i],
1083                                        NULL,
1084                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
1085   }
1086 }
1087
1088
1089 /**
1090  * Send a PULL REPLY to @a peer_id
1091  *
1092  * @param peer_id the peer to send the reply to.
1093  * @param peer_ids the peers to send to @a peer_id
1094  * @param num_peer_ids the number of peers to send to @a peer_id
1095  */
1096 static void
1097 send_pull_reply (const struct GNUNET_PeerIdentity *peer_id,
1098                  const struct GNUNET_PeerIdentity *peer_ids,
1099                  unsigned int num_peer_ids)
1100 {
1101   uint32_t send_size;
1102   struct GNUNET_MQ_Handle *mq;
1103   struct GNUNET_MQ_Envelope *ev;
1104   struct GNUNET_RPS_P2P_PullReplyMessage *out_msg;
1105
1106   /* Compute actual size */
1107   send_size = sizeof (struct GNUNET_RPS_P2P_PullReplyMessage) +
1108               num_peer_ids * sizeof (struct GNUNET_PeerIdentity);
1109
1110   if (GNUNET_CONSTANTS_MAX_CADET_MESSAGE_SIZE < send_size)
1111     /* Compute number of peers to send
1112      * If too long, simply truncate */
1113     // TODO select random ones via permutation
1114     //      or even better: do good protocol design
1115     send_size =
1116       (GNUNET_CONSTANTS_MAX_CADET_MESSAGE_SIZE -
1117        sizeof (struct GNUNET_RPS_P2P_PullReplyMessage)) /
1118        sizeof (struct GNUNET_PeerIdentity);
1119   else
1120     send_size = num_peer_ids;
1121
1122   LOG (GNUNET_ERROR_TYPE_DEBUG,
1123       "PULL REQUEST from peer %s received, going to send %u peers\n",
1124       GNUNET_i2s (peer_id), send_size);
1125
1126   mq = get_mq (peer_map, peer_id);
1127
1128   ev = GNUNET_MQ_msg_extra (out_msg,
1129                             send_size * sizeof (struct GNUNET_PeerIdentity),
1130                             GNUNET_MESSAGE_TYPE_RPS_PP_PULL_REPLY);
1131   out_msg->num_peers = htonl (send_size);
1132   memcpy (&out_msg[1], peer_ids,
1133          send_size * sizeof (struct GNUNET_PeerIdentity));
1134
1135   GNUNET_MQ_send (mq, ev);
1136 }
1137
1138
1139 /**
1140  * This function is called on new peer_ids from 'external' sources
1141  * (client seed, cadet get_peers(), ...)
1142  *
1143  * @param peer_id the new peer_id
1144  */
1145 static void
1146 new_peer_id (const struct GNUNET_PeerIdentity *peer_id)
1147 {
1148   struct PeerOutstandingOp out_op;
1149   struct PeerContext *peer_ctx;
1150
1151   if (NULL != peer_id
1152       && 0 != GNUNET_CRYPTO_cmp_peer_identity (&own_identity, peer_id))
1153   {
1154     LOG (GNUNET_ERROR_TYPE_DEBUG,
1155         "Got new peer %s (at %p) from some external source (gossip_list_size: %u)\n",
1156         GNUNET_i2s (peer_id), peer_id, gossip_list_size);
1157
1158     peer_ctx = get_peer_ctx (peer_map, peer_id);
1159     if (GNUNET_YES != get_peer_flag (peer_ctx, VALID))
1160     {
1161       if (GNUNET_NO == insert_in_sampler_scheduled (peer_ctx))
1162       {
1163         out_op.op = insert_in_sampler;
1164         out_op.op_cls = NULL;
1165         GNUNET_array_append (peer_ctx->outstanding_ops,
1166                              peer_ctx->num_outstanding_ops,
1167                              out_op);
1168       }
1169
1170       if (GNUNET_NO == insert_in_gossip_list_scheduled (peer_ctx))
1171       {
1172         out_op.op = insert_in_gossip_list;
1173         out_op.op_cls = NULL;
1174         GNUNET_array_append (peer_ctx->outstanding_ops,
1175                              peer_ctx->num_outstanding_ops,
1176                              out_op);
1177       }
1178
1179       /* Trigger livelyness test on peer */
1180       check_peer_live (peer_ctx);
1181     }
1182     // else...?
1183
1184     // send push/pull to each of those peers?
1185   }
1186 }
1187
1188
1189 /***********************************************************************
1190  * /Util functions
1191 ***********************************************************************/
1192
1193
1194
1195
1196
1197 /**
1198  * Function called by NSE.
1199  *
1200  * Updates sizes of sampler list and gossip list and adapt those lists
1201  * accordingly.
1202  */
1203   void
1204 nse_callback (void *cls, struct GNUNET_TIME_Absolute timestamp,
1205               double logestimate, double std_dev)
1206 {
1207   double estimate;
1208   //double scale; // TODO this might go gloabal/config
1209
1210   LOG (GNUNET_ERROR_TYPE_DEBUG,
1211        "Received a ns estimate - logest: %f, std_dev: %f (old_size: %u)\n",
1212        logestimate, std_dev, RPS_sampler_get_size (prot_sampler));
1213   //scale = .01;
1214   estimate = GNUNET_NSE_log_estimate_to_n (logestimate);
1215   // GNUNET_NSE_log_estimate_to_n (logestimate);
1216   estimate = pow (estimate, 1.0 / 3);
1217   // TODO add if std_dev is a number
1218   // estimate += (std_dev * scale);
1219   if (2 < ceil (estimate))
1220   {
1221     LOG (GNUNET_ERROR_TYPE_DEBUG, "Changing estimate to %f\n", estimate);
1222     sampler_size_est_need = estimate;
1223   } else
1224     LOG (GNUNET_ERROR_TYPE_DEBUG, "Not using estimate %f\n", estimate);
1225
1226   /* If the NSE has changed adapt the lists accordingly */
1227   resize_wrapper (prot_sampler, sampler_size_est_need);
1228   client_resize_wrapper ();
1229 }
1230
1231
1232 /**
1233  * Callback called once the requested PeerIDs are ready.
1234  *
1235  * Sends those to the requesting client.
1236  */
1237 void client_respond (void *cls,
1238     struct GNUNET_PeerIdentity *peer_ids, uint32_t num_peers)
1239 {
1240   struct GNUNET_MQ_Envelope *ev;
1241   struct GNUNET_RPS_CS_ReplyMessage *out_msg;
1242   struct ReplyCls *reply_cls = (struct ReplyCls *) cls;
1243   uint32_t size_needed;
1244   struct ClientContext *cli_ctx;
1245
1246   LOG (GNUNET_ERROR_TYPE_DEBUG,
1247        "sampler returned %" PRIu32 " peers\n",
1248        num_peers);
1249
1250   size_needed = sizeof (struct GNUNET_RPS_CS_ReplyMessage) +
1251                 num_peers * sizeof (struct GNUNET_PeerIdentity);
1252
1253   GNUNET_assert (GNUNET_SERVER_MAX_MESSAGE_SIZE >= size_needed);
1254
1255   ev = GNUNET_MQ_msg_extra (out_msg,
1256                             num_peers * sizeof (struct GNUNET_PeerIdentity),
1257                             GNUNET_MESSAGE_TYPE_RPS_CS_REPLY);
1258   out_msg->num_peers = htonl (num_peers);
1259   out_msg->id = htonl (reply_cls->id);
1260
1261   memcpy (&out_msg[1],
1262           peer_ids,
1263           num_peers * sizeof (struct GNUNET_PeerIdentity));
1264   GNUNET_free (peer_ids);
1265
1266   cli_ctx = GNUNET_SERVER_client_get_user_context (reply_cls->client, struct ClientContext);
1267   if (NULL == cli_ctx) {
1268     cli_ctx = GNUNET_new (struct ClientContext);
1269     cli_ctx->mq = GNUNET_MQ_queue_for_server_client (reply_cls->client);
1270     GNUNET_SERVER_client_set_user_context (reply_cls->client, cli_ctx);
1271   }
1272
1273   GNUNET_free (reply_cls);
1274
1275   GNUNET_MQ_send (cli_ctx->mq, ev);
1276 }
1277
1278
1279 /**
1280  * Handle RPS request from the client.
1281  *
1282  * @param cls closure
1283  * @param client identification of the client
1284  * @param message the actual message
1285  */
1286 static void
1287 handle_client_request (void *cls,
1288             struct GNUNET_SERVER_Client *client,
1289             const struct GNUNET_MessageHeader *message)
1290 {
1291   struct GNUNET_RPS_CS_RequestMessage *msg;
1292   uint32_t num_peers;
1293   uint32_t size_needed;
1294   struct ReplyCls *reply_cls;
1295   uint32_t i;
1296
1297   msg = (struct GNUNET_RPS_CS_RequestMessage *) message;
1298
1299   num_peers = ntohl (msg->num_peers);
1300   size_needed = sizeof (struct GNUNET_RPS_CS_RequestMessage) +
1301                 num_peers * sizeof (struct GNUNET_PeerIdentity);
1302
1303   if (GNUNET_SERVER_MAX_MESSAGE_SIZE < size_needed)
1304   {
1305     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1306     return;
1307   }
1308
1309   for (i = 0 ; i < num_peers ; i++)
1310     est_request_rate();
1311
1312   LOG (GNUNET_ERROR_TYPE_DEBUG,
1313        "Client requested %" PRIu32 " random peer(s).\n",
1314        num_peers);
1315
1316   reply_cls = GNUNET_new (struct ReplyCls);
1317   reply_cls->id = ntohl (msg->id);
1318   reply_cls->client = client;
1319
1320   RPS_sampler_get_n_rand_peers (client_sampler,
1321                                 client_respond,
1322                                 reply_cls,
1323                                 num_peers,
1324                                 GNUNET_YES);
1325
1326   GNUNET_SERVER_receive_done (client,
1327                               GNUNET_OK);
1328 }
1329
1330
1331 /**
1332  * Handle seed from the client.
1333  *
1334  * @param cls closure
1335  * @param client identification of the client
1336  * @param message the actual message
1337  */
1338   static void
1339 handle_client_seed (void *cls,
1340                     struct GNUNET_SERVER_Client *client,
1341                     const struct GNUNET_MessageHeader *message)
1342 {
1343   struct GNUNET_RPS_CS_SeedMessage *in_msg;
1344   struct GNUNET_PeerIdentity *peers;
1345   uint32_t num_peers;
1346   uint32_t i;
1347
1348   if (sizeof (struct GNUNET_RPS_CS_SeedMessage) > ntohs (message->size))
1349   {
1350     GNUNET_break_op (0);
1351     GNUNET_SERVER_receive_done (client,
1352                                 GNUNET_SYSERR);
1353   }
1354
1355   in_msg = (struct GNUNET_RPS_CS_SeedMessage *) message;
1356   num_peers = ntohl (in_msg->num_peers);
1357   peers = (struct GNUNET_PeerIdentity *) &in_msg[1];
1358   //peers = GNUNET_new_array (num_peers, struct GNUNET_PeerIdentity);
1359   //memcpy (peers, &in_msg[1], num_peers * sizeof (struct GNUNET_PeerIdentity));
1360
1361   if ((ntohs (message->size) - sizeof (struct GNUNET_RPS_CS_SeedMessage)) /
1362       sizeof (struct GNUNET_PeerIdentity) != num_peers)
1363   {
1364     GNUNET_break_op (0);
1365     GNUNET_SERVER_receive_done (client,
1366                                 GNUNET_SYSERR);
1367   }
1368
1369   LOG (GNUNET_ERROR_TYPE_DEBUG,
1370        "Client seeded peers:\n");
1371   print_peer_list (peers, num_peers);
1372
1373   for (i = 0 ; i < num_peers ; i++)
1374   {
1375     LOG (GNUNET_ERROR_TYPE_DEBUG,
1376          "Updating samplers with seed %" PRIu32 ": %s\n",
1377          i,
1378          GNUNET_i2s (&peers[i]));
1379
1380     new_peer_id (&peers[i]);
1381
1382     //RPS_sampler_update (prot_sampler,   &peers[i]);
1383     //RPS_sampler_update (client_sampler, &peers[i]);
1384   }
1385
1386   ////GNUNET_free (peers);
1387
1388   GNUNET_SERVER_receive_done (client,
1389                                                 GNUNET_OK);
1390 }
1391
1392
1393 /**
1394  * Handle a PUSH message from another peer.
1395  *
1396  * Check the proof of work and store the PeerID
1397  * in the temporary list for pushed PeerIDs.
1398  *
1399  * @param cls Closure
1400  * @param channel The channel the PUSH was received over
1401  * @param channel_ctx The context associated with this channel
1402  * @param msg The message header
1403  */
1404 static int
1405 handle_peer_push (void *cls,
1406     struct GNUNET_CADET_Channel *channel,
1407     void **channel_ctx,
1408     const struct GNUNET_MessageHeader *msg)
1409 {
1410   const struct GNUNET_PeerIdentity *peer;
1411
1412   // (check the proof of work)
1413
1414   peer = (const struct GNUNET_PeerIdentity *)
1415     GNUNET_CADET_channel_get_info (channel, GNUNET_CADET_OPTION_PEER);
1416   // FIXME wait for cadet to change this function
1417
1418   LOG (GNUNET_ERROR_TYPE_DEBUG, "PUSH received (%s)\n", GNUNET_i2s (peer));
1419
1420   #ifdef ENABLE_MALICIOUS
1421   struct AttackedPeer *tmp_att_peer;
1422
1423   tmp_att_peer = GNUNET_new (struct AttackedPeer);
1424   memcpy (&tmp_att_peer->peer_id, peer, sizeof (struct GNUNET_PeerIdentity));
1425   if (1 == mal_type)
1426   { /* Try to maximise representation */
1427     if (NULL == att_peer_set)
1428       att_peer_set = GNUNET_CONTAINER_multipeermap_create (1, GNUNET_NO);
1429     if (GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (att_peer_set,
1430                                                              peer))
1431     {
1432       GNUNET_CONTAINER_DLL_insert (att_peers_head,
1433                                    att_peers_tail,
1434                                    tmp_att_peer);
1435       add_peer_array_to_set (peer, 1, att_peer_set);
1436     }
1437     return GNUNET_OK;
1438   }
1439
1440
1441   else if (2 == mal_type)
1442   { /* We attack one single well-known peer - simply ignore */
1443     return GNUNET_OK;
1444   }
1445
1446   #endif /* ENABLE_MALICIOUS */
1447
1448   /* Add the sending peer to the push_list */
1449   if (GNUNET_NO == in_arr (push_list, push_list_size, peer))
1450     GNUNET_array_append (push_list, push_list_size, *peer);
1451
1452   return GNUNET_OK;
1453 }
1454
1455
1456 /**
1457  * Handle PULL REQUEST request message from another peer.
1458  *
1459  * Reply with the gossip list of PeerIDs.
1460  *
1461  * @param cls Closure
1462  * @param channel The channel the PUSH was received over
1463  * @param channel_ctx The context associated with this channel
1464  * @param msg The message header
1465  */
1466 static int
1467 handle_peer_pull_request (void *cls,
1468     struct GNUNET_CADET_Channel *channel,
1469     void **channel_ctx,
1470     const struct GNUNET_MessageHeader *msg)
1471 {
1472   struct GNUNET_PeerIdentity *peer;
1473
1474   peer = (struct GNUNET_PeerIdentity *)
1475     GNUNET_CADET_channel_get_info (channel,
1476                                    GNUNET_CADET_OPTION_PEER);
1477   // FIXME wait for cadet to change this function
1478
1479   #ifdef ENABLE_MALICIOUS
1480   if (1 == mal_type)
1481   { /* Try to maximise representation */
1482     send_pull_reply (peer, mal_peers, num_mal_peers);
1483     return GNUNET_OK;
1484   }
1485
1486   else if (2 == mal_type)
1487   { /* Try to partition network */
1488     if (GNUNET_YES == GNUNET_CRYPTO_cmp_peer_identity (&attacked_peer, peer))
1489     {
1490       send_pull_reply (peer, mal_peers, num_mal_peers);
1491     }
1492     return GNUNET_OK;
1493   }
1494   #endif /* ENABLE_MALICIOUS */
1495
1496   send_pull_reply (peer, gossip_list, gossip_list_size);
1497
1498   return GNUNET_OK;
1499 }
1500
1501
1502 /**
1503  * Handle PULL REPLY message from another peer.
1504  *
1505  * Check whether we sent a corresponding request and
1506  * whether this reply is the first one.
1507  *
1508  * @param cls Closure
1509  * @param channel The channel the PUSH was received over
1510  * @param channel_ctx The context associated with this channel
1511  * @param msg The message header
1512  */
1513   static int
1514 handle_peer_pull_reply (void *cls,
1515                         struct GNUNET_CADET_Channel *channel,
1516                         void **channel_ctx,
1517                         const struct GNUNET_MessageHeader *msg)
1518 {
1519   LOG (GNUNET_ERROR_TYPE_DEBUG, "PULL REPLY received\n");
1520
1521   struct GNUNET_RPS_P2P_PullReplyMessage *in_msg;
1522   struct GNUNET_PeerIdentity *peers;
1523   struct PeerContext *peer_ctx;
1524   struct GNUNET_PeerIdentity *sender;
1525   struct PeerContext *sender_ctx;
1526   struct PeerOutstandingOp out_op;
1527   uint32_t i;
1528 #ifdef ENABLE_MALICIOUS
1529   struct AttackedPeer *tmp_att_peer;
1530 #endif /* ENABLE_MALICIOUS */
1531
1532   /* Check for protocol violation */
1533   if (sizeof (struct GNUNET_RPS_P2P_PullReplyMessage) > ntohs (msg->size))
1534   {
1535     GNUNET_break_op (0);
1536     return GNUNET_SYSERR;
1537   }
1538
1539   in_msg = (struct GNUNET_RPS_P2P_PullReplyMessage *) msg;
1540   if ((ntohs (msg->size) - sizeof (struct GNUNET_RPS_P2P_PullReplyMessage)) /
1541       sizeof (struct GNUNET_PeerIdentity) != ntohl (in_msg->num_peers))
1542   {
1543     LOG (GNUNET_ERROR_TYPE_ERROR,
1544         "message says it sends %" PRIu64 " peers, have space for %i peers\n",
1545         ntohl (in_msg->num_peers),
1546         (ntohs (msg->size) - sizeof (struct GNUNET_RPS_P2P_PullReplyMessage)) /
1547             sizeof (struct GNUNET_PeerIdentity));
1548     GNUNET_break_op (0);
1549     return GNUNET_SYSERR;
1550   }
1551
1552   sender = (struct GNUNET_PeerIdentity *) GNUNET_CADET_channel_get_info (
1553       (struct GNUNET_CADET_Channel *) channel, GNUNET_CADET_OPTION_PEER);
1554        // Guess simply casting isn't the nicest way...
1555        // FIXME wait for cadet to change this function
1556   sender_ctx = get_peer_ctx (peer_map, sender);
1557
1558   if (GNUNET_YES == get_peer_flag (sender_ctx, PULL_REPLY_PENDING))
1559   {
1560     GNUNET_break_op (0);
1561     return GNUNET_OK;
1562   }
1563
1564
1565   #ifdef ENABLE_MALICIOUS
1566   // We shouldn't even receive pull replies as we're not sending
1567   if (2 == mal_type)
1568     return GNUNET_OK;
1569   #endif /* ENABLE_MALICIOUS */
1570
1571   /* Do actual logic */
1572   peers = (struct GNUNET_PeerIdentity *) &msg[1];
1573
1574   for (i = 0 ; i < ntohl (in_msg->num_peers) ; i++)
1575   {
1576   #ifdef ENABLE_MALICIOUS
1577     if (1 == mal_type)
1578     {
1579       // TODO check if we sent a request and this was the first reply
1580       if (GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (att_peer_set,
1581                                                                &peers[i])
1582           && GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (mal_peer_set,
1583                                                                   &peers[i])
1584           && GNUNET_NO == GNUNET_CRYPTO_cmp_peer_identity (&peers[i],
1585                                                            &own_identity))
1586       {
1587         tmp_att_peer = GNUNET_new (struct AttackedPeer);
1588         tmp_att_peer->peer_id = peers[i];
1589         GNUNET_CONTAINER_DLL_insert (att_peers_head,
1590                                      att_peers_tail,
1591                                      tmp_att_peer);
1592         add_peer_array_to_set (&peers[i], 1, att_peer_set);
1593       }
1594       continue;
1595     }
1596   #endif /* ENABLE_MALICIOUS */
1597     peer_ctx = get_peer_ctx (peer_map, &peers[i]);
1598     if (GNUNET_YES == get_peer_flag (peer_ctx, VALID)
1599         || NULL != peer_ctx->send_channel
1600         || NULL != peer_ctx->recv_channel)
1601     {
1602       if (GNUNET_NO == in_arr (pull_list, pull_list_size, &peers[i])
1603           && 0 != GNUNET_CRYPTO_cmp_peer_identity (&own_identity, &peers[i]))
1604         GNUNET_array_append (pull_list, pull_list_size, peers[i]);
1605     }
1606     else if (GNUNET_NO == insert_in_pull_list_scheduled (peer_ctx))
1607     {
1608       out_op.op = insert_in_pull_list;
1609       out_op.op_cls = NULL;
1610       GNUNET_array_append (peer_ctx->outstanding_ops,
1611                            peer_ctx->num_outstanding_ops,
1612                            out_op);
1613       check_peer_live (peer_ctx);
1614     }
1615   }
1616
1617   unset_peer_flag (sender_ctx, PULL_REPLY_PENDING);
1618   rem_from_list (&pending_pull_reply_list, &pending_pull_reply_list_size, sender);
1619
1620   return GNUNET_OK;
1621 }
1622
1623
1624 /**
1625  * Compute a random delay.
1626  * A uniformly distributed value between mean + spread and mean - spread.
1627  *
1628  * For example for mean 4 min and spread 2 the minimum is (4 min - (1/2 * 4 min))
1629  * It would return a random value between 2 and 6 min.
1630  *
1631  * @param mean the mean
1632  * @param spread the inverse amount of deviation from the mean
1633  */
1634 static struct GNUNET_TIME_Relative
1635 compute_rand_delay (struct GNUNET_TIME_Relative mean, unsigned int spread)
1636 {
1637   struct GNUNET_TIME_Relative half_interval;
1638   struct GNUNET_TIME_Relative ret;
1639   unsigned int rand_delay;
1640   unsigned int max_rand_delay;
1641
1642   if (0 == spread)
1643   {
1644     LOG (GNUNET_ERROR_TYPE_WARNING,
1645          "Not accepting spread of 0\n");
1646     GNUNET_break (0);
1647   }
1648
1649   /* Compute random time value between spread * mean and spread * mean */
1650   half_interval = GNUNET_TIME_relative_divide (mean, spread);
1651
1652   max_rand_delay = GNUNET_TIME_UNIT_FOREVER_REL.rel_value_us / mean.rel_value_us * (2/spread);
1653   /**
1654    * Compute random value between (0 and 1) * round_interval
1655    * via multiplying round_interval with a 'fraction' (0 to value)/value
1656    */
1657   rand_delay = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, max_rand_delay);
1658   ret = GNUNET_TIME_relative_multiply (mean,  rand_delay);
1659   ret = GNUNET_TIME_relative_divide   (ret, max_rand_delay);
1660   ret = GNUNET_TIME_relative_add      (ret, half_interval);
1661
1662   if (GNUNET_TIME_UNIT_FOREVER_REL.rel_value_us == ret.rel_value_us)
1663     LOG (GNUNET_ERROR_TYPE_WARNING,
1664          "Returning FOREVER_REL\n");
1665
1666   return ret;
1667 }
1668
1669
1670 /**
1671  * Send single pull request
1672  *
1673  * @param peer_id the peer to send the pull request to.
1674  */
1675 static void
1676 send_pull_request (struct GNUNET_PeerIdentity *peer_id)
1677 {
1678   struct GNUNET_MQ_Envelope *ev;
1679   struct GNUNET_MQ_Handle *mq;
1680
1681   LOG (GNUNET_ERROR_TYPE_DEBUG,
1682        "Sending PULL request to peer %s of gossiped list.\n",
1683        GNUNET_i2s (peer_id));
1684
1685   GNUNET_array_append (pending_pull_reply_list, pending_pull_reply_list_size, *peer_id);
1686
1687   ev = GNUNET_MQ_msg_header (GNUNET_MESSAGE_TYPE_RPS_PP_PULL_REQUEST);
1688   mq = get_mq (peer_map, peer_id);
1689   GNUNET_MQ_send (mq, ev);
1690 }
1691
1692
1693 /**
1694  * Send single push
1695  *
1696  * @param peer_id the peer to send the push to.
1697  */
1698 static void
1699 send_push (struct GNUNET_PeerIdentity *peer_id)
1700 {
1701   struct GNUNET_MQ_Envelope *ev;
1702   struct GNUNET_MQ_Handle *mq;
1703
1704   LOG (GNUNET_ERROR_TYPE_DEBUG,
1705        "Sending PUSH to peer %s of gossiped list.\n",
1706        GNUNET_i2s (peer_id));
1707
1708   ev = GNUNET_MQ_msg_header (GNUNET_MESSAGE_TYPE_RPS_PP_PUSH);
1709   mq = get_mq (peer_map, peer_id);
1710   GNUNET_MQ_send (mq, ev);
1711 }
1712
1713
1714 static void
1715 do_round (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
1716
1717 static void
1718 do_mal_round (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
1719
1720
1721 #ifdef ENABLE_MALICIOUS
1722 /**
1723  * Turn RPS service to act malicious.
1724  *
1725  * @param cls Closure
1726  * @param channel The channel the PUSH was received over
1727  * @param channel_ctx The context associated with this channel
1728  * @param msg The message header
1729  */
1730   static void
1731 handle_client_act_malicious (void *cls,
1732                              struct GNUNET_SERVER_Client *client,
1733                              const struct GNUNET_MessageHeader *msg)
1734 {
1735   struct GNUNET_RPS_CS_ActMaliciousMessage *in_msg;
1736   struct GNUNET_PeerIdentity *peers;
1737   uint32_t num_mal_peers_sent;
1738   uint32_t num_mal_peers_old;
1739
1740   /* Check for protocol violation */
1741   if (sizeof (struct GNUNET_RPS_CS_ActMaliciousMessage) > ntohs (msg->size))
1742   {
1743     GNUNET_break_op (0);
1744   }
1745
1746   in_msg = (struct GNUNET_RPS_CS_ActMaliciousMessage *) msg;
1747   if ((ntohs (msg->size) - sizeof (struct GNUNET_RPS_CS_ActMaliciousMessage)) /
1748       sizeof (struct GNUNET_PeerIdentity) != ntohl (in_msg->num_peers))
1749   {
1750     LOG (GNUNET_ERROR_TYPE_ERROR,
1751         "message says it sends %" PRIu64 " peers, have space for %i peers\n",
1752         ntohl (in_msg->num_peers),
1753         (ntohs (msg->size) - sizeof (struct GNUNET_RPS_CS_ActMaliciousMessage)) /
1754             sizeof (struct GNUNET_PeerIdentity));
1755     GNUNET_break_op (0);
1756   }
1757
1758
1759   /* Do actual logic */
1760   // FIXME ingore own id
1761   peers = (struct GNUNET_PeerIdentity *) &msg[1];
1762   mal_type = ntohl (in_msg->type);
1763
1764   LOG (GNUNET_ERROR_TYPE_DEBUG,
1765        "Now acting malicious type %" PRIu32 "\n",
1766        mal_type);
1767
1768   if (1 == mal_type)
1769   { /* Try to maximise representation */
1770     /* Add other malicious peers to those we already know */
1771
1772     num_mal_peers_sent = ntohl (in_msg->num_peers);
1773     num_mal_peers_old = num_mal_peers;
1774     GNUNET_array_grow (mal_peers,
1775                        num_mal_peers,
1776                        num_mal_peers + num_mal_peers_sent);
1777     memcpy (&mal_peers[num_mal_peers_old],
1778             peers,
1779             num_mal_peers_sent * sizeof (struct GNUNET_PeerIdentity));
1780
1781     /* Add all mal peers to mal_peer_set */
1782     add_peer_array_to_set (&mal_peers[num_mal_peers_old],
1783                            num_mal_peers_sent,
1784                            mal_peer_set);
1785
1786     /* Substitute do_round () with do_mal_round () */
1787     GNUNET_SCHEDULER_cancel (do_round_task);
1788     do_round_task = GNUNET_SCHEDULER_add_now (&do_mal_round, NULL);
1789   }
1790
1791   else if (2 == mal_type)
1792   { /* Try to partition the network */
1793     /* Add other malicious peers to those we already know */
1794     num_mal_peers_sent = ntohl (in_msg->num_peers) - 1;
1795     num_mal_peers_old = num_mal_peers;
1796     GNUNET_array_grow (mal_peers,
1797                        num_mal_peers,
1798                        num_mal_peers + num_mal_peers_sent);
1799     memcpy (&mal_peers[num_mal_peers_old],
1800             peers,
1801             num_mal_peers_sent * sizeof (struct GNUNET_PeerIdentity));
1802
1803     /* Add all mal peers to mal_peer_set */
1804     add_peer_array_to_set (&mal_peers[num_mal_peers_old],
1805                            num_mal_peers_sent,
1806                            mal_peer_set);
1807
1808     /* Store the one attacked peer */
1809     memcpy (&attacked_peer,
1810             &in_msg->attacked_peer,
1811             sizeof (struct GNUNET_PeerIdentity));
1812
1813     LOG (GNUNET_ERROR_TYPE_DEBUG,
1814          "Attacked peer is %s\n",
1815          GNUNET_i2s (&attacked_peer));
1816
1817     /* Substitute do_round () with do_mal_round () */
1818     GNUNET_SCHEDULER_cancel (do_round_task);
1819     do_round_task = GNUNET_SCHEDULER_add_now (&do_mal_round, NULL);
1820   }
1821   else if (0 == mal_type)
1822   { /* Stop acting malicious */
1823     num_mal_peers = 0;
1824     if (NULL != mal_peers)
1825       GNUNET_free (mal_peers);
1826
1827     /* Substitute do_mal_round () with do_round () */
1828     GNUNET_SCHEDULER_cancel (do_round_task);
1829     do_round_task = GNUNET_SCHEDULER_add_now (&do_round, NULL);
1830   }
1831   else
1832   {
1833     GNUNET_break (0);
1834   }
1835 }
1836
1837
1838 /**
1839  * Send out PUSHes and PULLs maliciously.
1840  *
1841  * This is executed regylary.
1842  */
1843 static void
1844 do_mal_round (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1845 {
1846   uint32_t num_pushes;
1847   uint32_t i;
1848   struct GNUNET_TIME_Relative time_next_round;
1849   struct AttackedPeer *tmp_att_peer;
1850
1851   LOG (GNUNET_ERROR_TYPE_DEBUG, "Going to execute next round maliciously.\n");
1852
1853   /* Do malicious actions */
1854   if (1 == mal_type)
1855   { /* Try to maximise representation */
1856
1857     /* The maximum of pushes we're going to send this round */
1858     num_pushes = min (min (push_limit,
1859                            num_attacked_peers),
1860                        GNUNET_CONSTANTS_MAX_CADET_MESSAGE_SIZE);
1861
1862     /* Send PUSHes to attacked peers */
1863     for (i = 0 ; i < num_pushes ; i++)
1864     {
1865       if (att_peers_tail == att_peer_index)
1866         att_peer_index = att_peers_head;
1867       else
1868         att_peer_index = att_peer_index->next;
1869
1870       send_push (&att_peer_index->peer_id);
1871     }
1872
1873     /* Send PULLs to some peers to learn about additional peers to attack */
1874     for (i = 0 ; i < num_pushes * alpha ; i++)
1875     {
1876       if (att_peers_tail == tmp_att_peer)
1877         tmp_att_peer = att_peers_head;
1878       else
1879         att_peer_index = tmp_att_peer->next;
1880
1881       send_pull_request (&tmp_att_peer->peer_id);
1882     }
1883   }
1884
1885
1886   else if (2 == mal_type)
1887   { /**
1888      * Try to partition the network
1889      * Send as many pushes to the attacked peer as possible
1890      * That is one push per round as it will ignore more.
1891      */
1892       send_push (&attacked_peer);
1893   }
1894
1895
1896   /* Schedule next round */
1897   time_next_round = compute_rand_delay (round_interval, 2);
1898
1899   //do_round_task = GNUNET_SCHEDULER_add_delayed (round_interval, &do_mal_round, NULL);
1900   do_round_task = GNUNET_SCHEDULER_add_delayed (time_next_round, &do_mal_round, NULL);
1901   LOG (GNUNET_ERROR_TYPE_DEBUG, "Finished round\n");
1902 }
1903 #endif /* ENABLE_MALICIOUS */
1904
1905
1906 /**
1907  * Send out PUSHes and PULLs, possibly update #gossip_list, samplers.
1908  *
1909  * This is executed regylary.
1910  */
1911 static void
1912 do_round (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1913 {
1914   LOG (GNUNET_ERROR_TYPE_DEBUG, "Going to execute next round.\n");
1915
1916   uint32_t i;
1917   unsigned int *permut;
1918   unsigned int n_peers; /* Number of peers we send pushes/pulls to */
1919   struct GNUNET_PeerIdentity peer;
1920   struct GNUNET_PeerIdentity *tmp_peer;
1921
1922   LOG (GNUNET_ERROR_TYPE_DEBUG,
1923        "Printing gossip list:\n");
1924   for (i = 0 ; i < gossip_list_size ; i++)
1925     LOG (GNUNET_ERROR_TYPE_DEBUG,
1926          "\t%s\n", GNUNET_i2s (&gossip_list[i]));
1927   // TODO log lists, ...
1928
1929   /* Would it make sense to have one shuffeled gossip list and then
1930    * to send PUSHes to first alpha peers, PULL requests to next beta peers and
1931    * use the rest to update sampler?
1932    * in essence get random peers with consumption */
1933
1934   /* Send PUSHes */
1935   if (0 < gossip_list_size)
1936   {
1937     permut = GNUNET_CRYPTO_random_permute (GNUNET_CRYPTO_QUALITY_STRONG,
1938                                            (unsigned int) gossip_list_size);
1939     n_peers = ceil (alpha * gossip_list_size);
1940     LOG (GNUNET_ERROR_TYPE_DEBUG,
1941          "Going to send pushes to %u ceil (%f * %u) peers.\n",
1942          n_peers, alpha, gossip_list_size);
1943     for (i = 0 ; i < n_peers ; i++)
1944     {
1945       peer = gossip_list[permut[i]];
1946       if (0 != GNUNET_CRYPTO_cmp_peer_identity (&own_identity, &peer)) // TODO
1947       { // FIXME if this fails schedule/loop this for later
1948         send_push (&peer);
1949       }
1950     }
1951     GNUNET_free (permut);
1952   }
1953
1954
1955   /* Send PULL requests */
1956   //permut = GNUNET_CRYPTO_random_permute (GNUNET_CRYPTO_QUALITY_STRONG, (unsigned int) sampler_list->size);
1957   n_peers = ceil (beta * gossip_list_size);
1958   LOG (GNUNET_ERROR_TYPE_DEBUG,
1959        "Going to send pulls to %u ceil (%f * %u) peers.\n",
1960        n_peers, beta, gossip_list_size);
1961   for (i = 0 ; i < n_peers ; i++)
1962   {
1963     tmp_peer = get_rand_peer_ignore_list (gossip_list, gossip_list_size,
1964         pending_pull_reply_list, pending_pull_reply_list_size);
1965     if (NULL != tmp_peer)
1966     {
1967       peer = *tmp_peer;
1968       GNUNET_free (tmp_peer);
1969
1970       if (0 != GNUNET_CRYPTO_cmp_peer_identity (&own_identity, &peer))
1971       {
1972         send_pull_request (&peer);
1973       }
1974     }
1975   }
1976
1977
1978   /* Update gossip list */
1979
1980   if ( push_list_size <= alpha * gossip_list_size &&
1981        push_list_size != 0 &&
1982        pull_list_size != 0 )
1983   {
1984     LOG (GNUNET_ERROR_TYPE_DEBUG, "Update of the gossip list.\n");
1985
1986     uint32_t first_border;
1987     uint32_t second_border;
1988     uint32_t r_index;
1989     uint32_t peers_to_clean_size;
1990     struct GNUNET_PeerIdentity *peers_to_clean;
1991
1992     peers_to_clean = NULL;
1993     peers_to_clean_size = 0;
1994     GNUNET_array_grow (peers_to_clean, peers_to_clean_size, gossip_list_size);
1995     memcpy (peers_to_clean,
1996             gossip_list,
1997             gossip_list_size * sizeof (struct GNUNET_PeerIdentity));
1998
1999     first_border  =                ceil (alpha * sampler_size_est_need);
2000     second_border = first_border + ceil (beta  * sampler_size_est_need);
2001
2002     GNUNET_array_grow (gossip_list, gossip_list_size, second_border);
2003
2004     for (i = 0 ; i < first_border ; i++)
2005     { // TODO use RPS_sampler_get_n_rand_peers
2006       /* Update gossip list with peers received through PUSHes */
2007       r_index = GNUNET_CRYPTO_random_u64 (GNUNET_CRYPTO_QUALITY_STRONG,
2008                                        push_list_size);
2009       gossip_list[i] = push_list[r_index];
2010       // TODO change the peer_flags accordingly
2011     }
2012
2013     for (i = first_border ; i < second_border ; i++)
2014     {
2015       /* Update gossip list with peers received through PULLs */
2016       r_index = GNUNET_CRYPTO_random_u64 (GNUNET_CRYPTO_QUALITY_STRONG,
2017                                        pull_list_size);
2018       gossip_list[i] = pull_list[r_index];
2019       // TODO change the peer_flags accordingly
2020     }
2021
2022     for (i = second_border ; i < sampler_size_est_need ; i++)
2023     {
2024       /* Update gossip list with peers from history */
2025       RPS_sampler_get_n_rand_peers (prot_sampler, hist_update, NULL, 1, GNUNET_NO);
2026       num_hist_update_tasks++;
2027       // TODO change the peer_flags accordingly
2028     }
2029
2030     for (i = 0 ; i < gossip_list_size ; i++)
2031       rem_from_list (&peers_to_clean, &peers_to_clean_size, &gossip_list[i]);
2032
2033     for (i = 0 ; i < peers_to_clean_size ; i++)
2034       peer_clean (&peers_to_clean[i]);
2035
2036     GNUNET_free (peers_to_clean);
2037   }
2038   else
2039   {
2040     LOG (GNUNET_ERROR_TYPE_DEBUG, "No update of the gossip list.\n");
2041   }
2042   // TODO independent of that also get some peers from CADET_get_peers()?
2043
2044
2045   /* Update samplers */
2046   for ( i = 0 ; i < push_list_size ; i++ )
2047   {
2048     LOG (GNUNET_ERROR_TYPE_DEBUG,
2049          "Updating with peer %s from push list\n",
2050          GNUNET_i2s (&push_list[i]));
2051     RPS_sampler_update (prot_sampler,   &push_list[i]);
2052     RPS_sampler_update (client_sampler, &push_list[i]);
2053     // TODO set in_flag?
2054   }
2055
2056   for ( i = 0 ; i < pull_list_size ; i++ )
2057   {
2058     LOG (GNUNET_ERROR_TYPE_DEBUG,
2059          "Updating with peer %s from pull list\n",
2060          GNUNET_i2s (&pull_list[i]));
2061     RPS_sampler_update (prot_sampler,   &pull_list[i]);
2062     RPS_sampler_update (client_sampler, &pull_list[i]);
2063     // TODO set in_flag?
2064   }
2065
2066
2067   /* Empty push/pull lists */
2068   GNUNET_array_grow (push_list, push_list_size, 0);
2069   GNUNET_array_grow (pull_list, pull_list_size, 0);
2070
2071   struct GNUNET_TIME_Relative time_next_round;
2072
2073   time_next_round = compute_rand_delay (round_interval, 2);
2074
2075   /* Schedule next round */
2076   //do_round_task = GNUNET_SCHEDULER_add_delayed (round_interval, &do_round, NULL);
2077   do_round_task = GNUNET_SCHEDULER_add_delayed (time_next_round, &do_round, NULL);
2078   LOG (GNUNET_ERROR_TYPE_DEBUG, "Finished round\n");
2079 }
2080
2081
2082 static void
2083 rps_start (struct GNUNET_SERVER_Handle *server);
2084
2085
2086 /**
2087  * This is called from GNUNET_CADET_get_peers().
2088  *
2089  * It is called on every peer(ID) that cadet somehow has contact with.
2090  * We use those to initialise the sampler.
2091  */
2092 void
2093 init_peer_cb (void *cls,
2094               const struct GNUNET_PeerIdentity *peer,
2095               int tunnel, // "Do we have a tunnel towards this peer?"
2096               unsigned int n_paths, // "Number of known paths towards this peer"
2097               unsigned int best_path) // "How long is the best path?
2098                                       // (0 = unknown, 1 = ourselves, 2 = neighbor)"
2099 {
2100   new_peer_id (peer);
2101 }
2102
2103
2104 /**
2105  * Clean the send channel of a peer
2106  */
2107 void
2108 peer_clean (const struct GNUNET_PeerIdentity *peer)
2109 {
2110   struct PeerContext *peer_ctx;
2111   struct GNUNET_CADET_Channel *channel;
2112
2113   if (GNUNET_YES != in_arr (gossip_list, gossip_list_size, peer)
2114       && GNUNET_YES == GNUNET_CONTAINER_multipeermap_contains (peer_map, peer))
2115   {
2116     peer_ctx = get_peer_ctx (peer_map, peer);
2117     if (NULL != peer_ctx->send_channel)
2118     {
2119       channel = peer_ctx->send_channel;
2120       peer_ctx->send_channel = NULL;
2121       GNUNET_CADET_channel_destroy (channel);
2122     }
2123   }
2124 }
2125
2126
2127 /**
2128  * Callback used to remove peers from the multipeermap.
2129  */
2130   int
2131 peer_remove_cb (void *cls, const struct GNUNET_PeerIdentity *key, void *value)
2132 {
2133   struct PeerContext *peer_ctx;
2134   const struct GNUNET_CADET_Channel *channel =
2135     (const struct GNUNET_CADET_Channel *) cls;
2136   struct GNUNET_CADET_Channel *recv;
2137   struct GNUNET_CADET_Channel *send;
2138
2139   if (GNUNET_YES == GNUNET_CONTAINER_multipeermap_contains (peer_map, value))
2140   {
2141     peer_ctx = (struct PeerContext *) value;
2142
2143     if (0 != peer_ctx->num_outstanding_ops)
2144       GNUNET_array_grow (peer_ctx->outstanding_ops,
2145                          peer_ctx->num_outstanding_ops,
2146                          0);
2147
2148     if (NULL != peer_ctx->mq)
2149     {
2150       GNUNET_MQ_destroy (peer_ctx->mq);
2151       peer_ctx->mq = NULL;
2152     }
2153
2154
2155     if (NULL != peer_ctx->is_live_task)
2156     {
2157     LOG (GNUNET_ERROR_TYPE_DEBUG,
2158          "Trying to cancle is_live_task for peer %s\n",
2159          GNUNET_i2s (key));
2160       GNUNET_CADET_notify_transmit_ready_cancel (peer_ctx->is_live_task);
2161       peer_ctx->is_live_task = NULL;
2162     }
2163
2164     send = peer_ctx->send_channel;
2165     peer_ctx->send_channel = NULL;
2166     if (NULL != send
2167         && channel != send)
2168     {
2169       GNUNET_CADET_channel_destroy (send);
2170     }
2171
2172     recv = peer_ctx->send_channel;
2173     peer_ctx->recv_channel = NULL;
2174     if (NULL != recv
2175         && channel != recv)
2176     {
2177       GNUNET_CADET_channel_destroy (recv);
2178     }
2179
2180     if (GNUNET_YES != GNUNET_CONTAINER_multipeermap_remove_all (peer_map, key))
2181       LOG (GNUNET_ERROR_TYPE_WARNING, "removing peer from peer_map failed\n");
2182     else
2183       GNUNET_free (peer_ctx);
2184   }
2185
2186   return GNUNET_YES;
2187 }
2188
2189
2190 /**
2191  * Task run during shutdown.
2192  *
2193  * @param cls unused
2194  * @param tc unused
2195  */
2196 static void
2197 shutdown_task (void *cls,
2198                      const struct GNUNET_SCHEDULER_TaskContext *tc)
2199 {
2200
2201   LOG (GNUNET_ERROR_TYPE_DEBUG, "RPS is going down\n");
2202
2203   if (NULL != do_round_task)
2204   {
2205     GNUNET_SCHEDULER_cancel (do_round_task);
2206     do_round_task = NULL;
2207   }
2208
2209
2210   {
2211   if (GNUNET_SYSERR ==
2212         GNUNET_CONTAINER_multipeermap_iterate (peer_map, peer_remove_cb, NULL))
2213     LOG (GNUNET_ERROR_TYPE_WARNING,
2214         "Iterating over peers to disconnect from them was cancelled\n");
2215   }
2216
2217   GNUNET_NSE_disconnect (nse);
2218   GNUNET_CADET_disconnect (cadet_handle);
2219   RPS_sampler_destroy (prot_sampler);
2220   RPS_sampler_destroy (client_sampler);
2221   LOG (GNUNET_ERROR_TYPE_DEBUG,
2222        "Size of the peermap: %u\n",
2223        GNUNET_CONTAINER_multipeermap_size (peer_map));
2224   GNUNET_break (0 == GNUNET_CONTAINER_multipeermap_size (peer_map));
2225   GNUNET_CONTAINER_multipeermap_destroy (peer_map);
2226   GNUNET_array_grow (gossip_list, gossip_list_size, 0);
2227   GNUNET_array_grow (push_list, push_list_size, 0);
2228   GNUNET_array_grow (pull_list, pull_list_size, 0);
2229   #ifdef ENABLE_MALICIOUS
2230   struct AttackedPeer *tmp_att_peer;
2231   GNUNET_array_grow (mal_peers, num_mal_peers, 0);
2232   if (NULL != mal_peer_set)
2233     GNUNET_CONTAINER_multipeermap_destroy (mal_peer_set);
2234   if (NULL != att_peer_set)
2235     GNUNET_CONTAINER_multipeermap_destroy (att_peer_set);
2236   while (NULL != att_peers_head)
2237   {
2238     tmp_att_peer = att_peers_head;
2239     GNUNET_CONTAINER_DLL_remove (att_peers_head, att_peers_tail, tmp_att_peer);
2240   }
2241   #endif /* ENABLE_MALICIOUS */
2242 }
2243
2244
2245 /**
2246  * A client disconnected.  Remove all of its data structure entries.
2247  *
2248  * @param cls closure, NULL
2249  * @param client identification of the client
2250  */
2251 static void
2252 handle_client_disconnect (void *cls,
2253                           struct GNUNET_SERVER_Client * client)
2254 {
2255 }
2256
2257
2258 /**
2259  * Handle the channel a peer opens to us.
2260  *
2261  * @param cls The closure
2262  * @param channel The channel the peer wants to establish
2263  * @param initiator The peer's peer ID
2264  * @param port The port the channel is being established over
2265  * @param options Further options
2266  */
2267   static void *
2268 handle_inbound_channel (void *cls,
2269                         struct GNUNET_CADET_Channel *channel,
2270                         const struct GNUNET_PeerIdentity *initiator,
2271                         uint32_t port,
2272                         enum GNUNET_CADET_ChannelOption options)
2273 {
2274   struct PeerContext *peer_ctx;
2275   struct GNUNET_PeerIdentity peer;
2276
2277   peer = *initiator;
2278   LOG (GNUNET_ERROR_TYPE_DEBUG,
2279       "New channel was established to us (Peer %s).\n",
2280       GNUNET_i2s (&peer));
2281
2282   GNUNET_assert (NULL != channel);
2283
2284   // we might not even store the recv_channel
2285
2286   peer_ctx = get_peer_ctx (peer_map, &peer);
2287   // FIXME what do we do if a channel is established twice?
2288   //       overwrite? Clean old channel? ...?
2289   //if (NULL != peer_ctx->recv_channel)
2290   //{
2291   //  peer_ctx->recv_channel = channel;
2292   //}
2293   peer_ctx->recv_channel = channel;
2294
2295   (void) GNUNET_CONTAINER_multipeermap_put (peer_map, &peer, peer_ctx,
2296       GNUNET_CONTAINER_MULTIHASHMAPOPTION_REPLACE);
2297
2298   peer_is_live (peer_ctx);
2299
2300   return NULL; // TODO
2301 }
2302
2303
2304 /**
2305  * This is called when a remote peer destroys a channel.
2306  *
2307  * @param cls The closure
2308  * @param channel The channel being closed
2309  * @param channel_ctx The context associated with this channel
2310  */
2311   static void
2312 cleanup_channel (void *cls,
2313                 const struct GNUNET_CADET_Channel *channel,
2314                 void *channel_ctx)
2315 {
2316   struct GNUNET_PeerIdentity *peer;
2317   struct PeerContext *peer_ctx;
2318
2319   peer = (struct GNUNET_PeerIdentity *) GNUNET_CADET_channel_get_info (
2320       (struct GNUNET_CADET_Channel *) channel, GNUNET_CADET_OPTION_PEER);
2321        // Guess simply casting isn't the nicest way...
2322        // FIXME wait for cadet to change this function
2323
2324   if (GNUNET_YES == GNUNET_CONTAINER_multipeermap_contains (peer_map, peer))
2325   {
2326     peer_ctx = GNUNET_CONTAINER_multipeermap_get (peer_map, peer);
2327
2328     if (NULL == peer_ctx) /* It could have been removed by shutdown_task */
2329       return;
2330
2331     if (channel == peer_ctx->send_channel)
2332     { /* Peer probably went down */
2333       LOG (GNUNET_ERROR_TYPE_DEBUG,
2334            "Peer %s destroyed send channel - probably went down, cleaning up\n",
2335            GNUNET_i2s (peer));
2336       rem_from_list (&gossip_list, &gossip_list_size, peer);
2337       rem_from_list (&pending_pull_reply_list, &pending_pull_reply_list_size, peer);
2338
2339       peer_ctx->send_channel = NULL;
2340       /* Somwewhat {ab,re}use the iterator function */
2341       /* Cast to void is ok, because it's used as void in peer_remove_cb */
2342       (void) peer_remove_cb ((void *) channel, peer, peer_ctx);
2343     }
2344     else if (channel == peer_ctx->recv_channel)
2345     { /* Other peer doesn't want to send us messages anymore */
2346       LOG (GNUNET_ERROR_TYPE_DEBUG,
2347            "Peer %s destroyed recv channel - cleaning up channel\n",
2348            GNUNET_i2s (peer));
2349       peer_ctx->recv_channel = NULL;
2350     }
2351   }
2352 }
2353
2354
2355 /**
2356  * Actually start the service.
2357  */
2358   static void
2359 rps_start (struct GNUNET_SERVER_Handle *server)
2360 {
2361   static const struct GNUNET_SERVER_MessageHandler handlers[] = {
2362     {&handle_client_request,     NULL, GNUNET_MESSAGE_TYPE_RPS_CS_REQUEST,
2363       sizeof (struct GNUNET_RPS_CS_RequestMessage)},
2364     {&handle_client_seed,        NULL, GNUNET_MESSAGE_TYPE_RPS_CS_SEED, 0},
2365     #ifdef ENABLE_MALICIOUS
2366     {&handle_client_act_malicious, NULL, GNUNET_MESSAGE_TYPE_RPS_ACT_MALICIOUS , 0},
2367     #endif /* ENABLE_MALICIOUS */
2368     {NULL, NULL, 0, 0}
2369   };
2370
2371   GNUNET_SERVER_add_handlers (server, handlers);
2372   GNUNET_SERVER_disconnect_notify (server,
2373                                    &handle_client_disconnect,
2374                                    NULL);
2375   LOG (GNUNET_ERROR_TYPE_DEBUG, "Ready to receive requests from clients\n");
2376
2377
2378   do_round_task = GNUNET_SCHEDULER_add_now (&do_round, NULL);
2379   LOG (GNUNET_ERROR_TYPE_DEBUG, "Scheduled first round\n");
2380
2381   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL,
2382                                                         &shutdown_task,
2383                                                         NULL);
2384 }
2385
2386
2387 /**
2388  * Process statistics requests.
2389  *
2390  * @param cls closure
2391  * @param server the initialized server
2392  * @param c configuration to use
2393  */
2394   static void
2395 run (void *cls,
2396      struct GNUNET_SERVER_Handle *server,
2397      const struct GNUNET_CONFIGURATION_Handle *c)
2398 {
2399   // TODO check what this does -- copied from gnunet-boss
2400   // - seems to work as expected
2401   GNUNET_log_setup ("rps", GNUNET_error_type_to_string (GNUNET_ERROR_TYPE_DEBUG), NULL);
2402   cfg = c;
2403
2404
2405   /* Get own ID */
2406   GNUNET_CRYPTO_get_peer_identity (cfg, &own_identity); // TODO check return value
2407   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
2408               "STARTING SERVICE (rps) for peer [%s]\n",
2409               GNUNET_i2s (&own_identity));
2410   #ifdef ENABLE_MALICIOUS
2411   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2412               "Malicious execution compiled in.\n");
2413   #endif /* ENABLE_MALICIOUS */
2414
2415
2416
2417   /* Get time interval from the configuration */
2418   if (GNUNET_OK != GNUNET_CONFIGURATION_get_value_time (cfg, "RPS",
2419                                                         "ROUNDINTERVAL",
2420                                                         &round_interval))
2421   {
2422     LOG (GNUNET_ERROR_TYPE_DEBUG, "Failed to read ROUNDINTERVAL from config\n");
2423     GNUNET_SCHEDULER_shutdown ();
2424     return;
2425   }
2426
2427   /* Get initial size of sampler/gossip list from the configuration */
2428   if (GNUNET_OK != GNUNET_CONFIGURATION_get_value_number (cfg, "RPS",
2429                                                          "INITSIZE",
2430                                                          (long long unsigned int *) &sampler_size_est_need))
2431   {
2432     LOG (GNUNET_ERROR_TYPE_DEBUG, "Failed to read INITSIZE from config\n");
2433     GNUNET_SCHEDULER_shutdown ();
2434     return;
2435   }
2436   LOG (GNUNET_ERROR_TYPE_DEBUG, "INITSIZE is %" PRIu64 "\n", sampler_size_est_need);
2437
2438
2439   gossip_list = NULL;
2440
2441
2442   /* connect to NSE */
2443   nse = GNUNET_NSE_connect (cfg, nse_callback, NULL);
2444   // TODO check whether that was successful
2445   LOG (GNUNET_ERROR_TYPE_DEBUG, "Connected to NSE\n");
2446
2447
2448   alpha = 0.45;
2449   beta  = 0.45;
2450
2451   peer_map = GNUNET_CONTAINER_multipeermap_create (sampler_size_est_need, GNUNET_NO);
2452
2453
2454   /* Initialise cadet */
2455   static const struct GNUNET_CADET_MessageHandler cadet_handlers[] = {
2456     {&handle_peer_push        , GNUNET_MESSAGE_TYPE_RPS_PP_PUSH        ,
2457       sizeof (struct GNUNET_MessageHeader)},
2458     {&handle_peer_pull_request, GNUNET_MESSAGE_TYPE_RPS_PP_PULL_REQUEST,
2459       sizeof (struct GNUNET_MessageHeader)},
2460     {&handle_peer_pull_reply  , GNUNET_MESSAGE_TYPE_RPS_PP_PULL_REPLY  , 0},
2461     {NULL, 0, 0}
2462   };
2463
2464   const uint32_t ports[] = {GNUNET_RPS_CADET_PORT, 0}; // _PORT specified in src/rps/rps.h
2465   cadet_handle = GNUNET_CADET_connect (cfg,
2466                                        cls,
2467                                        &handle_inbound_channel,
2468                                        &cleanup_channel,
2469                                        cadet_handlers,
2470                                        ports);
2471   LOG (GNUNET_ERROR_TYPE_DEBUG, "Connected to CADET\n");
2472
2473
2474   /* Initialise sampler */
2475   struct GNUNET_TIME_Relative half_round_interval;
2476   struct GNUNET_TIME_Relative  max_round_interval;
2477
2478   half_round_interval = GNUNET_TIME_relative_multiply (round_interval, .5);
2479   max_round_interval = GNUNET_TIME_relative_add (round_interval, half_round_interval);
2480
2481   prot_sampler =   RPS_sampler_init (sampler_size_est_need, max_round_interval);
2482   client_sampler = RPS_sampler_init (sampler_size_est_need, max_round_interval);
2483
2484   /* Initialise push and pull maps */
2485   push_list = NULL;
2486   push_list_size = 0;
2487   pull_list = NULL;
2488   pull_list_size = 0;
2489   pending_pull_reply_list = NULL;
2490   pending_pull_reply_list_size = 0;
2491
2492
2493   num_hist_update_tasks = 0;
2494
2495
2496   LOG (GNUNET_ERROR_TYPE_DEBUG, "Requesting peers from CADET\n");
2497   GNUNET_CADET_get_peers (cadet_handle, &init_peer_cb, NULL);
2498   // TODO send push/pull to each of those peers?
2499
2500
2501   rps_start (server);
2502 }
2503
2504
2505 /**
2506  * The main function for the rps service.
2507  *
2508  * @param argc number of arguments from the command line
2509  * @param argv command line arguments
2510  * @return 0 ok, 1 on error
2511  */
2512   int
2513 main (int argc, char *const *argv)
2514 {
2515   return (GNUNET_OK ==
2516           GNUNET_SERVICE_run (argc,
2517                               argv,
2518                               "rps",
2519                               GNUNET_SERVICE_OPTION_NONE,
2520                               &run, NULL)) ? 0 : 1;
2521 }
2522
2523 /* end of gnunet-service-rps.c */