src/rps/gnunet-service-rps.c

   1 /*
   2      This file is part of GNUnet.
   3      Copyright (C)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20
  21 /**
  22  * @file rps/gnunet-service-rps.c
  23  * @brief rps service implementation
  24  * @author Julius Bünger
  25  */
  26 #include "platform.h"
  27 #include "gnunet_util_lib.h"
  28 #include "gnunet_cadet_service.h"
  29 #include "gnunet_nse_service.h"
  30 #include "rps.h"
  31
  32 #include "gnunet-service-rps_sampler.h"
  33
  34 #include <math.h>
  35 #include <inttypes.h>
  36
  37 #define LOG(kind, ...) GNUNET_log(kind, __VA_ARGS__)
  38
  39 // TODO modify @brief in every file
  40
  41 // TODO check for overflows
  42
  43 // TODO align message structs
  44
  45 // (TODO api -- possibility of getting weak random peer immideately)
  46
  47 // TODO connect to friends
  48
  49 // TODO store peers somewhere
  50
  51 // TODO ignore list?
  52
  53 // hist_size_init, hist_size_max
  54
  55 /**
  56  * Our configuration.
  57  */
  58 static const struct GNUNET_CONFIGURATION_Handle *cfg;
  59
  60 /**
  61  * Our own identity.
  62  */
  63 static struct GNUNET_PeerIdentity own_identity;
  64
  65
  66   struct GNUNET_PeerIdentity *
  67 get_rand_peer_ignore_list (const struct GNUNET_PeerIdentity *peer_list, unsigned int size,
  68                            const struct GNUNET_PeerIdentity *ignore_list, unsigned int ignore_size);
  69
  70
  71 /***********************************************************************
  72  * Housekeeping with peers
  73 ***********************************************************************/
  74
  75 /**
  76  * Struct used to store the context of a connected client.
  77  */
  78 struct ClientContext
  79 {
  80   /**
  81    * The message queue to communicate with the client.
  82    */
  83   struct GNUNET_MQ_Handle *mq;
  84 };
  85
  86 /**
  87  * Used to keep track in what lists single peerIDs are.
  88  */
  89 enum PeerFlags
  90 {
  91   PULL_REPLY_PENDING   = 0x01,
  92   IN_OTHER_GOSSIP_LIST = 0x02, // unneeded?
  93   IN_OWN_SAMPLER_LIST  = 0x04, // unneeded?
  94   IN_OWN_GOSSIP_LIST   = 0x08, // unneeded?
  95
  96   /**
  97    * We set this bit when we can be sure the other peer is/was live.
  98    */
  99   VALID                = 0x10
 100 };
 101
 102
 103 /**
 104  * Functions of this type can be used to be stored at a peer for later execution.
 105  */
 106 typedef void (* PeerOp) (void *cls, const struct GNUNET_PeerIdentity *peer);
 107
 108 /**
 109  * Outstanding operation on peer consisting of callback and closure
 110  */
 111 struct PeerOutstandingOp
 112 {
 113   /**
 114    * Callback
 115    */
 116   PeerOp op;
 117
 118   /**
 119    * Closure
 120    */
 121   void *op_cls;
 122 };
 123
 124
 125 /**
 126  * Struct used to keep track of other peer's status
 127  *
 128  * This is stored in a multipeermap.
 129  */
 130 struct PeerContext
 131 {
 132   /**
 133    * In own gossip/sampler list, in other's gossip/sampler list
 134    */
 135   uint32_t peer_flags;
 136
 137   /**
 138    * Message queue open to client
 139    */
 140   struct GNUNET_MQ_Handle *mq;
 141
 142   /**
 143    * Channel open to client.
 144    */
 145   struct GNUNET_CADET_Channel *send_channel;
 146
 147   /**
 148    * Channel open from client.
 149    */
 150   struct GNUNET_CADET_Channel *recv_channel; // unneeded?
 151
 152   /**
 153    * Array of outstanding operations on this peer.
 154    */
 155   struct PeerOutstandingOp *outstanding_ops;
 156
 157   /**
 158    * Number of outstanding operations.
 159    */
 160   unsigned int num_outstanding_ops;
 161   //size_t num_outstanding_ops;
 162
 163   /**
 164    * Handle to the callback given to cadet_ntfy_tmt_rdy()
 165    *
 166    * To be canceled on shutdown.
 167    */
 168   struct GNUNET_CADET_TransmitHandle *is_live_task;
 169
 170   /**
 171    * Identity of the peer
 172    */
 173   struct GNUNET_PeerIdentity peer_id;
 174
 175   /**
 176    * This is pobably followed by 'statistical' data (when we first saw
 177    * him, how did we get his ID, how many pushes (in a timeinterval),
 178    * ...)
 179    */
 180 };
 181
 182 /***********************************************************************
 183  * /Housekeeping with peers
 184 ***********************************************************************/
 185
 186
 187
 188
 189
 190 /***********************************************************************
 191  * Globals
 192 ***********************************************************************/
 193
 194 /**
 195  * Sampler used for the Brahms protocol itself.
 196  */
 197 static struct RPS_Sampler *prot_sampler;
 198
 199 /**
 200  * Sampler used for the clients.
 201  */
 202 static struct RPS_Sampler *client_sampler;
 203
 204 /**
 205  * Set of all peers to keep track of them.
 206  */
 207 static struct GNUNET_CONTAINER_MultiPeerMap *peer_map;
 208
 209
 210 /**
 211  * The gossiped list of peers.
 212  */
 213 static struct GNUNET_PeerIdentity *gossip_list;
 214
 215 /**
 216  * Size of the gossiped list
 217  */
 218 //static unsigned int gossip_list_size;
 219 static uint32_t gossip_list_size;
 220
 221
 222 /**
 223  * The size of sampler we need to be able to satisfy the client's need of
 224  * random peers.
 225  */
 226 static unsigned int sampler_size_client_need;
 227
 228 /**
 229  * The size of sampler we need to be able to satisfy the Brahms protocol's
 230  * need of random peers.
 231  *
 232  * This is directly taken as the #gossip_list_size on update of the
 233  * #gossip_list
 234  *
 235  * This is one minimum size the sampler grows to.
 236  */
 237 static unsigned int sampler_size_est_need;
 238
 239
 240 /**
 241  * Percentage of total peer number in the gossip list
 242  * to send random PUSHes to
 243  */
 244 static float alpha;
 245
 246 /**
 247  * Percentage of total peer number in the gossip list
 248  * to send random PULLs to
 249  */
 250 static float beta;
 251
 252 /**
 253  * The percentage gamma of history updates.
 254  * Simply 1 - alpha - beta
 255  */
 256
 257
 258 /**
 259  * Identifier for the main task that runs periodically.
 260  */
 261 static struct GNUNET_SCHEDULER_Task *do_round_task;
 262
 263 /**
 264  * Time inverval the do_round task runs in.
 265  */
 266 static struct GNUNET_TIME_Relative round_interval;
 267
 268
 269
 270 /**
 271  * List to store peers received through pushes temporary.
 272  *
 273  * TODO -> multipeermap
 274  */
 275 static struct GNUNET_PeerIdentity *push_list;
 276
 277 /**
 278  * Size of the push_list;
 279  */
 280 static unsigned int push_list_size;
 281 //size_t push_list_size;
 282
 283 /**
 284  * List to store peers received through pulls temporary.
 285  *
 286  * TODO -> multipeermap
 287  */
 288 static struct GNUNET_PeerIdentity *pull_list;
 289
 290 /**
 291  * Size of the pull_list;
 292  */
 293 static unsigned int pull_list_size;
 294 //size_t pull_list_size;
 295
 296
 297 /**
 298  * Handler to NSE.
 299  */
 300 static struct GNUNET_NSE_Handle *nse;
 301
 302 /**
 303  * Handler to CADET.
 304  */
 305 static struct GNUNET_CADET_Handle *cadet_handle;
 306
 307
 308 /**
 309  * Request counter.
 310  *
 311  * Only needed in the beginning to check how many of the 64 deltas
 312  * we already have
 313  */
 314 static unsigned int req_counter;
 315
 316 /**
 317  * Time of the last request we received.
 318  *
 319  * Used to compute the expected request rate.
 320  */
 321 static struct GNUNET_TIME_Absolute last_request;
 322
 323 /**
 324  * Size of #request_deltas.
 325  */
 326 #define REQUEST_DELTAS_SIZE 64
 327 static unsigned int request_deltas_size = REQUEST_DELTAS_SIZE;
 328
 329 /**
 330  * Last 64 deltas between requests
 331  */
 332 static struct GNUNET_TIME_Relative request_deltas[REQUEST_DELTAS_SIZE];
 333
 334 /**
 335  * The prediction of the rate of requests
 336  */
 337 static struct GNUNET_TIME_Relative  request_rate;
 338
 339
 340 /**
 341  * List with the peers we sent requests to.
 342  */
 343 struct GNUNET_PeerIdentity *pending_pull_reply_list;
 344
 345 /**
 346  * Size of #pending_pull_reply_list.
 347  */
 348 uint32_t pending_pull_reply_list_size;
 349
 350
 351 /**
 352  * Number of history update tasks.
 353  */
 354 uint32_t num_hist_update_tasks;
 355
 356
 357 /**
 358  * Closure used to pass the client and the id to the callback
 359  * that replies to a client's request
 360  */
 361 struct ReplyCls
 362 {
 363   /**
 364    * The identifier of the request
 365    */
 366   uint32_t id;
 367
 368   /**
 369    * The client handle to send the reply to
 370    */
 371   struct GNUNET_SERVER_Client *client;
 372 };
 373
 374
 375 #ifdef ENABLE_MALICIOUS
 376 /**
 377  * Type of malicious peer
 378  *
 379  * 0 Don't act malicious at all - Default
 380  * 1 Try to maximise representation
 381  * 2 Try to partition the network
 382  */
 383 uint32_t mal_type = 0;
 384
 385 /**
 386  * Other malicious peers
 387  */
 388 static struct GNUNET_PeerIdentity *mal_peers = NULL;
 389
 390 /**
 391  * Hashmap of malicious peers used as set.
 392  * Used to more efficiently check whether we know that peer.
 393  */
 394 static struct GNUNET_CONTAINER_MultiPeerMap *mal_peer_set = NULL;
 395
 396 /**
 397  * Number of other malicious peers
 398  */
 399 static uint32_t num_mal_peers = 0;
 400
 401
 402 /**
 403  * If type is 2 This struct is used to store the attacked peers in a DLL
 404  */
 405 struct AttackedPeer
 406 {
 407   /**
 408    * DLL
 409    */
 410   struct AttackedPeer *next;
 411   struct AttackedPeer *prev;
 412
 413   /**
 414    * PeerID
 415    */
 416   struct GNUNET_PeerIdentity peer_id;
 417 };
 418
 419 /**
 420  * If type is 2 this is the DLL of attacked peers
 421  */
 422 static struct AttackedPeer *att_peers_head = NULL;
 423 static struct AttackedPeer *att_peers_tail = NULL;
 424
 425 /**
 426  * This index is used to point to an attacked peer to
 427  * implement the round-robin-ish way to select attacked peers.
 428  */
 429 static struct AttackedPeer *att_peer_index = NULL;
 430
 431 /**
 432  * Hashmap of attacked peers used as set.
 433  * Used to more efficiently check whether we know that peer.
 434  */
 435 static struct GNUNET_CONTAINER_MultiPeerMap *att_peer_set = NULL;
 436
 437 /**
 438  * Number of attacked peers
 439  */
 440 static uint32_t num_attacked_peers = 0;
 441
 442
 443 /**
 444  * If type is 1 this is the attacked peer
 445  */
 446 static struct GNUNET_PeerIdentity attacked_peer;
 447
 448 /**
 449  * The limit of PUSHes we can send in one round.
 450  * This is an assumption of the Brahms protocol and either implemented
 451  * via proof of work
 452  * or
 453  * assumend to be the bandwidth limitation.
 454  */
 455 static uint32_t push_limit = 10000;
 456 #endif /* ENABLE_MALICIOUS */
 457
 458
 459 /***********************************************************************
 460  * /Globals
 461 ***********************************************************************/
 462
 463
 464
 465
 466
 467
 468 /***********************************************************************
 469  * Util functions
 470 ***********************************************************************/
 471
 472 /**
 473  * Set a peer flag of given peer context.
 474  */
 475 #define set_peer_flag(peer_ctx, mask) (peer_ctx->peer_flags |= mask)
 476
 477 /**
 478  * Get peer flag of given peer context.
 479  */
 480 #define get_peer_flag(peer_ctx, mask) (peer_ctx->peer_flags & mask ? GNUNET_YES : GNUNET_NO)
 481
 482 /**
 483  * Unset flag of given peer context.
 484  */
 485 #define unset_peer_flag(peer_ctx, mask) (peer_ctx->peer_flags &= (~mask))
 486
 487 /**
 488  * Compute the minimum of two ints
 489  */
 490 #define min(x, y) ((x < y) ? x : y)
 491
 492 /**
 493  * Clean the send channel of a peer
 494  */
 495 void
 496 peer_clean (const struct GNUNET_PeerIdentity *peer);
 497
 498
 499 /**
 500  * Check if peer is already in peer array.
 501  */
 502   int
 503 in_arr (const struct GNUNET_PeerIdentity *array,
 504         unsigned int arr_size,
 505         const struct GNUNET_PeerIdentity *peer)
 506 {
 507   GNUNET_assert (NULL != peer);
 508
 509   if (0 == arr_size)
 510     return GNUNET_NO;
 511
 512   GNUNET_assert (NULL != array);
 513
 514   unsigned int i;
 515
 516   for (i = 0; i < arr_size ; i++)
 517     if (0 == GNUNET_CRYPTO_cmp_peer_identity (&array[i], peer))
 518       return GNUNET_YES;
 519   return GNUNET_NO;
 520 }
 521
 522
 523 /**
 524  * Print peerlist to log.
 525  */
 526 void
 527 print_peer_list (struct GNUNET_PeerIdentity *list, unsigned int len)
 528 {
 529   unsigned int i;
 530
 531   LOG (GNUNET_ERROR_TYPE_DEBUG,
 532        "Printing peer list of length %u at %p:\n",
 533        len,
 534        list);
 535   for (i = 0 ; i < len ; i++)
 536   {
 537     LOG (GNUNET_ERROR_TYPE_DEBUG,
 538          "%u. peer: %s\n",
 539          i, GNUNET_i2s (&list[i]));
 540   }
 541 }
 542
 543
 544 /**
 545  * Remove peer from list.
 546  */
 547   void
 548 rem_from_list (struct GNUNET_PeerIdentity **peer_list,
 549                unsigned int *list_size,
 550                const struct GNUNET_PeerIdentity *peer)
 551 {
 552   unsigned int i;
 553   struct GNUNET_PeerIdentity *tmp;
 554
 555   tmp = *peer_list;
 556
 557   LOG (GNUNET_ERROR_TYPE_DEBUG,
 558        "Removing peer %s from list at %p\n",
 559        GNUNET_i2s (peer),
 560        tmp);
 561
 562   for ( i = 0 ; i < *list_size ; i++ )
 563   {
 564     if (0 == GNUNET_CRYPTO_cmp_peer_identity (&tmp[i], peer))
 565     {
 566       if (i < *list_size -1)
 567       { /* Not at the last entry -- shift peers left */
 568         memcpy (&tmp[i], &tmp[i +1],
 569                 ((*list_size) - i -1) * sizeof (struct GNUNET_PeerIdentity));
 570       }
 571       /* Remove last entry (should be now useless PeerID) */
 572       GNUNET_array_grow (tmp, *list_size, (*list_size) -1);
 573     }
 574   }
 575   *peer_list = tmp;
 576 }
 577
 578 /**
 579  * Get random peer from the given list but don't return one from the @a ignore_list.
 580  */
 581   struct GNUNET_PeerIdentity *
 582 get_rand_peer_ignore_list (const struct GNUNET_PeerIdentity *peer_list,
 583                            uint32_t list_size,
 584                            const struct GNUNET_PeerIdentity *ignore_list,
 585                            uint32_t ignore_size)
 586 {
 587   uint32_t r_index;
 588   uint32_t tmp_size;
 589   struct GNUNET_PeerIdentity *tmp_peer_list;
 590   struct GNUNET_PeerIdentity *peer;
 591
 592   GNUNET_assert (NULL != peer_list);
 593   if (0 == list_size)
 594     return NULL;
 595
 596   tmp_size = 0;
 597   tmp_peer_list = NULL;
 598   GNUNET_array_grow (tmp_peer_list, tmp_size, list_size);
 599   memcpy (tmp_peer_list,
 600           peer_list,
 601           list_size * sizeof (struct GNUNET_PeerIdentity));
 602   peer = GNUNET_new (struct GNUNET_PeerIdentity);
 603
 604   /**;
 605    * Choose the r_index of the peer we want to return
 606    * at random from the interval of the gossip list
 607    */
 608   r_index = GNUNET_CRYPTO_random_u64 (GNUNET_CRYPTO_QUALITY_STRONG,
 609                                       tmp_size);
 610   *peer = tmp_peer_list[r_index];
 611
 612   while (in_arr (ignore_list, ignore_size, peer))
 613   {
 614     rem_from_list (&tmp_peer_list, &tmp_size, peer);
 615
 616     print_peer_list (tmp_peer_list, tmp_size);
 617
 618     if (0 == tmp_size)
 619     {
 620       GNUNET_free (peer);
 621       return NULL;
 622     }
 623
 624     /**;
 625      * Choose the r_index of the peer we want to return
 626      * at random from the interval of the gossip list
 627      */
 628     r_index = GNUNET_CRYPTO_random_u64 (GNUNET_CRYPTO_QUALITY_STRONG,
 629                                         tmp_size);
 630     *peer = tmp_peer_list[r_index];
 631   }
 632
 633
 634   GNUNET_array_grow (tmp_peer_list, tmp_size, 0);
 635
 636   return peer;
 637 }
 638
 639
 640 /**
 641  * Get the context of a peer. If not existing, create.
 642  */
 643   struct PeerContext *
 644 get_peer_ctx (struct GNUNET_CONTAINER_MultiPeerMap *peer_map,
 645               const struct GNUNET_PeerIdentity *peer)
 646 {
 647   struct PeerContext *ctx;
 648
 649   if ( GNUNET_YES == GNUNET_CONTAINER_multipeermap_contains (peer_map, peer))
 650   {
 651     ctx = GNUNET_CONTAINER_multipeermap_get (peer_map, peer);
 652   }
 653   else
 654   {
 655     ctx = GNUNET_new (struct PeerContext);
 656     ctx->peer_flags = 0;
 657     ctx->mq = NULL;
 658     ctx->send_channel = NULL;
 659     ctx->recv_channel = NULL;
 660     ctx->outstanding_ops = NULL;
 661     ctx->num_outstanding_ops = 0;
 662     ctx->is_live_task = NULL;
 663     ctx->peer_id = *peer;
 664     (void) GNUNET_CONTAINER_multipeermap_put (peer_map, peer, ctx,
 665                                               GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
 666   }
 667   return ctx;
 668 }
 669
 670
 671 /**
 672  * Put random peer from sampler into the gossip list as history update.
 673  */
 674   void
 675 hist_update (void *cls, struct GNUNET_PeerIdentity *ids, uint32_t num_peers)
 676 {
 677   GNUNET_assert (1 == num_peers);
 678
 679   if (gossip_list_size < sampler_size_est_need)
 680     GNUNET_array_append (gossip_list, gossip_list_size, *ids);
 681
 682   if (0 < num_hist_update_tasks)
 683     num_hist_update_tasks--;
 684 }
 685
 686
 687 /**
 688  * Set the peer flag to living and call the outstanding operations on this peer.
 689  */
 690 static size_t
 691 peer_is_live (struct PeerContext *peer_ctx)
 692 {
 693   struct GNUNET_PeerIdentity *peer;
 694
 695   /* Cancle is_live_task if still scheduled */
 696   if (NULL != peer_ctx->is_live_task)
 697   {
 698     GNUNET_CADET_notify_transmit_ready_cancel (peer_ctx->is_live_task);
 699     peer_ctx->is_live_task = NULL;
 700   }
 701
 702   peer = &peer_ctx->peer_id;
 703   set_peer_flag (peer_ctx, VALID);
 704
 705   LOG (GNUNET_ERROR_TYPE_DEBUG, "Peer %s is live\n", GNUNET_i2s (peer));
 706
 707   if (0 < peer_ctx->num_outstanding_ops)
 708   { /* Call outstanding operations */
 709     unsigned int i;
 710
 711     for (i = 0 ; i < peer_ctx->num_outstanding_ops ; i++)
 712       peer_ctx->outstanding_ops[i].op (peer_ctx->outstanding_ops[i].op_cls, peer);
 713     GNUNET_array_grow (peer_ctx->outstanding_ops, peer_ctx->num_outstanding_ops, 0);
 714   }
 715
 716   return 0;
 717 }
 718
 719
 720 /**
 721  * Callback that is called when a channel was effectively established.
 722  * This is given to ntfy_tmt_rdy and called when the channel was
 723  * successfully established.
 724  */
 725 static size_t
 726 cadet_ntfy_tmt_rdy_cb (void *cls, size_t size, void *buf)
 727 {
 728   struct PeerContext *peer_ctx = (struct PeerContext *) cls;
 729
 730   peer_ctx->is_live_task = NULL;
 731   LOG (GNUNET_ERROR_TYPE_DEBUG,
 732        "Set ->is_live_task = NULL for peer %s\n",
 733        GNUNET_i2s (&peer_ctx->peer_id));
 734
 735   if (NULL != buf
 736       && 0 != size)
 737   {
 738     peer_is_live (peer_ctx);
 739   }
 740   else
 741   {
 742     LOG (GNUNET_ERROR_TYPE_WARNING,
 743          "Problems establishing a connection to peer %s in order to check liveliness\n",
 744          GNUNET_i2s (&peer_ctx->peer_id));
 745     // TODO reschedule? cleanup?
 746   }
 747
 748   //if (NULL != peer_ctx->is_live_task)
 749   //{
 750   //  LOG (GNUNET_ERROR_TYPE_DEBUG,
 751   //       "Trying to cancle is_live_task for peer %s\n",
 752   //       GNUNET_i2s (&peer_ctx->peer_id));
 753   //  GNUNET_CADET_notify_transmit_ready_cancel (peer_ctx->is_live_task);
 754   //  peer_ctx->is_live_task = NULL;
 755   //}
 756
 757   return 0;
 758 }
 759
 760
 761 /**
 762  * Get the channel of a peer. If not existing, create.
 763  */
 764   struct GNUNET_CADET_Channel *
 765 get_channel (struct GNUNET_CONTAINER_MultiPeerMap *peer_map,
 766              const struct GNUNET_PeerIdentity *peer)
 767 {
 768   struct PeerContext *peer_ctx;
 769
 770   peer_ctx = get_peer_ctx (peer_map, peer);
 771
 772   if (NULL == peer_ctx->send_channel)
 773   {
 774     LOG (GNUNET_ERROR_TYPE_DEBUG,
 775          "Trying to establish channel to peer %s\n",
 776          GNUNET_i2s (peer));
 777
 778     peer_ctx->send_channel =
 779       GNUNET_CADET_channel_create (cadet_handle,
 780                                    NULL,
 781                                    peer,
 782                                    GNUNET_RPS_CADET_PORT,
 783                                    GNUNET_CADET_OPTION_RELIABLE);
 784
 785     // do I have to explicitly put it in the peer_map?
 786     (void) GNUNET_CONTAINER_multipeermap_put
 787       (peer_map,
 788        peer,
 789        peer_ctx,
 790        GNUNET_CONTAINER_MULTIHASHMAPOPTION_REPLACE);
 791   }
 792   return peer_ctx->send_channel;
 793 }
 794
 795
 796 /**
 797  * Get the message queue of a specific peer.
 798  *
 799  * If we already have a message queue open to this client,
 800  * simply return it, otherways create one.
 801  */
 802   struct GNUNET_MQ_Handle *
 803 get_mq (struct GNUNET_CONTAINER_MultiPeerMap *peer_map,
 804         const struct GNUNET_PeerIdentity *peer_id)
 805 {
 806   struct PeerContext *peer_ctx;
 807
 808   peer_ctx = get_peer_ctx (peer_map, peer_id);
 809
 810   GNUNET_assert (NULL == peer_ctx->is_live_task);
 811
 812   if (NULL == peer_ctx->mq)
 813   {
 814     (void) get_channel (peer_map, peer_id);
 815     peer_ctx->mq = GNUNET_CADET_mq_create (peer_ctx->send_channel);
 816     //do I have to explicitly put it in the peer_map?
 817     (void) GNUNET_CONTAINER_multipeermap_put (peer_map, peer_id, peer_ctx,
 818                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_REPLACE);
 819   }
 820   return peer_ctx->mq;
 821 }
 822
 823
 824 /**
 825  * Issue check whether peer is live
 826  *
 827  * @param peer_ctx the context of the peer
 828  */
 829 void
 830 check_peer_live (struct PeerContext *peer_ctx)
 831 {
 832   (void) get_channel (peer_map, &peer_ctx->peer_id);
 833   LOG (GNUNET_ERROR_TYPE_DEBUG,
 834        "Get informed about peer %s getting live\n",
 835        GNUNET_i2s (&peer_ctx->peer_id));
 836   if (NULL == peer_ctx->is_live_task)
 837   {
 838     peer_ctx->is_live_task =
 839         GNUNET_CADET_notify_transmit_ready (peer_ctx->send_channel,
 840                                             GNUNET_NO,
 841                                             GNUNET_TIME_UNIT_FOREVER_REL,
 842                                             sizeof (struct GNUNET_MessageHeader),
 843                                             cadet_ntfy_tmt_rdy_cb,
 844                                             peer_ctx);
 845   }
 846   else
 847   {
 848     LOG (GNUNET_ERROR_TYPE_DEBUG,
 849          "Already waiting for notification\n");
 850   }
 851 }
 852
 853
 854 /**
 855  * Sum all time relatives of an array.
 856   */
 857   struct GNUNET_TIME_Relative
 858 T_relative_sum (const struct GNUNET_TIME_Relative *rel_array, uint32_t arr_size)
 859 {
 860   struct GNUNET_TIME_Relative sum;
 861   uint32_t i;
 862
 863   sum = GNUNET_TIME_UNIT_ZERO;
 864   for ( i = 0 ; i < arr_size ; i++ )
 865   {
 866     sum = GNUNET_TIME_relative_add (sum, rel_array[i]);
 867   }
 868   return sum;
 869 }
 870
 871
 872 /**
 873  * Compute the average of given time relatives.
 874  */
 875   struct GNUNET_TIME_Relative
 876 T_relative_avg (const struct GNUNET_TIME_Relative *rel_array, uint32_t arr_size)
 877 {
 878   return GNUNET_TIME_relative_divide (T_relative_sum (rel_array, arr_size), arr_size);
 879 }
 880
 881
 882 /**
 883  * Insert PeerID in #pull_list
 884  *
 885  * Called once we know a peer is live.
 886  */
 887   void
 888 insert_in_pull_list (void *cls, const struct GNUNET_PeerIdentity *peer)
 889 {
 890   if (GNUNET_NO == in_arr (pull_list, pull_list_size, peer))
 891     GNUNET_array_append (pull_list, pull_list_size, *peer);
 892
 893   peer_clean (peer);
 894 }
 895
 896 /**
 897  * Check whether #insert_in_pull_list was already scheduled
 898  */
 899   int
 900 insert_in_pull_list_scheduled (const struct PeerContext *peer_ctx)
 901 {
 902   unsigned int i;
 903
 904   for ( i = 0 ; i < peer_ctx->num_outstanding_ops ; i++ )
 905     if (insert_in_pull_list == peer_ctx->outstanding_ops[i].op)
 906       return GNUNET_YES;
 907   return GNUNET_NO;
 908 }
 909
 910
 911 /**
 912  * Insert PeerID in #gossip_list
 913  *
 914  * Called once we know a peer is live.
 915  */
 916   void
 917 insert_in_gossip_list (void *cls, const struct GNUNET_PeerIdentity *peer)
 918 {
 919   if (GNUNET_NO == in_arr (gossip_list, gossip_list_size, peer))
 920     GNUNET_array_append (gossip_list, gossip_list_size, *peer);
 921
 922   (void) get_channel (peer_map, peer);
 923 }
 924
 925 /**
 926  * Check whether #insert_in_gossip_list was already scheduled
 927  */
 928   int
 929 insert_in_gossip_list_scheduled (const struct PeerContext *peer_ctx)
 930 {
 931   unsigned int i;
 932
 933   for ( i = 0 ; i < peer_ctx->num_outstanding_ops ; i++ )
 934     if (insert_in_gossip_list == peer_ctx->outstanding_ops[i].op)
 935       return GNUNET_YES;
 936   return GNUNET_NO;
 937 }
 938
 939
 940 /**
 941  * Update sampler with given PeerID.
 942  */
 943   void
 944 insert_in_sampler (void *cls, const struct GNUNET_PeerIdentity *peer)
 945 {
 946   LOG (GNUNET_ERROR_TYPE_DEBUG,
 947        "Updating samplers with peer %s from insert_in_sampler()\n",
 948        GNUNET_i2s (peer));
 949   RPS_sampler_update (prot_sampler,   peer);
 950   RPS_sampler_update (client_sampler, peer);
 951 }
 952
 953
 954 /**
 955  * Check whether #insert_in_sampler was already scheduled
 956  */
 957 static int
 958 insert_in_sampler_scheduled (const struct PeerContext *peer_ctx)
 959 {
 960   unsigned int i;
 961
 962   for (i = 0 ; i < peer_ctx->num_outstanding_ops ; i++)
 963     if (insert_in_sampler== peer_ctx->outstanding_ops[i].op)
 964       return GNUNET_YES;
 965   return GNUNET_NO;
 966 }
 967
 968
 969 /**
 970  * Wrapper around #RPS_sampler_resize()
 971  *
 972  * If we do not have enough sampler elements, double current sampler size
 973  * If we have more than enough sampler elements, halv current sampler size
 974  */
 975 static void
 976 resize_wrapper (struct RPS_Sampler *sampler, uint32_t new_size)
 977 {
 978   unsigned int sampler_size;
 979
 980   // TODO statistics
 981   // TODO respect the min, max
 982   sampler_size = RPS_sampler_get_size (sampler);
 983   if (sampler_size > new_size * 4)
 984   { /* Shrinking */
 985     RPS_sampler_resize (sampler, sampler_size / 2);
 986   }
 987   else if (sampler_size < new_size)
 988   { /* Growing */
 989     RPS_sampler_resize (sampler, sampler_size * 2);
 990   }
 991   LOG (GNUNET_ERROR_TYPE_DEBUG, "sampler_size is now %u\n", sampler_size);
 992 }
 993
 994
 995 /**
 996  * Wrapper around #RPS_sampler_resize() resizing the client sampler
 997  */
 998 static void
 999 client_resize_wrapper ()
1000 {
1001   uint32_t bigger_size;
1002   unsigned int sampler_size;
1003
1004   // TODO statistics
1005
1006   sampler_size = RPS_sampler_get_size (client_sampler);
1007
1008   if (sampler_size_est_need > sampler_size_client_need)
1009     bigger_size = sampler_size_est_need;
1010   else
1011     bigger_size = sampler_size_client_need;
1012
1013   // TODO respect the min, max
1014   resize_wrapper (client_sampler, bigger_size);
1015   LOG (GNUNET_ERROR_TYPE_DEBUG, "sampler_size is now %u\n", sampler_size);
1016 }
1017
1018
1019 /**
1020  * Estimate request rate
1021  *
1022  * Called every time we receive a request from the client.
1023  */
1024   void
1025 est_request_rate()
1026 {
1027   struct GNUNET_TIME_Relative max_round_duration;
1028
1029   if (request_deltas_size > req_counter)
1030     req_counter++;
1031   if ( 1 < req_counter)
1032   {
1033     /* Shift last request deltas to the right */
1034     memcpy (&request_deltas[1],
1035         request_deltas,
1036         (req_counter - 1) * sizeof (struct GNUNET_TIME_Relative));
1037
1038     /* Add current delta to beginning */
1039     request_deltas[0] =
1040         GNUNET_TIME_absolute_get_difference (last_request,
1041                                              GNUNET_TIME_absolute_get ());
1042     request_rate = T_relative_avg (request_deltas, req_counter);
1043
1044     /* Compute the duration a round will maximally take */
1045     max_round_duration =
1046         GNUNET_TIME_relative_add (round_interval,
1047                                   GNUNET_TIME_relative_divide (round_interval, 2));
1048
1049     /* Set the estimated size the sampler has to have to
1050      * satisfy the current client request rate */
1051     sampler_size_client_need =
1052         max_round_duration.rel_value_us / request_rate.rel_value_us;
1053
1054     /* Resize the sampler */
1055     client_resize_wrapper ();
1056   }
1057   last_request = GNUNET_TIME_absolute_get ();
1058 }
1059
1060
1061 /**
1062  * Add all peers in @a peer_array to @peer_map used as set.
1063  *
1064  * @param peer_array array containing the peers
1065  * @param num_peers number of peers in @peer_array
1066  * @param peer_map the peermap to use as set
1067  */
1068 static void
1069 add_peer_array_to_set (const struct GNUNET_PeerIdentity *peer_array,
1070                        unsigned int num_peers,
1071                        struct GNUNET_CONTAINER_MultiPeerMap *peer_map)
1072 {
1073   unsigned int i;
1074   if (NULL == peer_map)
1075     peer_map = GNUNET_CONTAINER_multipeermap_create (num_peers + 1,
1076                                                      GNUNET_NO);
1077   for (i = 0 ; i < num_peers ; i++)
1078   {
1079     GNUNET_CONTAINER_multipeermap_put (peer_map,
1080                                        &peer_array[i],
1081                                        NULL,
1082                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
1083   }
1084 }
1085
1086
1087 /**
1088  * Send a PULL REPLY to @a peer_id
1089  *
1090  * @param peer_id the peer to send the reply to.
1091  * @param peer_ids the peers to send to @a peer_id
1092  * @param num_peer_ids the number of peers to send to @a peer_id
1093  */
1094 static void
1095 send_pull_reply (const struct GNUNET_PeerIdentity *peer_id,
1096                  const struct GNUNET_PeerIdentity *peer_ids,
1097                  unsigned int num_peer_ids)
1098 {
1099   uint32_t send_size;
1100   struct GNUNET_MQ_Handle *mq;
1101   struct GNUNET_MQ_Envelope *ev;
1102   struct GNUNET_RPS_P2P_PullReplyMessage *out_msg;
1103
1104   /* Compute actual size */
1105   send_size = sizeof (struct GNUNET_RPS_P2P_PullReplyMessage) +
1106               num_peer_ids * sizeof (struct GNUNET_PeerIdentity);
1107
1108   if (GNUNET_CONSTANTS_MAX_CADET_MESSAGE_SIZE < send_size)
1109     /* Compute number of peers to send
1110      * If too long, simply truncate */
1111     // TODO select random ones via permutation
1112     //      or even better: do good protocol design
1113     send_size =
1114       (GNUNET_CONSTANTS_MAX_CADET_MESSAGE_SIZE -
1115        sizeof (struct GNUNET_RPS_P2P_PullReplyMessage)) /
1116        sizeof (struct GNUNET_PeerIdentity);
1117   else
1118     send_size = num_peer_ids;
1119
1120   LOG (GNUNET_ERROR_TYPE_DEBUG,
1121       "PULL REQUEST from peer %s received, going to send %u peers\n",
1122       GNUNET_i2s (peer_id), send_size);
1123
1124   mq = get_mq (peer_map, peer_id);
1125
1126   ev = GNUNET_MQ_msg_extra (out_msg,
1127                             send_size * sizeof (struct GNUNET_PeerIdentity),
1128                             GNUNET_MESSAGE_TYPE_RPS_PP_PULL_REPLY);
1129   out_msg->num_peers = htonl (send_size);
1130   memcpy (&out_msg[1], peer_ids,
1131          send_size * sizeof (struct GNUNET_PeerIdentity));
1132
1133   GNUNET_MQ_send (mq, ev);
1134 }
1135
1136
1137 /**
1138  * This function is called on new peer_ids from 'external' sources
1139  * (client seed, cadet get_peers(), ...)
1140  *
1141  * @param peer_id the new peer_id
1142  */
1143 static void
1144 new_peer_id (const struct GNUNET_PeerIdentity *peer_id)
1145 {
1146   struct PeerOutstandingOp out_op;
1147   struct PeerContext *peer_ctx;
1148
1149   if (NULL != peer_id
1150       && 0 != GNUNET_CRYPTO_cmp_peer_identity (&own_identity, peer_id))
1151   {
1152     LOG (GNUNET_ERROR_TYPE_DEBUG,
1153         "Got new peer %s (at %p) from some external source (gossip_list_size: %u)\n",
1154         GNUNET_i2s (peer_id), peer_id, gossip_list_size);
1155
1156     peer_ctx = get_peer_ctx (peer_map, peer_id);
1157     if (GNUNET_YES != get_peer_flag (peer_ctx, VALID))
1158     {
1159       if (GNUNET_NO == insert_in_sampler_scheduled (peer_ctx))
1160       {
1161         out_op.op = insert_in_sampler;
1162         out_op.op_cls = NULL;
1163         GNUNET_array_append (peer_ctx->outstanding_ops,
1164                              peer_ctx->num_outstanding_ops,
1165                              out_op);
1166       }
1167
1168       if (GNUNET_NO == insert_in_gossip_list_scheduled (peer_ctx))
1169       {
1170         out_op.op = insert_in_gossip_list;
1171         out_op.op_cls = NULL;
1172         GNUNET_array_append (peer_ctx->outstanding_ops,
1173                              peer_ctx->num_outstanding_ops,
1174                              out_op);
1175       }
1176
1177       /* Trigger livelyness test on peer */
1178       check_peer_live (peer_ctx);
1179     }
1180     // else...?
1181
1182     // send push/pull to each of those peers?
1183   }
1184 }
1185
1186
1187 /***********************************************************************
1188  * /Util functions
1189 ***********************************************************************/
1190
1191
1192
1193
1194
1195 /**
1196  * Function called by NSE.
1197  *
1198  * Updates sizes of sampler list and gossip list and adapt those lists
1199  * accordingly.
1200  */
1201   void
1202 nse_callback (void *cls, struct GNUNET_TIME_Absolute timestamp,
1203               double logestimate, double std_dev)
1204 {
1205   double estimate;
1206   //double scale; // TODO this might go gloabal/config
1207
1208   LOG (GNUNET_ERROR_TYPE_DEBUG,
1209        "Received a ns estimate - logest: %f, std_dev: %f (old_size: %u)\n",
1210        logestimate, std_dev, RPS_sampler_get_size (prot_sampler));
1211   //scale = .01;
1212   estimate = GNUNET_NSE_log_estimate_to_n (logestimate);
1213   // GNUNET_NSE_log_estimate_to_n (logestimate);
1214   estimate = pow (estimate, 1.0 / 3);
1215   // TODO add if std_dev is a number
1216   // estimate += (std_dev * scale);
1217   if (2 < ceil (estimate))
1218   {
1219     LOG (GNUNET_ERROR_TYPE_DEBUG, "Changing estimate to %f\n", estimate);
1220     sampler_size_est_need = estimate;
1221   } else
1222     LOG (GNUNET_ERROR_TYPE_DEBUG, "Not using estimate %f\n", estimate);
1223
1224   /* If the NSE has changed adapt the lists accordingly */
1225   resize_wrapper (prot_sampler, sampler_size_est_need);
1226   client_resize_wrapper ();
1227 }
1228
1229
1230 /**
1231  * Callback called once the requested PeerIDs are ready.
1232  *
1233  * Sends those to the requesting client.
1234  */
1235 void client_respond (void *cls,
1236     struct GNUNET_PeerIdentity *peer_ids, uint32_t num_peers)
1237 {
1238   struct GNUNET_MQ_Envelope *ev;
1239   struct GNUNET_RPS_CS_ReplyMessage *out_msg;
1240   struct ReplyCls *reply_cls = (struct ReplyCls *) cls;
1241   uint32_t size_needed;
1242   struct ClientContext *cli_ctx;
1243
1244   LOG (GNUNET_ERROR_TYPE_DEBUG,
1245        "sampler returned %" PRIu32 " peers\n",
1246        num_peers);
1247
1248   size_needed = sizeof (struct GNUNET_RPS_CS_ReplyMessage) +
1249                 num_peers * sizeof (struct GNUNET_PeerIdentity);
1250
1251   GNUNET_assert (GNUNET_SERVER_MAX_MESSAGE_SIZE >= size_needed);
1252
1253   ev = GNUNET_MQ_msg_extra (out_msg,
1254                             num_peers * sizeof (struct GNUNET_PeerIdentity),
1255                             GNUNET_MESSAGE_TYPE_RPS_CS_REPLY);
1256   out_msg->num_peers = htonl (num_peers);
1257   out_msg->id = htonl (reply_cls->id);
1258
1259   memcpy (&out_msg[1],
1260           peer_ids,
1261           num_peers * sizeof (struct GNUNET_PeerIdentity));
1262   GNUNET_free (peer_ids);
1263
1264   cli_ctx = GNUNET_SERVER_client_get_user_context (reply_cls->client, struct ClientContext);
1265   if (NULL == cli_ctx) {
1266     cli_ctx = GNUNET_new (struct ClientContext);
1267     cli_ctx->mq = GNUNET_MQ_queue_for_server_client (reply_cls->client);
1268     GNUNET_SERVER_client_set_user_context (reply_cls->client, cli_ctx);
1269   }
1270
1271   GNUNET_free (reply_cls);
1272
1273   GNUNET_MQ_send (cli_ctx->mq, ev);
1274 }
1275
1276
1277 /**
1278  * Handle RPS request from the client.
1279  *
1280  * @param cls closure
1281  * @param client identification of the client
1282  * @param message the actual message
1283  */
1284 static void
1285 handle_client_request (void *cls,
1286             struct GNUNET_SERVER_Client *client,
1287             const struct GNUNET_MessageHeader *message)
1288 {
1289   struct GNUNET_RPS_CS_RequestMessage *msg;
1290   uint32_t num_peers;
1291   uint32_t size_needed;
1292   struct ReplyCls *reply_cls;
1293   uint32_t i;
1294
1295   msg = (struct GNUNET_RPS_CS_RequestMessage *) message;
1296
1297   num_peers = ntohl (msg->num_peers);
1298   size_needed = sizeof (struct GNUNET_RPS_CS_RequestMessage) +
1299                 num_peers * sizeof (struct GNUNET_PeerIdentity);
1300
1301   if (GNUNET_SERVER_MAX_MESSAGE_SIZE < size_needed)
1302   {
1303     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1304     return;
1305   }
1306
1307   for (i = 0 ; i < num_peers ; i++)
1308     est_request_rate();
1309
1310   LOG (GNUNET_ERROR_TYPE_DEBUG,
1311        "Client requested %" PRIu32 " random peer(s).\n",
1312        num_peers);
1313
1314   reply_cls = GNUNET_new (struct ReplyCls);
1315   reply_cls->id = ntohl (msg->id);
1316   reply_cls->client = client;
1317
1318   RPS_sampler_get_n_rand_peers (client_sampler,
1319                                 client_respond,
1320                                 reply_cls,
1321                                 num_peers,
1322                                 GNUNET_YES);
1323
1324   GNUNET_SERVER_receive_done (client,
1325                               GNUNET_OK);
1326 }
1327
1328
1329 /**
1330  * Handle seed from the client.
1331  *
1332  * @param cls closure
1333  * @param client identification of the client
1334  * @param message the actual message
1335  */
1336   static void
1337 handle_client_seed (void *cls,
1338                     struct GNUNET_SERVER_Client *client,
1339                     const struct GNUNET_MessageHeader *message)
1340 {
1341   struct GNUNET_RPS_CS_SeedMessage *in_msg;
1342   struct GNUNET_PeerIdentity *peers;
1343   uint32_t num_peers;
1344   uint32_t i;
1345
1346   if (sizeof (struct GNUNET_RPS_CS_SeedMessage) > ntohs (message->size))
1347   {
1348     GNUNET_break_op (0);
1349     GNUNET_SERVER_receive_done (client,
1350                                 GNUNET_SYSERR);
1351   }
1352
1353   in_msg = (struct GNUNET_RPS_CS_SeedMessage *) message;
1354   num_peers = ntohl (in_msg->num_peers);
1355   peers = (struct GNUNET_PeerIdentity *) &in_msg[1];
1356   //peers = GNUNET_new_array (num_peers, struct GNUNET_PeerIdentity);
1357   //memcpy (peers, &in_msg[1], num_peers * sizeof (struct GNUNET_PeerIdentity));
1358
1359   if ((ntohs (message->size) - sizeof (struct GNUNET_RPS_CS_SeedMessage)) /
1360       sizeof (struct GNUNET_PeerIdentity) != num_peers)
1361   {
1362     GNUNET_break_op (0);
1363     GNUNET_SERVER_receive_done (client,
1364                                 GNUNET_SYSERR);
1365   }
1366
1367   LOG (GNUNET_ERROR_TYPE_DEBUG,
1368        "Client seeded peers:\n");
1369   print_peer_list (peers, num_peers);
1370
1371   for (i = 0 ; i < num_peers ; i++)
1372   {
1373     LOG (GNUNET_ERROR_TYPE_DEBUG,
1374          "Updating samplers with seed %" PRIu32 ": %s\n",
1375          i,
1376          GNUNET_i2s (&peers[i]));
1377
1378     new_peer_id (&peers[i]);
1379
1380     //RPS_sampler_update (prot_sampler,   &peers[i]);
1381     //RPS_sampler_update (client_sampler, &peers[i]);
1382   }
1383
1384   ////GNUNET_free (peers);
1385
1386   GNUNET_SERVER_receive_done (client,
1387                                                 GNUNET_OK);
1388 }
1389
1390
1391 /**
1392  * Handle a PUSH message from another peer.
1393  *
1394  * Check the proof of work and store the PeerID
1395  * in the temporary list for pushed PeerIDs.
1396  *
1397  * @param cls Closure
1398  * @param channel The channel the PUSH was received over
1399  * @param channel_ctx The context associated with this channel
1400  * @param msg The message header
1401  */
1402 static int
1403 handle_peer_push (void *cls,
1404     struct GNUNET_CADET_Channel *channel,
1405     void **channel_ctx,
1406     const struct GNUNET_MessageHeader *msg)
1407 {
1408   const struct GNUNET_PeerIdentity *peer;
1409
1410   // (check the proof of work)
1411
1412   peer = (const struct GNUNET_PeerIdentity *)
1413     GNUNET_CADET_channel_get_info (channel, GNUNET_CADET_OPTION_PEER);
1414   // FIXME wait for cadet to change this function
1415
1416   LOG (GNUNET_ERROR_TYPE_DEBUG, "PUSH received (%s)\n", GNUNET_i2s (peer));
1417
1418   #ifdef ENABLE_MALICIOUS
1419   struct AttackedPeer *tmp_att_peer;
1420
1421   tmp_att_peer = GNUNET_new (struct AttackedPeer);
1422   memcpy (&tmp_att_peer->peer_id, peer, sizeof (struct GNUNET_PeerIdentity));
1423   if (1 == mal_type)
1424   { /* Try to maximise representation */
1425     if (NULL == att_peer_set)
1426       att_peer_set = GNUNET_CONTAINER_multipeermap_create (1, GNUNET_NO);
1427     if (GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (att_peer_set,
1428                                                              peer))
1429     {
1430       GNUNET_CONTAINER_DLL_insert (att_peers_head,
1431                                    att_peers_tail,
1432                                    tmp_att_peer);
1433       add_peer_array_to_set (peer, 1, att_peer_set);
1434     }
1435     return GNUNET_OK;
1436   }
1437
1438
1439   else if (2 == mal_type)
1440   { /* We attack one single well-known peer - simply ignore */
1441     return GNUNET_OK;
1442   }
1443
1444   #endif /* ENABLE_MALICIOUS */
1445
1446   /* Add the sending peer to the push_list */
1447   if (GNUNET_NO == in_arr (push_list, push_list_size, peer))
1448     GNUNET_array_append (push_list, push_list_size, *peer);
1449
1450   return GNUNET_OK;
1451 }
1452
1453
1454 /**
1455  * Handle PULL REQUEST request message from another peer.
1456  *
1457  * Reply with the gossip list of PeerIDs.
1458  *
1459  * @param cls Closure
1460  * @param channel The channel the PUSH was received over
1461  * @param channel_ctx The context associated with this channel
1462  * @param msg The message header
1463  */
1464 static int
1465 handle_peer_pull_request (void *cls,
1466     struct GNUNET_CADET_Channel *channel,
1467     void **channel_ctx,
1468     const struct GNUNET_MessageHeader *msg)
1469 {
1470   struct GNUNET_PeerIdentity *peer;
1471
1472   peer = (struct GNUNET_PeerIdentity *)
1473     GNUNET_CADET_channel_get_info (channel,
1474                                    GNUNET_CADET_OPTION_PEER);
1475   // FIXME wait for cadet to change this function
1476
1477   #ifdef ENABLE_MALICIOUS
1478   if (1 == mal_type)
1479   { /* Try to maximise representation */
1480     send_pull_reply (peer, mal_peers, num_mal_peers);
1481     return GNUNET_OK;
1482   }
1483
1484   else if (2 == mal_type)
1485   { /* Try to partition network */
1486     if (GNUNET_YES == GNUNET_CRYPTO_cmp_peer_identity (&attacked_peer, peer))
1487     {
1488       send_pull_reply (peer, mal_peers, num_mal_peers);
1489     }
1490     return GNUNET_OK;
1491   }
1492   #endif /* ENABLE_MALICIOUS */
1493
1494   send_pull_reply (peer, gossip_list, gossip_list_size);
1495
1496   return GNUNET_OK;
1497 }
1498
1499
1500 /**
1501  * Handle PULL REPLY message from another peer.
1502  *
1503  * Check whether we sent a corresponding request and
1504  * whether this reply is the first one.
1505  *
1506  * @param cls Closure
1507  * @param channel The channel the PUSH was received over
1508  * @param channel_ctx The context associated with this channel
1509  * @param msg The message header
1510  */
1511   static int
1512 handle_peer_pull_reply (void *cls,
1513                         struct GNUNET_CADET_Channel *channel,
1514                         void **channel_ctx,
1515                         const struct GNUNET_MessageHeader *msg)
1516 {
1517   struct GNUNET_RPS_P2P_PullReplyMessage *in_msg;
1518   struct GNUNET_PeerIdentity *peers;
1519   struct PeerContext *peer_ctx;
1520   struct GNUNET_PeerIdentity *sender;
1521   struct PeerContext *sender_ctx;
1522   struct PeerOutstandingOp out_op;
1523   uint32_t i;
1524 #ifdef ENABLE_MALICIOUS
1525   struct AttackedPeer *tmp_att_peer;
1526 #endif /* ENABLE_MALICIOUS */
1527
1528   /* Check for protocol violation */
1529   if (sizeof (struct GNUNET_RPS_P2P_PullReplyMessage) > ntohs (msg->size))
1530   {
1531     GNUNET_break_op (0);
1532     return GNUNET_SYSERR;
1533   }
1534
1535   in_msg = (struct GNUNET_RPS_P2P_PullReplyMessage *) msg;
1536   if ((ntohs (msg->size) - sizeof (struct GNUNET_RPS_P2P_PullReplyMessage)) /
1537       sizeof (struct GNUNET_PeerIdentity) != ntohl (in_msg->num_peers))
1538   {
1539     LOG (GNUNET_ERROR_TYPE_ERROR,
1540         "message says it sends %" PRIu64 " peers, have space for %i peers\n",
1541         ntohl (in_msg->num_peers),
1542         (ntohs (msg->size) - sizeof (struct GNUNET_RPS_P2P_PullReplyMessage)) /
1543             sizeof (struct GNUNET_PeerIdentity));
1544     GNUNET_break_op (0);
1545     return GNUNET_SYSERR;
1546   }
1547
1548   sender = (struct GNUNET_PeerIdentity *) GNUNET_CADET_channel_get_info (
1549       (struct GNUNET_CADET_Channel *) channel, GNUNET_CADET_OPTION_PEER);
1550        // Guess simply casting isn't the nicest way...
1551        // FIXME wait for cadet to change this function
1552   sender_ctx = get_peer_ctx (peer_map, sender);
1553
1554   if (GNUNET_YES == get_peer_flag (sender_ctx, PULL_REPLY_PENDING))
1555   {
1556     GNUNET_break_op (0);
1557     return GNUNET_OK;
1558   }
1559
1560
1561   #ifdef ENABLE_MALICIOUS
1562   // We shouldn't even receive pull replies as we're not sending
1563   if (2 == mal_type)
1564     return GNUNET_OK;
1565   #endif /* ENABLE_MALICIOUS */
1566
1567   /* Do actual logic */
1568   peers = (struct GNUNET_PeerIdentity *) &msg[1];
1569
1570   LOG (GNUNET_ERROR_TYPE_DEBUG,
1571        "PULL REPLY received, got following peers:\n");
1572
1573   for (i = 0 ; i < ntohl (in_msg->num_peers) ; i++)
1574   {
1575     LOG (GNUNET_ERROR_TYPE_DEBUG,
1576          "%u. %s\n",
1577          i,
1578          GNUNET_i2s (&peers[i]));
1579
1580   #ifdef ENABLE_MALICIOUS
1581     if (1 == mal_type)
1582     {
1583       // TODO check if we sent a request and this was the first reply
1584       if (GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (att_peer_set,
1585                                                                &peers[i])
1586           && GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (mal_peer_set,
1587                                                                   &peers[i])
1588           && GNUNET_NO == GNUNET_CRYPTO_cmp_peer_identity (&peers[i],
1589                                                            &own_identity))
1590       {
1591         tmp_att_peer = GNUNET_new (struct AttackedPeer);
1592         tmp_att_peer->peer_id = peers[i];
1593         GNUNET_CONTAINER_DLL_insert (att_peers_head,
1594                                      att_peers_tail,
1595                                      tmp_att_peer);
1596         add_peer_array_to_set (&peers[i], 1, att_peer_set);
1597       }
1598       continue;
1599     }
1600   #endif /* ENABLE_MALICIOUS */
1601     peer_ctx = get_peer_ctx (peer_map, &peers[i]);
1602     if (GNUNET_YES == get_peer_flag (peer_ctx, VALID)
1603         || NULL != peer_ctx->send_channel
1604         || NULL != peer_ctx->recv_channel)
1605     {
1606       if (GNUNET_NO == in_arr (pull_list, pull_list_size, &peers[i])
1607           && 0 != GNUNET_CRYPTO_cmp_peer_identity (&own_identity, &peers[i]))
1608         GNUNET_array_append (pull_list, pull_list_size, peers[i]);
1609     }
1610     else if (GNUNET_NO == insert_in_pull_list_scheduled (peer_ctx))
1611     {
1612       out_op.op = insert_in_pull_list;
1613       out_op.op_cls = NULL;
1614       GNUNET_array_append (peer_ctx->outstanding_ops,
1615                            peer_ctx->num_outstanding_ops,
1616                            out_op);
1617       check_peer_live (peer_ctx);
1618     }
1619   }
1620
1621   unset_peer_flag (sender_ctx, PULL_REPLY_PENDING);
1622   rem_from_list (&pending_pull_reply_list, &pending_pull_reply_list_size, sender);
1623
1624   return GNUNET_OK;
1625 }
1626
1627
1628 /**
1629  * Compute a random delay.
1630  * A uniformly distributed value between mean + spread and mean - spread.
1631  *
1632  * For example for mean 4 min and spread 2 the minimum is (4 min - (1/2 * 4 min))
1633  * It would return a random value between 2 and 6 min.
1634  *
1635  * @param mean the mean
1636  * @param spread the inverse amount of deviation from the mean
1637  */
1638 static struct GNUNET_TIME_Relative
1639 compute_rand_delay (struct GNUNET_TIME_Relative mean, unsigned int spread)
1640 {
1641   struct GNUNET_TIME_Relative half_interval;
1642   struct GNUNET_TIME_Relative ret;
1643   unsigned int rand_delay;
1644   unsigned int max_rand_delay;
1645
1646   if (0 == spread)
1647   {
1648     LOG (GNUNET_ERROR_TYPE_WARNING,
1649          "Not accepting spread of 0\n");
1650     GNUNET_break (0);
1651   }
1652
1653   /* Compute random time value between spread * mean and spread * mean */
1654   half_interval = GNUNET_TIME_relative_divide (mean, spread);
1655
1656   max_rand_delay = GNUNET_TIME_UNIT_FOREVER_REL.rel_value_us / mean.rel_value_us * (2/spread);
1657   /**
1658    * Compute random value between (0 and 1) * round_interval
1659    * via multiplying round_interval with a 'fraction' (0 to value)/value
1660    */
1661   rand_delay = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, max_rand_delay);
1662   ret = GNUNET_TIME_relative_multiply (mean,  rand_delay);
1663   ret = GNUNET_TIME_relative_divide   (ret, max_rand_delay);
1664   ret = GNUNET_TIME_relative_add      (ret, half_interval);
1665
1666   if (GNUNET_TIME_UNIT_FOREVER_REL.rel_value_us == ret.rel_value_us)
1667     LOG (GNUNET_ERROR_TYPE_WARNING,
1668          "Returning FOREVER_REL\n");
1669
1670   return ret;
1671 }
1672
1673
1674 /**
1675  * Send single pull request
1676  *
1677  * @param peer_id the peer to send the pull request to.
1678  */
1679 static void
1680 send_pull_request (struct GNUNET_PeerIdentity *peer_id)
1681 {
1682   struct GNUNET_MQ_Envelope *ev;
1683   struct GNUNET_MQ_Handle *mq;
1684
1685   LOG (GNUNET_ERROR_TYPE_DEBUG,
1686        "Sending PULL request to peer %s of gossiped list.\n",
1687        GNUNET_i2s (peer_id));
1688
1689   GNUNET_array_append (pending_pull_reply_list, pending_pull_reply_list_size, *peer_id);
1690
1691   ev = GNUNET_MQ_msg_header (GNUNET_MESSAGE_TYPE_RPS_PP_PULL_REQUEST);
1692   mq = get_mq (peer_map, peer_id);
1693   GNUNET_MQ_send (mq, ev);
1694 }
1695
1696
1697 /**
1698  * Send single push
1699  *
1700  * @param peer_id the peer to send the push to.
1701  */
1702 static void
1703 send_push (struct GNUNET_PeerIdentity *peer_id)
1704 {
1705   struct GNUNET_MQ_Envelope *ev;
1706   struct GNUNET_MQ_Handle *mq;
1707
1708   LOG (GNUNET_ERROR_TYPE_DEBUG,
1709        "Sending PUSH to peer %s of gossiped list.\n",
1710        GNUNET_i2s (peer_id));
1711
1712   ev = GNUNET_MQ_msg_header (GNUNET_MESSAGE_TYPE_RPS_PP_PUSH);
1713   mq = get_mq (peer_map, peer_id);
1714   GNUNET_MQ_send (mq, ev);
1715 }
1716
1717
1718 static void
1719 do_round (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
1720
1721 static void
1722 do_mal_round (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
1723
1724
1725 #ifdef ENABLE_MALICIOUS
1726 /**
1727  * Turn RPS service to act malicious.
1728  *
1729  * @param cls Closure
1730  * @param channel The channel the PUSH was received over
1731  * @param channel_ctx The context associated with this channel
1732  * @param msg The message header
1733  */
1734   static void
1735 handle_client_act_malicious (void *cls,
1736                              struct GNUNET_SERVER_Client *client,
1737                              const struct GNUNET_MessageHeader *msg)
1738 {
1739   struct GNUNET_RPS_CS_ActMaliciousMessage *in_msg;
1740   struct GNUNET_PeerIdentity *peers;
1741   uint32_t num_mal_peers_sent;
1742   uint32_t num_mal_peers_old;
1743
1744   /* Check for protocol violation */
1745   if (sizeof (struct GNUNET_RPS_CS_ActMaliciousMessage) > ntohs (msg->size))
1746   {
1747     GNUNET_break_op (0);
1748   }
1749
1750   in_msg = (struct GNUNET_RPS_CS_ActMaliciousMessage *) msg;
1751   if ((ntohs (msg->size) - sizeof (struct GNUNET_RPS_CS_ActMaliciousMessage)) /
1752       sizeof (struct GNUNET_PeerIdentity) != ntohl (in_msg->num_peers))
1753   {
1754     LOG (GNUNET_ERROR_TYPE_ERROR,
1755         "message says it sends %" PRIu64 " peers, have space for %i peers\n",
1756         ntohl (in_msg->num_peers),
1757         (ntohs (msg->size) - sizeof (struct GNUNET_RPS_CS_ActMaliciousMessage)) /
1758             sizeof (struct GNUNET_PeerIdentity));
1759     GNUNET_break_op (0);
1760   }
1761
1762
1763   /* Do actual logic */
1764   // FIXME ingore own id
1765   peers = (struct GNUNET_PeerIdentity *) &msg[1];
1766   mal_type = ntohl (in_msg->type);
1767
1768   LOG (GNUNET_ERROR_TYPE_DEBUG,
1769        "Now acting malicious type %" PRIu32 "\n",
1770        mal_type);
1771
1772   if (1 == mal_type)
1773   { /* Try to maximise representation */
1774     /* Add other malicious peers to those we already know */
1775
1776     num_mal_peers_sent = ntohl (in_msg->num_peers);
1777     num_mal_peers_old = num_mal_peers;
1778     GNUNET_array_grow (mal_peers,
1779                        num_mal_peers,
1780                        num_mal_peers + num_mal_peers_sent);
1781     memcpy (&mal_peers[num_mal_peers_old],
1782             peers,
1783             num_mal_peers_sent * sizeof (struct GNUNET_PeerIdentity));
1784
1785     /* Add all mal peers to mal_peer_set */
1786     add_peer_array_to_set (&mal_peers[num_mal_peers_old],
1787                            num_mal_peers_sent,
1788                            mal_peer_set);
1789
1790     /* Substitute do_round () with do_mal_round () */
1791     GNUNET_SCHEDULER_cancel (do_round_task);
1792     do_round_task = GNUNET_SCHEDULER_add_now (&do_mal_round, NULL);
1793   }
1794
1795   else if (2 == mal_type)
1796   { /* Try to partition the network */
1797     /* Add other malicious peers to those we already know */
1798     num_mal_peers_sent = ntohl (in_msg->num_peers) - 1;
1799     num_mal_peers_old = num_mal_peers;
1800     GNUNET_array_grow (mal_peers,
1801                        num_mal_peers,
1802                        num_mal_peers + num_mal_peers_sent);
1803     memcpy (&mal_peers[num_mal_peers_old],
1804             peers,
1805             num_mal_peers_sent * sizeof (struct GNUNET_PeerIdentity));
1806
1807     /* Add all mal peers to mal_peer_set */
1808     add_peer_array_to_set (&mal_peers[num_mal_peers_old],
1809                            num_mal_peers_sent,
1810                            mal_peer_set);
1811
1812     /* Store the one attacked peer */
1813     memcpy (&attacked_peer,
1814             &in_msg->attacked_peer,
1815             sizeof (struct GNUNET_PeerIdentity));
1816
1817     LOG (GNUNET_ERROR_TYPE_DEBUG,
1818          "Attacked peer is %s\n",
1819          GNUNET_i2s (&attacked_peer));
1820
1821     /* Substitute do_round () with do_mal_round () */
1822     GNUNET_SCHEDULER_cancel (do_round_task);
1823     do_round_task = GNUNET_SCHEDULER_add_now (&do_mal_round, NULL);
1824   }
1825   else if (0 == mal_type)
1826   { /* Stop acting malicious */
1827     GNUNET_array_grow (mal_peers, num_mal_peers, 0);
1828
1829     /* Substitute do_mal_round () with do_round () */
1830     GNUNET_SCHEDULER_cancel (do_round_task);
1831     do_round_task = GNUNET_SCHEDULER_add_now (&do_round, NULL);
1832   }
1833   else
1834   {
1835     GNUNET_break (0);
1836   }
1837
1838   GNUNET_SERVER_receive_done (client,   GNUNET_OK);
1839 }
1840
1841
1842 /**
1843  * Send out PUSHes and PULLs maliciously.
1844  *
1845  * This is executed regylary.
1846  */
1847 static void
1848 do_mal_round (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1849 {
1850   uint32_t num_pushes;
1851   uint32_t i;
1852   struct GNUNET_TIME_Relative time_next_round;
1853   struct AttackedPeer *tmp_att_peer;
1854
1855   LOG (GNUNET_ERROR_TYPE_DEBUG, "Going to execute next round maliciously.\n");
1856
1857   /* Do malicious actions */
1858   if (1 == mal_type)
1859   { /* Try to maximise representation */
1860
1861     /* The maximum of pushes we're going to send this round */
1862     num_pushes = min (min (push_limit,
1863                            num_attacked_peers),
1864                        GNUNET_CONSTANTS_MAX_CADET_MESSAGE_SIZE);
1865
1866     /* Send PUSHes to attacked peers */
1867     for (i = 0 ; i < num_pushes ; i++)
1868     {
1869       if (att_peers_tail == att_peer_index)
1870         att_peer_index = att_peers_head;
1871       else
1872         att_peer_index = att_peer_index->next;
1873
1874       send_push (&att_peer_index->peer_id);
1875     }
1876
1877     /* Send PULLs to some peers to learn about additional peers to attack */
1878     for (i = 0 ; i < num_pushes * alpha ; i++)
1879     {
1880       if (att_peers_tail == tmp_att_peer)
1881         tmp_att_peer = att_peers_head;
1882       else
1883         att_peer_index = tmp_att_peer->next;
1884
1885       send_pull_request (&tmp_att_peer->peer_id);
1886     }
1887   }
1888
1889
1890   else if (2 == mal_type)
1891   { /**
1892      * Try to partition the network
1893      * Send as many pushes to the attacked peer as possible
1894      * That is one push per round as it will ignore more.
1895      */
1896       send_push (&attacked_peer);
1897   }
1898
1899
1900   /* Schedule next round */
1901   time_next_round = compute_rand_delay (round_interval, 2);
1902
1903   //do_round_task = GNUNET_SCHEDULER_add_delayed (round_interval, &do_mal_round, NULL);
1904   do_round_task = GNUNET_SCHEDULER_add_delayed (time_next_round, &do_mal_round, NULL);
1905   LOG (GNUNET_ERROR_TYPE_DEBUG, "Finished round\n");
1906 }
1907 #endif /* ENABLE_MALICIOUS */
1908
1909
1910 /**
1911  * Send out PUSHes and PULLs, possibly update #gossip_list, samplers.
1912  *
1913  * This is executed regylary.
1914  */
1915 static void
1916 do_round (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1917 {
1918   LOG (GNUNET_ERROR_TYPE_DEBUG, "Going to execute next round.\n");
1919
1920   uint32_t i;
1921   unsigned int *permut;
1922   unsigned int n_peers; /* Number of peers we send pushes/pulls to */
1923   struct GNUNET_PeerIdentity peer;
1924   struct GNUNET_PeerIdentity *tmp_peer;
1925
1926   LOG (GNUNET_ERROR_TYPE_DEBUG,
1927        "Printing gossip list:\n");
1928   for (i = 0 ; i < gossip_list_size ; i++)
1929     LOG (GNUNET_ERROR_TYPE_DEBUG,
1930          "\t%s\n", GNUNET_i2s (&gossip_list[i]));
1931   // TODO log lists, ...
1932
1933   /* Would it make sense to have one shuffeled gossip list and then
1934    * to send PUSHes to first alpha peers, PULL requests to next beta peers and
1935    * use the rest to update sampler?
1936    * in essence get random peers with consumption */
1937
1938   /* Send PUSHes */
1939   if (0 < gossip_list_size)
1940   {
1941     permut = GNUNET_CRYPTO_random_permute (GNUNET_CRYPTO_QUALITY_STRONG,
1942                                            (unsigned int) gossip_list_size);
1943     n_peers = ceil (alpha * gossip_list_size);
1944     LOG (GNUNET_ERROR_TYPE_DEBUG,
1945          "Going to send pushes to %u ceil (%f * %u) peers.\n",
1946          n_peers, alpha, gossip_list_size);
1947     for (i = 0 ; i < n_peers ; i++)
1948     {
1949       peer = gossip_list[permut[i]];
1950       if (0 != GNUNET_CRYPTO_cmp_peer_identity (&own_identity, &peer)) // TODO
1951       { // FIXME if this fails schedule/loop this for later
1952         send_push (&peer);
1953       }
1954     }
1955     GNUNET_free (permut);
1956   }
1957
1958
1959   /* Send PULL requests */
1960   //permut = GNUNET_CRYPTO_random_permute (GNUNET_CRYPTO_QUALITY_STRONG, (unsigned int) sampler_list->size);
1961   n_peers = ceil (beta * gossip_list_size);
1962   LOG (GNUNET_ERROR_TYPE_DEBUG,
1963        "Going to send pulls to %u ceil (%f * %u) peers.\n",
1964        n_peers, beta, gossip_list_size);
1965   for (i = 0 ; i < n_peers ; i++)
1966   {
1967     tmp_peer = get_rand_peer_ignore_list (gossip_list, gossip_list_size,
1968         pending_pull_reply_list, pending_pull_reply_list_size);
1969     if (NULL != tmp_peer)
1970     {
1971       peer = *tmp_peer;
1972       GNUNET_free (tmp_peer);
1973
1974       if (0 != GNUNET_CRYPTO_cmp_peer_identity (&own_identity, &peer))
1975       {
1976         send_pull_request (&peer);
1977       }
1978     }
1979   }
1980
1981
1982   /* Update gossip list */
1983
1984   if (push_list_size <= alpha * gossip_list_size
1985       && push_list_size > 0
1986       && pull_list_size > 0)
1987   {
1988     LOG (GNUNET_ERROR_TYPE_DEBUG, "Update of the gossip list.\n");
1989
1990     uint32_t first_border;
1991     uint32_t second_border;
1992     uint32_t r_index;
1993     uint32_t peers_to_clean_size;
1994     struct GNUNET_PeerIdentity *peers_to_clean;
1995
1996     peers_to_clean = NULL;
1997     peers_to_clean_size = 0;
1998     GNUNET_array_grow (peers_to_clean, peers_to_clean_size, gossip_list_size);
1999     memcpy (peers_to_clean,
2000             gossip_list,
2001             gossip_list_size * sizeof (struct GNUNET_PeerIdentity));
2002
2003     first_border  =                ceil (alpha * sampler_size_est_need);
2004     second_border = first_border + ceil (beta  * sampler_size_est_need);
2005
2006     GNUNET_array_grow (gossip_list, gossip_list_size, second_border);
2007
2008     for (i = 0 ; i < first_border ; i++)
2009     { // TODO use RPS_sampler_get_n_rand_peers
2010       /* Update gossip list with peers received through PUSHes */
2011       r_index = GNUNET_CRYPTO_random_u64 (GNUNET_CRYPTO_QUALITY_STRONG,
2012                                        push_list_size);
2013       gossip_list[i] = push_list[r_index];
2014       // TODO change the peer_flags accordingly
2015     }
2016
2017     for (i = first_border ; i < second_border ; i++)
2018     {
2019       /* Update gossip list with peers received through PULLs */
2020       r_index = GNUNET_CRYPTO_random_u64 (GNUNET_CRYPTO_QUALITY_STRONG,
2021                                        pull_list_size);
2022       gossip_list[i] = pull_list[r_index];
2023       // TODO change the peer_flags accordingly
2024     }
2025
2026     for (i = second_border ; i < sampler_size_est_need ; i++)
2027     {
2028       /* Update gossip list with peers from history */
2029       RPS_sampler_get_n_rand_peers (prot_sampler, hist_update, NULL, 1, GNUNET_NO);
2030       num_hist_update_tasks++;
2031       // TODO change the peer_flags accordingly
2032     }
2033
2034     for (i = 0 ; i < gossip_list_size ; i++)
2035       rem_from_list (&peers_to_clean, &peers_to_clean_size, &gossip_list[i]);
2036
2037     for (i = 0 ; i < peers_to_clean_size ; i++)
2038       peer_clean (&peers_to_clean[i]);
2039
2040     GNUNET_free (peers_to_clean);
2041   }
2042   else
2043   {
2044     LOG (GNUNET_ERROR_TYPE_DEBUG, "No update of the gossip list.\n");
2045   }
2046   // TODO independent of that also get some peers from CADET_get_peers()?
2047
2048   LOG (GNUNET_ERROR_TYPE_DEBUG,
2049        "Received %u pushes and %u pulls last round (alpha (%.2f) * gossip_list_size (%u) = %.2f)\n",
2050        push_list_size,
2051        pull_list_size,
2052        alpha,
2053        gossip_list_size,
2054        alpha * gossip_list_size);
2055
2056   /* Update samplers */
2057   for ( i = 0 ; i < push_list_size ; i++ )
2058   {
2059     LOG (GNUNET_ERROR_TYPE_DEBUG,
2060          "Updating with peer %s from push list\n",
2061          GNUNET_i2s (&push_list[i]));
2062     RPS_sampler_update (prot_sampler,   &push_list[i]);
2063     RPS_sampler_update (client_sampler, &push_list[i]);
2064     // TODO set in_flag?
2065   }
2066
2067   for ( i = 0 ; i < pull_list_size ; i++ )
2068   {
2069     LOG (GNUNET_ERROR_TYPE_DEBUG,
2070          "Updating with peer %s from pull list\n",
2071          GNUNET_i2s (&pull_list[i]));
2072     RPS_sampler_update (prot_sampler,   &pull_list[i]);
2073     RPS_sampler_update (client_sampler, &pull_list[i]);
2074     // TODO set in_flag?
2075   }
2076
2077
2078   /* Empty push/pull lists */
2079   GNUNET_array_grow (push_list, push_list_size, 0);
2080   GNUNET_array_grow (pull_list, pull_list_size, 0);
2081
2082   struct GNUNET_TIME_Relative time_next_round;
2083
2084   time_next_round = compute_rand_delay (round_interval, 2);
2085
2086   /* Schedule next round */
2087   //do_round_task = GNUNET_SCHEDULER_add_delayed (round_interval, &do_round, NULL);
2088   do_round_task = GNUNET_SCHEDULER_add_delayed (time_next_round, &do_round, NULL);
2089   LOG (GNUNET_ERROR_TYPE_DEBUG, "Finished round\n");
2090 }
2091
2092
2093 static void
2094 rps_start (struct GNUNET_SERVER_Handle *server);
2095
2096
2097 /**
2098  * This is called from GNUNET_CADET_get_peers().
2099  *
2100  * It is called on every peer(ID) that cadet somehow has contact with.
2101  * We use those to initialise the sampler.
2102  */
2103 void
2104 init_peer_cb (void *cls,
2105               const struct GNUNET_PeerIdentity *peer,
2106               int tunnel, // "Do we have a tunnel towards this peer?"
2107               unsigned int n_paths, // "Number of known paths towards this peer"
2108               unsigned int best_path) // "How long is the best path?
2109                                       // (0 = unknown, 1 = ourselves, 2 = neighbor)"
2110 {
2111   if (NULL != peer)
2112   {
2113     LOG (GNUNET_ERROR_TYPE_DEBUG,
2114          "Got peer_id %s from cadet\n",
2115          GNUNET_i2s (peer));
2116     new_peer_id (peer);
2117   }
2118 }
2119
2120
2121 /**
2122  * Clean the send channel of a peer
2123  */
2124 void
2125 peer_clean (const struct GNUNET_PeerIdentity *peer)
2126 {
2127   struct PeerContext *peer_ctx;
2128   struct GNUNET_CADET_Channel *channel;
2129
2130   if (GNUNET_YES != in_arr (gossip_list, gossip_list_size, peer)
2131       && GNUNET_YES == GNUNET_CONTAINER_multipeermap_contains (peer_map, peer))
2132   {
2133     peer_ctx = get_peer_ctx (peer_map, peer);
2134     if (NULL != peer_ctx->send_channel)
2135     {
2136       channel = peer_ctx->send_channel;
2137       peer_ctx->send_channel = NULL;
2138       GNUNET_CADET_channel_destroy (channel);
2139     }
2140   }
2141 }
2142
2143
2144 /**
2145  * Callback used to remove peers from the multipeermap.
2146  */
2147   int
2148 peer_remove_cb (void *cls, const struct GNUNET_PeerIdentity *key, void *value)
2149 {
2150   struct PeerContext *peer_ctx;
2151   const struct GNUNET_CADET_Channel *channel =
2152     (const struct GNUNET_CADET_Channel *) cls;
2153   struct GNUNET_CADET_Channel *recv;
2154   struct GNUNET_CADET_Channel *send;
2155
2156   if (GNUNET_YES == GNUNET_CONTAINER_multipeermap_contains (peer_map, value))
2157   {
2158     peer_ctx = (struct PeerContext *) value;
2159
2160     if (0 != peer_ctx->num_outstanding_ops)
2161       GNUNET_array_grow (peer_ctx->outstanding_ops,
2162                          peer_ctx->num_outstanding_ops,
2163                          0);
2164
2165     if (NULL != peer_ctx->mq)
2166     {
2167       GNUNET_MQ_destroy (peer_ctx->mq);
2168       peer_ctx->mq = NULL;
2169     }
2170
2171
2172     if (NULL != peer_ctx->is_live_task)
2173     {
2174     LOG (GNUNET_ERROR_TYPE_DEBUG,
2175          "Trying to cancle is_live_task for peer %s\n",
2176          GNUNET_i2s (key));
2177       GNUNET_CADET_notify_transmit_ready_cancel (peer_ctx->is_live_task);
2178       peer_ctx->is_live_task = NULL;
2179     }
2180
2181     send = peer_ctx->send_channel;
2182     peer_ctx->send_channel = NULL;
2183     if (NULL != send
2184         && channel != send)
2185     {
2186       GNUNET_CADET_channel_destroy (send);
2187     }
2188
2189     recv = peer_ctx->send_channel;
2190     peer_ctx->recv_channel = NULL;
2191     if (NULL != recv
2192         && channel != recv)
2193     {
2194       GNUNET_CADET_channel_destroy (recv);
2195     }
2196
2197     if (GNUNET_YES != GNUNET_CONTAINER_multipeermap_remove_all (peer_map, key))
2198       LOG (GNUNET_ERROR_TYPE_WARNING, "removing peer from peer_map failed\n");
2199     else
2200       GNUNET_free (peer_ctx);
2201   }
2202
2203   return GNUNET_YES;
2204 }
2205
2206
2207 /**
2208  * Task run during shutdown.
2209  *
2210  * @param cls unused
2211  * @param tc unused
2212  */
2213 static void
2214 shutdown_task (void *cls,
2215                      const struct GNUNET_SCHEDULER_TaskContext *tc)
2216 {
2217
2218   LOG (GNUNET_ERROR_TYPE_DEBUG, "RPS is going down\n");
2219
2220   if (NULL != do_round_task)
2221   {
2222     GNUNET_SCHEDULER_cancel (do_round_task);
2223     do_round_task = NULL;
2224   }
2225
2226
2227   {
2228   if (GNUNET_SYSERR ==
2229         GNUNET_CONTAINER_multipeermap_iterate (peer_map, peer_remove_cb, NULL))
2230     LOG (GNUNET_ERROR_TYPE_WARNING,
2231         "Iterating over peers to disconnect from them was cancelled\n");
2232   }
2233
2234   GNUNET_NSE_disconnect (nse);
2235   GNUNET_CADET_disconnect (cadet_handle);
2236   RPS_sampler_destroy (prot_sampler);
2237   RPS_sampler_destroy (client_sampler);
2238   LOG (GNUNET_ERROR_TYPE_DEBUG,
2239        "Size of the peermap: %u\n",
2240        GNUNET_CONTAINER_multipeermap_size (peer_map));
2241   GNUNET_break (0 == GNUNET_CONTAINER_multipeermap_size (peer_map));
2242   GNUNET_CONTAINER_multipeermap_destroy (peer_map);
2243   GNUNET_array_grow (gossip_list, gossip_list_size, 0);
2244   GNUNET_array_grow (push_list, push_list_size, 0);
2245   GNUNET_array_grow (pull_list, pull_list_size, 0);
2246   #ifdef ENABLE_MALICIOUS
2247   struct AttackedPeer *tmp_att_peer;
2248   GNUNET_array_grow (mal_peers, num_mal_peers, 0);
2249   if (NULL != mal_peer_set)
2250     GNUNET_CONTAINER_multipeermap_destroy (mal_peer_set);
2251   if (NULL != att_peer_set)
2252     GNUNET_CONTAINER_multipeermap_destroy (att_peer_set);
2253   while (NULL != att_peers_head)
2254   {
2255     tmp_att_peer = att_peers_head;
2256     GNUNET_CONTAINER_DLL_remove (att_peers_head, att_peers_tail, tmp_att_peer);
2257   }
2258   #endif /* ENABLE_MALICIOUS */
2259 }
2260
2261
2262 /**
2263  * A client disconnected.  Remove all of its data structure entries.
2264  *
2265  * @param cls closure, NULL
2266  * @param client identification of the client
2267  */
2268 static void
2269 handle_client_disconnect (void *cls,
2270                           struct GNUNET_SERVER_Client * client)
2271 {
2272 }
2273
2274
2275 /**
2276  * Handle the channel a peer opens to us.
2277  *
2278  * @param cls The closure
2279  * @param channel The channel the peer wants to establish
2280  * @param initiator The peer's peer ID
2281  * @param port The port the channel is being established over
2282  * @param options Further options
2283  */
2284   static void *
2285 handle_inbound_channel (void *cls,
2286                         struct GNUNET_CADET_Channel *channel,
2287                         const struct GNUNET_PeerIdentity *initiator,
2288                         uint32_t port,
2289                         enum GNUNET_CADET_ChannelOption options)
2290 {
2291   struct PeerContext *peer_ctx;
2292   struct GNUNET_PeerIdentity peer;
2293
2294   peer = *initiator;
2295   LOG (GNUNET_ERROR_TYPE_DEBUG,
2296       "New channel was established to us (Peer %s).\n",
2297       GNUNET_i2s (&peer));
2298
2299   GNUNET_assert (NULL != channel);
2300
2301   // we might not even store the recv_channel
2302
2303   peer_ctx = get_peer_ctx (peer_map, &peer);
2304   // FIXME what do we do if a channel is established twice?
2305   //       overwrite? Clean old channel? ...?
2306   //if (NULL != peer_ctx->recv_channel)
2307   //{
2308   //  peer_ctx->recv_channel = channel;
2309   //}
2310   peer_ctx->recv_channel = channel;
2311
2312   (void) GNUNET_CONTAINER_multipeermap_put (peer_map, &peer, peer_ctx,
2313       GNUNET_CONTAINER_MULTIHASHMAPOPTION_REPLACE);
2314
2315   peer_is_live (peer_ctx);
2316
2317   return NULL; // TODO
2318 }
2319
2320
2321 /**
2322  * This is called when a remote peer destroys a channel.
2323  *
2324  * @param cls The closure
2325  * @param channel The channel being closed
2326  * @param channel_ctx The context associated with this channel
2327  */
2328   static void
2329 cleanup_channel (void *cls,
2330                 const struct GNUNET_CADET_Channel *channel,
2331                 void *channel_ctx)
2332 {
2333   struct GNUNET_PeerIdentity *peer;
2334   struct PeerContext *peer_ctx;
2335
2336   peer = (struct GNUNET_PeerIdentity *) GNUNET_CADET_channel_get_info (
2337       (struct GNUNET_CADET_Channel *) channel, GNUNET_CADET_OPTION_PEER);
2338        // Guess simply casting isn't the nicest way...
2339        // FIXME wait for cadet to change this function
2340
2341   if (GNUNET_YES == GNUNET_CONTAINER_multipeermap_contains (peer_map, peer))
2342   {
2343     peer_ctx = GNUNET_CONTAINER_multipeermap_get (peer_map, peer);
2344
2345     if (NULL == peer_ctx) /* It could have been removed by shutdown_task */
2346       return;
2347
2348     if (channel == peer_ctx->send_channel)
2349     { /* Peer probably went down */
2350       LOG (GNUNET_ERROR_TYPE_DEBUG,
2351            "Peer %s destroyed send channel - probably went down, cleaning up\n",
2352            GNUNET_i2s (peer));
2353       rem_from_list (&gossip_list, &gossip_list_size, peer);
2354       rem_from_list (&pending_pull_reply_list, &pending_pull_reply_list_size, peer);
2355
2356       peer_ctx->send_channel = NULL;
2357       /* Somwewhat {ab,re}use the iterator function */
2358       /* Cast to void is ok, because it's used as void in peer_remove_cb */
2359       (void) peer_remove_cb ((void *) channel, peer, peer_ctx);
2360     }
2361     else if (channel == peer_ctx->recv_channel)
2362     { /* Other peer doesn't want to send us messages anymore */
2363       LOG (GNUNET_ERROR_TYPE_DEBUG,
2364            "Peer %s destroyed recv channel - cleaning up channel\n",
2365            GNUNET_i2s (peer));
2366       peer_ctx->recv_channel = NULL;
2367     }
2368   }
2369 }
2370
2371
2372 /**
2373  * Actually start the service.
2374  */
2375   static void
2376 rps_start (struct GNUNET_SERVER_Handle *server)
2377 {
2378   static const struct GNUNET_SERVER_MessageHandler handlers[] = {
2379     {&handle_client_request,     NULL, GNUNET_MESSAGE_TYPE_RPS_CS_REQUEST,
2380       sizeof (struct GNUNET_RPS_CS_RequestMessage)},
2381     {&handle_client_seed,        NULL, GNUNET_MESSAGE_TYPE_RPS_CS_SEED, 0},
2382     #ifdef ENABLE_MALICIOUS
2383     {&handle_client_act_malicious, NULL, GNUNET_MESSAGE_TYPE_RPS_ACT_MALICIOUS , 0},
2384     #endif /* ENABLE_MALICIOUS */
2385     {NULL, NULL, 0, 0}
2386   };
2387
2388   GNUNET_SERVER_add_handlers (server, handlers);
2389   GNUNET_SERVER_disconnect_notify (server,
2390                                    &handle_client_disconnect,
2391                                    NULL);
2392   LOG (GNUNET_ERROR_TYPE_INFO, "Ready to receive requests from clients\n");
2393
2394
2395   do_round_task = GNUNET_SCHEDULER_add_now (&do_round, NULL);
2396   LOG (GNUNET_ERROR_TYPE_DEBUG, "Scheduled first round\n");
2397
2398   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL,
2399                                                         &shutdown_task,
2400                                                         NULL);
2401 }
2402
2403
2404 /**
2405  * Process statistics requests.
2406  *
2407  * @param cls closure
2408  * @param server the initialized server
2409  * @param c configuration to use
2410  */
2411   static void
2412 run (void *cls,
2413      struct GNUNET_SERVER_Handle *server,
2414      const struct GNUNET_CONFIGURATION_Handle *c)
2415 {
2416   // TODO check what this does -- copied from gnunet-boss
2417   // - seems to work as expected
2418   GNUNET_log_setup ("rps", GNUNET_error_type_to_string (GNUNET_ERROR_TYPE_DEBUG), NULL);
2419   cfg = c;
2420
2421
2422   /* Get own ID */
2423   GNUNET_CRYPTO_get_peer_identity (cfg, &own_identity); // TODO check return value
2424   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
2425               "STARTING SERVICE (rps) for peer [%s]\n",
2426               GNUNET_i2s (&own_identity));
2427   #ifdef ENABLE_MALICIOUS
2428   GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
2429               "Malicious execution compiled in.\n");
2430   #endif /* ENABLE_MALICIOUS */
2431
2432
2433
2434   /* Get time interval from the configuration */
2435   if (GNUNET_OK != GNUNET_CONFIGURATION_get_value_time (cfg, "RPS",
2436                                                         "ROUNDINTERVAL",
2437                                                         &round_interval))
2438   {
2439     LOG (GNUNET_ERROR_TYPE_DEBUG, "Failed to read ROUNDINTERVAL from config\n");
2440     GNUNET_SCHEDULER_shutdown ();
2441     return;
2442   }
2443
2444   /* Get initial size of sampler/gossip list from the configuration */
2445   if (GNUNET_OK != GNUNET_CONFIGURATION_get_value_number (cfg, "RPS",
2446                                                          "INITSIZE",
2447                                                          (long long unsigned int *) &sampler_size_est_need))
2448   {
2449     LOG (GNUNET_ERROR_TYPE_DEBUG, "Failed to read INITSIZE from config\n");
2450     GNUNET_SCHEDULER_shutdown ();
2451     return;
2452   }
2453   LOG (GNUNET_ERROR_TYPE_DEBUG, "INITSIZE is %" PRIu64 "\n", sampler_size_est_need);
2454
2455
2456   gossip_list = NULL;
2457
2458
2459   /* connect to NSE */
2460   nse = GNUNET_NSE_connect (cfg, nse_callback, NULL);
2461   // TODO check whether that was successful
2462   LOG (GNUNET_ERROR_TYPE_DEBUG, "Connected to NSE\n");
2463
2464
2465   alpha = 0.45;
2466   beta  = 0.45;
2467
2468   peer_map = GNUNET_CONTAINER_multipeermap_create (sampler_size_est_need, GNUNET_NO);
2469
2470
2471   /* Initialise cadet */
2472   static const struct GNUNET_CADET_MessageHandler cadet_handlers[] = {
2473     {&handle_peer_push        , GNUNET_MESSAGE_TYPE_RPS_PP_PUSH        ,
2474       sizeof (struct GNUNET_MessageHeader)},
2475     {&handle_peer_pull_request, GNUNET_MESSAGE_TYPE_RPS_PP_PULL_REQUEST,
2476       sizeof (struct GNUNET_MessageHeader)},
2477     {&handle_peer_pull_reply  , GNUNET_MESSAGE_TYPE_RPS_PP_PULL_REPLY  , 0},
2478     {NULL, 0, 0}
2479   };
2480
2481   const uint32_t ports[] = {GNUNET_RPS_CADET_PORT, 0}; // _PORT specified in src/rps/rps.h
2482   cadet_handle = GNUNET_CADET_connect (cfg,
2483                                        cls,
2484                                        &handle_inbound_channel,
2485                                        &cleanup_channel,
2486                                        cadet_handlers,
2487                                        ports);
2488   LOG (GNUNET_ERROR_TYPE_DEBUG, "Connected to CADET\n");
2489
2490
2491   /* Initialise sampler */
2492   struct GNUNET_TIME_Relative half_round_interval;
2493   struct GNUNET_TIME_Relative  max_round_interval;
2494
2495   half_round_interval = GNUNET_TIME_relative_multiply (round_interval, .5);
2496   max_round_interval = GNUNET_TIME_relative_add (round_interval, half_round_interval);
2497
2498   prot_sampler =   RPS_sampler_init (sampler_size_est_need, max_round_interval);
2499   client_sampler = RPS_sampler_init (sampler_size_est_need, max_round_interval);
2500
2501   /* Initialise push and pull maps */
2502   push_list = NULL;
2503   push_list_size = 0;
2504   pull_list = NULL;
2505   pull_list_size = 0;
2506   pending_pull_reply_list = NULL;
2507   pending_pull_reply_list_size = 0;
2508
2509
2510   num_hist_update_tasks = 0;
2511
2512
2513   LOG (GNUNET_ERROR_TYPE_DEBUG, "Requesting peers from CADET\n");
2514   GNUNET_CADET_get_peers (cadet_handle, &init_peer_cb, NULL);
2515   // TODO send push/pull to each of those peers?
2516
2517
2518   rps_start (server);
2519 }
2520
2521
2522 /**
2523  * The main function for the rps service.
2524  *
2525  * @param argc number of arguments from the command line
2526  * @param argv command line arguments
2527  * @return 0 ok, 1 on error
2528  */
2529   int
2530 main (int argc, char *const *argv)
2531 {
2532   return (GNUNET_OK ==
2533           GNUNET_SERVICE_run (argc,
2534                               argv,
2535                               "rps",
2536                               GNUNET_SERVICE_OPTION_NONE,
2537                               &run, NULL)) ? 0 : 1;
2538 }
2539
2540 /* end of gnunet-service-rps.c */