tolerate additional IPv4 address now available for gnunet.org
[oweals/gnunet.git] / src / rps / gnunet-service-rps.c
index e3714bdba34107d5500163cf2239d62b71af54e9..c5530a1eb8b02e6ac399845222ccc46b481d6baf 100644 (file)
      WITHOUT ANY WARRANTY; without even the implied warranty of
      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
      Affero General Public License for more details.
-    
+
      You should have received a copy of the GNU Affero General Public License
      along with this program.  If not, see <http://www.gnu.org/licenses/>.
+
+     SPDX-License-Identifier: AGPL3.0-or-later
 */
 
 /**
@@ -25,6 +27,7 @@
 #include "gnunet_applications.h"
 #include "gnunet_util_lib.h"
 #include "gnunet_cadet_service.h"
+#include "gnunet_core_service.h"
 #include "gnunet_peerinfo_service.h"
 #include "gnunet_nse_service.h"
 #include "gnunet_statistics_service.h"
 
 #include <math.h>
 #include <inttypes.h>
+#include <string.h>
 
 #define LOG(kind, ...) GNUNET_log(kind, __VA_ARGS__)
 
-// TODO modify @brief in every file
-
 // TODO check for overflows
 
 // TODO align message structs
 
 // hist_size_init, hist_size_max
 
-/**
- * Our configuration.
- */
-static const struct GNUNET_CONFIGURATION_Handle *cfg;
-
-/**
- * Handle to the statistics service.
- */
-struct GNUNET_STATISTICS_Handle *stats;
-
-/**
- * Our own identity.
- */
-static struct GNUNET_PeerIdentity own_identity;
-
-static int in_shutdown = GNUNET_NO;
-
-/**
- * @brief Port used for cadet.
- *
- * Don't compute multiple times through making it global
- */
-static struct GNUNET_HashCode port;
-
 /***********************************************************************
  * Old gnunet-service-rps_peers.c
 ***********************************************************************/
@@ -168,10 +146,15 @@ struct ChannelCtx;
  * This is stored in a multipeermap.
  * It contains information such as cadet channels, a message queue for sending,
  * status about the channels, the pending operations on this peer and some flags
- * about the status of the peer itself. (live, valid, ...)
+ * about the status of the peer itself. (online, valid, ...)
  */
 struct PeerContext
 {
+  /**
+   * The Sub this context belongs to.
+   */
+  struct Sub *sub;
+
   /**
    * Message queue open to client
    */
@@ -197,7 +180,7 @@ struct PeerContext
    *
    * To be canceled on shutdown.
    */
-  struct PendingMessage *liveliness_check_pending;
+  struct PendingMessage *online_check_pending;
 
   /**
    * Number of pending operations.
@@ -235,6 +218,7 @@ struct PeerContext
    * it, how did we get its ID, how many pushes (in a timeinterval),
    * ...)
    */
+  uint32_t round_pull_req;
 };
 
 /**
@@ -276,42 +260,358 @@ struct ChannelCtx
   struct GNUNET_SCHEDULER_Task *destruction_task;
 };
 
+
+#if ENABLE_MALICIOUS
+
+/**
+ * If type is 2 This struct is used to store the attacked peers in a DLL
+ */
+struct AttackedPeer
+{
+  /**
+   * DLL
+   */
+  struct AttackedPeer *next;
+  struct AttackedPeer *prev;
+
+  /**
+   * PeerID
+   */
+  struct GNUNET_PeerIdentity peer_id;
+};
+
+#endif /* ENABLE_MALICIOUS */
+
 /**
- * @brief Hashmap of valid peers.
+ * @brief This number determines the number of slots for files that represent
+ * histograms
  */
-static struct GNUNET_CONTAINER_MultiPeerMap *valid_peers;
+#define HISTOGRAM_FILE_SLOTS 32
 
 /**
- * @brief Maximum number of valid peers to keep.
- * TODO read from config
+ * @brief The size (in bytes) a file needs to store the histogram
+ *
+ * Per slot: 1 newline, up to 4 chars,
+ * Additionally: 1 null termination
  */
-static uint32_t num_valid_peers_max = UINT32_MAX;
+#define SIZE_DUMP_FILE (HISTOGRAM_FILE_SLOTS * 5) + 1
 
 /**
- * @brief Filename of the file that stores the valid peers persistently.
+ * @brief One Sub.
+ *
+ * Essentially one instance of brahms that only connects to other instances
+ * with the same (secret) value.
  */
-static char *filename_valid_peers;
+struct Sub
+{
+  /**
+   * @brief Hash of the shared value that defines Subs.
+   */
+  struct GNUNET_HashCode hash;
+
+  /**
+   * @brief Port to communicate to other peers.
+   */
+  struct GNUNET_CADET_Port *cadet_port;
+
+  /**
+   * @brief Hashmap of valid peers.
+   */
+  struct GNUNET_CONTAINER_MultiPeerMap *valid_peers;
+
+  /**
+   * @brief Filename of the file that stores the valid peers persistently.
+   */
+  char *filename_valid_peers;
+
+  /**
+   * Set of all peers to keep track of them.
+   */
+  struct GNUNET_CONTAINER_MultiPeerMap *peer_map;
+
+  /**
+   * @brief This is the minimum estimate used as sampler size.
+   *
+   * It is configured by the user.
+   */
+  unsigned int sampler_size_est_min;
+
+  /**
+   * The size of sampler we need to be able to satisfy the Brahms protocol's
+   * need of random peers.
+   *
+   * This is one minimum size the sampler grows to.
+   */
+  unsigned int sampler_size_est_need;
+
+  /**
+   * Time interval the do_round task runs in.
+   */
+  struct GNUNET_TIME_Relative round_interval;
+
+  /**
+   * Sampler used for the Brahms protocol itself.
+   */
+  struct RPS_Sampler *sampler;
+
+#ifdef TO_FILE_FULL
+  /**
+   * Name to log view to
+   */
+  char *file_name_view_log;
+#endif /* TO_FILE_FULL */
+
+#ifdef TO_FILE
+#ifdef TO_FILE_FULL
+  /**
+   * Name to log number of observed peers to
+   */
+  char *file_name_observed_log;
+#endif /* TO_FILE_FULL */
+
+  /**
+   * @brief Count the observed peers
+   */
+  uint32_t num_observed_peers;
+
+  /**
+   * @brief Multipeermap (ab-) used to count unique peer_ids
+   */
+  struct GNUNET_CONTAINER_MultiPeerMap *observed_unique_peers;
+#endif /* TO_FILE */
+
+  /**
+   * List to store peers received through pushes temporary.
+   */
+  struct CustomPeerMap *push_map;
+
+  /**
+   * List to store peers received through pulls temporary.
+   */
+  struct CustomPeerMap *pull_map;
+
+  /**
+   * @brief This is the estimate used as view size.
+   *
+   * It is initialised with the minimum
+   */
+  unsigned int view_size_est_need;
+
+  /**
+   * @brief This is the minimum estimate used as view size.
+   *
+   * It is configured by the user.
+   */
+  unsigned int view_size_est_min;
+
+  /**
+   * @brief The view.
+   */
+  struct View *view;
+
+  /**
+   * Identifier for the main task that runs periodically.
+   */
+  struct GNUNET_SCHEDULER_Task *do_round_task;
+
+  /* === stats === */
+
+  /**
+   * @brief Counts the executed rounds.
+   */
+  uint32_t num_rounds;
+
+  /**
+   * @brief This array accumulates the number of received pushes per round.
+   *
+   * Number at index i represents the number of rounds with i observed pushes.
+   */
+  uint32_t push_recv[HISTOGRAM_FILE_SLOTS];
+
+  /**
+   * @brief Histogram of deltas between the expected and actual number of
+   * received pushes.
+   *
+   * As half of the entries are expected to be negative, this is shifted by
+   * #HISTOGRAM_FILE_SLOTS/2.
+   */
+  uint32_t push_delta[HISTOGRAM_FILE_SLOTS];
+
+  /**
+   * @brief Number of pull replies with this delay measured in rounds.
+   *
+   * Number at index i represents the number of pull replies with a delay of i
+   * rounds.
+   */
+  uint32_t pull_delays[HISTOGRAM_FILE_SLOTS];
+};
+
+
+/***********************************************************************
+ * Globals
+***********************************************************************/
+
+/**
+ * Our configuration.
+ */
+static const struct GNUNET_CONFIGURATION_Handle *cfg;
+
+/**
+ * Handle to the statistics service.
+ */
+struct GNUNET_STATISTICS_Handle *stats;
+
+/**
+ * Handler to CADET.
+ */
+struct GNUNET_CADET_Handle *cadet_handle;
+
+/**
+ * Handle to CORE
+ */
+struct GNUNET_CORE_Handle *core_handle;
+
+/**
+ * @brief PeerMap to keep track of connected peers.
+ */
+struct GNUNET_CONTAINER_MultiPeerMap *map_single_hop;
+
+/**
+ * Our own identity.
+ */
+static struct GNUNET_PeerIdentity own_identity;
+
+/**
+ * Percentage of total peer number in the view
+ * to send random PUSHes to
+ */
+static float alpha;
+
+/**
+ * Percentage of total peer number in the view
+ * to send random PULLs to
+ */
+static float beta;
+
+/**
+ * Handler to NSE.
+ */
+static struct GNUNET_NSE_Handle *nse;
+
+/**
+ * Handler to PEERINFO.
+ */
+static struct GNUNET_PEERINFO_Handle *peerinfo_handle;
+
+/**
+ * Handle for cancellation of iteration over peers.
+ */
+static struct GNUNET_PEERINFO_NotifyContext *peerinfo_notify_handle;
+
+
+#if ENABLE_MALICIOUS
+/**
+ * Type of malicious peer
+ *
+ * 0 Don't act malicious at all - Default
+ * 1 Try to maximise representation
+ * 2 Try to partition the network
+ * 3 Combined attack
+ */
+static uint32_t mal_type;
+
+/**
+ * Other malicious peers
+ */
+static struct GNUNET_PeerIdentity *mal_peers;
+
+/**
+ * Hashmap of malicious peers used as set.
+ * Used to more efficiently check whether we know that peer.
+ */
+static struct GNUNET_CONTAINER_MultiPeerMap *mal_peer_set;
+
+/**
+ * Number of other malicious peers
+ */
+static uint32_t num_mal_peers;
+
+
+/**
+ * If type is 2 this is the DLL of attacked peers
+ */
+static struct AttackedPeer *att_peers_head;
+static struct AttackedPeer *att_peers_tail;
+
+/**
+ * This index is used to point to an attacked peer to
+ * implement the round-robin-ish way to select attacked peers.
+ */
+static struct AttackedPeer *att_peer_index;
+
+/**
+ * Hashmap of attacked peers used as set.
+ * Used to more efficiently check whether we know that peer.
+ */
+static struct GNUNET_CONTAINER_MultiPeerMap *att_peer_set;
+
+/**
+ * Number of attacked peers
+ */
+static uint32_t num_attacked_peers;
+
+/**
+ * If type is 1 this is the attacked peer
+ */
+static struct GNUNET_PeerIdentity attacked_peer;
+
+/**
+ * The limit of PUSHes we can send in one round.
+ * This is an assumption of the Brahms protocol and either implemented
+ * via proof of work
+ * or
+ * assumend to be the bandwidth limitation.
+ */
+static uint32_t push_limit = 10000;
+#endif /* ENABLE_MALICIOUS */
 
 /**
- * Set of all peers to keep track of them.
+ * @brief Main Sub.
+ *
+ * This is run in any case by all peers and connects to all peers without
+ * specifying a shared value.
  */
-static struct GNUNET_CONTAINER_MultiPeerMap *peer_map;
+static struct Sub *msub;
 
 /**
- * Cadet handle.
+ * @brief Maximum number of valid peers to keep.
+ * TODO read from config
  */
-static struct GNUNET_CADET_Handle *cadet_handle;
+static const uint32_t num_valid_peers_max = UINT32_MAX;
+
+/***********************************************************************
+ * /Globals
+***********************************************************************/
+
+
+static void
+do_round (void *cls);
+
+static void
+do_mal_round (void *cls);
 
 
 /**
  * @brief Get the #PeerContext associated with a peer
  *
+ * @param peer_map The peer map containing the context
  * @param peer the peer id
  *
  * @return the #PeerContext
  */
 static struct PeerContext *
-get_peer_ctx (const struct GNUNET_PeerIdentity *peer)
+get_peer_ctx (const struct GNUNET_CONTAINER_MultiPeerMap *peer_map,
+              const struct GNUNET_PeerIdentity *peer)
 {
   struct PeerContext *ctx;
   int ret;
@@ -328,18 +628,21 @@ get_peer_ctx (const struct GNUNET_PeerIdentity *peer)
  *
  * FIXME probably deprecated. Make this the new _online.
  *
+ * @param peer_map The peer map to check for the existence of @a peer
  * @param peer peer in question
  *
  * @return #GNUNET_YES if peer is known
  *         #GNUNET_NO  if peer is not knwon
  */
 static int
-check_peer_known (const struct GNUNET_PeerIdentity *peer)
+check_peer_known (const struct GNUNET_CONTAINER_MultiPeerMap *peer_map,
+                  const struct GNUNET_PeerIdentity *peer)
 {
   if (NULL != peer_map)
   {
     return GNUNET_CONTAINER_multipeermap_contains (peer_map, peer);
-  } else
+  }
+  else
   {
     return GNUNET_NO;
   }
@@ -349,27 +652,33 @@ check_peer_known (const struct GNUNET_PeerIdentity *peer)
 /**
  * @brief Create a new #PeerContext and insert it into the peer map
  *
+ * @param sub The Sub this context belongs to.
  * @param peer the peer to create the #PeerContext for
  *
  * @return the #PeerContext
  */
 static struct PeerContext *
-create_peer_ctx (const struct GNUNET_PeerIdentity *peer)
+create_peer_ctx (struct Sub *sub,
+                 const struct GNUNET_PeerIdentity *peer)
 {
   struct PeerContext *ctx;
   int ret;
 
-  GNUNET_assert (GNUNET_NO == check_peer_known (peer));
+  GNUNET_assert (GNUNET_NO == check_peer_known (sub->peer_map, peer));
 
   ctx = GNUNET_new (struct PeerContext);
   ctx->peer_id = *peer;
-  ret = GNUNET_CONTAINER_multipeermap_put (peer_map, peer, ctx,
+  ctx->sub = sub;
+  ret = GNUNET_CONTAINER_multipeermap_put (sub->peer_map, peer, ctx,
       GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
   GNUNET_assert (GNUNET_OK == ret);
-  GNUNET_STATISTICS_set (stats,
-                        "# known peers",
-                        GNUNET_CONTAINER_multipeermap_size (peer_map),
-                        GNUNET_NO);
+  if (sub == msub)
+  {
+    GNUNET_STATISTICS_set (stats,
+                          "# known peers",
+                          GNUNET_CONTAINER_multipeermap_size (sub->peer_map),
+                          GNUNET_NO);
+  }
   return ctx;
 }
 
@@ -377,18 +686,20 @@ create_peer_ctx (const struct GNUNET_PeerIdentity *peer)
 /**
  * @brief Create or get a #PeerContext
  *
+ * @param sub The Sub to which the created context belongs to
  * @param peer the peer to get the associated context to
  *
  * @return the context
  */
 static struct PeerContext *
-create_or_get_peer_ctx (const struct GNUNET_PeerIdentity *peer)
+create_or_get_peer_ctx (struct Sub *sub,
+                        const struct GNUNET_PeerIdentity *peer)
 {
-  if (GNUNET_NO == check_peer_known (peer))
+  if (GNUNET_NO == check_peer_known (sub->peer_map, peer))
   {
-    return create_peer_ctx (peer);
+    return create_peer_ctx (sub, peer);
   }
-  return get_peer_ctx (peer);
+  return get_peer_ctx (sub->peer_map, peer);
 }
 
 
@@ -397,23 +708,22 @@ create_or_get_peer_ctx (const struct GNUNET_PeerIdentity *peer)
  *
  * Also sets the #Peers_ONLINE flag accordingly
  *
- * @param peer the peer in question
+ * @param peer_ctx Context of the peer of which connectivity is to be checked
  *
  * @return #GNUNET_YES if we are connected
  *         #GNUNET_NO  otherwise
  */
 static int
-check_connected (const struct GNUNET_PeerIdentity *peer)
+check_connected (struct PeerContext *peer_ctx)
 {
-  struct PeerContext *peer_ctx;
-
   /* If we don't know about this peer we don't know whether it's online */
-  if (GNUNET_NO == check_peer_known (peer))
+  if (GNUNET_NO == check_peer_known (peer_ctx->sub->peer_map,
+                                     &peer_ctx->peer_id))
   {
     return GNUNET_NO;
   }
   /* Get the context */
-  peer_ctx = get_peer_ctx (peer);
+  peer_ctx = get_peer_ctx (peer_ctx->sub->peer_map, &peer_ctx->peer_id);
   /* If we have no channel to this peer we don't know whether it's online */
   if ( (NULL == peer_ctx->send_channel_ctx) &&
        (NULL == peer_ctx->recv_channel_ctx) )
@@ -482,20 +792,20 @@ get_rand_peer_iterator (void *cls,
 /**
  * @brief Get a random peer from @a peer_map
  *
- * @param peer_map the peer_map to get the peer from
+ * @param valid_peers Peer map containing valid peers from which to select a
+ * random one
  *
  * @return a random peer
  */
 static const struct GNUNET_PeerIdentity *
-get_random_peer_from_peermap (const struct
-                              GNUNET_CONTAINER_MultiPeerMap *peer_map)
+get_random_peer_from_peermap (struct GNUNET_CONTAINER_MultiPeerMap *valid_peers)
 {
   struct GetRandPeerIteratorCls *iterator_cls;
   const struct GNUNET_PeerIdentity *ret;
 
   iterator_cls = GNUNET_new (struct GetRandPeerIteratorCls);
   iterator_cls->index = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK,
-      GNUNET_CONTAINER_multipeermap_size (peer_map));
+      GNUNET_CONTAINER_multipeermap_size (valid_peers));
   (void) GNUNET_CONTAINER_multipeermap_iterate (valid_peers,
                                                 get_rand_peer_iterator,
                                                 iterator_cls);
@@ -510,19 +820,23 @@ get_random_peer_from_peermap (const struct
  *
  * If valid peers are already #num_valid_peers_max, delete a peer previously.
  *
- * @param peer the peer that is added to the valid peers.
+ * @param peer The peer that is added to the valid peers.
+ * @param valid_peers Peer map of valid peers to which to add the @a peer
  *
  * @return #GNUNET_YES if no other peer had to be removed
  *         #GNUNET_NO  otherwise
  */
 static int
-add_valid_peer (const struct GNUNET_PeerIdentity *peer)
+add_valid_peer (const struct GNUNET_PeerIdentity *peer,
+                struct GNUNET_CONTAINER_MultiPeerMap *valid_peers)
 {
   const struct GNUNET_PeerIdentity *rand_peer;
   int ret;
 
   ret = GNUNET_YES;
-  while (GNUNET_CONTAINER_multipeermap_size (valid_peers) >= num_valid_peers_max)
+  /* Remove random peers until there is space for a new one */
+  while (num_valid_peers_max <=
+         GNUNET_CONTAINER_multipeermap_size (valid_peers))
   {
     rand_peer = get_random_peer_from_peermap (valid_peers);
     GNUNET_CONTAINER_multipeermap_remove_all (valid_peers, rand_peer);
@@ -530,10 +844,13 @@ add_valid_peer (const struct GNUNET_PeerIdentity *peer)
   }
   (void) GNUNET_CONTAINER_multipeermap_put (valid_peers, peer, NULL,
       GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
-  GNUNET_STATISTICS_set (stats,
-                         "# valid peers",
-                         GNUNET_CONTAINER_multipeermap_size (valid_peers),
-                         GNUNET_NO);
+  if (valid_peers == msub->valid_peers)
+  {
+    GNUNET_STATISTICS_set (stats,
+                           "# valid peers",
+                           GNUNET_CONTAINER_multipeermap_size (valid_peers),
+                           GNUNET_NO);
+  }
   return ret;
 }
 
@@ -546,32 +863,31 @@ remove_pending_message (struct PendingMessage *pending_msg, int cancel);
  *
  * Also adds peer to #valid_peers.
  *
- * @param peer_ctx the #PeerContext of the peer to set live
+ * @param peer_ctx the #PeerContext of the peer to set online
  */
 static void
-set_peer_live (struct PeerContext *peer_ctx)
+set_peer_online (struct PeerContext *peer_ctx)
 {
   struct GNUNET_PeerIdentity *peer;
   unsigned int i;
 
   peer = &peer_ctx->peer_id;
   LOG (GNUNET_ERROR_TYPE_DEBUG,
-      "Peer %s is live and valid, calling %i pending operations on it\n",
+      "Peer %s is online and valid, calling %i pending operations on it\n",
       GNUNET_i2s (peer),
       peer_ctx->num_pending_ops);
 
-  if (NULL != peer_ctx->liveliness_check_pending)
+  if (NULL != peer_ctx->online_check_pending)
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG,
-         "Removing pending liveliness check for peer %s\n",
+         "Removing pending online check for peer %s\n",
          GNUNET_i2s (&peer_ctx->peer_id));
     // TODO wait until cadet sets mq->cancel_impl
-    //GNUNET_MQ_send_cancel (peer_ctx->liveliness_check_pending->ev);
-    remove_pending_message (peer_ctx->liveliness_check_pending, GNUNET_YES);
-    peer_ctx->liveliness_check_pending = NULL;
+    //GNUNET_MQ_send_cancel (peer_ctx->online_check_pending->ev);
+    remove_pending_message (peer_ctx->online_check_pending, GNUNET_YES);
+    peer_ctx->online_check_pending = NULL;
   }
 
-  (void) add_valid_peer (peer);
   SET_PEER_FLAG (peer_ctx, Peers_ONLINE);
 
   /* Call pending operations */
@@ -660,14 +976,12 @@ remove_channel_ctx (struct ChannelCtx *channel_ctx)
 /**
  * @brief Get the channel of a peer. If not existing, create.
  *
- * @param peer the peer id
- * @return the #GNUNET_CADET_Channel used to send data to @a peer
+ * @param peer_ctx Context of the peer of which to get the channel
+ * @return the #GNUNET_CADET_Channel used to send data to @a peer_ctx
  */
 struct GNUNET_CADET_Channel *
-get_channel (const struct GNUNET_PeerIdentity *peer)
+get_channel (struct PeerContext *peer_ctx)
 {
-  struct PeerContext *peer_ctx;
-  struct GNUNET_PeerIdentity *ctx_peer;
   /* There exists a copy-paste-clone in run() */
   struct GNUNET_MQ_MessageHandler cadet_handlers[] = {
     GNUNET_MQ_hd_fixed_size (peer_check,
@@ -690,20 +1004,17 @@ get_channel (const struct GNUNET_PeerIdentity *peer)
   };
 
 
-  peer_ctx = get_peer_ctx (peer);
   if (NULL == peer_ctx->send_channel_ctx)
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG,
          "Trying to establish channel to peer %s\n",
-         GNUNET_i2s (peer));
-    ctx_peer = GNUNET_new (struct GNUNET_PeerIdentity);
-    *ctx_peer = *peer;
+         GNUNET_i2s (&peer_ctx->peer_id));
     peer_ctx->send_channel_ctx = add_channel_ctx (peer_ctx);
     peer_ctx->send_channel_ctx->channel =
       GNUNET_CADET_channel_create (cadet_handle,
                                    peer_ctx->send_channel_ctx, /* context */
-                                   peer,
-                                   &port,
+                                   &peer_ctx->peer_id,
+                                   &peer_ctx->sub->hash,
                                    GNUNET_CADET_OPTION_RELIABLE,
                                    NULL, /* WindowSize handler */
                                    &cleanup_destroyed_channel, /* Disconnect handler */
@@ -721,19 +1032,15 @@ get_channel (const struct GNUNET_PeerIdentity *peer)
  * If we already have a message queue open to this client,
  * simply return it, otherways create one.
  *
- * @param peer the peer to get the mq to
+ * @param peer_ctx Context of the peer of whicht to get the mq
  * @return the #GNUNET_MQ_Handle
  */
 static struct GNUNET_MQ_Handle *
-get_mq (const struct GNUNET_PeerIdentity *peer)
+get_mq (struct PeerContext *peer_ctx)
 {
-  struct PeerContext *peer_ctx;
-
-  peer_ctx = get_peer_ctx (peer);
-
   if (NULL == peer_ctx->mq)
   {
-    peer_ctx->mq = GNUNET_CADET_get_mq (get_channel (peer));
+    peer_ctx->mq = GNUNET_CADET_get_mq (get_channel (peer_ctx));
   }
   return peer_ctx->mq;
 }
@@ -741,20 +1048,18 @@ get_mq (const struct GNUNET_PeerIdentity *peer)
 /**
  * @brief Add an envelope to a message passed to mq to list of pending messages
  *
- * @param peer peer the message was sent to
+ * @param peer_ctx Context of the peer for which to insert the envelope
  * @param ev envelope to the message
  * @param type type of the message to be sent
  * @return pointer to pending message
  */
 static struct PendingMessage *
-insert_pending_message (const struct GNUNET_PeerIdentity *peer,
+insert_pending_message (struct PeerContext *peer_ctx,
                         struct GNUNET_MQ_Envelope *ev,
                         const char *type)
 {
   struct PendingMessage *pending_msg;
-  struct PeerContext *peer_ctx;
 
-  peer_ctx = get_peer_ctx (peer);
   pending_msg = GNUNET_new (struct PendingMessage);
   pending_msg->ev = ev;
   pending_msg->peer_ctx = peer_ctx;
@@ -794,53 +1099,57 @@ remove_pending_message (struct PendingMessage *pending_msg, int cancel)
 
 /**
  * @brief This is called in response to the first message we sent as a
- * liveliness check.
+ * online check.
  *
- * @param cls #PeerContext of peer with pending liveliness check
+ * @param cls #PeerContext of peer with pending online check
  */
 static void
-mq_liveliness_check_successful (void *cls)
+mq_online_check_successful (void *cls)
 {
   struct PeerContext *peer_ctx = cls;
 
-  if (NULL != peer_ctx->liveliness_check_pending)
+  if (NULL != peer_ctx->online_check_pending)
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG,
-        "Liveliness check for peer %s was successfull\n",
+        "Online check for peer %s was successfull\n",
         GNUNET_i2s (&peer_ctx->peer_id));
-    remove_pending_message (peer_ctx->liveliness_check_pending, GNUNET_YES);
-    peer_ctx->liveliness_check_pending = NULL;
-    set_peer_live (peer_ctx);
+    remove_pending_message (peer_ctx->online_check_pending, GNUNET_YES);
+    peer_ctx->online_check_pending = NULL;
+    set_peer_online (peer_ctx);
+    (void) add_valid_peer (&peer_ctx->peer_id, peer_ctx->sub->valid_peers);
   }
 }
 
 /**
- * Issue a check whether peer is live
+ * Issue a check whether peer is online
  *
  * @param peer_ctx the context of the peer
  */
 static void
-check_peer_live (struct PeerContext *peer_ctx)
+check_peer_online (struct PeerContext *peer_ctx)
 {
   LOG (GNUNET_ERROR_TYPE_DEBUG,
-       "Get informed about peer %s getting live\n",
+       "Get informed about peer %s getting online\n",
        GNUNET_i2s (&peer_ctx->peer_id));
 
   struct GNUNET_MQ_Handle *mq;
   struct GNUNET_MQ_Envelope *ev;
 
   ev = GNUNET_MQ_msg_header (GNUNET_MESSAGE_TYPE_RPS_PP_CHECK_LIVE);
-  peer_ctx->liveliness_check_pending =
-    insert_pending_message (&peer_ctx->peer_id, ev, "Check liveliness");
-  mq = get_mq (&peer_ctx->peer_id);
+  peer_ctx->online_check_pending =
+    insert_pending_message (peer_ctx, ev, "Check online");
+  mq = get_mq (peer_ctx);
   GNUNET_MQ_notify_sent (ev,
-                         mq_liveliness_check_successful,
+                         mq_online_check_successful,
                          peer_ctx);
   GNUNET_MQ_send (mq, ev);
-  GNUNET_STATISTICS_update (stats,
-                            "# pending liveliness checks",
-                            1,
-                            GNUNET_NO);
+  if (peer_ctx->sub == msub)
+  {
+    GNUNET_STATISTICS_update (stats,
+                              "# pending online checks",
+                              1,
+                              GNUNET_NO);
+  }
 }
 
 
@@ -850,20 +1159,18 @@ check_peer_live (struct PeerContext *peer_ctx)
  * The array with pending operations will probably never grow really big, so
  * iterating over it should be ok.
  *
- * @param peer the peer to check
+ * @param peer_ctx Context of the peer to check for the operation
  * @param peer_op the operation (#PeerOp) on the peer
  *
  * @return #GNUNET_YES if this operation is scheduled on that peer
  *         #GNUNET_NO  otherwise
  */
 static int
-check_operation_scheduled (const struct GNUNET_PeerIdentity *peer,
+check_operation_scheduled (const struct PeerContext *peer_ctx,
                            const PeerOp peer_op)
 {
-  const struct PeerContext *peer_ctx;
   unsigned int i;
 
-  peer_ctx = get_peer_ctx (peer);
   for (i = 0; i < peer_ctx->num_pending_ops; i++)
     if (peer_op == peer_ctx->pending_ops[i].op)
       return GNUNET_YES;
@@ -937,7 +1244,13 @@ schedule_channel_destruction (struct ChannelCtx *channel_ctx)
 /**
  * @brief Remove peer
  *
- * @param peer the peer to clean
+ * - Empties the list with pending operations
+ * - Empties the list with pending messages
+ * - Cancels potentially existing online check
+ * - Schedules closing of send and recv channels
+ * - Removes peer from peer map
+ *
+ * @param peer_ctx Context of the peer to be destroyed
  * @return #GNUNET_YES if peer was removed
  *         #GNUNET_NO  otherwise
  */
@@ -945,9 +1258,9 @@ static int
 destroy_peer (struct PeerContext *peer_ctx)
 {
   GNUNET_assert (NULL != peer_ctx);
-  GNUNET_assert (NULL != peer_map);
+  GNUNET_assert (NULL != peer_ctx->sub->peer_map);
   if (GNUNET_NO ==
-      GNUNET_CONTAINER_multipeermap_contains (peer_map,
+      GNUNET_CONTAINER_multipeermap_contains (peer_ctx->sub->peer_map,
                                               &peer_ctx->peer_id))
   {
     return GNUNET_NO;
@@ -971,33 +1284,36 @@ destroy_peer (struct PeerContext *peer_ctx)
          "Removing unsent %s\n",
          peer_ctx->pending_messages_head->type);
     /* Cancle pending message, too */
-    if ( (NULL != peer_ctx->liveliness_check_pending) &&
+    if ( (NULL != peer_ctx->online_check_pending) &&
          (0 == memcmp (peer_ctx->pending_messages_head,
-                     peer_ctx->liveliness_check_pending,
+                     peer_ctx->online_check_pending,
                      sizeof (struct PendingMessage))) )
       {
-        peer_ctx->liveliness_check_pending = NULL;
-        GNUNET_STATISTICS_update (stats,
-                                  "# pending liveliness checks",
-                                  -1,
-                                  GNUNET_NO);
+        peer_ctx->online_check_pending = NULL;
+        if (peer_ctx->sub == msub)
+        {
+          GNUNET_STATISTICS_update (stats,
+                                    "# pending online checks",
+                                    -1,
+                                    GNUNET_NO);
+        }
       }
     remove_pending_message (peer_ctx->pending_messages_head,
                             GNUNET_YES);
   }
 
-  /* If we are still waiting for notification whether this peer is live
+  /* If we are still waiting for notification whether this peer is online
    * cancel the according task */
-  if (NULL != peer_ctx->liveliness_check_pending)
+  if (NULL != peer_ctx->online_check_pending)
   {
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "Removing pending liveliness check for peer %s\n",
+                "Removing pending online check for peer %s\n",
                 GNUNET_i2s (&peer_ctx->peer_id));
     // TODO wait until cadet sets mq->cancel_impl
-    //GNUNET_MQ_send_cancel (peer_ctx->liveliness_check_pending->ev);
-    remove_pending_message (peer_ctx->liveliness_check_pending,
+    //GNUNET_MQ_send_cancel (peer_ctx->online_check_pending->ev);
+    remove_pending_message (peer_ctx->online_check_pending,
                             GNUNET_YES);
-    peer_ctx->liveliness_check_pending = NULL;
+    peer_ctx->online_check_pending = NULL;
   }
 
   if (NULL != peer_ctx->send_channel_ctx)
@@ -1017,16 +1333,19 @@ destroy_peer (struct PeerContext *peer_ctx)
   }
 
   if (GNUNET_YES !=
-      GNUNET_CONTAINER_multipeermap_remove_all (peer_map,
+      GNUNET_CONTAINER_multipeermap_remove_all (peer_ctx->sub->peer_map,
                                                 &peer_ctx->peer_id))
   {
     LOG (GNUNET_ERROR_TYPE_WARNING,
-         "removing peer from peer_map failed\n");
+         "removing peer from peer_ctx->sub->peer_map failed\n");
+  }
+  if (peer_ctx->sub == msub)
+  {
+    GNUNET_STATISTICS_set (stats,
+                          "# known peers",
+                          GNUNET_CONTAINER_multipeermap_size (peer_ctx->sub->peer_map),
+                          GNUNET_NO);
   }
-  GNUNET_STATISTICS_set (stats,
-                        "# known peers",
-                        GNUNET_CONTAINER_multipeermap_size (peer_map),
-                        GNUNET_NO);
   GNUNET_free (peer_ctx);
   return GNUNET_YES;
 }
@@ -1046,9 +1365,10 @@ peermap_clear_iterator (void *cls,
                         const struct GNUNET_PeerIdentity *key,
                         void *value)
 {
-  (void) cls;
+  struct Sub *sub = cls;
   (void) value;
-  destroy_peer (get_peer_ctx (key));
+
+  destroy_peer (get_peer_ctx (sub->peer_map, key));
   return GNUNET_YES;
 }
 
@@ -1067,12 +1387,23 @@ mq_notify_sent_cb (void *cls)
   LOG (GNUNET_ERROR_TYPE_DEBUG,
       "%s was sent.\n",
       pending_msg->type);
-  if (0 == strncmp ("PULL REPLY", pending_msg->type, 10))
-    GNUNET_STATISTICS_update(stats, "# pull replys sent", 1, GNUNET_NO);
-  if (0 == strncmp ("PULL REQUEST", pending_msg->type, 12))
-    GNUNET_STATISTICS_update(stats, "# pull requests sent", 1, GNUNET_NO);
-  if (0 == strncmp ("PUSH", pending_msg->type, 4))
-    GNUNET_STATISTICS_update(stats, "# pushes sent", 1, GNUNET_NO);
+  if (pending_msg->peer_ctx->sub == msub)
+  {
+    if (0 == strncmp ("PULL REPLY", pending_msg->type, 10))
+      GNUNET_STATISTICS_update(stats, "# pull replys sent", 1, GNUNET_NO);
+    if (0 == strncmp ("PULL REQUEST", pending_msg->type, 12))
+      GNUNET_STATISTICS_update(stats, "# pull requests sent", 1, GNUNET_NO);
+    if (0 == strncmp ("PUSH", pending_msg->type, 4))
+      GNUNET_STATISTICS_update(stats, "# pushes sent", 1, GNUNET_NO);
+    if (0 == strncmp ("PULL REQUEST", pending_msg->type, 12) &&
+                      NULL != map_single_hop &&
+        GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (map_single_hop,
+          &pending_msg->peer_ctx->peer_id))
+      GNUNET_STATISTICS_update(stats,
+                               "# pull requests sent (multi-hop peer)",
+                               1,
+                               GNUNET_NO);
+  }
   /* Do not cancle message */
   remove_pending_message (pending_msg, GNUNET_NO);
 }
@@ -1122,35 +1453,37 @@ store_peer_presistently_iterator (void *cls,
 
 /**
  * @brief Store the peers currently in #valid_peers to disk.
+ *
+ * @param sub Sub for which to store the valid peers
  */
 static void
-store_valid_peers ()
+store_valid_peers (const struct Sub *sub)
 {
   struct GNUNET_DISK_FileHandle *fh;
   uint32_t number_written_peers;
   int ret;
 
-  if (0 == strncmp ("DISABLE", filename_valid_peers, 7))
+  if (0 == strncmp ("DISABLE", sub->filename_valid_peers, 7))
   {
     return;
   }
 
-  ret = GNUNET_DISK_directory_create_for_file (filename_valid_peers);
+  ret = GNUNET_DISK_directory_create_for_file (sub->filename_valid_peers);
   if (GNUNET_SYSERR == ret)
   {
     LOG (GNUNET_ERROR_TYPE_WARNING,
         "Not able to create directory for file `%s'\n",
-        filename_valid_peers);
+        sub->filename_valid_peers);
     GNUNET_break (0);
   }
   else if (GNUNET_NO == ret)
   {
     LOG (GNUNET_ERROR_TYPE_WARNING,
         "Directory for file `%s' exists but is not writable for us\n",
-        filename_valid_peers);
+        sub->filename_valid_peers);
     GNUNET_break (0);
   }
-  fh = GNUNET_DISK_file_open (filename_valid_peers,
+  fh = GNUNET_DISK_file_open (sub->filename_valid_peers,
                               GNUNET_DISK_OPEN_WRITE |
                                   GNUNET_DISK_OPEN_CREATE,
                               GNUNET_DISK_PERM_USER_READ |
@@ -1159,19 +1492,19 @@ store_valid_peers ()
   {
     LOG (GNUNET_ERROR_TYPE_WARNING,
         "Not able to write valid peers to file `%s'\n",
-        filename_valid_peers);
+        sub->filename_valid_peers);
     return;
   }
   LOG (GNUNET_ERROR_TYPE_DEBUG,
       "Writing %u valid peers to disk\n",
-      GNUNET_CONTAINER_multipeermap_size (valid_peers));
+      GNUNET_CONTAINER_multipeermap_size (sub->valid_peers));
   number_written_peers =
-    GNUNET_CONTAINER_multipeermap_iterate (valid_peers,
+    GNUNET_CONTAINER_multipeermap_iterate (sub->valid_peers,
                                            store_peer_presistently_iterator,
                                            fh);
   GNUNET_assert (GNUNET_OK == GNUNET_DISK_file_close (fh));
   GNUNET_assert (number_written_peers ==
-      GNUNET_CONTAINER_multipeermap_size (valid_peers));
+      GNUNET_CONTAINER_multipeermap_size (sub->valid_peers));
 }
 
 
@@ -1223,9 +1556,11 @@ s2i_full (const char *string_repr)
 
 /**
  * @brief Restore the peers on disk to #valid_peers.
+ *
+ * @param sub Sub for which to restore the valid peers
  */
 static void
-restore_valid_peers ()
+restore_valid_peers (const struct Sub *sub)
 {
   off_t file_size;
   uint32_t num_peers;
@@ -1236,16 +1571,16 @@ restore_valid_peers ()
   char *str_repr;
   const struct GNUNET_PeerIdentity *peer;
 
-  if (0 == strncmp ("DISABLE", filename_valid_peers, 7))
+  if (0 == strncmp ("DISABLE", sub->filename_valid_peers, 7))
   {
     return;
   }
 
-  if (GNUNET_OK != GNUNET_DISK_file_test (filename_valid_peers))
+  if (GNUNET_OK != GNUNET_DISK_file_test (sub->filename_valid_peers))
   {
     return;
   }
-  fh = GNUNET_DISK_file_open (filename_valid_peers,
+  fh = GNUNET_DISK_file_open (sub->filename_valid_peers,
                               GNUNET_DISK_OPEN_READ,
                               GNUNET_DISK_PERM_NONE);
   GNUNET_assert (NULL != fh);
@@ -1257,13 +1592,13 @@ restore_valid_peers ()
   LOG (GNUNET_ERROR_TYPE_DEBUG,
       "Restoring %" PRIu32 " peers from file `%s'\n",
       num_peers,
-      filename_valid_peers);
+      sub->filename_valid_peers);
   for (iter_buf = buf; iter_buf < buf + file_size - 1; iter_buf += 53)
   {
     str_repr = GNUNET_strndup (iter_buf, 53);
     peer = s2i_full (str_repr);
     GNUNET_free (str_repr);
-    add_valid_peer (peer);
+    add_valid_peer (peer, sub->valid_peers);
     LOG (GNUNET_ERROR_TYPE_DEBUG,
         "Restored valid peer %s from disk\n",
         GNUNET_i2s_full (peer));
@@ -1271,10 +1606,10 @@ restore_valid_peers ()
   iter_buf = NULL;
   GNUNET_free (buf);
   LOG (GNUNET_ERROR_TYPE_DEBUG,
-      "num_peers: %" PRIu32 ", _size (valid_peers): %u\n",
+      "num_peers: %" PRIu32 ", _size (sub->valid_peers): %u\n",
       num_peers,
-      GNUNET_CONTAINER_multipeermap_size (valid_peers));
-  if (num_peers != GNUNET_CONTAINER_multipeermap_size (valid_peers))
+      GNUNET_CONTAINER_multipeermap_size (sub->valid_peers));
+  if (num_peers != GNUNET_CONTAINER_multipeermap_size (sub->valid_peers))
   {
     LOG (GNUNET_ERROR_TYPE_WARNING,
         "Number of restored peers does not match file size. Have probably duplicates.\n");
@@ -1282,57 +1617,40 @@ restore_valid_peers ()
   GNUNET_assert (GNUNET_OK == GNUNET_DISK_file_close (fh));
   LOG (GNUNET_ERROR_TYPE_DEBUG,
       "Restored %u valid peers from disk\n",
-      GNUNET_CONTAINER_multipeermap_size (valid_peers));
-}
-
-
-/**
- * @brief Initialise storage of peers
- *
- * @param fn_valid_peers filename of the file used to store valid peer ids
- * @param cadet_h cadet handle
- * @param own_id own peer identity
- */
-static void
-initialise_peers (char* fn_valid_peers,
-                  struct GNUNET_CADET_Handle *cadet_h)
-{
-  filename_valid_peers = GNUNET_strdup (fn_valid_peers);
-  cadet_handle = cadet_h;
-  peer_map = GNUNET_CONTAINER_multipeermap_create (4, GNUNET_NO);
-  valid_peers = GNUNET_CONTAINER_multipeermap_create (4, GNUNET_NO);
-  restore_valid_peers ();
+      GNUNET_CONTAINER_multipeermap_size (sub->valid_peers));
 }
 
 
 /**
  * @brief Delete storage of peers that was created with #initialise_peers ()
+ *
+ * @param sub Sub for which the storage is deleted
  */
 static void
-peers_terminate ()
+peers_terminate (struct Sub *sub)
 {
   if (GNUNET_SYSERR ==
-      GNUNET_CONTAINER_multipeermap_iterate (peer_map,
+      GNUNET_CONTAINER_multipeermap_iterate (sub->peer_map,
                                              &peermap_clear_iterator,
-                                             NULL))
+                                             sub))
   {
     LOG (GNUNET_ERROR_TYPE_WARNING,
         "Iteration destroying peers was aborted.\n");
   }
-  GNUNET_CONTAINER_multipeermap_destroy (peer_map);
-  peer_map = NULL;
-  store_valid_peers ();
-  GNUNET_free (filename_valid_peers);
-  filename_valid_peers = NULL;
-  GNUNET_CONTAINER_multipeermap_destroy (valid_peers);
-  valid_peers = NULL;
+  GNUNET_CONTAINER_multipeermap_destroy (sub->peer_map);
+  sub->peer_map = NULL;
+  store_valid_peers (sub);
+  GNUNET_free (sub->filename_valid_peers);
+  sub->filename_valid_peers = NULL;
+  GNUNET_CONTAINER_multipeermap_destroy (sub->valid_peers);
+  sub->valid_peers = NULL;
 }
 
 
 /**
  * Iterator over #valid_peers hash map entries.
  *
- * @param cls closure - unused
+ * @param cls Closure that contains iterator function and closure
  * @param peer current peer id
  * @param value value in the hash map - unused
  * @return #GNUNET_YES if we should continue to
@@ -1347,21 +1665,22 @@ valid_peer_iterator (void *cls,
   struct PeersIteratorCls *it_cls = cls;
   (void) value;
 
-  return it_cls->iterator (it_cls->cls,
-                           peer);
+  return it_cls->iterator (it_cls->cls, peer);
 }
 
 
 /**
  * @brief Get all currently known, valid peer ids.
  *
- * @param it function to call on each peer id
- * @param it_cls extra argument to @a it
+ * @param valid_peers Peer map containing the valid peers in question
+ * @param iterator function to call on each peer id
+ * @param it_cls extra argument to @a iterator
  * @return the number of key value pairs processed,
  *         #GNUNET_SYSERR if it aborted iteration
  */
 static int
-get_valid_peers (PeersIterator iterator,
+get_valid_peers (struct GNUNET_CONTAINER_MultiPeerMap *valid_peers,
+                 PeersIterator iterator,
                  void *it_cls)
 {
   struct PeersIteratorCls *cls;
@@ -1384,19 +1703,21 @@ get_valid_peers (PeersIterator iterator,
  * This function is called on new peer_ids from 'external' sources
  * (client seed, cadet get_peers(), ...)
  *
+ * @param sub Sub with the peer map that the @a peer will be added to
  * @param peer the new #GNUNET_PeerIdentity
  *
  * @return #GNUNET_YES if peer was inserted
  *         #GNUNET_NO  otherwise
  */
 static int
-insert_peer (const struct GNUNET_PeerIdentity *peer)
+insert_peer (struct Sub *sub,
+             const struct GNUNET_PeerIdentity *peer)
 {
-  if (GNUNET_YES == check_peer_known (peer))
+  if (GNUNET_YES == check_peer_known (sub->peer_map, peer))
   {
     return GNUNET_NO; /* We already know this peer - nothing to do */
   }
-  (void) create_peer_ctx (peer);
+  (void) create_peer_ctx (sub, peer);
   return GNUNET_YES;
 }
 
@@ -1404,6 +1725,7 @@ insert_peer (const struct GNUNET_PeerIdentity *peer)
 /**
  * @brief Check whether flags on a peer are set.
  *
+ * @param peer_map Peer map that is expected to contain the @a peer
  * @param peer the peer to check the flag of
  * @param flags the flags to check
  *
@@ -1412,16 +1734,17 @@ insert_peer (const struct GNUNET_PeerIdentity *peer)
  *         #GNUNET_NO     otherwise
  */
 static int
-check_peer_flag (const struct GNUNET_PeerIdentity *peer,
+check_peer_flag (const struct GNUNET_CONTAINER_MultiPeerMap *peer_map,
+                 const struct GNUNET_PeerIdentity *peer,
                  enum Peers_PeerFlags flags)
 {
   struct PeerContext *peer_ctx;
 
-  if (GNUNET_NO == check_peer_known (peer))
+  if (GNUNET_NO == check_peer_known (peer_map, peer))
   {
     return GNUNET_SYSERR;
   }
-  peer_ctx = get_peer_ctx (peer);
+  peer_ctx = get_peer_ctx (peer_map, peer);
   return check_peer_flag_set (peer_ctx, flags);
 }
 
@@ -1430,21 +1753,23 @@ check_peer_flag (const struct GNUNET_PeerIdentity *peer,
  *
  * If not known yet, insert into known peers
  *
- * @param peer the peer whose liveliness is to be checked
+ * @param sub Sub which would contain the @a peer
+ * @param peer the peer whose online is to be checked
  * @return #GNUNET_YES if the check was issued
  *         #GNUNET_NO  otherwise
  */
 static int
-issue_peer_liveliness_check (const struct GNUNET_PeerIdentity *peer)
+issue_peer_online_check (struct Sub *sub,
+                         const struct GNUNET_PeerIdentity *peer)
 {
   struct PeerContext *peer_ctx;
 
-  (void) insert_peer (peer);
-  peer_ctx = get_peer_ctx (peer);
-  if ( (GNUNET_NO == check_peer_flag (peer, Peers_ONLINE)) &&
-       (NULL == peer_ctx->liveliness_check_pending) )
+  (void) insert_peer (sub, peer); // TODO even needed?
+  peer_ctx = get_peer_ctx (sub->peer_map, peer);
+  if ( (GNUNET_NO == check_peer_flag (sub->peer_map, peer, Peers_ONLINE)) &&
+       (NULL == peer_ctx->online_check_pending) )
   {
-    check_peer_live (peer_ctx);
+    check_peer_online (peer_ctx);
     return GNUNET_YES;
   }
   return GNUNET_NO;
@@ -1459,25 +1784,23 @@ issue_peer_liveliness_check (const struct GNUNET_PeerIdentity *peer)
  *  - there are pending messages
  *  - there is no pending pull reply
  *
- * @param peer the peer in question
+ * @param peer_ctx Context of the peer in question
  * @return #GNUNET_YES    if peer is removable
  *         #GNUNET_NO     if peer is NOT removable
  *         #GNUNET_SYSERR if peer is not known
  */
 static int
-check_removable (const struct GNUNET_PeerIdentity *peer)
+check_removable (const struct PeerContext *peer_ctx)
 {
-  struct PeerContext *peer_ctx;
-
-  if (GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (peer_map, peer))
+  if (GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (peer_ctx->sub->peer_map,
+                                                           &peer_ctx->peer_id))
   {
     return GNUNET_SYSERR;
   }
 
-  peer_ctx = get_peer_ctx (peer);
   if ( (NULL != peer_ctx->recv_channel_ctx) ||
        (NULL != peer_ctx->pending_messages_head) ||
-       (GNUNET_NO == check_peer_flag_set (peer_ctx, Peers_PULL_REPLY_PENDING)) )
+       (GNUNET_YES == check_peer_flag_set (peer_ctx, Peers_PULL_REPLY_PENDING)) )
   {
     return GNUNET_NO;
   }
@@ -1490,13 +1813,15 @@ check_removable (const struct GNUNET_PeerIdentity *peer)
  *
  * A valid peer is a peer that we know exists eg. we were connected to once.
  *
+ * @param valid_peers Peer map that would contain the @a peer
  * @param peer peer in question
  *
  * @return #GNUNET_YES if peer is valid
  *         #GNUNET_NO  if peer is not valid
  */
 static int
-check_peer_valid (const struct GNUNET_PeerIdentity *peer)
+check_peer_valid (const struct GNUNET_CONTAINER_MultiPeerMap *valid_peers,
+                  const struct GNUNET_PeerIdentity *peer)
 {
   return GNUNET_CONTAINER_multipeermap_contains (valid_peers, peer);
 }
@@ -1507,13 +1832,14 @@ check_peer_valid (const struct GNUNET_PeerIdentity *peer)
  *
  * This establishes a sending channel
  *
- * @param peer the peer to establish channel to
+ * @param peer_ctx Context of the target peer
  */
 static void
-indicate_sending_intention (const struct GNUNET_PeerIdentity *peer)
+indicate_sending_intention (struct PeerContext *peer_ctx)
 {
-  GNUNET_assert (GNUNET_YES == check_peer_known (peer));
-  (void) get_channel (peer);
+  GNUNET_assert (GNUNET_YES == check_peer_known (peer_ctx->sub->peer_map,
+                                                 &peer_ctx->peer_id));
+  (void) get_channel (peer_ctx);
 }
 
 
@@ -1521,17 +1847,14 @@ indicate_sending_intention (const struct GNUNET_PeerIdentity *peer)
  * @brief Check whether other peer has the intention to send/opened channel
  *        towars us
  *
- * @param peer the peer in question
+ * @param peer_ctx Context of the peer in question
  *
  * @return #GNUNET_YES if peer has the intention to send
  *         #GNUNET_NO  otherwise
  */
 static int
-check_peer_send_intention (const struct GNUNET_PeerIdentity *peer)
+check_peer_send_intention (const struct PeerContext *peer_ctx)
 {
-  const struct PeerContext *peer_ctx;
-
-  peer_ctx = get_peer_ctx (peer);
   if (NULL != peer_ctx->recv_channel_ctx)
   {
     return GNUNET_YES;
@@ -1543,7 +1866,7 @@ check_peer_send_intention (const struct GNUNET_PeerIdentity *peer)
 /**
  * Handle the channel a peer opens to us.
  *
- * @param cls The closure
+ * @param cls The closure - Sub
  * @param channel The channel the peer wants to establish
  * @param initiator The peer's peer ID
  *
@@ -1556,23 +1879,22 @@ handle_inbound_channel (void *cls,
                         const struct GNUNET_PeerIdentity *initiator)
 {
   struct PeerContext *peer_ctx;
-  struct GNUNET_PeerIdentity *ctx_peer;
   struct ChannelCtx *channel_ctx;
-  (void) cls;
+  struct Sub *sub = cls;
 
   LOG (GNUNET_ERROR_TYPE_DEBUG,
       "New channel was established to us (Peer %s).\n",
       GNUNET_i2s (initiator));
   GNUNET_assert (NULL != channel); /* according to cadet API */
   /* Make sure we 'know' about this peer */
-  peer_ctx = create_or_get_peer_ctx (initiator);
-  set_peer_live (peer_ctx);
-  ctx_peer = GNUNET_new (struct GNUNET_PeerIdentity);
-  *ctx_peer = *initiator;
+  peer_ctx = create_or_get_peer_ctx (sub, initiator);
+  set_peer_online (peer_ctx);
+  (void) add_valid_peer (&peer_ctx->peer_id, peer_ctx->sub->valid_peers);
   channel_ctx = add_channel_ctx (peer_ctx);
   channel_ctx->channel = channel;
   /* We only accept one incoming channel per peer */
-  if (GNUNET_YES == check_peer_send_intention (initiator))
+  if (GNUNET_YES == check_peer_send_intention (get_peer_ctx (sub->peer_map,
+                                                             initiator)))
   {
     LOG (GNUNET_ERROR_TYPE_WARNING,
         "Already got one receive channel. Destroying old one.\n");
@@ -1590,21 +1912,19 @@ handle_inbound_channel (void *cls,
 /**
  * @brief Check whether a sending channel towards the given peer exists
  *
- * @param peer the peer to check for
+ * @param peer_ctx Context of the peer in question
  *
  * @return #GNUNET_YES if a sending channel towards that peer exists
  *         #GNUNET_NO  otherwise
  */
 static int
-check_sending_channel_exists (const struct GNUNET_PeerIdentity *peer)
+check_sending_channel_exists (const struct PeerContext *peer_ctx)
 {
-  struct PeerContext *peer_ctx;
-
-  if (GNUNET_NO == check_peer_known (peer))
+  if (GNUNET_NO == check_peer_known (peer_ctx->sub->peer_map,
+                                     &peer_ctx->peer_id))
   { /* If no such peer exists, there is no channel */
     return GNUNET_NO;
   }
-  peer_ctx = get_peer_ctx (peer);
   if (NULL == peer_ctx->send_channel_ctx)
   {
     return GNUNET_NO;
@@ -1617,24 +1937,22 @@ check_sending_channel_exists (const struct GNUNET_PeerIdentity *peer)
  * @brief Destroy the send channel of a peer e.g. stop indicating a sending
  *        intention to another peer
  *
- * @peer the peer identity of the peer whose sending channel to destroy
+ * @param peer_ctx Context to the peer
  * @return #GNUNET_YES if channel was destroyed
  *         #GNUNET_NO  otherwise
  */
 static int
-destroy_sending_channel (const struct GNUNET_PeerIdentity *peer)
+destroy_sending_channel (struct PeerContext *peer_ctx)
 {
-  struct PeerContext *peer_ctx;
-
-  if (GNUNET_NO == check_peer_known (peer))
+  if (GNUNET_NO == check_peer_known (peer_ctx->sub->peer_map,
+                                     &peer_ctx->peer_id))
   {
     return GNUNET_NO;
   }
-  peer_ctx = get_peer_ctx (peer);
   if (NULL != peer_ctx->send_channel_ctx)
   {
     destroy_channel (peer_ctx->send_channel_ctx);
-    (void) check_connected (peer);
+    (void) check_connected (peer_ctx);
     return GNUNET_YES;
   }
   return GNUNET_NO;
@@ -1646,12 +1964,12 @@ destroy_sending_channel (const struct GNUNET_PeerIdentity *peer)
  * Keeps track about pending messages so they can be properly removed when the
  * peer is destroyed.
  *
- * @param peer receeiver of the message
+ * @param peer_ctx Context of the peer to which the message is to be sent
  * @param ev envelope of the message
  * @param type type of the message
  */
 static void
-send_message (const struct GNUNET_PeerIdentity *peer,
+send_message (struct PeerContext *peer_ctx,
               struct GNUNET_MQ_Envelope *ev,
               const char *type)
 {
@@ -1660,10 +1978,10 @@ send_message (const struct GNUNET_PeerIdentity *peer,
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
              "Sending message to %s of type %s\n",
-             GNUNET_i2s (peer),
+             GNUNET_i2s (&peer_ctx->peer_id),
              type);
-  pending_msg = insert_pending_message (peer, ev, type);
-  mq = get_mq (peer);
+  pending_msg = insert_pending_message (peer_ctx, ev, type);
+  mq = get_mq (peer_ctx);
   GNUNET_MQ_notify_sent (ev,
                          mq_notify_sent_cb,
                          pending_msg);
@@ -1675,27 +1993,29 @@ send_message (const struct GNUNET_PeerIdentity *peer,
  *
  * Avoids scheduling an operation twice.
  *
- * @param peer the peer we want to schedule the operation for once it gets live
+ * @param peer_ctx Context of the peer for which to schedule the operation
+ * @param peer_op the operation to schedule
+ * @param cls Closure to @a peer_op
  *
  * @return #GNUNET_YES if the operation was scheduled
  *         #GNUNET_NO  otherwise
  */
 static int
-schedule_operation (const struct GNUNET_PeerIdentity *peer,
-                    const PeerOp peer_op)
+schedule_operation (struct PeerContext *peer_ctx,
+                    const PeerOp peer_op,
+                    void *cls)
 {
   struct PeerPendingOp pending_op;
-  struct PeerContext *peer_ctx;
 
-  GNUNET_assert (GNUNET_YES == check_peer_known (peer));
+  GNUNET_assert (GNUNET_YES == check_peer_known (peer_ctx->sub->peer_map,
+                                                 &peer_ctx->peer_id));
 
-  //TODO if LIVE/ONLINE execute immediately
+  //TODO if ONLINE execute immediately
 
-  if (GNUNET_NO == check_operation_scheduled (peer, peer_op))
+  if (GNUNET_NO == check_operation_scheduled (peer_ctx, peer_op))
   {
-    peer_ctx = get_peer_ctx (peer);
     pending_op.op = peer_op;
-    pending_op.op_cls = NULL;
+    pending_op.op_cls = cls;
     GNUNET_array_append (peer_ctx->pending_ops,
                          peer_ctx->num_pending_ops,
                          pending_op);
@@ -1758,12 +2078,6 @@ struct ClientContext
    */
   struct GNUNET_MQ_Handle *mq;
 
-  /**
-   * DLL with handles to single requests from the client
-   */
-  struct ReplyCls *rep_cls_head;
-  struct ReplyCls *rep_cls_tail;
-
   /**
    * @brief How many updates this client expects to receive.
    */
@@ -1773,235 +2087,33 @@ struct ClientContext
    * @brief Whether this client wants to receive stream updates.
    * Either #GNUNET_YES or #GNUNET_NO
    */
-  int8_t stream_update;
-
-  /**
-   * The client handle to send the reply to
-   */
-  struct GNUNET_SERVICE_Client *client;
-};
-
-/**
- * DLL with all clients currently connected to us
- */
-struct ClientContext *cli_ctx_head;
-struct ClientContext *cli_ctx_tail;
-
-/***********************************************************************
- * /Housekeeping with clients
-***********************************************************************/
-
-
-
-
-
-/***********************************************************************
- * Globals
-***********************************************************************/
-
-/**
- * Sampler used for the Brahms protocol itself.
- */
-static struct RPS_Sampler *prot_sampler;
-
-/**
- * Name to log view to
- */
-static const char *file_name_view_log;
-
-#ifdef TO_FILE
-/**
- * Name to log number of observed peers to
- */
-static const char *file_name_observed_log;
-
-/**
- * @brief Count the observed peers
- */
-static uint32_t num_observed_peers;
-
-/**
- * @brief Multipeermap (ab-) used to count unique peer_ids
- */
-static struct GNUNET_CONTAINER_MultiPeerMap *observed_unique_peers;
-#endif /* TO_FILE */
-
-/**
- * The size of sampler we need to be able to satisfy the Brahms protocol's
- * need of random peers.
- *
- * This is one minimum size the sampler grows to.
- */
-static unsigned int sampler_size_est_need;
-
-/**
- * @brief This is the minimum estimate used as sampler size.
- *
- * It is configured by the user.
- */
-static unsigned int sampler_size_est_min;
-
-/**
- * @brief This is the estimate used as view size.
- *
- * It is initialised with the minimum
- */
-static unsigned int view_size_est_need;
-
-/**
- * @brief This is the minimum estimate used as view size.
- *
- * It is configured by the user.
- */
-static unsigned int view_size_est_min;
-
-/**
- * Percentage of total peer number in the view
- * to send random PUSHes to
- */
-static float alpha;
-
-/**
- * Percentage of total peer number in the view
- * to send random PULLs to
- */
-static float beta;
-
-/**
- * Identifier for the main task that runs periodically.
- */
-static struct GNUNET_SCHEDULER_Task *do_round_task;
-
-/**
- * Time inverval the do_round task runs in.
- */
-static struct GNUNET_TIME_Relative round_interval;
-
-/**
- * List to store peers received through pushes temporary.
- */
-static struct CustomPeerMap *push_map;
-
-/**
- * List to store peers received through pulls temporary.
- */
-static struct CustomPeerMap *pull_map;
-
-/**
- * Handler to NSE.
- */
-static struct GNUNET_NSE_Handle *nse;
-
-/**
- * Handler to CADET.
- */
-static struct GNUNET_CADET_Handle *cadet_handle;
-
-/**
- * @brief Port to communicate to other peers.
- */
-static struct GNUNET_CADET_Port *cadet_port;
-
-/**
- * Handler to PEERINFO.
- */
-static struct GNUNET_PEERINFO_Handle *peerinfo_handle;
-
-/**
- * Handle for cancellation of iteration over peers.
- */
-static struct GNUNET_PEERINFO_NotifyContext *peerinfo_notify_handle;
-
-
-#ifdef ENABLE_MALICIOUS
-/**
- * Type of malicious peer
- *
- * 0 Don't act malicious at all - Default
- * 1 Try to maximise representation
- * 2 Try to partition the network
- * 3 Combined attack
- */
-static uint32_t mal_type;
-
-/**
- * Other malicious peers
- */
-static struct GNUNET_PeerIdentity *mal_peers;
-
-/**
- * Hashmap of malicious peers used as set.
- * Used to more efficiently check whether we know that peer.
- */
-static struct GNUNET_CONTAINER_MultiPeerMap *mal_peer_set;
-
-/**
- * Number of other malicious peers
- */
-static uint32_t num_mal_peers;
-
-
-/**
- * If type is 2 This struct is used to store the attacked peers in a DLL
- */
-struct AttackedPeer
-{
-  /**
-   * DLL
-   */
-  struct AttackedPeer *next;
-  struct AttackedPeer *prev;
-
-  /**
-   * PeerID
-   */
-  struct GNUNET_PeerIdentity peer_id;
-};
-
-/**
- * If type is 2 this is the DLL of attacked peers
- */
-static struct AttackedPeer *att_peers_head;
-static struct AttackedPeer *att_peers_tail;
-
-/**
- * This index is used to point to an attacked peer to
- * implement the round-robin-ish way to select attacked peers.
- */
-static struct AttackedPeer *att_peer_index;
-
-/**
- * Hashmap of attacked peers used as set.
- * Used to more efficiently check whether we know that peer.
- */
-static struct GNUNET_CONTAINER_MultiPeerMap *att_peer_set;
+  int8_t stream_update;
 
-/**
- * Number of attacked peers
- */
-static uint32_t num_attacked_peers;
+  /**
+   * The client handle to send the reply to
  */
+  struct GNUNET_SERVICE_Client *client;
 
-/**
- * If type is 1 this is the attacked peer
- */
-static struct GNUNET_PeerIdentity attacked_peer;
+  /**
+   * The #Sub this context belongs to
+   */
+  struct Sub *sub;
+};
 
 /**
- * The limit of PUSHes we can send in one round.
- * This is an assumption of the Brahms protocol and either implemented
- * via proof of work
- * or
- * assumend to be the bandwidth limitation.
+ * DLL with all clients currently connected to us
  */
-static uint32_t push_limit = 10000;
-#endif /* ENABLE_MALICIOUS */
-
+struct ClientContext *cli_ctx_head;
+struct ClientContext *cli_ctx_tail;
 
 /***********************************************************************
- * /Globals
+ * /Housekeeping with clients
 ***********************************************************************/
 
 
+
+
+
 /***********************************************************************
  * Util functions
 ***********************************************************************/
@@ -2049,7 +2161,7 @@ rem_from_list (struct GNUNET_PeerIdentity **peer_list,
 
   for ( i = 0 ; i < *list_size ; i++ )
   {
-    if (0 == GNUNET_CRYPTO_cmp_peer_identity (&tmp[i], peer))
+    if (0 == GNUNET_memcmp (&tmp[i], peer))
     {
       if (i < *list_size -1)
       { /* Not at the last entry -- shift peers left */
@@ -2067,7 +2179,7 @@ rem_from_list (struct GNUNET_PeerIdentity **peer_list,
 /**
  * Insert PeerID in #view
  *
- * Called once we know a peer is live.
+ * Called once we know a peer is online.
  * Implements #PeerOp
  *
  * @return GNUNET_OK if peer was actually inserted
@@ -2075,34 +2187,46 @@ rem_from_list (struct GNUNET_PeerIdentity **peer_list,
  */
 static void
 insert_in_view_op (void *cls,
-               const struct GNUNET_PeerIdentity *peer);
+                   const struct GNUNET_PeerIdentity *peer);
 
 /**
  * Insert PeerID in #view
  *
- * Called once we know a peer is live.
+ * Called once we know a peer is online.
+ *
+ * @param sub Sub in with the view to insert in
+ * @param peer the peer to insert
  *
  * @return GNUNET_OK if peer was actually inserted
  *         GNUNET_NO if peer was not inserted
  */
 static int
-insert_in_view (const struct GNUNET_PeerIdentity *peer)
+insert_in_view (struct Sub *sub,
+                const struct GNUNET_PeerIdentity *peer)
 {
+  struct PeerContext *peer_ctx;
   int online;
   int ret;
 
-  online = check_peer_flag (peer, Peers_ONLINE);
+  online = check_peer_flag (sub->peer_map, peer, Peers_ONLINE);
+  peer_ctx = get_peer_ctx (sub->peer_map, peer); // TODO indirection needed?
   if ( (GNUNET_NO == online) ||
        (GNUNET_SYSERR == online) ) /* peer is not even known */
   {
-    (void) issue_peer_liveliness_check (peer);
-    (void) schedule_operation (peer, insert_in_view_op);
+    (void) issue_peer_online_check (sub, peer);
+    (void) schedule_operation (peer_ctx, insert_in_view_op, sub);
     return GNUNET_NO;
   }
   /* Open channel towards peer to keep connection open */
-  indicate_sending_intention (peer);
-  ret = View_put (peer);
-  GNUNET_STATISTICS_set (stats, "view size", View_size(), GNUNET_NO);
+  indicate_sending_intention (peer_ctx);
+  ret = View_put (sub->view, peer);
+  if (peer_ctx->sub == msub)
+  {
+    GNUNET_STATISTICS_set (stats,
+                           "view size",
+                           View_size (peer_ctx->sub->view),
+                           GNUNET_NO);
+  }
   return ret;
 }
 
@@ -2114,18 +2238,21 @@ insert_in_view (const struct GNUNET_PeerIdentity *peer)
  * @param view_array the peerids of the view as array (can be empty)
  * @param view_size the size of the view array (can be 0)
  */
-void
+static void
 send_view (const struct ClientContext *cli_ctx,
            const struct GNUNET_PeerIdentity *view_array,
            uint64_t view_size)
 {
   struct GNUNET_MQ_Envelope *ev;
   struct GNUNET_RPS_CS_DEBUG_ViewReply *out_msg;
+  struct Sub *sub;
 
   if (NULL == view_array)
   {
-    view_size = View_size ();
-    view_array = View_get_as_array();
+    if (NULL == cli_ctx->sub) sub = msub;
+    else sub = cli_ctx->sub;
+    view_size = View_size (sub->view);
+    view_array = View_get_as_array (sub->view);
   }
 
   ev = GNUNET_MQ_msg_extra (out_msg,
@@ -2149,7 +2276,7 @@ send_view (const struct ClientContext *cli_ctx,
  * @param view_array the peerids of the view as array (can be empty)
  * @param view_size the size of the view array (can be 0)
  */
-void
+static void
 send_stream_peers (const struct ClientContext *cli_ctx,
                    uint64_t num_peers,
                    const struct GNUNET_PeerIdentity *peers)
@@ -2173,16 +2300,18 @@ send_stream_peers (const struct ClientContext *cli_ctx,
 
 /**
  * @brief sends updates to clients that are interested
+ *
+ * @param sub Sub for which to notify clients
  */
 static void
-clients_notify_view_update (void)
+clients_notify_view_update (const struct Sub *sub)
 {
   struct ClientContext *cli_ctx_iter;
   uint64_t num_peers;
   const struct GNUNET_PeerIdentity *view_array;
 
-  num_peers = View_size ();
-  view_array = View_get_as_array();
+  num_peers = View_size (sub->view);
+  view_array = View_get_as_array(sub->view);
   /* check size of view is small enough */
   if (GNUNET_MAX_MESSAGE_SIZE < num_peers)
   {
@@ -2217,9 +2346,13 @@ clients_notify_view_update (void)
 
 /**
  * @brief sends updates to clients that are interested
+ *
+ * @param num_peers Number of peers to send
+ * @param peers the array of peers to send
  */
 static void
-clients_notify_stream_peer (uint64_t num_peers,
+clients_notify_stream_peer (const struct Sub *sub,
+                            uint64_t num_peers,
                             const struct GNUNET_PeerIdentity *peers)
                             // TODO enum StreamPeerSource)
 {
@@ -2233,15 +2366,21 @@ clients_notify_stream_peer (uint64_t num_peers,
        NULL != cli_ctx_iter;
        cli_ctx_iter = cli_ctx_iter->next)
   {
-    if (GNUNET_YES == cli_ctx_iter->stream_update)
+    if (GNUNET_YES == cli_ctx_iter->stream_update &&
+        (sub == cli_ctx_iter->sub || sub == msub))
     {
       send_stream_peers (cli_ctx_iter, num_peers, peers);
     }
   }
 }
 
+
 /**
  * Put random peer from sampler into the view as history update.
+ *
+ * @param ids Array of Peers to insert into view
+ * @param num_peers Number of peers to insert
+ * @param cls Closure - The Sub for which this is to be done
  */
 static void
 hist_update (const struct GNUNET_PeerIdentity *ids,
@@ -2249,21 +2388,29 @@ hist_update (const struct GNUNET_PeerIdentity *ids,
              void *cls)
 {
   unsigned int i;
-  (void) cls;
+  struct Sub *sub = cls;
 
   for (i = 0; i < num_peers; i++)
   {
     int inserted;
-    inserted = insert_in_view (&ids[i]);
+    if (GNUNET_YES != check_peer_known (sub->peer_map, &ids[i]))
+    {
+      LOG (GNUNET_ERROR_TYPE_WARNING,
+           "Peer in history update not known!\n");
+      continue;
+    }
+    inserted = insert_in_view (sub, &ids[i]);
     if (GNUNET_OK == inserted)
     {
-      clients_notify_stream_peer (1, &ids[i]);
+      clients_notify_stream_peer (sub, 1, &ids[i]);
     }
-    to_file (file_name_view_log,
+#ifdef TO_FILE_FULL
+    to_file (sub->file_name_view_log,
              "+%s\t(hist)",
              GNUNET_i2s_full (ids));
+#endif /* TO_FILE_FULL */
   }
-  clients_notify_view_update();
+  clients_notify_view_update (sub);
 }
 
 
@@ -2272,6 +2419,9 @@ hist_update (const struct GNUNET_PeerIdentity *ids,
  *
  * If we do not have enough sampler elements, double current sampler size
  * If we have more than enough sampler elements, halv current sampler size
+ *
+ * @param sampler The sampler to resize
+ * @param new_size New size to which to resize
  */
 static void
 resize_wrapper (struct RPS_Sampler *sampler, uint32_t new_size)
@@ -2319,10 +2469,13 @@ add_peer_array_to_set (const struct GNUNET_PeerIdentity *peer_array,
                                        &peer_array[i],
                                        NULL,
                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
-    GNUNET_STATISTICS_set (stats,
-                          "# known peers",
-                          GNUNET_CONTAINER_multipeermap_size (peer_map),
-                          GNUNET_NO);
+    if (msub->peer_map == peer_map)
+    {
+      GNUNET_STATISTICS_set (stats,
+                            "# known peers",
+                            GNUNET_CONTAINER_multipeermap_size (peer_map),
+                            GNUNET_NO);
+    }
   }
 }
 
@@ -2330,12 +2483,12 @@ add_peer_array_to_set (const struct GNUNET_PeerIdentity *peer_array,
 /**
  * Send a PULL REPLY to @a peer_id
  *
- * @param peer_id the peer to send the reply to.
+ * @param peer_ctx Context of the peer to send the reply to
  * @param peer_ids the peers to send to @a peer_id
  * @param num_peer_ids the number of peers to send to @a peer_id
  */
 static void
-send_pull_reply (const struct GNUNET_PeerIdentity *peer_id,
+send_pull_reply (struct PeerContext *peer_ctx,
                  const struct GNUNET_PeerIdentity *peer_ids,
                  unsigned int num_peer_ids)
 {
@@ -2361,7 +2514,7 @@ send_pull_reply (const struct GNUNET_PeerIdentity *peer_id,
 
   LOG (GNUNET_ERROR_TYPE_DEBUG,
       "Going to send PULL REPLY with %u peers to %s\n",
-      send_size, GNUNET_i2s (peer_id));
+      send_size, GNUNET_i2s (&peer_ctx->peer_id));
 
   ev = GNUNET_MQ_msg_extra (out_msg,
                             send_size * sizeof (struct GNUNET_PeerIdentity),
@@ -2370,8 +2523,11 @@ send_pull_reply (const struct GNUNET_PeerIdentity *peer_id,
   GNUNET_memcpy (&out_msg[1], peer_ids,
          send_size * sizeof (struct GNUNET_PeerIdentity));
 
-  send_message (peer_id, ev, "PULL REPLY");
-  GNUNET_STATISTICS_update(stats, "# pull reply send issued", 1, GNUNET_NO);
+  send_message (peer_ctx, ev, "PULL REPLY");
+  if (peer_ctx->sub == msub)
+  {
+    GNUNET_STATISTICS_update(stats, "# pull reply send issued", 1, GNUNET_NO);
+  }
   // TODO check with send intention: as send_channel is used/opened we indicate
   // a sending intention without intending it.
   // -> clean peer afterwards?
@@ -2382,34 +2538,41 @@ send_pull_reply (const struct GNUNET_PeerIdentity *peer_id,
 /**
  * Insert PeerID in #pull_map
  *
- * Called once we know a peer is live.
+ * Called once we know a peer is online.
+ *
+ * @param cls Closure - Sub with the pull map to insert into
+ * @param peer Peer to insert
  */
 static void
 insert_in_pull_map (void *cls,
                     const struct GNUNET_PeerIdentity *peer)
 {
-  (void) cls;
-  CustomPeerMap_put (pull_map, peer);
+  struct Sub *sub = cls;
+
+  CustomPeerMap_put (sub->pull_map, peer);
 }
 
 
 /**
  * Insert PeerID in #view
  *
- * Called once we know a peer is live.
+ * Called once we know a peer is online.
  * Implements #PeerOp
+ *
+ * @param cls Closure - Sub with view to insert peer into
+ * @param peer the peer to insert
  */
 static void
 insert_in_view_op (void *cls,
                    const struct GNUNET_PeerIdentity *peer)
 {
-  (void) cls;
+  struct Sub *sub = cls;
   int inserted;
 
-  inserted = insert_in_view (peer);
+  inserted = insert_in_view (sub, peer);
   if (GNUNET_OK == inserted)
   {
-    clients_notify_stream_peer (1, peer);
+    clients_notify_stream_peer (sub, 1, peer);
   }
 }
 
@@ -2417,87 +2580,120 @@ insert_in_view_op (void *cls,
 /**
  * Update sampler with given PeerID.
  * Implements #PeerOp
+ *
+ * @param cls Closure - Sub containing the sampler to insert into
+ * @param peer Peer to insert
  */
 static void
 insert_in_sampler (void *cls,
                    const struct GNUNET_PeerIdentity *peer)
 {
-  (void) cls;
+  struct Sub *sub = cls;
+
   LOG (GNUNET_ERROR_TYPE_DEBUG,
        "Updating samplers with peer %s from insert_in_sampler()\n",
        GNUNET_i2s (peer));
-  RPS_sampler_update (prot_sampler,   peer);
-  if (0 < RPS_sampler_count_id (prot_sampler, peer))
+  RPS_sampler_update (sub->sampler, peer);
+  if (0 < RPS_sampler_count_id (sub->sampler, peer))
   {
     /* Make sure we 'know' about this peer */
-    (void) issue_peer_liveliness_check (peer);
+    (void) issue_peer_online_check (sub, peer);
     /* Establish a channel towards that peer to indicate we are going to send
      * messages to it */
     //indicate_sending_intention (peer);
   }
-  #ifdef TO_FILE
-  num_observed_peers++;
+  if (sub == msub)
+  {
+    GNUNET_STATISTICS_update (stats,
+                              "# observed peers in gossip",
+                              1,
+                              GNUNET_NO);
+  }
+#ifdef TO_FILE
+  sub->num_observed_peers++;
   GNUNET_CONTAINER_multipeermap_put
-    (observed_unique_peers,
+    (sub->observed_unique_peers,
      peer,
      NULL,
      GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
-  uint32_t num_observed_unique_peers = GNUNET_CONTAINER_multipeermap_size (
-      observed_unique_peers);
-  to_file (file_name_observed_log,
+  uint32_t num_observed_unique_peers =
+    GNUNET_CONTAINER_multipeermap_size (sub->observed_unique_peers);
+  GNUNET_STATISTICS_set (stats,
+                         "# unique peers in gossip",
+                         num_observed_unique_peers,
+                         GNUNET_NO);
+#ifdef TO_FILE_FULL
+  to_file (sub->file_name_observed_log,
           "%" PRIu32 " %" PRIu32 " %f\n",
-          num_observed_peers,
+          sub->num_observed_peers,
           num_observed_unique_peers,
-          1.0*num_observed_unique_peers/num_observed_peers)
-  #endif /* TO_FILE */
+          1.0*num_observed_unique_peers/sub->num_observed_peers)
+#endif /* TO_FILE_FULL */
+#endif /* TO_FILE */
 }
 
+
 /**
  * @brief This is called on peers from external sources (cadet, peerinfo, ...)
- *        If the peer is not known, liveliness check is issued and it is
+ *        If the peer is not known, online check is issued and it is
  *        scheduled to be inserted in sampler and view.
  *
  * "External sources" refer to every source except the gossip.
  *
- * @param peer peer to insert
+ * @param sub Sub for which @a peer was received
+ * @param peer peer to insert/peer received
  */
 static void
-got_peer (const struct GNUNET_PeerIdentity *peer)
+got_peer (struct Sub *sub,
+          const struct GNUNET_PeerIdentity *peer)
 {
   /* If we did not know this peer already, insert it into sampler and view */
-  if (GNUNET_YES == issue_peer_liveliness_check (peer))
+  if (GNUNET_YES == issue_peer_online_check (sub, peer))
   {
-    schedule_operation (peer, insert_in_sampler);
-    schedule_operation (peer, insert_in_view_op);
+    schedule_operation (get_peer_ctx (sub->peer_map, peer),
+                        &insert_in_sampler, sub);
+    schedule_operation (get_peer_ctx (sub->peer_map, peer),
+                        &insert_in_view_op, sub);
+  }
+  if (sub == msub)
+  {
+    GNUNET_STATISTICS_update (stats,
+                              "# learnd peers",
+                              1,
+                              GNUNET_NO);
   }
-  GNUNET_STATISTICS_update (stats,
-                            "# learnd peers",
-                            1,
-                            GNUNET_NO);
 }
 
+
 /**
  * @brief Checks if there is a sending channel and if it is needed
  *
- * @param peer the peer whose sending channel is checked
+ * @param peer_ctx Context of the peer to check
  * @return GNUNET_YES if sending channel exists and is still needed
  *         GNUNET_NO  otherwise
  */
 static int
-check_sending_channel_needed (const struct GNUNET_PeerIdentity *peer)
+check_sending_channel_needed (const struct PeerContext *peer_ctx)
 {
   /* struct GNUNET_CADET_Channel *channel; */
-  if (GNUNET_NO == check_peer_known (peer))
+  if (GNUNET_NO == check_peer_known (peer_ctx->sub->peer_map,
+                                     &peer_ctx->peer_id))
   {
     return GNUNET_NO;
   }
-  if (GNUNET_YES == check_sending_channel_exists (peer))
+  if (GNUNET_YES == check_sending_channel_exists (peer_ctx))
   {
-    if ( (0 < RPS_sampler_count_id (prot_sampler, peer)) ||
-         (GNUNET_YES == View_contains_peer (peer)) ||
-         (GNUNET_YES == CustomPeerMap_contains_peer (push_map, peer)) ||
-         (GNUNET_YES == CustomPeerMap_contains_peer (pull_map, peer)) ||
-         (GNUNET_YES == check_peer_flag (peer, Peers_PULL_REPLY_PENDING)))
+    if ( (0 < RPS_sampler_count_id (peer_ctx->sub->sampler,
+                                    &peer_ctx->peer_id)) ||
+         (GNUNET_YES == View_contains_peer (peer_ctx->sub->view,
+                                            &peer_ctx->peer_id)) ||
+         (GNUNET_YES == CustomPeerMap_contains_peer (peer_ctx->sub->push_map,
+                                                     &peer_ctx->peer_id)) ||
+         (GNUNET_YES == CustomPeerMap_contains_peer (peer_ctx->sub->pull_map,
+                                                     &peer_ctx->peer_id)) ||
+         (GNUNET_YES == check_peer_flag (peer_ctx->sub->peer_map,
+                                         &peer_ctx->peer_id,
+                                         Peers_PULL_REPLY_PENDING)))
     { /* If we want to keep the connection to peer open */
       return GNUNET_YES;
     }
@@ -2506,20 +2702,35 @@ check_sending_channel_needed (const struct GNUNET_PeerIdentity *peer)
   return GNUNET_NO;
 }
 
+
 /**
  * @brief remove peer from our knowledge, the view, push and pull maps and
  * samplers.
  *
+ * @param sub Sub with the data structures the peer is to be removed from
  * @param peer the peer to remove
  */
 static void
-remove_peer (const struct GNUNET_PeerIdentity *peer)
+remove_peer (struct Sub *sub,
+             const struct GNUNET_PeerIdentity *peer)
 {
-  (void) View_remove_peer (peer);
-  CustomPeerMap_remove_peer (pull_map, peer);
-  CustomPeerMap_remove_peer (push_map, peer);
-  RPS_sampler_reinitialise_by_value (prot_sampler, peer);
-  destroy_peer (get_peer_ctx (peer));
+  (void) View_remove_peer (sub->view,
+                           peer);
+  CustomPeerMap_remove_peer (sub->pull_map,
+                             peer);
+  CustomPeerMap_remove_peer (sub->push_map,
+                             peer);
+  RPS_sampler_reinitialise_by_value (sub->sampler,
+                                     peer);
+  /* We want to destroy the peer now.
+   * Sometimes, it just seems that it's already been removed from the peer_map,
+   * so check the peer_map first. */
+  if (GNUNET_YES == check_peer_known (sub->peer_map,
+                                      peer))
+  {
+    destroy_peer (get_peer_ctx (sub->peer_map,
+                                peer));
+  }
 }
 
 
@@ -2528,35 +2739,51 @@ remove_peer (const struct GNUNET_PeerIdentity *peer)
  *
  * If the sending channel is no longer needed it is destroyed.
  *
+ * @param sub Sub in which the current peer is to be cleaned
  * @param peer the peer whose data is about to be cleaned
  */
 static void
-clean_peer (const struct GNUNET_PeerIdentity *peer)
+clean_peer (struct Sub *sub,
+            const struct GNUNET_PeerIdentity *peer)
 {
-  if (GNUNET_NO == check_sending_channel_needed (peer))
+  if (GNUNET_NO == check_sending_channel_needed (get_peer_ctx (sub->peer_map,
+                                                               peer)))
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG,
         "Going to remove send channel to peer %s\n",
         GNUNET_i2s (peer));
-    #ifdef ENABLE_MALICIOUS
-    if (0 != GNUNET_CRYPTO_cmp_peer_identity (&attacked_peer, peer))
-      (void) destroy_sending_channel (peer);
+    #if ENABLE_MALICIOUS
+    if (0 != GNUNET_memcmp (&attacked_peer,
+                                              peer))
+      (void) destroy_sending_channel (get_peer_ctx (sub->peer_map,
+                                                    peer));
     #else /* ENABLE_MALICIOUS */
-    (void) destroy_sending_channel (peer);
+    (void) destroy_sending_channel (get_peer_ctx (sub->peer_map,
+                                                  peer));
     #endif /* ENABLE_MALICIOUS */
   }
 
-  if ( (GNUNET_NO == check_peer_send_intention (peer)) &&
-       (GNUNET_NO == View_contains_peer (peer)) &&
-       (GNUNET_NO == CustomPeerMap_contains_peer (push_map, peer)) &&
-       (GNUNET_NO == CustomPeerMap_contains_peer (push_map, peer)) &&
-       (0 == RPS_sampler_count_id (prot_sampler,   peer)) &&
-       (GNUNET_NO != check_removable (peer)) )
+  if (GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (sub->peer_map,
+                                                           peer))
+  {
+    /* Peer was already removed by callback on destroyed channel */
+    LOG (GNUNET_ERROR_TYPE_WARNING,
+        "Peer was removed from our knowledge during cleanup\n");
+    return;
+  }
+
+  if ( (GNUNET_NO == check_peer_send_intention (get_peer_ctx (sub->peer_map,
+                                                              peer))) &&
+       (GNUNET_NO == View_contains_peer (sub->view, peer)) &&
+       (GNUNET_NO == CustomPeerMap_contains_peer (sub->push_map, peer)) &&
+       (GNUNET_NO == CustomPeerMap_contains_peer (sub->push_map, peer)) &&
+       (0 == RPS_sampler_count_id (sub->sampler, peer)) &&
+       (GNUNET_YES == check_removable (get_peer_ctx (sub->peer_map, peer))) )
   { /* We can safely remove this peer */
     LOG (GNUNET_ERROR_TYPE_DEBUG,
         "Going to remove peer %s\n",
         GNUNET_i2s (peer));
-    remove_peer (peer);
+    remove_peer (sub, peer);
     return;
   }
 }
@@ -2570,9 +2797,8 @@ clean_peer (const struct GNUNET_PeerIdentity *peer)
  * Also check if the knowledge about this peer is still needed.
  * If not, remove this peer from our knowledge.
  *
- * @param cls The closure
+ * @param cls The closure - Context to the channel
  * @param channel The channel being closed
- * @param channel_ctx The context associated with this channel
  */
 static void
 cleanup_destroyed_channel (void *cls,
@@ -2580,15 +2806,15 @@ cleanup_destroyed_channel (void *cls,
 {
   struct ChannelCtx *channel_ctx = cls;
   struct PeerContext *peer_ctx = channel_ctx->peer_ctx;
-  (void) cls;
   (void) channel;
 
   channel_ctx->channel = NULL;
   remove_channel_ctx (channel_ctx);
   if (NULL != peer_ctx &&
-      peer_ctx->send_channel_ctx == channel_ctx)
+      peer_ctx->send_channel_ctx == channel_ctx &&
+      GNUNET_YES == check_sending_channel_needed (channel_ctx->peer_ctx))
   {
-    remove_peer (&peer_ctx->peer_id);
+    remove_peer (peer_ctx->sub, &peer_ctx->peer_id);
   }
 }
 
@@ -2596,83 +2822,419 @@ cleanup_destroyed_channel (void *cls,
  * /Util functions
 ***********************************************************************/
 
-static void
-destroy_reply_cls (struct ReplyCls *rep_cls)
+
+
+/***********************************************************************
+ * Sub
+***********************************************************************/
+
+/**
+ * @brief Create a new Sub
+ *
+ * @param hash Hash of value shared among rps instances on other hosts that
+ *        defines a subgroup to sample from.
+ * @param sampler_size Size of the sampler
+ * @param round_interval Interval (in average) between two rounds
+ *
+ * @return Sub
+ */
+struct Sub *
+new_sub (const struct GNUNET_HashCode *hash,
+         uint32_t sampler_size,
+         struct GNUNET_TIME_Relative round_interval)
 {
-  struct ClientContext *cli_ctx;
+  struct Sub *sub;
 
-  cli_ctx = rep_cls->cli_ctx;
-  GNUNET_assert (NULL != cli_ctx);
-  if (NULL != rep_cls->req_handle)
+  sub = GNUNET_new (struct Sub);
+
+  /* With the hash generated from the secret value this service only connects
+   * to rps instances that share the value */
+  struct GNUNET_MQ_MessageHandler cadet_handlers[] = {
+    GNUNET_MQ_hd_fixed_size (peer_check,
+                             GNUNET_MESSAGE_TYPE_RPS_PP_CHECK_LIVE,
+                             struct GNUNET_MessageHeader,
+                             NULL),
+    GNUNET_MQ_hd_fixed_size (peer_push,
+                             GNUNET_MESSAGE_TYPE_RPS_PP_PUSH,
+                             struct GNUNET_MessageHeader,
+                             NULL),
+    GNUNET_MQ_hd_fixed_size (peer_pull_request,
+                             GNUNET_MESSAGE_TYPE_RPS_PP_PULL_REQUEST,
+                             struct GNUNET_MessageHeader,
+                             NULL),
+    GNUNET_MQ_hd_var_size (peer_pull_reply,
+                           GNUNET_MESSAGE_TYPE_RPS_PP_PULL_REPLY,
+                           struct GNUNET_RPS_P2P_PullReplyMessage,
+                           NULL),
+    GNUNET_MQ_handler_end ()
+  };
+  sub->hash = *hash;
+  sub->cadet_port =
+    GNUNET_CADET_open_port (cadet_handle,
+                            &sub->hash,
+                            &handle_inbound_channel, /* Connect handler */
+                            sub, /* cls */
+                            NULL, /* WindowSize handler */
+                            &cleanup_destroyed_channel, /* Disconnect handler */
+                            cadet_handlers);
+  if (NULL == sub->cadet_port)
+  {
+    LOG (GNUNET_ERROR_TYPE_ERROR,
+        "Cadet port `%s' is already in use.\n",
+        GNUNET_APPLICATION_PORT_RPS);
+    GNUNET_assert (0);
+  }
+
+  /* Set up general data structure to keep track about peers */
+  sub->valid_peers = GNUNET_CONTAINER_multipeermap_create (4, GNUNET_NO);
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_filename (cfg,
+                                               "rps",
+                                               "FILENAME_VALID_PEERS",
+                                               &sub->filename_valid_peers))
+  {
+    GNUNET_log_config_missing (GNUNET_ERROR_TYPE_ERROR,
+                               "rps",
+                               "FILENAME_VALID_PEERS");
+  }
+  if (0 != strncmp ("DISABLE", sub->filename_valid_peers, 7))
+  {
+    char *tmp_filename_valid_peers;
+    char str_hash[105];
+
+    GNUNET_snprintf (str_hash,
+                    sizeof (str_hash),
+                    GNUNET_h2s_full (hash));
+    tmp_filename_valid_peers = sub->filename_valid_peers;
+    GNUNET_asprintf (&sub->filename_valid_peers,
+                    "%s%s",
+                    tmp_filename_valid_peers,
+                    str_hash);
+    GNUNET_free (tmp_filename_valid_peers);
+  }
+  sub->peer_map = GNUNET_CONTAINER_multipeermap_create (4, GNUNET_NO);
+
+  /* Set up the sampler */
+  sub->sampler_size_est_min = sampler_size;
+  sub->sampler_size_est_need = sampler_size;;
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "MINSIZE is %u\n", sub->sampler_size_est_min);
+  GNUNET_assert (0 != round_interval.rel_value_us);
+  sub->round_interval = round_interval;
+  sub->sampler = RPS_sampler_init (sampler_size,
+                                  round_interval);
+
+  /* Logging of internals */
+#ifdef TO_FILE_FULL
+  sub->file_name_view_log = store_prefix_file_name (&own_identity, "view");
+#endif /* TO_FILE_FULL */
+#ifdef TO_FILE
+#ifdef TO_FILE_FULL
+  sub->file_name_observed_log = store_prefix_file_name (&own_identity,
+                                                       "observed");
+#endif /* TO_FILE_FULL */
+  sub->num_observed_peers = 0;
+  sub->observed_unique_peers = GNUNET_CONTAINER_multipeermap_create (1,
+                                                                    GNUNET_NO);
+#endif /* TO_FILE */
+
+  /* Set up data structures for gossip */
+  sub->push_map = CustomPeerMap_create (4);
+  sub->pull_map = CustomPeerMap_create (4);
+  sub->view_size_est_min = sampler_size;;
+  sub->view = View_create (sub->view_size_est_min);
+  if (sub == msub)
   {
-    RPS_sampler_request_cancel (rep_cls->req_handle);
+    GNUNET_STATISTICS_set (stats,
+                           "view size aim",
+                           sub->view_size_est_min,
+                           GNUNET_NO);
   }
-  GNUNET_CONTAINER_DLL_remove (cli_ctx->rep_cls_head,
-                               cli_ctx->rep_cls_tail,
-                               rep_cls);
-  GNUNET_free (rep_cls);
+
+  /* Start executing rounds */
+  sub->do_round_task = GNUNET_SCHEDULER_add_now (&do_round, sub);
+
+  return sub;
 }
 
 
+#ifdef TO_FILE
+/**
+ * @brief Write all numbers in the given array into the given file
+ *
+ * Single numbers devided by a newline
+ *
+ * @param hist_array[] the array to dump
+ * @param file_name file to dump into
+ */
 static void
-destroy_cli_ctx (struct ClientContext *cli_ctx)
+write_histogram_to_file (const uint32_t hist_array[],
+                         const char *file_name)
 {
-  GNUNET_assert (NULL != cli_ctx);
-  if (NULL != cli_ctx->rep_cls_head)
+  char collect_str[SIZE_DUMP_FILE + 1] = "";
+  char *recv_str_iter;
+  char *file_name_full;
+
+  recv_str_iter = collect_str;
+  file_name_full = store_prefix_file_name (&own_identity,
+                                           file_name);
+  for (uint32_t i = 0; i < HISTOGRAM_FILE_SLOTS; i++)
   {
-    LOG (GNUNET_ERROR_TYPE_WARNING,
-         "Trying to destroy the context of a client that still has pending requests. Going to clean those\n");
-    while (NULL != cli_ctx->rep_cls_head)
-      destroy_reply_cls (cli_ctx->rep_cls_head);
+    char collect_str_tmp[8];
+
+    GNUNET_snprintf (collect_str_tmp,
+                    sizeof (collect_str_tmp),
+                    "%" PRIu32 "\n",
+                    hist_array[i]);
+    recv_str_iter = stpncpy (recv_str_iter,
+                             collect_str_tmp,
+                             6);
   }
+  (void) stpcpy (recv_str_iter,
+                 "\n");
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+       "Writing push stats to disk\n");
+  to_file_w_len (file_name_full,
+                 SIZE_DUMP_FILE,
+                 collect_str);
+  GNUNET_free (file_name_full);
+}
+#endif /* TO_FILE */
+
+
+/**
+ * @brief Destroy Sub.
+ *
+ * @param sub Sub to destroy
+ */
+static void
+destroy_sub (struct Sub *sub)
+{
+  GNUNET_assert (NULL != sub);
+  GNUNET_assert (NULL != sub->do_round_task);
+  GNUNET_SCHEDULER_cancel (sub->do_round_task);
+  sub->do_round_task = NULL;
+
+  /* Disconnect from cadet */
+  GNUNET_CADET_close_port (sub->cadet_port);
+  sub->cadet_port= NULL;
+
+  /* Clean up data structures for peers */
+  RPS_sampler_destroy (sub->sampler);
+  sub->sampler = NULL;
+  View_destroy (sub->view);
+  sub->view = NULL;
+  CustomPeerMap_destroy (sub->push_map);
+  sub->push_map = NULL;
+  CustomPeerMap_destroy (sub->pull_map);
+  sub->pull_map = NULL;
+  peers_terminate (sub);
+
+  /* Free leftover data structures */
+#ifdef TO_FILE_FULL
+  GNUNET_free (sub->file_name_view_log);
+  sub->file_name_view_log = NULL;
+#endif /* TO_FILE_FULL */
+#ifdef TO_FILE
+#ifdef TO_FILE_FULL
+  GNUNET_free (sub->file_name_observed_log);
+  sub->file_name_observed_log = NULL;
+#endif /* TO_FILE_FULL */
+
+  /* Write push frequencies to disk */
+  write_histogram_to_file (sub->push_recv,
+                           "push_recv");
+
+  /* Write push deltas to disk */
+  write_histogram_to_file (sub->push_delta,
+                           "push_delta");
+
+  /* Write pull delays to disk */
+  write_histogram_to_file (sub->pull_delays,
+                           "pull_delays");
+
+  GNUNET_CONTAINER_multipeermap_destroy (sub->observed_unique_peers);
+  sub->observed_unique_peers = NULL;
+#endif /* TO_FILE */
+
+  GNUNET_free (sub);
+}
+
+
+/***********************************************************************
+ * /Sub
+***********************************************************************/
+
+
+/***********************************************************************
+ * Core handlers
+***********************************************************************/
+
+/**
+ * @brief Callback on initialisation of Core.
+ *
+ * @param cls - unused
+ * @param my_identity - unused
+ */
+void
+core_init (void *cls,
+           const struct GNUNET_PeerIdentity *my_identity)
+{
+  (void) cls;
+  (void) my_identity;
+
+  map_single_hop = GNUNET_CONTAINER_multipeermap_create (4, GNUNET_NO);
+}
+
+
+/**
+ * @brief Callback for core.
+ * Method called whenever a given peer connects.
+ *
+ * @param cls closure - unused
+ * @param peer peer identity this notification is about
+ * @return closure given to #core_disconnects as peer_cls
+ */
+void *
+core_connects (void *cls,
+               const struct GNUNET_PeerIdentity *peer,
+               struct GNUNET_MQ_Handle *mq)
+{
+  (void) cls;
+  (void) mq;
+
+  GNUNET_assert (GNUNET_YES ==
+                GNUNET_CONTAINER_multipeermap_put (map_single_hop,
+                                                   peer,
+                                                   NULL,
+                                                   GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY));
+  return NULL;
+}
+
+
+/**
+ * @brief Callback for core.
+ * Method called whenever a peer disconnects.
+ *
+ * @param cls closure - unused
+ * @param peer peer identity this notification is about
+ * @param peer_cls closure given in #core_connects - unused
+ */
+void
+core_disconnects (void *cls,
+                  const struct GNUNET_PeerIdentity *peer,
+                  void *peer_cls)
+{
+  (void) cls;
+  (void) peer_cls;
+
+  GNUNET_CONTAINER_multipeermap_remove_all (map_single_hop, peer);
+}
+
+/***********************************************************************
+ * /Core handlers
+***********************************************************************/
+
+
+/**
+ * @brief Destroy the context for a (connected) client
+ *
+ * @param cli_ctx Context to destroy
+ */
+static void
+destroy_cli_ctx (struct ClientContext *cli_ctx)
+{
+  GNUNET_assert (NULL != cli_ctx);
   GNUNET_CONTAINER_DLL_remove (cli_ctx_head,
                                cli_ctx_tail,
                                cli_ctx);
+  if (NULL != cli_ctx->sub)
+  {
+    destroy_sub (cli_ctx->sub);
+    cli_ctx->sub = NULL;
+  }
   GNUNET_free (cli_ctx);
 }
 
 
 /**
- * Function called by NSE.
+ * @brief Update sizes in sampler and view on estimate update from nse service
  *
- * Updates sizes of sampler list and view and adapt those lists
- * accordingly.
+ * @param sub Sub
+ * @param logestimate the log(Base 2) value of the current network size estimate
+ * @param std_dev standard deviation for the estimate
  */
 static void
-nse_callback (void *cls,
-              struct GNUNET_TIME_Absolute timestamp,
-              double logestimate, double std_dev)
+adapt_sizes (struct Sub *sub, double logestimate, double std_dev)
 {
   double estimate;
   //double scale; // TODO this might go gloabal/config
-  (void) cls;
-  (void) timestamp;
 
   LOG (GNUNET_ERROR_TYPE_DEBUG,
        "Received a ns estimate - logest: %f, std_dev: %f (old_size: %u)\n",
-       logestimate, std_dev, RPS_sampler_get_size (prot_sampler));
+       logestimate, std_dev, RPS_sampler_get_size (sub->sampler));
   //scale = .01;
   estimate = GNUNET_NSE_log_estimate_to_n (logestimate);
   // GNUNET_NSE_log_estimate_to_n (logestimate);
   estimate = pow (estimate, 1.0 / 3);
   // TODO add if std_dev is a number
   // estimate += (std_dev * scale);
-  if (view_size_est_min < ceil (estimate))
+  if (sub->view_size_est_min < ceil (estimate))
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG, "Changing estimate to %f\n", estimate);
-    sampler_size_est_need = estimate;
-    view_size_est_need = estimate;
+    sub->sampler_size_est_need = estimate;
+    sub->view_size_est_need = estimate;
   } else
   {
-    LOG (GNUNET_ERROR_TYPE_DEBUG, "Not using estimate %f\n", estimate);
-    //sampler_size_est_need = view_size_est_min;
-    view_size_est_need = view_size_est_min;
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "Not using estimate %f\n", estimate);
+    //sub->sampler_size_est_need = sub->view_size_est_min;
+    sub->view_size_est_need = sub->view_size_est_min;
+  }
+  if (sub == msub)
+  {
+    GNUNET_STATISTICS_set (stats,
+                           "view size aim",
+                           sub->view_size_est_need,
+                           GNUNET_NO);
+  }
+
+  /* If the NSE has changed adapt the lists accordingly */
+  resize_wrapper (sub->sampler, sub->sampler_size_est_need);
+  View_change_len (sub->view, sub->view_size_est_need);
+}
+
+
+/**
+ * Function called by NSE.
+ *
+ * Updates sizes of sampler list and view and adapt those lists
+ * accordingly.
+ *
+ * implements #GNUNET_NSE_Callback
+ *
+ * @param cls Closure - unused
+ * @param timestamp time when the estimate was received from the server (or created by the server)
+ * @param logestimate the log(Base 2) value of the current network size estimate
+ * @param std_dev standard deviation for the estimate
+ */
+static void
+nse_callback (void *cls,
+              struct GNUNET_TIME_Absolute timestamp,
+              double logestimate, double std_dev)
+{
+  (void) cls;
+  (void) timestamp;
+  struct ClientContext *cli_ctx_iter;
+
+  adapt_sizes (msub, logestimate, std_dev);
+  for (cli_ctx_iter = cli_ctx_head;
+      NULL != cli_ctx_iter;
+      cli_ctx_iter = cli_ctx_iter->next)
+  {
+    if (NULL != cli_ctx_iter->sub)
+    {
+      adapt_sizes (cli_ctx_iter->sub, logestimate, std_dev);
+    }
   }
-  GNUNET_STATISTICS_set (stats, "view size aim", view_size_est_need, GNUNET_NO);
-
-  /* If the NSE has changed adapt the lists accordingly */
-  resize_wrapper (prot_sampler, sampler_size_est_need);
-  View_change_len (view_size_est_need);
 }
 
 
@@ -2683,6 +3245,7 @@ nse_callback (void *cls,
  * @param cls the closure (#ClientContext)
  * @param msg the message
  * @return #GNUNET_OK if @a msg is well-formed
+ *         #GNUNET_SYSERR otherwise
  */
 static int
 check_client_seed (void *cls, const struct GNUNET_RPS_CS_SeedMessage *msg)
@@ -2695,6 +3258,10 @@ check_client_seed (void *cls, const struct GNUNET_RPS_CS_SeedMessage *msg)
   if ( (msize / sizeof (struct GNUNET_PeerIdentity) != num_peers) ||
        (msize % sizeof (struct GNUNET_PeerIdentity) != 0) )
   {
+    LOG (GNUNET_ERROR_TYPE_ERROR,
+        "message says it sends %" PRIu32 " peers, have space for %lu peers\n",
+        ntohl (msg->num_peers),
+        (msize / sizeof (struct GNUNET_PeerIdentity)));
     GNUNET_break (0);
     GNUNET_SERVICE_client_drop (cli_ctx->client);
     return GNUNET_SYSERR;
@@ -2732,7 +3299,8 @@ handle_client_seed (void *cls,
          i,
          GNUNET_i2s (&peers[i]));
 
-    got_peer (&peers[i]);
+    if (NULL != msub) got_peer (msub, &peers[i]); /* Condition needed? */
+    if (NULL != cli_ctx->sub) got_peer (cli_ctx->sub, &peers[i]);
   }
   GNUNET_SERVICE_client_continue (cli_ctx->client);
 }
@@ -2741,8 +3309,9 @@ handle_client_seed (void *cls,
 /**
  * Handle RPS request from the client.
  *
- * @param cls closure
- * @param message the actual message
+ * @param cls Client context
+ * @param message Message containing the numer of updates the client wants to
+ * receive
  */
 static void
 handle_client_view_request (void *cls,
@@ -2764,11 +3333,37 @@ handle_client_view_request (void *cls,
 }
 
 
+/**
+ * @brief Handle the cancellation of the view updates.
+ *
+ * @param cls The client context
+ * @param msg Unused
+ */
+static void
+handle_client_view_cancel (void *cls,
+                           const struct GNUNET_MessageHeader *msg)
+{
+  struct ClientContext *cli_ctx = cls;
+  (void) msg;
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+       "Client does not want to receive updates of view any more.\n");
+
+  GNUNET_assert (NULL != cli_ctx);
+  cli_ctx->view_updates_left = 0;
+  GNUNET_SERVICE_client_continue (cli_ctx->client);
+  if (GNUNET_YES == cli_ctx->stream_update)
+  {
+    destroy_cli_ctx (cli_ctx);
+  }
+}
+
+
 /**
  * Handle RPS request for biased stream from the client.
  *
- * @param cls closure
- * @param message the actual message
+ * @param cls Client context
+ * @param message unused
  */
 static void
 handle_client_stream_request (void *cls,
@@ -2786,14 +3381,88 @@ handle_client_stream_request (void *cls,
 }
 
 
+/**
+ * @brief Handles the cancellation of the stream of biased peer ids
+ *
+ * @param cls The client context
+ * @param msg unused
+ */
+static void
+handle_client_stream_cancel (void *cls,
+                             const struct GNUNET_MessageHeader *msg)
+{
+  struct ClientContext *cli_ctx = cls;
+  (void) msg;
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+       "Client canceled receiving peers from biased stream.\n");
+  cli_ctx->stream_update = GNUNET_NO;
+
+  GNUNET_assert (NULL != cli_ctx);
+  GNUNET_SERVICE_client_continue (cli_ctx->client);
+}
+
+
+/**
+ * @brief Create and start a Sub.
+ *
+ * @param cls Closure - unused
+ * @param msg Message containing the necessary information
+ */
+static void
+handle_client_start_sub (void *cls,
+                         const struct GNUNET_RPS_CS_SubStartMessage *msg)
+{
+  struct ClientContext *cli_ctx = cls;
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "Client requested start of a new sub.\n");
+  if (NULL != cli_ctx->sub &&
+      0 != memcmp (&cli_ctx->sub->hash,
+                   &msg->hash,
+                   sizeof (struct GNUNET_HashCode)))
+  {
+    LOG (GNUNET_ERROR_TYPE_WARNING, "Already have a Sub with different share for this client. Remove old one, add new.\n");
+    destroy_sub (cli_ctx->sub);
+    cli_ctx->sub = NULL;
+  }
+  cli_ctx->sub = new_sub (&msg->hash,
+                         msub->sampler_size_est_min, // TODO make api input?
+                         GNUNET_TIME_relative_ntoh (msg->round_interval));
+  GNUNET_SERVICE_client_continue (cli_ctx->client);
+}
+
+
+/**
+ * @brief Destroy the Sub
+ *
+ * @param cls Closure - unused
+ * @param msg Message containing the hash that identifies the Sub
+ */
+static void
+handle_client_stop_sub (void *cls,
+                        const struct GNUNET_RPS_CS_SubStopMessage *msg)
+{
+  struct ClientContext *cli_ctx = cls;
+
+  GNUNET_assert (NULL != cli_ctx->sub);
+  if (0 != memcmp (&cli_ctx->sub->hash, &msg->hash, sizeof (struct GNUNET_HashCode)))
+  {
+    LOG (GNUNET_ERROR_TYPE_WARNING, "Share of current sub and request differ!\n");
+  }
+  destroy_sub (cli_ctx->sub);
+  cli_ctx->sub = NULL;
+  GNUNET_SERVICE_client_continue (cli_ctx->client);
+}
+
+
 /**
  * Handle a CHECK_LIVE message from another peer.
  *
  * This does nothing. But without calling #GNUNET_CADET_receive_done()
  * the channel is blocked for all other communication.
  *
- * @param cls Closure
- * @param msg The message header
+ * @param cls Closure - Context of channel
+ * @param msg Message - unused
  */
 static void
 handle_peer_check (void *cls,
@@ -2805,22 +3474,26 @@ handle_peer_check (void *cls,
 
   LOG (GNUNET_ERROR_TYPE_DEBUG,
       "Received CHECK_LIVE (%s)\n", GNUNET_i2s (peer));
-  GNUNET_STATISTICS_update (stats,
-                            "# pending liveliness checks",
-                            -1,
-                            GNUNET_NO);
+  if (channel_ctx->peer_ctx->sub == msub)
+  {
+    GNUNET_STATISTICS_update (stats,
+                              "# pending online checks",
+                              -1,
+                              GNUNET_NO);
+  }
 
   GNUNET_CADET_receive_done (channel_ctx->channel);
 }
 
+
 /**
  * Handle a PUSH message from another peer.
  *
  * Check the proof of work and store the PeerID
  * in the temporary list for pushed PeerIDs.
  *
- * @param cls Closure
- * @param msg The message header
+ * @param cls Closure - Context of channel
+ * @param msg Message - unused
  */
 static void
 handle_peer_push (void *cls,
@@ -2835,9 +3508,21 @@ handle_peer_push (void *cls,
   LOG (GNUNET_ERROR_TYPE_DEBUG,
        "Received PUSH (%s)\n",
        GNUNET_i2s (peer));
-  GNUNET_STATISTICS_update(stats, "# push message received", 1, GNUNET_NO);
+  if (channel_ctx->peer_ctx->sub == msub)
+  {
+    GNUNET_STATISTICS_update(stats, "# push message received", 1, GNUNET_NO);
+    if (NULL != map_single_hop &&
+        GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (map_single_hop,
+                                                             peer))
+    {
+      GNUNET_STATISTICS_update (stats,
+                                "# push message received (multi-hop peer)",
+                                1,
+                                GNUNET_NO);
+    }
+  }
 
-  #ifdef ENABLE_MALICIOUS
+  #if ENABLE_MALICIOUS
   struct AttackedPeer *tmp_att_peer;
 
   if ( (1 == mal_type) ||
@@ -2847,9 +3532,8 @@ handle_peer_push (void *cls,
     tmp_att_peer->peer_id = *peer;
     if (NULL == att_peer_set)
       att_peer_set = GNUNET_CONTAINER_multipeermap_create (1, GNUNET_NO);
-    if (GNUNET_NO ==
-       GNUNET_CONTAINER_multipeermap_contains (att_peer_set,
-                                               peer))
+    if (GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (att_peer_set,
+                                                             peer))
     {
       GNUNET_CONTAINER_DLL_insert (att_peers_head,
                                    att_peers_tail,
@@ -2870,9 +3554,10 @@ handle_peer_push (void *cls,
   #endif /* ENABLE_MALICIOUS */
 
   /* Add the sending peer to the push_map */
-  CustomPeerMap_put (push_map, peer);
+  CustomPeerMap_put (channel_ctx->peer_ctx->sub->push_map, peer);
 
-  GNUNET_break_op (check_peer_known (peer));
+  GNUNET_break_op (check_peer_known (channel_ctx->peer_ctx->sub->peer_map,
+                                     &channel_ctx->peer_ctx->peer_id));
   GNUNET_CADET_receive_done (channel_ctx->channel);
 }
 
@@ -2882,41 +3567,60 @@ handle_peer_push (void *cls,
  *
  * Reply with the view of PeerIDs.
  *
- * @param cls Closure
- * @param msg The message header
+ * @param cls Closure - Context of channel
+ * @param msg Message - unused
  */
 static void
 handle_peer_pull_request (void *cls,
                           const struct GNUNET_MessageHeader *msg)
 {
   const struct ChannelCtx *channel_ctx = cls;
-  const struct GNUNET_PeerIdentity *peer = &channel_ctx->peer_ctx->peer_id;
+  struct PeerContext *peer_ctx = channel_ctx->peer_ctx;
+  const struct GNUNET_PeerIdentity *peer = &peer_ctx->peer_id;
   const struct GNUNET_PeerIdentity *view_array;
   (void) msg;
 
   LOG (GNUNET_ERROR_TYPE_DEBUG, "Received PULL REQUEST (%s)\n", GNUNET_i2s (peer));
-  GNUNET_STATISTICS_update(stats, "# pull request message received", 1, GNUNET_NO);
+  if (peer_ctx->sub == msub)
+  {
+    GNUNET_STATISTICS_update(stats,
+                             "# pull request message received",
+                             1,
+                             GNUNET_NO);
+    if (NULL != map_single_hop &&
+        GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (map_single_hop,
+                                                             &peer_ctx->peer_id))
+    {
+      GNUNET_STATISTICS_update (stats,
+                                "# pull request message received (multi-hop peer)",
+                                1,
+                                GNUNET_NO);
+    }
+  }
 
-  #ifdef ENABLE_MALICIOUS
+  #if ENABLE_MALICIOUS
   if (1 == mal_type
       || 3 == mal_type)
   { /* Try to maximise representation */
-    send_pull_reply (peer, mal_peers, num_mal_peers);
+    send_pull_reply (peer_ctx, mal_peers, num_mal_peers);
   }
 
   else if (2 == mal_type)
   { /* Try to partition network */
-    if (0 == GNUNET_CRYPTO_cmp_peer_identity (&attacked_peer, peer))
+    if (0 == GNUNET_memcmp (&attacked_peer, peer))
     {
-      send_pull_reply (peer, mal_peers, num_mal_peers);
+      send_pull_reply (peer_ctx, mal_peers, num_mal_peers);
     }
   }
   #endif /* ENABLE_MALICIOUS */
 
-  GNUNET_break_op (check_peer_known (peer));
+  GNUNET_break_op (check_peer_known (channel_ctx->peer_ctx->sub->peer_map,
+                                     &channel_ctx->peer_ctx->peer_id));
   GNUNET_CADET_receive_done (channel_ctx->channel);
-  view_array = View_get_as_array ();
-  send_pull_reply (peer, view_array, View_size ());
+  view_array = View_get_as_array (channel_ctx->peer_ctx->sub->view);
+  send_pull_reply (peer_ctx,
+                   view_array,
+                   View_size (channel_ctx->peer_ctx->sub->view));
 }
 
 
@@ -2924,8 +3628,8 @@ handle_peer_pull_request (void *cls,
  * Check whether we sent a corresponding request and
  * whether this reply is the first one.
  *
- * @param cls Closure
- * @param msg The message header
+ * @param cls Closure - Context of channel
+ * @param msg Message containing the replied peers
  */
 static int
 check_peer_pull_reply (void *cls,
@@ -2952,22 +3656,25 @@ check_peer_pull_reply (void *cls,
     return GNUNET_SYSERR;
   }
 
-  if (GNUNET_YES != check_peer_flag (&sender_ctx->peer_id,
+  if (GNUNET_YES != check_peer_flag (sender_ctx->sub->peer_map,
+                                     &sender_ctx->peer_id,
                                      Peers_PULL_REPLY_PENDING))
   {
     LOG (GNUNET_ERROR_TYPE_WARNING,
         "Received a pull reply from a peer (%s) we didn't request one from!\n",
         GNUNET_i2s (&sender_ctx->peer_id));
-    GNUNET_STATISTICS_update (stats,
-                              "# unrequested pull replies",
-                              1,
-                              GNUNET_NO);
-    GNUNET_break_op (0);
-    return GNUNET_SYSERR;
+    if (sender_ctx->sub == msub)
+    {
+      GNUNET_STATISTICS_update (stats,
+                                "# unrequested pull replies",
+                                1,
+                                GNUNET_NO);
+    }
   }
   return GNUNET_OK;
 }
 
+
 /**
  * Handle PULL REPLY message from another peer.
  *
@@ -2981,15 +3688,32 @@ handle_peer_pull_reply (void *cls,
   const struct ChannelCtx *channel_ctx = cls;
   const struct GNUNET_PeerIdentity *sender = &channel_ctx->peer_ctx->peer_id;
   const struct GNUNET_PeerIdentity *peers;
+  struct Sub *sub = channel_ctx->peer_ctx->sub;
   uint32_t i;
-#ifdef ENABLE_MALICIOUS
+#if ENABLE_MALICIOUS
   struct AttackedPeer *tmp_att_peer;
 #endif /* ENABLE_MALICIOUS */
 
+  sub->pull_delays[sub->num_rounds - channel_ctx->peer_ctx->round_pull_req]++;
   LOG (GNUNET_ERROR_TYPE_DEBUG, "Received PULL REPLY (%s)\n", GNUNET_i2s (sender));
-  GNUNET_STATISTICS_update(stats, "# pull reply messages received", 1, GNUNET_NO);
+  if (channel_ctx->peer_ctx->sub == msub)
+  {
+    GNUNET_STATISTICS_update (stats,
+                              "# pull reply messages received",
+                              1,
+                              GNUNET_NO);
+    if (NULL != map_single_hop &&
+        GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (map_single_hop,
+          &channel_ctx->peer_ctx->peer_id))
+    {
+      GNUNET_STATISTICS_update (stats,
+                                "# pull reply messages received (multi-hop peer)",
+                                1,
+                                GNUNET_NO);
+    }
+  }
 
-  #ifdef ENABLE_MALICIOUS
+  #if ENABLE_MALICIOUS
   // We shouldn't even receive pull replies as we're not sending
   if (2 == mal_type)
   {
@@ -3010,7 +3734,7 @@ handle_peer_pull_reply (void *cls,
          i,
          GNUNET_i2s (&peers[i]));
 
-    #ifdef ENABLE_MALICIOUS
+    #if ENABLE_MALICIOUS
     if ((NULL != att_peer_set) &&
         (1 == mal_type || 3 == mal_type))
     { /* Add attacked peer to local list */
@@ -3031,23 +3755,33 @@ handle_peer_pull_reply (void *cls,
     }
     #endif /* ENABLE_MALICIOUS */
     /* Make sure we 'know' about this peer */
-    (void) insert_peer (&peers[i]);
+    (void) insert_peer (channel_ctx->peer_ctx->sub,
+                        &peers[i]);
 
-    if (GNUNET_YES == check_peer_valid (&peers[i]))
+    if (GNUNET_YES == check_peer_valid (channel_ctx->peer_ctx->sub->valid_peers,
+                                        &peers[i]))
     {
-      CustomPeerMap_put (pull_map, &peers[i]);
+      CustomPeerMap_put (channel_ctx->peer_ctx->sub->pull_map,
+                         &peers[i]);
     }
     else
     {
-      schedule_operation (&peers[i], insert_in_pull_map);
-      (void) issue_peer_liveliness_check (&peers[i]);
+      schedule_operation (channel_ctx->peer_ctx,
+                          insert_in_pull_map,
+                          channel_ctx->peer_ctx->sub); /* cls */
+      (void) issue_peer_online_check (channel_ctx->peer_ctx->sub,
+                                      &peers[i]);
     }
   }
 
-  UNSET_PEER_FLAG (get_peer_ctx (sender), Peers_PULL_REPLY_PENDING);
-  clean_peer (sender);
+  UNSET_PEER_FLAG (get_peer_ctx (channel_ctx->peer_ctx->sub->peer_map,
+                                 sender),
+                   Peers_PULL_REPLY_PENDING);
+  clean_peer (channel_ctx->peer_ctx->sub,
+              sender);
 
-  GNUNET_break_op (check_peer_known (sender));
+  GNUNET_break_op (check_peer_known (channel_ctx->peer_ctx->sub->peer_map,
+                                     sender));
   GNUNET_CADET_receive_done (channel_ctx->channel);
 }
 
@@ -3059,12 +3793,12 @@ handle_peer_pull_reply (void *cls,
  * For example for mean 4 min and spread 2 the minimum is (4 min - (1/2 * 4 min))
  * It would return a random value between 2 and 6 min.
  *
- * @param mean the mean
+ * @param mean the mean time until the next round
  * @param spread the inverse amount of deviation from the mean
  */
 static struct GNUNET_TIME_Relative
 compute_rand_delay (struct GNUNET_TIME_Relative mean,
-                   unsigned int spread)
+                    unsigned int spread)
 {
   struct GNUNET_TIME_Relative half_interval;
   struct GNUNET_TIME_Relative ret;
@@ -3104,54 +3838,83 @@ compute_rand_delay (struct GNUNET_TIME_Relative mean,
 /**
  * Send single pull request
  *
- * @param peer_id the peer to send the pull request to.
+ * @param peer_ctx Context to the peer to send request to
  */
 static void
-send_pull_request (const struct GNUNET_PeerIdentity *peer)
+send_pull_request (struct PeerContext *peer_ctx)
 {
   struct GNUNET_MQ_Envelope *ev;
 
-  GNUNET_assert (GNUNET_NO == check_peer_flag (peer,
-                                                     Peers_PULL_REPLY_PENDING));
-  SET_PEER_FLAG (get_peer_ctx (peer), Peers_PULL_REPLY_PENDING);
+  GNUNET_assert (GNUNET_NO == check_peer_flag (peer_ctx->sub->peer_map,
+                                               &peer_ctx->peer_id,
+                                               Peers_PULL_REPLY_PENDING));
+  SET_PEER_FLAG (peer_ctx,
+                 Peers_PULL_REPLY_PENDING);
+  peer_ctx->round_pull_req = peer_ctx->sub->num_rounds;
 
   LOG (GNUNET_ERROR_TYPE_DEBUG,
        "Going to send PULL REQUEST to peer %s.\n",
-       GNUNET_i2s (peer));
+       GNUNET_i2s (&peer_ctx->peer_id));
 
   ev = GNUNET_MQ_msg_header (GNUNET_MESSAGE_TYPE_RPS_PP_PULL_REQUEST);
-  send_message (peer, ev, "PULL REQUEST");
-  GNUNET_STATISTICS_update(stats, "# pull request send issued", 1, GNUNET_NO);
+  send_message (peer_ctx,
+                ev,
+                "PULL REQUEST");
+  if (peer_ctx->sub)
+  {
+    GNUNET_STATISTICS_update (stats,
+                              "# pull request send issued",
+                              1,
+                              GNUNET_NO);
+    if (NULL != map_single_hop &&
+        GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (map_single_hop,
+                                                             &peer_ctx->peer_id))
+    {
+      GNUNET_STATISTICS_update (stats,
+                                "# pull request send issued (multi-hop peer)",
+                                1,
+                                GNUNET_NO);
+    }
+  }
 }
 
 
 /**
  * Send single push
  *
- * @param peer_id the peer to send the push to.
+ * @param peer_ctx Context of peer to send push to
  */
 static void
-send_push (const struct GNUNET_PeerIdentity *peer_id)
+send_push (struct PeerContext *peer_ctx)
 {
   struct GNUNET_MQ_Envelope *ev;
 
   LOG (GNUNET_ERROR_TYPE_DEBUG,
        "Going to send PUSH to peer %s.\n",
-       GNUNET_i2s (peer_id));
+       GNUNET_i2s (&peer_ctx->peer_id));
 
   ev = GNUNET_MQ_msg_header (GNUNET_MESSAGE_TYPE_RPS_PP_PUSH);
-  send_message (peer_id, ev, "PUSH");
-  GNUNET_STATISTICS_update(stats, "# push send issued", 1, GNUNET_NO);
+  send_message (peer_ctx, ev, "PUSH");
+  if (peer_ctx->sub)
+  {
+    GNUNET_STATISTICS_update (stats,
+                              "# push send issued",
+                              1,
+                              GNUNET_NO);
+    if (NULL != map_single_hop &&
+        GNUNET_NO == GNUNET_CONTAINER_multipeermap_contains (map_single_hop,
+                                                             &peer_ctx->peer_id))
+    {
+      GNUNET_STATISTICS_update (stats,
+                                "# push send issued (multi-hop peer)",
+                                1,
+                                GNUNET_NO);
+    }
+  }
 }
 
 
-static void
-do_round (void *cls);
-
-static void
-do_mal_round (void *cls);
-
-#ifdef ENABLE_MALICIOUS
+#if ENABLE_MALICIOUS
 
 
 /**
@@ -3200,7 +3963,9 @@ handle_client_act_malicious (void *cls,
   struct GNUNET_PeerIdentity *peers;
   uint32_t num_mal_peers_sent;
   uint32_t num_mal_peers_old;
+  struct Sub *sub = cli_ctx->sub;
 
+  if (NULL == sub) sub = msub;
   /* Do actual logic */
   peers = (struct GNUNET_PeerIdentity *) &msg[1];
   mal_type = ntohl (msg->type);
@@ -3231,8 +3996,9 @@ handle_client_act_malicious (void *cls,
                            mal_peer_set);
 
     /* Substitute do_round () with do_mal_round () */
-    GNUNET_SCHEDULER_cancel (do_round_task);
-    do_round_task = GNUNET_SCHEDULER_add_now (&do_mal_round, NULL);
+    GNUNET_assert (NULL != sub->do_round_task);
+    GNUNET_SCHEDULER_cancel (sub->do_round_task);
+    sub->do_round_task = GNUNET_SCHEDULER_add_now (&do_mal_round, sub);
   }
 
   else if ( (2 == mal_type) ||
@@ -3264,9 +4030,9 @@ handle_client_act_malicious (void *cls,
             &msg->attacked_peer,
             sizeof (struct GNUNET_PeerIdentity));
     /* Set the flag of the attacked peer to valid to avoid problems */
-    if (GNUNET_NO == check_peer_known (&attacked_peer))
+    if (GNUNET_NO == check_peer_known (sub->peer_map, &attacked_peer))
     {
-      (void) issue_peer_liveliness_check (&attacked_peer);
+      (void) issue_peer_online_check (sub, &attacked_peer);
     }
 
     LOG (GNUNET_ERROR_TYPE_DEBUG,
@@ -3274,16 +4040,20 @@ handle_client_act_malicious (void *cls,
          GNUNET_i2s (&attacked_peer));
 
     /* Substitute do_round () with do_mal_round () */
-    GNUNET_SCHEDULER_cancel (do_round_task);
-    do_round_task = GNUNET_SCHEDULER_add_now (&do_mal_round, NULL);
+    if (NULL != sub->do_round_task)
+    {
+      /* Probably in shutdown */
+      GNUNET_SCHEDULER_cancel (sub->do_round_task);
+      sub->do_round_task = GNUNET_SCHEDULER_add_now (&do_mal_round, sub);
+    }
   }
   else if (0 == mal_type)
   { /* Stop acting malicious */
     GNUNET_array_grow (mal_peers, num_mal_peers, 0);
 
     /* Substitute do_mal_round () with do_round () */
-    GNUNET_SCHEDULER_cancel (do_round_task);
-    do_round_task = GNUNET_SCHEDULER_add_now (&do_round, NULL);
+    GNUNET_SCHEDULER_cancel (sub->do_round_task);
+    sub->do_round_task = GNUNET_SCHEDULER_add_now (&do_round, sub);
   }
   else
   {
@@ -3298,6 +4068,8 @@ handle_client_act_malicious (void *cls,
  * Send out PUSHes and PULLs maliciously.
  *
  * This is executed regylary.
+ *
+ * @param cls Closure - Sub
  */
 static void
 do_mal_round (void *cls)
@@ -3306,12 +4078,12 @@ do_mal_round (void *cls)
   uint32_t i;
   struct GNUNET_TIME_Relative time_next_round;
   struct AttackedPeer *tmp_att_peer;
-  (void) cls;
+  struct Sub *sub = cls;
 
   LOG (GNUNET_ERROR_TYPE_DEBUG,
        "Going to execute next round maliciously type %" PRIu32 ".\n",
       mal_type);
-  do_round_task = NULL;
+  sub->do_round_task = NULL;
   GNUNET_assert (mal_type <= 3);
   /* Do malicious actions */
   if (1 == mal_type)
@@ -3334,7 +4106,7 @@ do_mal_round (void *cls)
       else
         att_peer_index = att_peer_index->next;
 
-      send_push (&att_peer_index->peer_id);
+      send_push (get_peer_ctx (sub->peer_map, &att_peer_index->peer_id));
     }
 
     /* Send PULLs to some peers to learn about additional peers to attack */
@@ -3346,7 +4118,7 @@ do_mal_round (void *cls)
       else
         att_peer_index = tmp_att_peer->next;
 
-      send_pull_request (&tmp_att_peer->peer_id);
+      send_pull_request (get_peer_ctx (sub->peer_map, &tmp_att_peer->peer_id));
     }
   }
 
@@ -3357,9 +4129,11 @@ do_mal_round (void *cls)
      * Send as many pushes to the attacked peer as possible
      * That is one push per round as it will ignore more.
      */
-    (void) issue_peer_liveliness_check (&attacked_peer);
-    if (GNUNET_YES == check_peer_flag (&attacked_peer, Peers_ONLINE))
-      send_push (&attacked_peer);
+    (void) issue_peer_online_check (sub, &attacked_peer);
+    if (GNUNET_YES == check_peer_flag (sub->peer_map,
+                                       &attacked_peer,
+                                       Peers_ONLINE))
+      send_push (get_peer_ctx (sub->peer_map, &attacked_peer));
   }
 
 
@@ -3367,18 +4141,20 @@ do_mal_round (void *cls)
   { /* Combined attack */
 
     /* Send PUSH to attacked peers */
-    if (GNUNET_YES == check_peer_known (&attacked_peer))
+    if (GNUNET_YES == check_peer_known (sub->peer_map, &attacked_peer))
     {
-      (void) issue_peer_liveliness_check (&attacked_peer);
-      if (GNUNET_YES == check_peer_flag (&attacked_peer, Peers_ONLINE))
+      (void) issue_peer_online_check (sub, &attacked_peer);
+      if (GNUNET_YES == check_peer_flag (sub->peer_map,
+                                         &attacked_peer,
+                                         Peers_ONLINE))
       {
         LOG (GNUNET_ERROR_TYPE_DEBUG,
             "Goding to send push to attacked peer (%s)\n",
             GNUNET_i2s (&attacked_peer));
-        send_push (&attacked_peer);
+        send_push (get_peer_ctx (sub->peer_map, &attacked_peer));
       }
     }
-    (void) issue_peer_liveliness_check (&attacked_peer);
+    (void) issue_peer_online_check (sub, &attacked_peer);
 
     /* The maximum of pushes we're going to send this round */
     num_pushes = GNUNET_MIN (GNUNET_MIN (push_limit - 1,
@@ -3396,7 +4172,7 @@ do_mal_round (void *cls)
       else
         att_peer_index = att_peer_index->next;
 
-      send_push (&att_peer_index->peer_id);
+      send_push (get_peer_ctx (sub->peer_map, &att_peer_index->peer_id));
     }
 
     /* Send PULLs to some peers to learn about additional peers to attack */
@@ -3408,26 +4184,27 @@ do_mal_round (void *cls)
       else
         att_peer_index = tmp_att_peer->next;
 
-      send_pull_request (&tmp_att_peer->peer_id);
+      send_pull_request (get_peer_ctx (sub->peer_map, &tmp_att_peer->peer_id));
     }
   }
 
   /* Schedule next round */
-  time_next_round = compute_rand_delay (round_interval, 2);
+  time_next_round = compute_rand_delay (sub->round_interval, 2);
 
-  //do_round_task = GNUNET_SCHEDULER_add_delayed (round_interval, &do_mal_round,
-  //NULL);
-  GNUNET_assert (NULL == do_round_task);
-  do_round_task = GNUNET_SCHEDULER_add_delayed (time_next_round,
-                                               &do_mal_round, NULL);
+  GNUNET_assert (NULL == sub->do_round_task);
+  sub->do_round_task = GNUNET_SCHEDULER_add_delayed (time_next_round,
+                                                    &do_mal_round, sub);
   LOG (GNUNET_ERROR_TYPE_DEBUG, "Finished round\n");
 }
 #endif /* ENABLE_MALICIOUS */
 
+
 /**
  * Send out PUSHes and PULLs, possibly update #view, samplers.
  *
  * This is executed regylary.
+ *
+ * @param cls Closure - Sub
  */
 static void
 do_round (void *cls)
@@ -3441,64 +4218,72 @@ do_round (void *cls)
   uint32_t second_border;
   struct GNUNET_PeerIdentity peer;
   struct GNUNET_PeerIdentity *update_peer;
-  (void) cls;
+  struct Sub *sub = cls;
 
+  sub->num_rounds++;
   LOG (GNUNET_ERROR_TYPE_DEBUG,
        "Going to execute next round.\n");
-  GNUNET_STATISTICS_update(stats, "# rounds", 1, GNUNET_NO);
-  do_round_task = NULL;
-  LOG (GNUNET_ERROR_TYPE_DEBUG,
-       "Printing view:\n");
-  to_file (file_name_view_log,
+  if (sub == msub)
+  {
+    GNUNET_STATISTICS_update (stats, "# rounds", 1, GNUNET_NO);
+  }
+  sub->do_round_task = NULL;
+#ifdef TO_FILE_FULL
+  to_file (sub->file_name_view_log,
            "___ new round ___");
-  view_array = View_get_as_array ();
-  for (i = 0; i < View_size (); i++)
+#endif /* TO_FILE_FULL */
+  view_array = View_get_as_array (sub->view);
+  for (i = 0; i < View_size (sub->view); i++)
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG,
          "\t%s\n", GNUNET_i2s (&view_array[i]));
-    to_file (file_name_view_log,
+#ifdef TO_FILE_FULL
+    to_file (sub->file_name_view_log,
              "=%s\t(do round)",
              GNUNET_i2s_full (&view_array[i]));
+#endif /* TO_FILE_FULL */
   }
 
 
   /* Send pushes and pull requests */
-  if (0 < View_size ())
+  if (0 < View_size (sub->view))
   {
     permut = GNUNET_CRYPTO_random_permute (GNUNET_CRYPTO_QUALITY_STRONG,
-                                           View_size ());
+                                           View_size (sub->view));
 
     /* Send PUSHes */
-    a_peers = ceil (alpha * View_size ());
+    a_peers = ceil (alpha * View_size (sub->view));
 
     LOG (GNUNET_ERROR_TYPE_DEBUG,
          "Going to send pushes to %u (ceil (%f * %u)) peers.\n",
-         a_peers, alpha, View_size ());
+         a_peers, alpha, View_size (sub->view));
     for (i = 0; i < a_peers; i++)
     {
       peer = view_array[permut[i]];
       // FIXME if this fails schedule/loop this for later
-      send_push (&peer);
+      send_push (get_peer_ctx (sub->peer_map, &peer));
     }
 
     /* Send PULL requests */
-    b_peers = ceil (beta * View_size ());
+    b_peers = ceil (beta * View_size (sub->view));
     first_border = a_peers;
     second_border = a_peers + b_peers;
-    if (second_border > View_size ())
+    if (second_border > View_size (sub->view))
     {
-      first_border = View_size () - b_peers;
-      second_border = View_size ();
+      first_border = View_size (sub->view) - b_peers;
+      second_border = View_size (sub->view);
     }
     LOG (GNUNET_ERROR_TYPE_DEBUG,
         "Going to send pulls to %u (ceil (%f * %u)) peers.\n",
-        b_peers, beta, View_size ());
+        b_peers, beta, View_size (sub->view));
     for (i = first_border; i < second_border; i++)
     {
       peer = view_array[permut[i]];
-      if ( GNUNET_NO == check_peer_flag (&peer, Peers_PULL_REPLY_PENDING))
+      if ( GNUNET_NO == check_peer_flag (sub->peer_map,
+                                         &peer,
+                                         Peers_PULL_REPLY_PENDING))
       { // FIXME if this fails schedule/loop this for later
-        send_pull_request (&peer);
+        send_pull_request (get_peer_ctx (sub->peer_map, &peer));
       }
     }
 
@@ -3510,10 +4295,9 @@ do_round (void *cls)
   /* Update view */
   /* TODO see how many peers are in push-/pull- list! */
 
-  if ((CustomPeerMap_size (push_map) <= alpha * view_size_est_need) &&
-      (0 < CustomPeerMap_size (push_map)) &&
-      (0 < CustomPeerMap_size (pull_map)))
-  //if (GNUNET_YES) // disable blocking temporarily
+  if ((CustomPeerMap_size (sub->push_map) <= alpha * sub->view_size_est_need) &&
+      (0 < CustomPeerMap_size (sub->push_map)) &&
+      (0 < CustomPeerMap_size (sub->pull_map)))
   { /* If conditions for update are fulfilled, update */
     LOG (GNUNET_ERROR_TYPE_DEBUG, "Update of the view.\n");
 
@@ -3523,23 +4307,27 @@ do_round (void *cls)
 
     peers_to_clean = NULL;
     peers_to_clean_size = 0;
-    GNUNET_array_grow (peers_to_clean, peers_to_clean_size, View_size ());
+    GNUNET_array_grow (peers_to_clean,
+                       peers_to_clean_size,
+                       View_size (sub->view));
     GNUNET_memcpy (peers_to_clean,
             view_array,
-            View_size () * sizeof (struct GNUNET_PeerIdentity));
+            View_size (sub->view) * sizeof (struct GNUNET_PeerIdentity));
 
     /* Seems like recreating is the easiest way of emptying the peermap */
-    View_clear ();
-    to_file (file_name_view_log,
+    View_clear (sub->view);
+#ifdef TO_FILE_FULL
+    to_file (sub->file_name_view_log,
              "--- emptied ---");
+#endif /* TO_FILE_FULL */
 
-    first_border  = GNUNET_MIN (ceil (alpha * view_size_est_need),
-                                CustomPeerMap_size (push_map));
+    first_border  = GNUNET_MIN (ceil (alpha * sub->view_size_est_need),
+                                CustomPeerMap_size (sub->push_map));
     second_border = first_border +
-                    GNUNET_MIN (floor (beta  * view_size_est_need),
-                                CustomPeerMap_size (pull_map));
+                    GNUNET_MIN (floor (beta  * sub->view_size_est_need),
+                                CustomPeerMap_size (sub->pull_map));
     final_size    = second_border +
-      ceil ((1 - (alpha + beta)) * view_size_est_need);
+      ceil ((1 - (alpha + beta)) * sub->view_size_est_need);
     LOG (GNUNET_ERROR_TYPE_DEBUG,
         "first border: %" PRIu32 ", second border: %" PRIu32 ", final size: %"PRIu32 "\n",
         first_border,
@@ -3548,20 +4336,24 @@ do_round (void *cls)
 
     /* Update view with peers received through PUSHes */
     permut = GNUNET_CRYPTO_random_permute (GNUNET_CRYPTO_QUALITY_STRONG,
-                                           CustomPeerMap_size (push_map));
+                                           CustomPeerMap_size (sub->push_map));
     for (i = 0; i < first_border; i++)
     {
       int inserted;
-      inserted = insert_in_view (CustomPeerMap_get_peer_by_index (push_map,
+      inserted = insert_in_view (sub,
+                                 CustomPeerMap_get_peer_by_index (sub->push_map,
                                                                   permut[i]));
       if (GNUNET_OK == inserted)
       {
-        clients_notify_stream_peer (1,
-            CustomPeerMap_get_peer_by_index (push_map, permut[i]));
+        clients_notify_stream_peer (sub,
+            1,
+            CustomPeerMap_get_peer_by_index (sub->push_map, permut[i]));
       }
-      to_file (file_name_view_log,
+#ifdef TO_FILE_FULL
+      to_file (sub->file_name_view_log,
                "+%s\t(push list)",
                GNUNET_i2s_full (&view_array[i]));
+#endif /* TO_FILE_FULL */
       // TODO change the peer_flags accordingly
     }
     GNUNET_free (permut);
@@ -3569,127 +4361,165 @@ do_round (void *cls)
 
     /* Update view with peers received through PULLs */
     permut = GNUNET_CRYPTO_random_permute (GNUNET_CRYPTO_QUALITY_STRONG,
-                                           CustomPeerMap_size (pull_map));
+                                           CustomPeerMap_size (sub->pull_map));
     for (i = first_border; i < second_border; i++)
     {
       int inserted;
-      inserted = insert_in_view (CustomPeerMap_get_peer_by_index (pull_map,
-            permut[i - first_border]));
+      inserted = insert_in_view (sub,
+          CustomPeerMap_get_peer_by_index (sub->pull_map,
+                                           permut[i - first_border]));
       if (GNUNET_OK == inserted)
       {
-        clients_notify_stream_peer (1,
-            CustomPeerMap_get_peer_by_index (pull_map,
+        clients_notify_stream_peer (sub,
+            1,
+            CustomPeerMap_get_peer_by_index (sub->pull_map,
                                              permut[i - first_border]));
       }
-      to_file (file_name_view_log,
+#ifdef TO_FILE_FULL
+      to_file (sub->file_name_view_log,
                "+%s\t(pull list)",
                GNUNET_i2s_full (&view_array[i]));
+#endif /* TO_FILE_FULL */
       // TODO change the peer_flags accordingly
     }
     GNUNET_free (permut);
     permut = NULL;
 
     /* Update view with peers from history */
-    RPS_sampler_get_n_rand_peers (prot_sampler,
+    RPS_sampler_get_n_rand_peers (sub->sampler,
                                   final_size - second_border,
                                   hist_update,
-                                  NULL);
+                                  sub);
     // TODO change the peer_flags accordingly
 
-    for (i = 0; i < View_size (); i++)
+    for (i = 0; i < View_size (sub->view); i++)
       rem_from_list (&peers_to_clean, &peers_to_clean_size, &view_array[i]);
 
     /* Clean peers that were removed from the view */
     for (i = 0; i < peers_to_clean_size; i++)
     {
-      to_file (file_name_view_log,
+#ifdef TO_FILE_FULL
+      to_file (sub->file_name_view_log,
                "-%s",
                GNUNET_i2s_full (&peers_to_clean[i]));
-      clean_peer (&peers_to_clean[i]);
+#endif /* TO_FILE_FULL */
+      clean_peer (sub, &peers_to_clean[i]);
     }
 
     GNUNET_array_grow (peers_to_clean, peers_to_clean_size, 0);
-    clients_notify_view_update();
+    clients_notify_view_update (sub);
   } else {
     LOG (GNUNET_ERROR_TYPE_DEBUG, "No update of the view.\n");
-    GNUNET_STATISTICS_update(stats, "# rounds blocked", 1, GNUNET_NO);
-    if (CustomPeerMap_size (push_map) > alpha * View_size () &&
-        !(0 >= CustomPeerMap_size (pull_map)))
-      GNUNET_STATISTICS_update(stats, "# rounds blocked - too many pushes", 1, GNUNET_NO);
-    if (CustomPeerMap_size (push_map) > alpha * View_size () &&
-        (0 >= CustomPeerMap_size (pull_map)))
-      GNUNET_STATISTICS_update(stats, "# rounds blocked - too many pushes, no pull replies", 1, GNUNET_NO);
-    if (0 >= CustomPeerMap_size (push_map) &&
-        !(0 >= CustomPeerMap_size (pull_map)))
-      GNUNET_STATISTICS_update(stats, "# rounds blocked - no pushes", 1, GNUNET_NO);
-    if (0 >= CustomPeerMap_size (push_map) &&
-        (0 >= CustomPeerMap_size (pull_map)))
-      GNUNET_STATISTICS_update(stats, "# rounds blocked - no pushes, no pull replies", 1, GNUNET_NO);
-    if (0 >= CustomPeerMap_size (pull_map) &&
-        CustomPeerMap_size (push_map) > alpha * View_size () &&
-        0 >= CustomPeerMap_size (push_map))
-      GNUNET_STATISTICS_update(stats, "# rounds blocked - no pull replies", 1, GNUNET_NO);
+    if (sub == msub)
+    {
+      GNUNET_STATISTICS_update(stats, "# rounds blocked", 1, GNUNET_NO);
+      if (CustomPeerMap_size (sub->push_map) > alpha * sub->view_size_est_need &&
+          !(0 >= CustomPeerMap_size (sub->pull_map)))
+        GNUNET_STATISTICS_update(stats, "# rounds blocked - too many pushes", 1, GNUNET_NO);
+      if (CustomPeerMap_size (sub->push_map) > alpha * sub->view_size_est_need &&
+          (0 >= CustomPeerMap_size (sub->pull_map)))
+        GNUNET_STATISTICS_update(stats, "# rounds blocked - too many pushes, no pull replies", 1, GNUNET_NO);
+      if (0 >= CustomPeerMap_size (sub->push_map) &&
+          !(0 >= CustomPeerMap_size (sub->pull_map)))
+        GNUNET_STATISTICS_update(stats, "# rounds blocked - no pushes", 1, GNUNET_NO);
+      if (0 >= CustomPeerMap_size (sub->push_map) &&
+          (0 >= CustomPeerMap_size (sub->pull_map)))
+        GNUNET_STATISTICS_update(stats, "# rounds blocked - no pushes, no pull replies", 1, GNUNET_NO);
+      if (0 >= CustomPeerMap_size (sub->pull_map) &&
+          CustomPeerMap_size (sub->push_map) > alpha * sub->view_size_est_need &&
+          0 >= CustomPeerMap_size (sub->push_map))
+        GNUNET_STATISTICS_update(stats, "# rounds blocked - no pull replies", 1, GNUNET_NO);
+    }
   }
   // TODO independent of that also get some peers from CADET_get_peers()?
-  GNUNET_STATISTICS_set (stats,
-      "# peers in push map at end of round",
-      CustomPeerMap_size (push_map),
-      GNUNET_NO);
-  GNUNET_STATISTICS_set (stats,
-      "# peers in pull map at end of round",
-      CustomPeerMap_size (pull_map),
-      GNUNET_NO);
-  GNUNET_STATISTICS_set (stats,
-      "# peers in view at end of round",
-      View_size (),
-      GNUNET_NO);
+  if (CustomPeerMap_size (sub->push_map) < HISTOGRAM_FILE_SLOTS)
+  {
+    sub->push_recv[CustomPeerMap_size (sub->push_map)]++;
+  }
+  else
+  {
+    LOG (GNUNET_ERROR_TYPE_WARNING,
+         "Push map size too big for histogram (%u, %u)\n",
+         CustomPeerMap_size (sub->push_map),
+         HISTOGRAM_FILE_SLOTS);
+  }
+  // FIXME check bounds of histogram
+  sub->push_delta[(int32_t) (CustomPeerMap_size (sub->push_map) -
+                   (alpha * sub->view_size_est_need)) +
+                          (HISTOGRAM_FILE_SLOTS/2)]++;
+  if (sub == msub)
+  {
+    GNUNET_STATISTICS_set (stats,
+        "# peers in push map at end of round",
+        CustomPeerMap_size (sub->push_map),
+        GNUNET_NO);
+    GNUNET_STATISTICS_set (stats,
+        "# peers in pull map at end of round",
+        CustomPeerMap_size (sub->pull_map),
+        GNUNET_NO);
+    GNUNET_STATISTICS_set (stats,
+        "# peers in view at end of round",
+        View_size (sub->view),
+        GNUNET_NO);
+    GNUNET_STATISTICS_set (stats,
+        "# expected pushes",
+        alpha * sub->view_size_est_need,
+        GNUNET_NO);
+    GNUNET_STATISTICS_set (stats,
+        "delta expected - received pushes",
+        CustomPeerMap_size (sub->push_map) - (alpha * sub->view_size_est_need),
+        GNUNET_NO);
+  }
 
   LOG (GNUNET_ERROR_TYPE_DEBUG,
-       "Received %u pushes and %u pulls last round (alpha (%.2f) * view_size (%u) = %.2f)\n",
-       CustomPeerMap_size (push_map),
-       CustomPeerMap_size (pull_map),
+       "Received %u pushes and %u pulls last round (alpha (%.2f) * view_size (sub->view%u) = %.2f)\n",
+       CustomPeerMap_size (sub->push_map),
+       CustomPeerMap_size (sub->pull_map),
        alpha,
-       View_size (),
-       alpha * View_size ());
+       View_size (sub->view),
+       alpha * View_size (sub->view));
 
   /* Update samplers */
-  for (i = 0; i < CustomPeerMap_size (push_map); i++)
+  for (i = 0; i < CustomPeerMap_size (sub->push_map); i++)
   {
-    update_peer = CustomPeerMap_get_peer_by_index (push_map, i);
+    update_peer = CustomPeerMap_get_peer_by_index (sub->push_map, i);
     LOG (GNUNET_ERROR_TYPE_DEBUG,
          "Updating with peer %s from push list\n",
          GNUNET_i2s (update_peer));
-    insert_in_sampler (NULL, update_peer);
-    clean_peer (update_peer); /* This cleans only if it is not in the view */
+    insert_in_sampler (sub, update_peer);
+    clean_peer (sub, update_peer); /* This cleans only if it is not in the view */
   }
 
-  for (i = 0; i < CustomPeerMap_size (pull_map); i++)
+  for (i = 0; i < CustomPeerMap_size (sub->pull_map); i++)
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG,
          "Updating with peer %s from pull list\n",
-         GNUNET_i2s (CustomPeerMap_get_peer_by_index (pull_map, i)));
-    insert_in_sampler (NULL, CustomPeerMap_get_peer_by_index (pull_map, i));
+         GNUNET_i2s (CustomPeerMap_get_peer_by_index (sub->pull_map, i)));
+    insert_in_sampler (sub, CustomPeerMap_get_peer_by_index (sub->pull_map, i));
     /* This cleans only if it is not in the view */
-    clean_peer (CustomPeerMap_get_peer_by_index (pull_map, i));
+    clean_peer (sub, CustomPeerMap_get_peer_by_index (sub->pull_map, i));
   }
 
 
   /* Empty push/pull lists */
-  CustomPeerMap_clear (push_map);
-  CustomPeerMap_clear (pull_map);
+  CustomPeerMap_clear (sub->push_map);
+  CustomPeerMap_clear (sub->pull_map);
 
-  GNUNET_STATISTICS_set (stats,
-                         "view size",
-                         View_size(),
-                         GNUNET_NO);
+  if (sub == msub)
+  {
+    GNUNET_STATISTICS_set (stats,
+                           "view size",
+                           View_size(sub->view),
+                           GNUNET_NO);
+  }
 
   struct GNUNET_TIME_Relative time_next_round;
 
-  time_next_round = compute_rand_delay (round_interval, 2);
+  time_next_round = compute_rand_delay (sub->round_interval, 2);
 
   /* Schedule next round */
-  do_round_task = GNUNET_SCHEDULER_add_delayed (time_next_round,
-                                               &do_round, NULL);
+  sub->do_round_task = GNUNET_SCHEDULER_add_delayed (time_next_round,
+                                                     &do_round, sub);
   LOG (GNUNET_ERROR_TYPE_DEBUG, "Finished round\n");
 }
 
@@ -3699,16 +4529,25 @@ do_round (void *cls)
  *
  * It is called on every peer(ID) that cadet somehow has contact with.
  * We use those to initialise the sampler.
+ *
+ * implements #GNUNET_CADET_PeersCB
+ *
+ * @param cls Closure - Sub
+ * @param peer Peer, or NULL on "EOF".
+ * @param tunnel Do we have a tunnel towards this peer?
+ * @param n_paths Number of known paths towards this peer.
+ * @param best_path How long is the best path?
+ *                  (0 = unknown, 1 = ourselves, 2 = neighbor)
  */
 void
 init_peer_cb (void *cls,
               const struct GNUNET_PeerIdentity *peer,
-              int tunnel, // "Do we have a tunnel towards this peer?"
-              unsigned int n_paths, // "Number of known paths towards this peer"
-              unsigned int best_path) // "How long is the best path?
-                                      // (0 = unknown, 1 = ourselves, 2 = neighbor)"
+              int tunnel, /* "Do we have a tunnel towards this peer?" */
+              unsigned int n_paths, /* "Number of known paths towards this peer" */
+              unsigned int best_path) /* "How long is the best path?
+                                       * (0 = unknown, 1 = ourselves, 2 = neighbor)" */
 {
-  (void) cls;
+  struct Sub *sub = cls;
   (void) tunnel;
   (void) n_paths;
   (void) best_path;
@@ -3718,16 +4557,17 @@ init_peer_cb (void *cls,
     LOG (GNUNET_ERROR_TYPE_DEBUG,
          "Got peer_id %s from cadet\n",
          GNUNET_i2s (peer));
-    got_peer (peer);
+    got_peer (sub, peer);
   }
 }
 
+
 /**
  * @brief Iterator function over stored, valid peers.
  *
  * We initialise the sampler with those.
  *
- * @param cls the closure
+ * @param cls Closure - Sub
  * @param peer the peer id
  * @return #GNUNET_YES if we should continue to
  *         iterate,
@@ -3737,14 +4577,14 @@ static int
 valid_peers_iterator (void *cls,
                       const struct GNUNET_PeerIdentity *peer)
 {
-  (void) cls;
+  struct Sub *sub = cls;
 
   if (NULL != peer)
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG,
          "Got stored, valid peer %s\n",
          GNUNET_i2s (peer));
-    got_peer (peer);
+    got_peer (sub, peer);
   }
   return GNUNET_YES;
 }
@@ -3753,7 +4593,7 @@ valid_peers_iterator (void *cls,
 /**
  * Iterator over peers from peerinfo.
  *
- * @param cls closure
+ * @param cls Closure - Sub
  * @param peer id of the peer, NULL for last call
  * @param hello hello message for the peer (can be NULL)
  * @param error message
@@ -3764,7 +4604,7 @@ process_peerinfo_peers (void *cls,
                         const struct GNUNET_HELLO_Message *hello,
                         const char *err_msg)
 {
-  (void) cls;
+  struct Sub *sub = cls;
   (void) hello;
   (void) err_msg;
 
@@ -3773,7 +4613,7 @@ process_peerinfo_peers (void *cls,
     LOG (GNUNET_ERROR_TYPE_DEBUG,
          "Got peer_id %s from peerinfo\n",
          GNUNET_i2s (peer));
-    got_peer (peer);
+    got_peer (sub, peer);
   }
 }
 
@@ -3781,77 +4621,58 @@ process_peerinfo_peers (void *cls,
 /**
  * Task run during shutdown.
  *
- * @param cls unused
+ * @param cls Closure - unused
  */
 static void
 shutdown_task (void *cls)
 {
-  struct ClientContext *client_ctx;
-  struct ReplyCls *reply_cls;
   (void) cls;
-
-  in_shutdown = GNUNET_YES;
+  struct ClientContext *client_ctx;
 
   LOG (GNUNET_ERROR_TYPE_DEBUG,
-       "RPS is going down\n");
+       "RPS service is going down\n");
 
   /* Clean all clients */
   for (client_ctx = cli_ctx_head;
        NULL != cli_ctx_head;
        client_ctx = cli_ctx_head)
   {
-    /* Clean pending requests to the sampler */
-    for (reply_cls = client_ctx->rep_cls_head;
-         NULL != client_ctx->rep_cls_head;
-         reply_cls = client_ctx->rep_cls_head)
-    {
-      RPS_sampler_request_cancel (reply_cls->req_handle);
-      GNUNET_CONTAINER_DLL_remove (client_ctx->rep_cls_head,
-                                   client_ctx->rep_cls_tail,
-                                   reply_cls);
-      GNUNET_free (reply_cls);
-    }
-    GNUNET_CONTAINER_DLL_remove (cli_ctx_head,
-                                 cli_ctx_tail,
-                                 client_ctx);
-    GNUNET_free (client_ctx);
+    destroy_cli_ctx (client_ctx);
+  }
+  if (NULL != msub)
+  {
+    destroy_sub (msub);
+    msub = NULL;
   }
+
+  /* Disconnect from other services */
   GNUNET_PEERINFO_notify_cancel (peerinfo_notify_handle);
   GNUNET_PEERINFO_disconnect (peerinfo_handle);
   peerinfo_handle = NULL;
-  if (NULL != do_round_task)
+  GNUNET_NSE_disconnect (nse);
+  if (NULL != map_single_hop)
   {
-    GNUNET_SCHEDULER_cancel (do_round_task);
-    do_round_task = NULL;
+    /* core_init was called - core was initialised */
+    /* disconnect first, so no callback tries to access missing peermap */
+    GNUNET_CORE_disconnect (core_handle);
+    core_handle = NULL;
+    GNUNET_CONTAINER_multipeermap_destroy (map_single_hop);
+    map_single_hop = NULL;
   }
 
-  peers_terminate ();
-
-  GNUNET_NSE_disconnect (nse);
-  RPS_sampler_destroy (prot_sampler);
-  GNUNET_CADET_close_port (cadet_port);
-  GNUNET_CADET_disconnect (cadet_handle);
-  cadet_handle = NULL;
-  View_destroy ();
-  CustomPeerMap_destroy (push_map);
-  CustomPeerMap_destroy (pull_map);
   if (NULL != stats)
   {
     GNUNET_STATISTICS_destroy (stats,
-                              GNUNET_NO);
+                               GNUNET_NO);
     stats = NULL;
   }
-#ifdef ENABLE_MALICIOUS
+  GNUNET_CADET_disconnect (cadet_handle);
+  cadet_handle = NULL;
+#if ENABLE_MALICIOUS
   struct AttackedPeer *tmp_att_peer;
-  /* it is ok to free this const during shutdown: */
-  GNUNET_free ((char *) file_name_view_log);
-#ifdef TO_FILE
-  GNUNET_free ((char *) file_name_observed_log);
-  GNUNET_CONTAINER_multipeermap_destroy (observed_unique_peers);
-#endif /* TO_FILE */
   GNUNET_array_grow (mal_peers,
-                    num_mal_peers,
-                    0);
+                     num_mal_peers,
+                     0);
   if (NULL != mal_peer_set)
     GNUNET_CONTAINER_multipeermap_destroy (mal_peer_set);
   if (NULL != att_peer_set)
@@ -3860,18 +4681,19 @@ shutdown_task (void *cls)
   {
     tmp_att_peer = att_peers_head;
     GNUNET_CONTAINER_DLL_remove (att_peers_head,
-                                att_peers_tail,
-                                tmp_att_peer);
+                                 att_peers_tail,
+                                 tmp_att_peer);
     GNUNET_free (tmp_att_peer);
   }
 #endif /* ENABLE_MALICIOUS */
+  close_all_files();
 }
 
 
 /**
  * Handle client connecting to the service.
  *
- * @param cls NULL
+ * @param cls unused
  * @param client the new client
  * @param mq the message queue of @a client
  * @return @a client
@@ -3941,21 +4763,25 @@ run (void *cls,
      const struct GNUNET_CONFIGURATION_Handle *c,
      struct GNUNET_SERVICE_Handle *service)
 {
-  char *fn_valid_peers;
+  struct GNUNET_TIME_Relative round_interval;
+  long long unsigned int sampler_size;
+  char hash_port_string[] = GNUNET_APPLICATION_PORT_RPS;
+  struct GNUNET_HashCode hash;
 
   (void) cls;
   (void) service;
+
   GNUNET_log_setup ("rps",
-                   GNUNET_error_type_to_string (GNUNET_ERROR_TYPE_DEBUG),
-                   NULL);
+                    GNUNET_error_type_to_string (GNUNET_ERROR_TYPE_DEBUG),
+                    NULL);
   cfg = c;
   /* Get own ID */
   GNUNET_CRYPTO_get_peer_identity (cfg,
-                                  &own_identity); // TODO check return value
+                                   &own_identity); // TODO check return value
   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
               "STARTING SERVICE (rps) for peer [%s]\n",
               GNUNET_i2s (&own_identity));
-#ifdef ENABLE_MALICIOUS
+#if ENABLE_MALICIOUS
   GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
               "Malicious execution compiled in.\n");
 #endif /* ENABLE_MALICIOUS */
@@ -3963,9 +4789,9 @@ run (void *cls,
   /* Get time interval from the configuration */
   if (GNUNET_OK !=
       GNUNET_CONFIGURATION_get_value_time (cfg,
-                                          "RPS",
-                                          "ROUNDINTERVAL",
-                                          &round_interval))
+                                           "RPS",
+                                           "ROUNDINTERVAL",
+                                           &round_interval))
   {
     GNUNET_log_config_missing (GNUNET_ERROR_TYPE_ERROR,
                                "RPS", "ROUNDINTERVAL");
@@ -3975,128 +4801,62 @@ run (void *cls,
 
   /* Get initial size of sampler/view from the configuration */
   if (GNUNET_OK !=
-      GNUNET_CONFIGURATION_get_value_number (cfg, "RPS", "MINSIZE",
-        (long long unsigned int *) &sampler_size_est_min))
+      GNUNET_CONFIGURATION_get_value_number (cfg,
+                                             "RPS",
+                                             "MINSIZE",
+                                             &sampler_size))
   {
     GNUNET_log_config_missing (GNUNET_ERROR_TYPE_ERROR,
                                "RPS", "MINSIZE");
     GNUNET_SCHEDULER_shutdown ();
     return;
   }
-  sampler_size_est_need = sampler_size_est_min;
-  view_size_est_min = sampler_size_est_min;
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "MINSIZE is %u\n", sampler_size_est_min);
-
-  if (GNUNET_OK !=
-      GNUNET_CONFIGURATION_get_value_filename (cfg,
-                                               "rps",
-                                               "FILENAME_VALID_PEERS",
-                                               &fn_valid_peers))
-  {
-    GNUNET_log_config_missing (GNUNET_ERROR_TYPE_ERROR,
-                              "rps", "FILENAME_VALID_PEERS");
-  }
-
-
-  View_create (view_size_est_min);
-  GNUNET_STATISTICS_set (stats, "view size aim", view_size_est_min, GNUNET_NO);
-
-  /* file_name_view_log */
-  file_name_view_log = store_prefix_file_name (&own_identity, "view");
-  #ifdef TO_FILE
-  file_name_observed_log = store_prefix_file_name (&own_identity, "observed");
-  observed_unique_peers = GNUNET_CONTAINER_multipeermap_create (1, GNUNET_NO);
-  #endif /* TO_FILE */
 
-  /* connect to NSE */
-  nse = GNUNET_NSE_connect (cfg, nse_callback, NULL);
+  cadet_handle = GNUNET_CADET_connect (cfg);
+  GNUNET_assert (NULL != cadet_handle);
+  core_handle = GNUNET_CORE_connect (cfg,
+                                     NULL, /* cls */
+                                     core_init, /* init */
+                                     core_connects, /* connects */
+                                     core_disconnects, /* disconnects */
+                                     NULL); /* handlers */
+  GNUNET_assert (NULL != core_handle);
 
 
   alpha = 0.45;
   beta  = 0.45;
 
 
-  /* Initialise cadet */
-  /* There exists a copy-paste-clone in get_channel() */
-  struct GNUNET_MQ_MessageHandler cadet_handlers[] = {
-    GNUNET_MQ_hd_fixed_size (peer_check,
-                             GNUNET_MESSAGE_TYPE_RPS_PP_CHECK_LIVE,
-                             struct GNUNET_MessageHeader,
-                             NULL),
-    GNUNET_MQ_hd_fixed_size (peer_push,
-                             GNUNET_MESSAGE_TYPE_RPS_PP_PUSH,
-                             struct GNUNET_MessageHeader,
-                             NULL),
-    GNUNET_MQ_hd_fixed_size (peer_pull_request,
-                             GNUNET_MESSAGE_TYPE_RPS_PP_PULL_REQUEST,
-                             struct GNUNET_MessageHeader,
-                             NULL),
-    GNUNET_MQ_hd_var_size (peer_pull_reply,
-                           GNUNET_MESSAGE_TYPE_RPS_PP_PULL_REPLY,
-                           struct GNUNET_RPS_P2P_PullReplyMessage,
-                           NULL),
-    GNUNET_MQ_handler_end ()
-  };
-
-  cadet_handle = GNUNET_CADET_connect (cfg);
-  GNUNET_assert (NULL != cadet_handle);
-  GNUNET_CRYPTO_hash (GNUNET_APPLICATION_PORT_RPS,
-                      strlen (GNUNET_APPLICATION_PORT_RPS),
-                      &port);
-  cadet_port = GNUNET_CADET_open_port (cadet_handle,
-                                       &port,
-                                       &handle_inbound_channel, /* Connect handler */
-                                       NULL, /* cls */
-                                       NULL, /* WindowSize handler */
-                                       &cleanup_destroyed_channel, /* Disconnect handler */
-                                       cadet_handlers);
-  if (NULL == cadet_port)
-  {
-    LOG (GNUNET_ERROR_TYPE_ERROR,
-        "Cadet port `%s' is already in use.\n",
-        GNUNET_APPLICATION_PORT_RPS);
-    GNUNET_assert (0);
-  }
+  /* Set up main Sub */
+  GNUNET_CRYPTO_hash (hash_port_string,
+                      strlen (hash_port_string),
+                      &hash);
+  msub = new_sub (&hash,
+                 sampler_size, /* Will be overwritten by config */
+                 round_interval);
 
 
   peerinfo_handle = GNUNET_PEERINFO_connect (cfg);
-  initialise_peers (fn_valid_peers, cadet_handle);
-  GNUNET_free (fn_valid_peers);
-
-  /* Initialise sampler */
-  struct GNUNET_TIME_Relative half_round_interval;
-  struct GNUNET_TIME_Relative  max_round_interval;
-
-  half_round_interval = GNUNET_TIME_relative_divide (round_interval, 2);
-  max_round_interval = GNUNET_TIME_relative_add (round_interval, half_round_interval);
-
-  prot_sampler =   RPS_sampler_init     (sampler_size_est_need, max_round_interval);
-
-  /* Initialise push and pull maps */
-  push_map = CustomPeerMap_create (4);
-  pull_map = CustomPeerMap_create (4);
 
+  /* connect to NSE */
+  nse = GNUNET_NSE_connect (cfg, nse_callback, NULL);
 
   //LOG (GNUNET_ERROR_TYPE_DEBUG, "Requesting peers from CADET\n");
-  //GNUNET_CADET_get_peers (cadet_handle, &init_peer_cb, NULL);
+  //GNUNET_CADET_get_peers (cadet_handle, &init_peer_cb, msub);
   // TODO send push/pull to each of those peers?
-  // TODO read stored valid peers from last run
   LOG (GNUNET_ERROR_TYPE_DEBUG, "Requesting stored valid peers\n");
-  get_valid_peers (valid_peers_iterator, NULL);
+  restore_valid_peers (msub);
+  get_valid_peers (msub->valid_peers, valid_peers_iterator, msub);
 
   peerinfo_notify_handle = GNUNET_PEERINFO_notify (cfg,
                                                    GNUNET_NO,
                                                    process_peerinfo_peers,
-                                                   NULL);
+                                                   msub);
 
   LOG (GNUNET_ERROR_TYPE_INFO, "Ready to receive requests from clients\n");
 
-  do_round_task = GNUNET_SCHEDULER_add_now (&do_round, NULL);
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "Scheduled first round\n");
-
   GNUNET_SCHEDULER_add_shutdown (&shutdown_task, NULL);
   stats = GNUNET_STATISTICS_create ("rps", cfg);
-
 }
 
 
@@ -4114,7 +4874,7 @@ GNUNET_SERVICE_MAIN
    GNUNET_MESSAGE_TYPE_RPS_CS_SEED,
    struct GNUNET_RPS_CS_SeedMessage,
    NULL),
-#ifdef ENABLE_MALICIOUS
+#if ENABLE_MALICIOUS
  GNUNET_MQ_hd_var_size (client_act_malicious,
    GNUNET_MESSAGE_TYPE_RPS_ACT_MALICIOUS,
    struct GNUNET_RPS_CS_ActMaliciousMessage,
@@ -4124,10 +4884,26 @@ GNUNET_SERVICE_MAIN
    GNUNET_MESSAGE_TYPE_RPS_CS_DEBUG_VIEW_REQUEST,
    struct GNUNET_RPS_CS_DEBUG_ViewRequest,
    NULL),
+ GNUNET_MQ_hd_fixed_size (client_view_cancel,
+   GNUNET_MESSAGE_TYPE_RPS_CS_DEBUG_VIEW_CANCEL,
+   struct GNUNET_MessageHeader,
+   NULL),
  GNUNET_MQ_hd_fixed_size (client_stream_request,
    GNUNET_MESSAGE_TYPE_RPS_CS_DEBUG_STREAM_REQUEST,
    struct GNUNET_RPS_CS_DEBUG_StreamRequest,
    NULL),
+ GNUNET_MQ_hd_fixed_size (client_stream_cancel,
+   GNUNET_MESSAGE_TYPE_RPS_CS_DEBUG_STREAM_CANCEL,
+   struct GNUNET_MessageHeader,
+   NULL),
+ GNUNET_MQ_hd_fixed_size (client_start_sub,
+   GNUNET_MESSAGE_TYPE_RPS_CS_SUB_START,
+   struct GNUNET_RPS_CS_SubStartMessage,
+   NULL),
+ GNUNET_MQ_hd_fixed_size (client_stop_sub,
+   GNUNET_MESSAGE_TYPE_RPS_CS_SUB_STOP,
+   struct GNUNET_RPS_CS_SubStopMessage,
+   NULL),
  GNUNET_MQ_handler_end());
 
 /* end of gnunet-service-rps.c */