-fix URIs
[oweals/gnunet.git] / src / consensus / gnunet-service-consensus.c
index 94d532c3d921e2ce9c3e01d08333c7363b4f631d..ef8a5b008111c92d904904c6c94a5462b34beefe 100644 (file)
@@ -4,7 +4,7 @@
 
       GNUnet is free software; you can redistribute it and/or modify
       it under the terms of the GNU General Public License as published
-      by the Free Software Foundation; either version 2, or (at your
+      by the Free Software Foundation; either version 3, or (at your
       option) any later version.
 
       GNUnet is distributed in the hope that it will be useful, but
  */
 
 #include "platform.h"
-#include "gnunet_common.h"
+#include "gnunet_util_lib.h"
 #include "gnunet_protocols.h"
 #include "gnunet_applications.h"
-#include "gnunet_util_lib.h"
 #include "gnunet_set_service.h"
 #include "gnunet_consensus_service.h"
 #include "consensus_protocol.h"
 
 /**
  * Log macro that prefixes the local peer and the peer we are in contact with.
+ *
+ * @param kind log level
+ * @param cpi ConsensusPeerInformation of the partner peer
+ * @param m log message
  */
 #define LOG_PP(kind, cpi, m,...) GNUNET_log (kind, "P%d for P%d: " m, \
    cpi->session->local_peer_idx, (int) (cpi - cpi->session->info),##__VA_ARGS__)
@@ -45,7 +48,8 @@
 /**
  * Number of exponential rounds, used in the exp and completion round.
  */
-#define NUM_EXP_ROUNDS 4
+#define NUM_EXP_REPETITIONS 4
+
 
 /* forward declarations */
 
@@ -71,13 +75,7 @@ enum ConsensusRound
    */
   CONSENSUS_ROUND_EXCHANGE,
   /**
-   * Exchange which elements each peer has, but don't
-   * transmit the element's data, only their SHA-512 hashes.
-   * This round uses the all-to-all scheme.
-   */
-  CONSENSUS_ROUND_INVENTORY,
-  /**
-   * Collect and distribute missing values with the exponential scheme.
+   * Collect and distribute missing values.
    */
   CONSENSUS_ROUND_COMPLETION,
   /**
@@ -89,8 +87,7 @@ enum ConsensusRound
 
 
 /**
- * Complete information about the current round and all
- * subrounds.
+ * Information about the current round.
  */
 struct RoundInfo
 {
@@ -99,10 +96,10 @@ struct RoundInfo
    */
   enum ConsensusRound round;
   /**
-   * The current exp round, valid if
+   * The current exp round repetition, valid if
    * the main round is an exp round.
    */
-  uint32_t exp_round;
+  uint32_t exp_repetition;
   /**
    * The current exp subround, valid if
    * the main round is an exp round.
@@ -142,15 +139,20 @@ struct ConsensusSession
    */
   struct GNUNET_MQ_Handle *client_mq;
 
+  /**
+   * Time when the conclusion of the consensus should begin.
+   */
+  struct GNUNET_TIME_Absolute conclude_start;
+
   /**
    * Timeout for all rounds together, single rounds will schedule a timeout task
    * with a fraction of the conclude timeout.
    * Only valid once the current round is not CONSENSUS_ROUND_BEGIN.
    */
-  struct GNUNET_TIME_Relative conclude_timeout;
-  
+  struct GNUNET_TIME_Absolute conclude_deadline;
+
   /**
-   * Timeout task identifier for the current round.
+   * Timeout task identifier for the current round or subround.
    */
   GNUNET_SCHEDULER_TaskIdentifier round_timeout_tid;
 
@@ -177,14 +179,18 @@ struct ConsensusSession
 
   /**
    * Permutation of peers for the current round,
-   * maps logical index (for current round) to physical index (location in info array)
    */
   uint32_t *shuffle;
 
+  /**
+   * Inverse permutation of peers for the current round,
+   */
+  uint32_t *shuffle_inv;
+
   /**
    * Current round of the exponential scheme.
    */
-  uint32_t exp_round;
+  uint32_t exp_repetition;
 
   /**
    * Current sub-round of the exponential scheme.
@@ -192,12 +198,16 @@ struct ConsensusSession
   uint32_t exp_subround;
 
   /**
-   * The partner for the current exp-round
+   * The partner for the current exp-round.
+   * The local peer will initiate the set reconciliation with the
+   * outgoing peer.
    */
   struct ConsensusPeerInformation *partner_outgoing;
 
   /**
    * The partner for the current exp-round
+   * The incoming peer will initiate the set reconciliation with
+   * the incoming peer.
    */
   struct ConsensusPeerInformation *partner_incoming;
 
@@ -231,9 +241,9 @@ struct ConsensusPeerInformation
   struct ConsensusSession *session;
 
   /**
-   * We have finishes the exp-subround with the peer.
+   * Have we finished the set operation for this (sub-)round?
    */
-  int exp_subround_finished;
+  int set_op_finished;
 
   /**
    * Set operation we are currently executing with this peer.
@@ -278,16 +288,27 @@ static struct GNUNET_SERVER_Handle *srv;
 static struct GNUNET_PeerIdentity my_peer;
 
 
+/**
+ * Check if the current subround has finished.
+ * Must only be called when an exp-round is the current round.
+ *
+ * @param session session to check for exp-round completion
+ * @return GNUNET_YES if the subround has finished,
+ *         GNUNET_NO if not
+ */
 static int
 have_exp_subround_finished (const struct ConsensusSession *session)
 {
   int not_finished;
+
+  GNUNET_assert (CONSENSUS_ROUND_EXCHANGE == session->current_round);
+
   not_finished = 0;
-  if ( (NULL != session->partner_outgoing) && 
-       (GNUNET_NO == session->partner_outgoing->exp_subround_finished) )
+  if ( (NULL != session->partner_outgoing) &&
+       (GNUNET_NO == session->partner_outgoing->set_op_finished) )
     not_finished++;
   if ( (NULL != session->partner_incoming) &&
-       (GNUNET_NO == session->partner_incoming->exp_subround_finished) )
+       (GNUNET_NO == session->partner_incoming->set_op_finished) )
     not_finished++;
   if (0 == not_finished)
     return GNUNET_YES;
@@ -297,7 +318,7 @@ have_exp_subround_finished (const struct ConsensusSession *session)
 
 /**
  * Destroy a session, free all resources associated with it.
- * 
+ *
  * @param session the session to destroy
  */
 static void
@@ -331,6 +352,11 @@ destroy_session (struct ConsensusSession *session)
     GNUNET_free (session->shuffle);
     session->shuffle = NULL;
   }
+  if (NULL != session->shuffle_inv)
+  {
+    GNUNET_free (session->shuffle_inv);
+    session->shuffle_inv = NULL;
+  }
   if (NULL != session->info)
   {
     for (i = 0; i < session->num_peers; i++)
@@ -396,10 +422,12 @@ send_to_client_iter (void *cls,
  * @param tc task context, for when this task is invoked by the scheduler,
  *           NULL if invoked for another reason
  */
-static void 
+static void
 round_over (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct ConsensusSession *session;
+  unsigned int i;
+  int res;
 
   /* don't kick off next round if we're shutting down */
   if ((NULL != tc) && (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
@@ -408,24 +436,48 @@ round_over (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   session = cls;
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "P%d: round over\n", session->local_peer_idx);
 
+  if (tc != NULL)
+    session->round_timeout_tid = GNUNET_SCHEDULER_NO_TASK;
+
   if (session->round_timeout_tid != GNUNET_SCHEDULER_NO_TASK)
   {
     GNUNET_SCHEDULER_cancel (session->round_timeout_tid);
     session->round_timeout_tid = GNUNET_SCHEDULER_NO_TASK;
   }
 
+  for (i = 0; i < session->num_peers; i++)
+  {
+    if (NULL != session->info[i].set_op)
+    {
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "P%d: canceling stray op with P%d\n",
+                  session->local_peer_idx, i);
+      GNUNET_SET_operation_cancel (session->info[i].set_op);
+      session->info[i].set_op = NULL;
+    }
+    /* we're in the new round, nothing finished yet */
+    session->info[i].set_op_finished = GNUNET_NO;
+  }
+
   switch (session->current_round)
   {
     case CONSENSUS_ROUND_BEGIN:
       session->current_round = CONSENSUS_ROUND_EXCHANGE;
-      session->exp_round = 0;
+      session->exp_repetition = 0;
       subround_over (session, NULL);
       break;
     case CONSENSUS_ROUND_EXCHANGE:
       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "P%d: finished, sending elements to client\n",
                   session->local_peer_idx);
       session->current_round = CONSENSUS_ROUND_FINISH;
-      GNUNET_SET_iterate (session->element_set, send_to_client_iter, session);
+      res = GNUNET_SET_iterate (session->element_set, send_to_client_iter, session);
+      if (GNUNET_SYSERR == res)
+      {
+        GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "can't iterate set: set invalid\n");
+      }
+      else if (GNUNET_NO == res)
+      {
+        GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "can't iterate set: iterator already active\n");
+      }
       break;
     default:
       GNUNET_assert (0);
@@ -448,9 +500,11 @@ shuffle (struct ConsensusSession *session)
 
   if (NULL == session->shuffle)
     session->shuffle = GNUNET_malloc (session->num_peers * sizeof (*session->shuffle));
+  if (NULL == session->shuffle_inv)
+    session->shuffle_inv = GNUNET_malloc (session->num_peers * sizeof (*session->shuffle_inv));
 
-  GNUNET_CRYPTO_kdf (randomness, sizeof (randomness), 
-                    &session->exp_round, sizeof (uint32_t),
+  GNUNET_CRYPTO_kdf (randomness, sizeof (randomness),
+                    &session->exp_repetition, sizeof (uint32_t),
                      &session->global_id, sizeof (struct GNUNET_HashCode),
                     NULL);
 
@@ -466,6 +520,10 @@ shuffle (struct ConsensusSession *session)
     session->shuffle[x] = session->shuffle[i];
     session->shuffle[i] = tmp;
   }
+
+  /* create the inverse */
+  for (i = 0; i < session->num_peers; i++)
+    session->shuffle_inv[session->shuffle[i]] = i;
 }
 
 
@@ -493,16 +551,16 @@ find_partners (struct ConsensusSession *session)
   while (largest_arc < session->num_peers)
     largest_arc <<= 1;
   num_ghosts = largest_arc - session->num_peers;
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "largest arc: %u\n", largest_arc);
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "arc: %u\n", arc);
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "num ghosts: %u\n", num_ghosts);
+  // GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "largest arc: %u\n", largest_arc);
+  // GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "arc: %u\n", arc);
+  // GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "num ghosts: %u\n", num_ghosts);
 
   if (0 == (my_idx & arc))
   {
     /* we are outgoing */
     partner_idx = (my_idx + arc) % session->num_peers;
-    session->partner_outgoing = &session->info[session->shuffle[partner_idx]];
-    session->partner_outgoing->exp_subround_finished = GNUNET_NO;
+    session->partner_outgoing = &session->info[session->shuffle_inv[partner_idx]];
+    GNUNET_assert (GNUNET_NO == session->partner_outgoing->set_op_finished);
     /* are we a 'ghost' of a peer that would exist if
      * the number of peers was a power of two, and thus have to partner
      * with an additional peer?
@@ -510,7 +568,7 @@ find_partners (struct ConsensusSession *session)
     if (my_idx < num_ghosts)
     {
       int ghost_partner_idx;
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "my index %d, arc %d, peers %u\n", my_idx, arc, session->num_peers);
+      // GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "my index %d, arc %d, peers %u\n", my_idx, arc, session->num_peers);
       ghost_partner_idx = (my_idx - (int) arc) % (int) session->num_peers;
       /* platform dependent; modulo sometimes returns negative values */
       if (ghost_partner_idx < 0)
@@ -518,9 +576,9 @@ find_partners (struct ConsensusSession *session)
       /* we only need to have a ghost partner if the partner is outgoing */
       if (0 == (ghost_partner_idx & arc))
       {
-        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "ghost partner is %d\n", ghost_partner_idx);
-        session->partner_incoming = &session->info[session->shuffle[ghost_partner_idx]];
-        session->partner_incoming->exp_subround_finished = GNUNET_NO;
+        // GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "ghost partner is %d\n", ghost_partner_idx);
+        session->partner_incoming = &session->info[session->shuffle_inv[ghost_partner_idx]];
+        GNUNET_assert (GNUNET_NO == session->partner_incoming->set_op_finished);
         return;
       }
     }
@@ -532,8 +590,8 @@ find_partners (struct ConsensusSession *session)
   if (partner_idx < 0)
     partner_idx += session->num_peers;
   session->partner_outgoing = NULL;
-  session->partner_incoming = &session->info[session->shuffle[partner_idx]];
-  session->partner_incoming->exp_subround_finished = GNUNET_NO;
+  session->partner_incoming = &session->info[session->shuffle_inv[partner_idx]];
+  GNUNET_assert (GNUNET_NO == session->partner_incoming->set_op_finished);
 }
 
 
@@ -545,7 +603,7 @@ find_partners (struct ConsensusSession *session)
  * @param element a result element, only valid if status is GNUNET_SET_STATUS_OK
  * @param status see enum GNUNET_SET_Status
  */
-static void 
+static void
 set_result_cb (void *cls,
                const struct GNUNET_SET_Element *element,
                enum GNUNET_SET_Status status)
@@ -554,6 +612,9 @@ set_result_cb (void *cls,
   unsigned int remote_idx = cpi - cpi->session->info;
   unsigned int local_idx = cpi->session->local_peer_idx;
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "P%u: set result from P%u with status %u\n",
+              local_idx, remote_idx, (unsigned int) status);
+
   GNUNET_assert ((cpi == cpi->session->partner_outgoing) ||
                  (cpi == cpi->session->partner_incoming));
 
@@ -572,7 +633,7 @@ set_result_cb (void *cls,
     case GNUNET_SET_STATUS_DONE:
       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "P%u: set result from P%u: done\n",
                   local_idx, remote_idx);
-      cpi->exp_subround_finished = GNUNET_YES;
+      cpi->set_op_finished = GNUNET_YES;
       cpi->set_op = NULL;
       if (have_exp_subround_finished (cpi->session) == GNUNET_YES)
       {
@@ -593,6 +654,7 @@ set_result_cb (void *cls,
 
   switch (cpi->session->current_round)
   {
+    case CONSENSUS_ROUND_COMPLETION:
     case CONSENSUS_ROUND_EXCHANGE:
       GNUNET_SET_add_element (cpi->session->element_set, element, NULL, NULL);
       break;
@@ -607,7 +669,7 @@ set_result_cb (void *cls,
  * Compare the round the session is in with the round of the given context message.
  *
  * @param session a consensus session
- * @param round a round context message
+ * @param ri a round context message
  * @return 0 if it's the same round, -1 if the session is in an earlier round,
  *         1 if the session is in a later round
  */
@@ -621,18 +683,18 @@ rounds_compare (struct ConsensusSession *session,
     return 1;
   if (session->current_round == CONSENSUS_ROUND_EXCHANGE)
   {
-    if (session->exp_round < ri->exp_round)
+    if (session->exp_repetition < ri->exp_repetition)
       return -1;
-    if (session->exp_round > ri->exp_round)
+    if (session->exp_repetition > ri->exp_repetition)
       return 1;
     if (session->exp_subround < ri->exp_subround)
       return -1;
-    if (session->exp_subround < ri->exp_subround)
+    if (session->exp_subround > ri->exp_subround)
       return 1;
     return 0;
   }
-  /* comparing rounds when we are not in a exp round */
-  GNUNET_assert (0);
+  /* other rounds have no subrounds / repetitions to compare */
+  return 0;
 }
 
 
@@ -648,47 +710,82 @@ static void
 subround_over (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct ConsensusSession *session;
+  struct GNUNET_TIME_Relative subround_timeout;
   int i;
 
   /* don't kick off next subround if we're shutting down */
   if ((NULL != tc) && (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
     return;
+
   session = cls;
+
+  GNUNET_assert (CONSENSUS_ROUND_EXCHANGE == session->current_round);
+
+  if (tc != NULL)
+  {
+    session->round_timeout_tid = GNUNET_SCHEDULER_NO_TASK;
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "P%u: consensus subround timed out\n",
+                session->local_peer_idx);
+  }
+
   /* cancel timeout */
   if (session->round_timeout_tid != GNUNET_SCHEDULER_NO_TASK)
   {
     GNUNET_SCHEDULER_cancel (session->round_timeout_tid);
     session->round_timeout_tid = GNUNET_SCHEDULER_NO_TASK;
   }
-  
-  if (session->exp_round >= NUM_EXP_ROUNDS)
+
+  for (i = 0; i < session->num_peers; i++)
+  {
+    if (NULL != session->info[i].set_op)
+    {
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "P%d: canceling stray op with P%d\n",
+                  session->local_peer_idx, i);
+      GNUNET_SET_operation_cancel (session->info[i].set_op);
+      session->info[i].set_op = NULL;
+    }
+    /* we're in the new round, nothing finished yet */
+    session->info[i].set_op_finished = GNUNET_NO;
+  }
+
+  if (session->exp_repetition >= NUM_EXP_REPETITIONS)
   {
     round_over (session, NULL);
     return;
   }
 
-  if (session->exp_round == 0)
+  if (session->exp_repetition == 0)
   {
     /* initialize everything for the log-rounds */
-    session->exp_round = 1;
+    session->exp_repetition = 1;
     session->exp_subround = 0;
     if (NULL == session->shuffle)
       session->shuffle = GNUNET_malloc ((sizeof (int)) * session->num_peers);
+    if (NULL == session->shuffle_inv)
+      session->shuffle_inv = GNUNET_malloc ((sizeof (int)) * session->num_peers);
     for (i = 0; i < session->num_peers; i++)
-      session->shuffle[i] = i;
+      session->shuffle[i] = session->shuffle_inv[i] = i;
   }
   else if (session->exp_subround + 1 >= (int) ceil (log2 (session->num_peers)))
   {
     /* subrounds done, start new log-round */
-    session->exp_round++;
+    session->exp_repetition++;
     session->exp_subround = 0;
-    //shuffle (session);
+    shuffle (session);
   }
-  else 
+  else
   {
     session->exp_subround++;
   }
 
+  subround_timeout =
+      GNUNET_TIME_relative_divide (GNUNET_TIME_absolute_get_difference (session->conclude_start, session->conclude_deadline),
+                                   2 * NUM_EXP_REPETITIONS * ((int) ceil (log2 (session->num_peers))));
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "subround timeout: %u ms\n", subround_timeout.rel_value_us / 1000);
+
+  session->round_timeout_tid = GNUNET_SCHEDULER_add_delayed (subround_timeout, subround_over, session);
+
   /* determine the incoming and outgoing partner */
   find_partners (session);
 
@@ -703,11 +800,12 @@ subround_over (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
     msg->header.type = htons (GNUNET_MESSAGE_TYPE_CONSENSUS_P2P_ROUND_CONTEXT);
     msg->header.size = htons (sizeof *msg);
     msg->round = htonl (session->current_round);
-    msg->exp_round = htonl (session->exp_round);
+    msg->exp_repetition = htonl (session->exp_repetition);
     msg->exp_subround = htonl (session->exp_subround);
 
     if (NULL != session->partner_outgoing->set_op)
     {
+      GNUNET_break (0);
       GNUNET_SET_operation_cancel (session->partner_outgoing->set_op);
     }
     session->partner_outgoing->set_op =
@@ -718,7 +816,12 @@ subround_over (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
                             GNUNET_SET_RESULT_ADDED,
                             set_result_cb, session->partner_outgoing);
     GNUNET_free (msg);
-    GNUNET_SET_commit (session->partner_outgoing->set_op, session->element_set);
+    if (GNUNET_OK != GNUNET_SET_commit (session->partner_outgoing->set_op, session->element_set))
+    {
+      GNUNET_break (0);
+      session->partner_outgoing->set_op = NULL;
+      session->partner_outgoing->set_op_finished = GNUNET_YES;
+    }
   }
 
   /* commit to the delayed set operation */
@@ -728,12 +831,16 @@ subround_over (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 
     if (NULL != session->partner_incoming->set_op)
     {
+      GNUNET_break (0);
       GNUNET_SET_operation_cancel (session->partner_incoming->set_op);
       session->partner_incoming->set_op = NULL;
     }
     if (cmp == 0)
     {
-      GNUNET_SET_commit (session->partner_incoming->delayed_set_op, session->element_set);
+      if (GNUNET_OK != GNUNET_SET_commit (session->partner_incoming->delayed_set_op, session->element_set))
+      {
+        GNUNET_break (0);
+      }
       session->partner_incoming->set_op = session->partner_incoming->delayed_set_op;
       session->partner_incoming->delayed_set_op = NULL;
       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "P%d resumed delayed round with P%d\n",
@@ -759,7 +866,7 @@ subround_over (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
     else
       in = (int) (session->partner_incoming - session->info);
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "P%u: doing exp-round, r=%d, sub=%d, in: %d, out: %d\n", session->local_peer_idx,
-                session->exp_round, session->exp_subround, in, out);
+                session->exp_repetition, session->exp_subround, in, out);
   }
 #endif /* GNUNET_EXTRA_LOGGING */
 
@@ -794,17 +901,20 @@ get_peer_idx (const struct GNUNET_PeerIdentity *peer, const struct ConsensusSess
  * @param session_id local id of the consensus session
  */
 static void
-compute_global_id (struct ConsensusSession *session, const struct GNUNET_HashCode *session_id)
+compute_global_id (struct ConsensusSession *session,
+                  const struct GNUNET_HashCode *session_id)
 {
   int i;
   struct GNUNET_HashCode tmp;
+  struct GNUNET_HashCode phash;
 
   /* FIXME: use kdf? */
 
   session->global_id = *session_id;
   for (i = 0; i < session->num_peers; ++i)
   {
-    GNUNET_CRYPTO_hash_xor (&session->global_id, &session->info[i].peer_id.hashPubKey, &tmp);
+    GNUNET_CRYPTO_hash (&session->info[i].peer_id, sizeof (struct GNUNET_PeerIdentity), &phash);
+    GNUNET_CRYPTO_hash_xor (&session->global_id, &phash, &tmp);
     session->global_id = tmp;
     GNUNET_CRYPTO_hash (&session->global_id, sizeof (struct GNUNET_PeerIdentity), &tmp);
     session->global_id = tmp;
@@ -813,18 +923,16 @@ compute_global_id (struct ConsensusSession *session, const struct GNUNET_HashCod
 
 
 /**
- * Although GNUNET_CRYPTO_hash_cmp exisits, it does not have
- * the correct signature to be used with e.g. qsort.
- * We use this function instead.
+ * Compare two peer identities.
  *
- * @param h1 some hash code
- * @param h2 some hash code
+ * @param h1 some peer identity
+ * @param h2 some peer identity
  * @return 1 if h1 > h2, -1 if h1 < h2 and 0 if h1 == h2.
  */
 static int
-hash_cmp (const void *h1, const void *h2)
+peer_id_cmp (const void *h1, const void *h2)
 {
-  return GNUNET_CRYPTO_hash_cmp ((struct GNUNET_HashCode *) h1, (struct GNUNET_HashCode *) h2);
+  return memcmp (h1, h2, sizeof (struct GNUNET_PeerIdentity));
 }
 
 
@@ -846,7 +954,7 @@ initialize_session_peer_list (struct ConsensusSession *session,
 
   /* peers in the join message, may or may not include the local peer */
   listed_peers = ntohl (join_msg->num_peers);
-  
+
   session->num_peers = listed_peers;
 
   msg_peers = (struct GNUNET_PeerIdentity *) &join_msg[1];
@@ -870,7 +978,7 @@ initialize_session_peer_list (struct ConsensusSession *session,
     peers[session->num_peers - 1] = my_peer;
 
   memcpy (peers, msg_peers, listed_peers * sizeof (struct GNUNET_PeerIdentity));
-  qsort (peers, session->num_peers, sizeof (struct GNUNET_PeerIdentity), &hash_cmp);
+  qsort (peers, session->num_peers, sizeof (struct GNUNET_PeerIdentity), &peer_id_cmp);
 
   session->info = GNUNET_malloc (session->num_peers * sizeof (struct ConsensusPeerInformation));
 
@@ -930,7 +1038,7 @@ set_listen_cb (void *cls,
   }
 
   round_info.round = ntohl (msg->round);
-  round_info.exp_round = ntohl (msg->exp_round);
+  round_info.exp_repetition = ntohl (msg->exp_repetition);
   round_info.exp_subround = ntohl (msg->exp_subround);
 
   cpi = &session->info[index];
@@ -947,7 +1055,7 @@ set_listen_cb (void *cls,
       if (cmp > 0)
       {
         /* the other peer is too late */
-        GNUNET_break_op (0);
+        LOG_PP (GNUNET_ERROR_TYPE_DEBUG, cpi, "too late for the current round\n");
         return;
       }
       /* kill old request, if any. this is legal,
@@ -955,23 +1063,38 @@ set_listen_cb (void *cls,
        * complete the old one! */
       if (NULL != cpi->set_op)
       {
+        LOG_PP (GNUNET_ERROR_TYPE_INFO, cpi, "got new request from same peer, canceling old one\n");
         GNUNET_SET_operation_cancel (cpi->set_op);
         cpi->set_op = NULL;
       }
       set_op = GNUNET_SET_accept (request, GNUNET_SET_RESULT_ADDED,
-                                       set_result_cb, &session->info[index]);
+                                  set_result_cb, &session->info[index]);
       if (cmp == 0)
       {
+        /* we're in exactly the right round for the incoming request */
+        if (cpi != cpi->session->partner_incoming)
+        {
+          GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "P%u: got request from %u (with matching round), "
+                      "but incoming partner is %d\n", cpi->session->local_peer_idx, cpi - cpi->session->info,
+                      ((NULL == cpi->session->partner_incoming) ? -1 : (cpi->session->partner_incoming - cpi->session->info)));
+          GNUNET_SET_operation_cancel (set_op);
+          return;
+        }
         cpi->set_op = set_op;
-        GNUNET_SET_commit (set_op, session->element_set);
+        if (GNUNET_OK != GNUNET_SET_commit (set_op, session->element_set))
+        {
+          GNUNET_break (0);
+        }
         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "P%d commited to set request from P%d\n", session->local_peer_idx, index);
       }
       else
       {
-        /* if there's a exp subround running, mark it as finished, as the set op has been canceled! */
+        /* we still have wait until we have finished the current round,
+         * as the other peer's round is larger */
         cpi->delayed_set_op = set_op;
         cpi->delayed_round_info = round_info;
-        cpi->exp_subround_finished = GNUNET_YES;
+        /* The current setop is finished, as we canceled the current setop above. */
+        cpi->set_op_finished = GNUNET_YES;
         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "P%d delaying set request from P%d\n", session->local_peer_idx, index);
       }
       break;
@@ -1006,7 +1129,7 @@ initialize_session (struct ConsensusSession *session,
   other_session = sessions_head;
   while (NULL != other_session)
   {
-    if ((other_session != session) && 
+    if ((other_session != session) &&
         (0 == GNUNET_CRYPTO_hash_cmp (&session->global_id, &other_session->global_id)))
     {
       if (CONSENSUS_ROUND_FINISH != other_session->current_round)
@@ -1020,6 +1143,12 @@ initialize_session (struct ConsensusSession *session,
     other_session = other_session->next;
   }
 
+  session->conclude_deadline = GNUNET_TIME_absolute_ntoh (join_msg->deadline);
+  session->conclude_start = GNUNET_TIME_absolute_ntoh (join_msg->start);
+
+  GNUNET_log (GNUNET_ERROR_TYPE_INFO, "consensus with timeout %ums created\n",
+              (GNUNET_TIME_absolute_get_difference (session->conclude_start, session->conclude_deadline)).rel_value_us / 1000);
+
   session->local_peer_idx = get_peer_idx (&my_peer, session);
   GNUNET_assert (-1 != session->local_peer_idx);
   session->element_set = GNUNET_SET_create (cfg, GNUNET_SET_OPERATION_UNION);
@@ -1132,7 +1261,7 @@ client_insert (void *cls,
   GNUNET_free (element);
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "P%u: element added\n", session->local_peer_idx);
+  // GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "P%u: element added\n", session->local_peer_idx);
 }
 
 
@@ -1149,11 +1278,8 @@ client_conclude (void *cls,
                  const struct GNUNET_MessageHeader *message)
 {
   struct ConsensusSession *session;
-  struct GNUNET_CONSENSUS_ConcludeMessage *cmsg;
-
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "conclude requested\n");
-  cmsg = (struct GNUNET_CONSENSUS_ConcludeMessage *) message;
   session = get_session_by_client (client);
   if (NULL == session)
   {
@@ -1170,12 +1296,11 @@ client_conclude (void *cls,
   }
   if (session->num_peers <= 1)
   {
-    /* FIXME: what to do here? */
-    //send_client_conclude_done (session);
+    session->current_round = CONSENSUS_ROUND_FINISH;
+    GNUNET_SET_iterate (session->element_set, send_to_client_iter, session);
   }
   else
   {
-    session->conclude_timeout = GNUNET_TIME_relative_ntoh (cmsg->timeout);
     /* the 'begin' round is over, start with the next, actual round */
     round_over (session, NULL);
   }
@@ -1219,7 +1344,10 @@ handle_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
     return;
   if ((CONSENSUS_ROUND_BEGIN == session->current_round) ||
       (CONSENSUS_ROUND_FINISH == session->current_round))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "client disconnected, destroying session\n");
     destroy_session (session);
+  }
   else
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "client disconnected, but waiting for consensus to finish\n");
 }
@@ -1238,7 +1366,7 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
 {
   static const struct GNUNET_SERVER_MessageHandler server_handlers[] = {
     {&client_conclude, NULL, GNUNET_MESSAGE_TYPE_CONSENSUS_CLIENT_CONCLUDE,
-        sizeof (struct GNUNET_CONSENSUS_ConcludeMessage)},
+        sizeof (struct GNUNET_MessageHeader)},
     {&client_insert, NULL, GNUNET_MESSAGE_TYPE_CONSENSUS_CLIENT_INSERT, 0},
     {&client_join, NULL, GNUNET_MESSAGE_TYPE_CONSENSUS_CLIENT_JOIN, 0},
     {NULL, NULL, 0, 0}
@@ -1246,7 +1374,7 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
 
   cfg = c;
   srv = server;
-  if (GNUNET_OK != GNUNET_CRYPTO_get_host_identity (cfg, &my_peer))
+  if (GNUNET_OK != GNUNET_CRYPTO_get_peer_identity (cfg, &my_peer))
   {
     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "could not retrieve host identity\n");
     GNUNET_break (0);