- log output
[oweals/gnunet.git] / src / mesh / gnunet-service-mesh_tunnel.c
index dab9df1e68f6f75fea375a4a1d3d078cd88ceef0..4a8973d08651cd3041daf8bdbb318352f7df3ef4 100644 (file)
@@ -36,6 +36,8 @@
 
 #define REKEY_WAIT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 5)
 
+#define CONNECTIONS_PER_TUNNEL 3
+
 /******************************************************************************/
 /********************************   STRUCTS  **********************************/
 /******************************************************************************/
@@ -47,11 +49,36 @@ struct MeshTChannel
   struct MeshChannel *ch;
 };
 
+
+/**
+ * Connection list and metadata.
+ */
 struct MeshTConnection
 {
+  /**
+   * Next in DLL.
+   */
   struct MeshTConnection *next;
+
+  /**
+   * Prev in DLL.
+   */
   struct MeshTConnection *prev;
+
+  /**
+   * Connection handle.
+   */
   struct MeshConnection *c;
+
+  /**
+   * Creation time, to keep oldest connection alive.
+   */
+  struct GNUNET_TIME_Absolute created;
+
+  /**
+   * Connection throughput, to keep fastest connection alive.
+   */
+  uint32_t throughput;
 };
 
 /**
@@ -136,7 +163,7 @@ struct MeshTunnel3
   /**
    * Destroy flag: if true, destroy on last message.
    */
-  int destroy;
+  GNUNET_SCHEDULER_TaskIdentifier destroy_task;
 
   /**
    * Queued messages, to transmit once tunnel gets connected.
@@ -507,9 +534,15 @@ t_encrypt (struct MeshTunnel3 *t,
            size_t size, uint32_t iv)
 {
   struct GNUNET_CRYPTO_SymmetricInitializationVector siv;
+  size_t out_size;
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_encrypt start\n");
+  GNUNET_CRYPTO_symmetric_derive_iv (&siv, &t->e_key, &iv, sizeof (iv), NULL);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_encrypt IV derived\n");
+  out_size = GNUNET_CRYPTO_symmetric_encrypt (src, size, &t->e_key, &siv, dst);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_encrypt end\n");
 
-  GNUNET_CRYPTO_symmetric_derive_iv (&siv, &t->e_key, &iv, sizeof (uint32_t), NULL);
-  return GNUNET_CRYPTO_symmetric_encrypt (src, size, &t->e_key, &siv, dst);
+  return out_size;
 }
 
 
@@ -529,7 +562,9 @@ t_decrypt (struct MeshTunnel3 *t,
 {
   struct GNUNET_CRYPTO_SymmetricInitializationVector siv;
   struct GNUNET_CRYPTO_SymmetricSessionKey *key;
+  size_t out_size;
 
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_decrypt start\n");
   if (t->estate == MESH_TUNNEL3_KEY_OK || t->estate == MESH_TUNNEL3_KEY_PING)
   {
     key = &t->d_key;
@@ -548,8 +583,13 @@ t_decrypt (struct MeshTunnel3 *t,
     return 0;
   }
 
-  GNUNET_CRYPTO_symmetric_derive_iv (&siv, key, &iv, sizeof (uint32_t), NULL);
-  return GNUNET_CRYPTO_symmetric_decrypt (src, size, key, &siv, dst);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_decrypt iv\n");
+  GNUNET_CRYPTO_symmetric_derive_iv (&siv, key, &iv, sizeof (iv), NULL);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_decrypt iv done\n");
+  out_size = GNUNET_CRYPTO_symmetric_decrypt (src, size, key, &siv, dst);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_decrypt end\n");
+
+  return out_size;
 }
 
 
@@ -612,7 +652,7 @@ tunnel_get_connection (struct MeshTunnel3 *t)
   unsigned int qn;
   unsigned int lowest_q;
 
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "tunnel_get_connection %s\n", GMP_2s (t->peer));
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "tunnel_get_connection %s\n", GMT_2s (t));
   best = NULL;
   lowest_q = UINT_MAX;
   for (iter = t->connection_head; NULL != iter; iter = iter->next)
@@ -704,6 +744,35 @@ queue_data (struct MeshTunnel3 *t, const struct GNUNET_MessageHeader *msg)
 }
 
 
+/**
+ * Calculate HMAC.
+ *
+ * @param t Tunnel to get keys from.
+ * @param plaintext Content to HMAC.
+ * @param size Size of @c plaintext.
+ * @param iv Initialization vector for the message.
+ * @param outgoing Is this an outgoing message that we encrypted?
+ * @param hmac Destination to store the HMAC.
+ */
+static void
+t_hmac (struct MeshTunnel3 *t, const void *plaintext, size_t size, uint32_t iv,
+        int outgoing, struct GNUNET_MeshHash *hmac)
+{
+  struct GNUNET_CRYPTO_AuthKey auth_key;
+  static const char ctx[] = "mesh authentication key";
+  struct GNUNET_CRYPTO_SymmetricSessionKey *key;
+  struct GNUNET_HashCode hash;
+
+  key = outgoing ? &t->e_key : &t->d_key;
+  GNUNET_CRYPTO_hmac_derive_key (&auth_key, key,
+                                 &iv, sizeof (iv),
+                                 key, sizeof (*key),
+                                 ctx, sizeof (ctx),
+                                 NULL);
+  GNUNET_CRYPTO_hmac (&auth_key, plaintext, size, &hash);
+  memcpy (hmac, &hash, sizeof (*hmac));
+}
+
 
 /**
  * Sends an already built message on a tunnel, encrypting it and
@@ -711,6 +780,7 @@ queue_data (struct MeshTunnel3 *t, const struct GNUNET_MessageHeader *msg)
  *
  * @param message Message to send. Function modifies it.
  * @param t Tunnel on which this message is transmitted.
+ * @param c Connection to use (autoselect if NULL).
  * @param force Force the tunnel to take the message (buffer overfill).
  * @param cont Continuation to call once message is really sent.
  * @param cont_cls Closure for @c cont.
@@ -722,12 +792,11 @@ queue_data (struct MeshTunnel3 *t, const struct GNUNET_MessageHeader *msg)
  */
 static struct MeshTunnel3Queue *
 send_prebuilt_message (const struct GNUNET_MessageHeader *message,
-                       struct MeshTunnel3 *t, int force,
-                       GMT_sent cont, void *cont_cls,
+                       struct MeshTunnel3 *t, struct MeshConnection *c,
+                       int force, GMT_sent cont, void *cont_cls,
                        struct MeshTunnel3Queue *existing_q)
 {
   struct MeshTunnel3Queue *tq;
-  struct MeshConnection *c;
   struct GNUNET_MESH_Encrypted *msg;
   size_t size = ntohs (message->size);
   char cbuf[sizeof (struct GNUNET_MESH_Encrypted) + size];
@@ -762,20 +831,26 @@ send_prebuilt_message (const struct GNUNET_MessageHeader *message,
   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_ENCRYPTED);
   msg->iv = iv;
   GNUNET_assert (t_encrypt (t, &msg[1], message, size, iv) == size);
+  t_hmac (t, &msg[1], size, iv, GNUNET_YES, &msg->hmac);
   msg->header.size = htons (sizeof (struct GNUNET_MESH_Encrypted) + size);
-  c = tunnel_get_connection (t);
+
+  if (NULL == c)
+    c = tunnel_get_connection (t);
   if (NULL == c)
   {
-    if (GNUNET_YES == t->destroy || MESH_TUNNEL3_SEARCHING != t->cstate)
+    if (GNUNET_SCHEDULER_NO_TASK != t->destroy_task
+        || MESH_TUNNEL3_SEARCHING != t->cstate)
     {
       GNUNET_break (0);
       GMT_debug (t);
     }
     return NULL;
   }
+
   type = ntohs (message->type);
   switch (type)
   {
+    case GNUNET_MESSAGE_TYPE_MESH_KEEPALIVE:
     case GNUNET_MESSAGE_TYPE_MESH_DATA:
     case GNUNET_MESSAGE_TYPE_MESH_DATA_ACK:
     case GNUNET_MESSAGE_TYPE_MESH_CHANNEL_CREATE:
@@ -854,7 +929,7 @@ send_queued_data (struct MeshTunnel3 *t)
     next = tqd->next;
     room--;
     send_prebuilt_message ((struct GNUNET_MessageHeader *) &tqd[1],
-                           tqd->t, GNUNET_YES,
+                           tqd->t, NULL, GNUNET_YES,
                            NULL != tqd->tq ? tqd->tq->cont : NULL,
                            NULL != tqd->tq ? tqd->tq->cont_cls : NULL,
                            tqd->tq);
@@ -892,7 +967,7 @@ send_kx (struct MeshTunnel3 *t,
     return;
   }
 
-  if (GNUNET_NO != t->destroy)
+  if (GNUNET_SCHEDULER_NO_TASK != t->destroy_task)
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG, "  being destroyed, why bother\n");
     return;
@@ -912,7 +987,8 @@ send_kx (struct MeshTunnel3 *t,
   c = tunnel_get_connection (t);
   if (NULL == c)
   {
-    GNUNET_break (GNUNET_YES == t->destroy || MESH_TUNNEL3_READY != t->cstate);
+    GNUNET_break (GNUNET_SCHEDULER_NO_TASK != t->destroy_task
+                  || MESH_TUNNEL3_READY != t->cstate);
     GMT_debug (t);
     return;
   }
@@ -922,7 +998,6 @@ send_kx (struct MeshTunnel3 *t,
     case GNUNET_MESSAGE_TYPE_MESH_KX_EPHEMERAL:
     case GNUNET_MESSAGE_TYPE_MESH_KX_PING:
     case GNUNET_MESSAGE_TYPE_MESH_KX_PONG:
-      msg->reserved = htonl (0);
       memcpy (&msg[1], message, size);
       break;
     default:
@@ -945,7 +1020,7 @@ send_kx (struct MeshTunnel3 *t,
 static void
 send_ephemeral (struct MeshTunnel3 *t)
 {
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "%s()\n", __FUNCTION__);
+  LOG (GNUNET_ERROR_TYPE_INFO, "=> EPHM for %s\n", GMT_2s (t));
 
   kx_msg.sender_status = htonl (t->estate);
   send_kx (t, &kx_msg.header);
@@ -961,7 +1036,7 @@ send_ping (struct MeshTunnel3 *t)
 {
   struct GNUNET_MESH_KX_Ping msg;
 
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "%s()\n", __FUNCTION__);
+  LOG (GNUNET_ERROR_TYPE_INFO, "=> PING for %s\n", GMT_2s (t));
   msg.header.size = htons (sizeof (msg));
   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_KX_PING);
   msg.iv = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE, UINT32_MAX);
@@ -989,7 +1064,7 @@ send_pong (struct MeshTunnel3 *t, uint32_t challenge)
 {
   struct GNUNET_MESH_KX_Pong msg;
 
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "%s()\n", __FUNCTION__);
+  LOG (GNUNET_ERROR_TYPE_INFO, "=> PONG for %s\n", GMT_2s (t));
   msg.header.size = htons (sizeof (msg));
   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_KX_PONG);
   msg.iv = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE, UINT32_MAX);
@@ -1074,6 +1149,9 @@ rekey_iterator (void *cls,
   if (GNUNET_SCHEDULER_NO_TASK != t->rekey_task)
     return GNUNET_YES;
 
+  if (GNUNET_YES == GMT_is_loopback (t))
+    return GNUNET_YES;
+
   r = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, (uint32_t) n * 100);
   delay = GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MILLISECONDS, r);
   t->rekey_task = GNUNET_SCHEDULER_add_delayed (delay, &rekey_tunnel, t);
@@ -1161,7 +1239,7 @@ send_channel_destroy (struct MeshTunnel3 *t, unsigned int gid)
   LOG (GNUNET_ERROR_TYPE_DEBUG,
        "WARNING destroying unknown channel %u on tunnel %s\n",
        gid, GMT_2s (t));
-  send_prebuilt_message (&msg.header, t, GNUNET_YES, NULL, NULL, NULL);
+  send_prebuilt_message (&msg.header, t, NULL, GNUNET_YES, NULL, NULL, NULL);
 }
 
 
@@ -1417,7 +1495,7 @@ handle_ephemeral (struct MeshTunnel3 *t,
                   const struct GNUNET_MESH_KX_Ephemeral *msg)
 {
   struct GNUNET_HashCode km;
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "  ephemeral key message\n");
+  LOG (GNUNET_ERROR_TYPE_INFO, "<= EPHM for %s\n", GMT_2s (t));
 
   if (GNUNET_OK != check_ephemeral (t, msg))
   {
@@ -1456,12 +1534,12 @@ handle_ping (struct MeshTunnel3 *t,
     return;
   }
 
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "  ping message\n");
+  LOG (GNUNET_ERROR_TYPE_INFO, "<= PING for %s\n", GMT_2s (t));
   t_decrypt (t, &res.target, &msg->target, ping_encryption_size (), msg->iv);
   if (0 != memcmp (&my_full_id, &res.target, sizeof (my_full_id)))
   {
     GNUNET_STATISTICS_update (stats, "# malformed PINGs", 1, GNUNET_NO);
-    LOG (GNUNET_ERROR_TYPE_DEBUG, "  WARNING malformed PING\n");
+    LOG (GNUNET_ERROR_TYPE_WARNING, "  malformed PING\n");
     LOG (GNUNET_ERROR_TYPE_DEBUG, "  e got %u\n", msg->nonce);
     LOG (GNUNET_ERROR_TYPE_DEBUG, "  e towards %s\n", GNUNET_i2s (&msg->target));
     LOG (GNUNET_ERROR_TYPE_DEBUG, "  got %u\n", res.nonce);
@@ -1487,7 +1565,7 @@ handle_pong (struct MeshTunnel3 *t,
 {
   uint32_t challenge;
 
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "PONG received\n");
+  LOG (GNUNET_ERROR_TYPE_INFO, "<= PONG for %s\n", GMT_2s (t));
   if (GNUNET_SCHEDULER_NO_TASK == t->rekey_task)
   {
     GNUNET_STATISTICS_update (stats, "# duplicate PONG messages", 1, GNUNET_NO);
@@ -1497,8 +1575,8 @@ handle_pong (struct MeshTunnel3 *t,
 
   if (challenge != t->kx_ctx->challenge)
   {
-    LOG (GNUNET_ERROR_TYPE_DEBUG,
-         "Wrong PONG challenge: %u (e: %u). Expected: %u.\n",
+    LOG (GNUNET_ERROR_TYPE_WARNING, "Wrong PONG challenge\n");
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "PONG: %u (e: %u). Expected: %u.\n",
          challenge, msg->nonce, t->kx_ctx->challenge);
     GNUNET_break_op (0);
     return;
@@ -1530,12 +1608,15 @@ handle_decrypted (struct MeshTunnel3 *t,
   uint16_t type;
 
   type = ntohs (msgh->type);
-  LOG (GNUNET_ERROR_TYPE_DEBUG,
-       "Got a %s message!\n",
-       GM_m2s (type));
+  LOG (GNUNET_ERROR_TYPE_INFO, "<= %s on %s\n", GM_m2s (type), GMT_2s (t));
 
   switch (type)
   {
+    case GNUNET_MESSAGE_TYPE_MESH_KEEPALIVE:
+      /* Do nothing, connection aleady got updated. */
+      GNUNET_STATISTICS_update (stats, "# keepalives received", 1, GNUNET_NO);
+      break;
+
     case GNUNET_MESSAGE_TYPE_MESH_DATA:
       /* Don't send hop ACK, wait for client to ACK */
       handle_data (t, (struct GNUNET_MESH_Data *) msgh, fwd);
@@ -1569,7 +1650,7 @@ handle_decrypted (struct MeshTunnel3 *t,
 
     default:
       GNUNET_break_op (0);
-      LOG (GNUNET_ERROR_TYPE_DEBUG,
+      LOG (GNUNET_ERROR_TYPE_WARNING,
            "end-to-end message not known (%u)\n",
            ntohs (msgh->type));
       GMT_debug (t);
@@ -1597,8 +1678,19 @@ GMT_handle_encrypted (struct MeshTunnel3 *t,
   char cbuf [payload_size];
   struct GNUNET_MessageHeader *msgh;
   unsigned int off;
+  struct GNUNET_MeshHash hmac;
 
   decrypted_size = t_decrypt (t, cbuf, &msg[1], payload_size, msg->iv);
+  t_hmac (t, &msg[1], payload_size, msg->iv, GNUNET_NO, &hmac);
+  if (0 != memcmp (&hmac, &msg->hmac, sizeof (hmac)))
+  {
+    /* checksum failed */
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                "Failed checksum validation for a message on tunnel `%s'\n",
+                GMT_2s (t));
+    GNUNET_STATISTICS_update (stats, "# wrong HMAC", 1, GNUNET_NO);
+    return;
+  }
   off = 0;
   while (off < decrypted_size)
   {
@@ -1735,12 +1827,8 @@ GMT_change_cstate (struct MeshTunnel3* t, enum MeshTunnel3CState cstate)
 {
   if (NULL == t)
     return;
-  LOG (GNUNET_ERROR_TYPE_DEBUG,
-              "Tunnel %s cstate was %s\n",
-              GMP_2s (t->peer), cstate2s (t->cstate));
-  LOG (GNUNET_ERROR_TYPE_DEBUG,
-              "Tunnel %s cstate is now %s\n",
-              GMP_2s (t->peer), cstate2s (cstate));
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel %s cstate %s => %s\n",
+       GMP_2s (t->peer), cstate2s (t->cstate), cstate2s (cstate));
   if (myid != GMP_get_short_id (t->peer) &&
       MESH_TUNNEL3_READY != t->cstate &&
       MESH_TUNNEL3_READY == cstate)
@@ -1748,19 +1836,21 @@ GMT_change_cstate (struct MeshTunnel3* t, enum MeshTunnel3CState cstate)
     t->cstate = cstate;
     if (MESH_TUNNEL3_KEY_OK == t->estate)
     {
-      LOG (GNUNET_ERROR_TYPE_DEBUG, "  triggered send queued data\n");
+      LOG (GNUNET_ERROR_TYPE_DEBUG, "  cstate triggered send queued data\n");
       send_queued_data (t);
     }
     else if (MESH_TUNNEL3_KEY_UNINITIALIZED == t->estate)
     {
-      LOG (GNUNET_ERROR_TYPE_DEBUG, "  triggered rekey\n");
+      LOG (GNUNET_ERROR_TYPE_DEBUG, "  cstate triggered rekey\n");
       rekey_tunnel (t, NULL);
     }
   }
   t->cstate = cstate;
 
-  if (MESH_TUNNEL3_READY == cstate && 3 <= GMT_count_connections (t))
+  if (MESH_TUNNEL3_READY == cstate
+      && CONNECTIONS_PER_TUNNEL <= GMT_count_connections (t))
   {
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "  cstate triggered stop dht\n");
     GMP_stop_search (t->peer);
   }
 }
@@ -1793,6 +1883,36 @@ GMT_change_estate (struct MeshTunnel3* t, enum MeshTunnel3EState state)
 }
 
 
+/**
+ * Check that the tunnel doesn't have too many connections,
+ * remove one if necessary.
+ *
+ * For the time being, this means the newest connection.
+ *
+ * @param t Tunnel to check.
+ */
+static void
+check_connection_count (struct MeshTunnel3 *t)
+{
+  if (GMT_count_connections (t) > CONNECTIONS_PER_TUNNEL)
+  {
+    struct MeshTConnection *iter;
+    struct MeshTConnection *c;
+
+    for (iter = t->connection_head; NULL != iter; iter = iter->next)
+    {
+      if (NULL == c || iter->created.abs_value_us > c->created.abs_value_us)
+      {
+        c = iter;
+      }
+    }
+    if (NULL != c)
+      GMC_destroy (c->c);
+    else
+      GNUNET_break (0);
+  }
+}
+
 /**
  * Add a connection to a tunnel.
  *
@@ -1812,7 +1932,11 @@ GMT_add_connection (struct MeshTunnel3 *t, struct MeshConnection *c)
 
   aux = GNUNET_new (struct MeshTConnection);
   aux->c = c;
-  GNUNET_CONTAINER_DLL_insert_tail (t->connection_head, t->connection_tail, aux);
+  aux->created = GNUNET_TIME_absolute_get ();
+
+  GNUNET_CONTAINER_DLL_insert (t->connection_head, t->connection_tail, aux);
+
+  check_connection_count (t);
 }
 
 
@@ -1856,12 +1980,13 @@ GMT_remove_connection (struct MeshTunnel3 *t,
 
   /* Start new connections if needed */
   if (NULL == t->connection_head
-      && GNUNET_NO == t->destroy
+      && GNUNET_SCHEDULER_NO_TASK == t->destroy_task
+      && MESH_TUNNEL3_SHUTDOWN != t->cstate
       && GNUNET_NO == shutting_down)
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG, "  no more connections, getting new ones\n");
-    GMP_connect (t->peer);
     t->cstate = MESH_TUNNEL3_SEARCHING;
+    GMP_connect (t->peer);
     return;
   }
 
@@ -1905,9 +2030,10 @@ GMT_add_channel (struct MeshTunnel3 *t, struct MeshChannel *ch)
   LOG (GNUNET_ERROR_TYPE_DEBUG, " adding %p to %p\n", aux, t->channel_head);
   GNUNET_CONTAINER_DLL_insert_tail (t->channel_head, t->channel_tail, aux);
 
-  if (GNUNET_YES == t->destroy)
+  if (GNUNET_SCHEDULER_NO_TASK != t->destroy_task)
   {
-    t->destroy = GNUNET_NO;
+    GNUNET_SCHEDULER_cancel (t->destroy_task);
+    t->destroy_task = GNUNET_SCHEDULER_NO_TASK;
     LOG (GNUNET_ERROR_TYPE_DEBUG, " undo destroy!\n");
   }
 }
@@ -1965,34 +2091,60 @@ GMT_get_channel (struct MeshTunnel3 *t, MESH_ChannelNumber chid)
 
 
 /**
- * Tunnel is empty: destroy it.
+ * @brief Destroy a tunnel and free all resources.
  *
- * Notifies all connections about the destruction.
+ * Should only be called a while after the tunnel has been marked as destroyed,
+ * in case there is a new channel added to the same peer shortly after marking
+ * the tunnel. This way we avoid a new public key handshake.
  *
- * @param t Tunnel to destroy.
+ * @param cls Closure (tunnel to destroy).
+ * @param tc Task context.
  */
-void
-GMT_destroy_empty (struct MeshTunnel3 *t)
+static void
+delayed_destroy (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
+  struct MeshTunnel3 *t = cls;
   struct MeshTConnection *iter;
 
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel %s empty: destroying scheduled\n",
-       GMT_2s (t));
+  t->destroy_task = GNUNET_SCHEDULER_NO_TASK;
+  t->cstate = MESH_TUNNEL3_SHUTDOWN;
+
   for (iter = t->connection_head; NULL != iter; iter = iter->next)
   {
     GMC_send_destroy (iter->c);
   }
+  GMT_destroy (t);
+}
 
-  if (GNUNET_SCHEDULER_NO_TASK != t->rekey_task)
+
+/**
+ * Tunnel is empty: destroy it.
+ *
+ * Notifies all connections about the destruction.
+ *
+ * @param t Tunnel to destroy.
+ */
+void
+GMT_destroy_empty (struct MeshTunnel3 *t)
+{
+  if (GNUNET_SCHEDULER_NO_TASK != t->destroy_task)
   {
-    t->estate = MESH_TUNNEL3_KEY_UNINITIALIZED;
-    GNUNET_SCHEDULER_cancel (t->rekey_task);
-    t->rekey_task = GNUNET_SCHEDULER_NO_TASK;
-    GNUNET_free (t->kx_ctx);
-    t->kx_ctx = NULL;
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
+         "Tunnel %s is already scheduled for destruction\n",
+         GMT_2s (t));
+    GNUNET_break (0);
+    /* should never happen, tunnel can only become empty once, and the
+     * task identifier should be NO_TASK (cleaned when the tunnel was created
+     * or became un-empty)
+     */
+    return;
   }
-  t->cstate = MESH_TUNNEL3_NEW;
-  t->destroy = GNUNET_YES;
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel %s empty: destroying scheduled\n",
+       GMT_2s (t));
+
+  t->destroy_task = GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_MINUTES,
+                                                  &delayed_destroy, t);
 }
 
 
@@ -2033,7 +2185,11 @@ GMT_destroy (struct MeshTunnel3 *t)
   if (NULL == t)
     return;
 
-  t->destroy = 2;
+  if (GNUNET_SCHEDULER_NO_TASK != t->destroy_task)
+  {
+    GNUNET_SCHEDULER_cancel (t->destroy_task);
+    t->destroy_task = GNUNET_SCHEDULER_NO_TASK;
+  }
 
   LOG (GNUNET_ERROR_TYPE_DEBUG, "destroying tunnel %s\n", GMP_2s (t->peer));
 
@@ -2057,7 +2213,14 @@ GMT_destroy (struct MeshTunnel3 *t)
   GMP_set_tunnel (t->peer, NULL);
 
   if (GNUNET_SCHEDULER_NO_TASK != t->rekey_task)
+  {
     GNUNET_SCHEDULER_cancel (t->rekey_task);
+    t->rekey_task = GNUNET_SCHEDULER_NO_TASK;
+    if (NULL != t->kx_ctx)
+      GNUNET_free (t->kx_ctx);
+    else
+      GNUNET_break (0);
+  }
 
   GNUNET_free (t);
 }
@@ -2077,7 +2240,7 @@ struct MeshConnection *
 GMT_use_path (struct MeshTunnel3 *t, struct MeshPeerPath *p)
 {
   struct MeshConnection *c;
-  struct GNUNET_HashCode cid;
+  struct GNUNET_MeshHash cid;
   unsigned int own_pos;
 
   if (NULL == t || NULL == p)
@@ -2086,18 +2249,24 @@ GMT_use_path (struct MeshTunnel3 *t, struct MeshPeerPath *p)
     return NULL;
   }
 
+  if (MESH_TUNNEL3_SHUTDOWN == t->cstate)
+  {
+    GNUNET_break (0);
+    return NULL;
+  }
+
   for (own_pos = 0; own_pos < p->length; own_pos++)
   {
     if (p->peers[own_pos] == myid)
       break;
   }
-  if (own_pos > p->length - 1)
+  if (own_pos >= p->length)
   {
     GNUNET_break_op (0);
     return NULL;
   }
 
-  GNUNET_CRYPTO_hash_create_random (GNUNET_CRYPTO_QUALITY_NONCE, &cid);
+  GNUNET_CRYPTO_random_block (GNUNET_CRYPTO_QUALITY_NONCE, &cid, sizeof (cid));
   c = GMC_new (&cid, t, p, own_pos);
   if (NULL == c)
   {
@@ -2169,6 +2338,24 @@ GMT_get_cstate (struct MeshTunnel3 *t)
 }
 
 
+/**
+ * Get the encryption state of a tunnel.
+ *
+ * @param t Tunnel.
+ *
+ * @return Tunnel's encryption state.
+ */
+enum MeshTunnel3EState
+GMT_get_estate (struct MeshTunnel3 *t)
+{
+  if (NULL == t)
+  {
+    GNUNET_assert (0);
+    return (enum MeshTunnel3EState) -1;
+  }
+  return t->estate;
+}
+
 /**
  * Get the maximum buffer space for a tunnel towards a local client.
  *
@@ -2374,7 +2561,9 @@ GMT_send_connection_acks (struct MeshTunnel3 *t)
   /* Authorize connections to send more data */
   to_allow = buffer; /* - allowed; */
 
-  for (iter = t->connection_head; NULL != iter && to_allow > 0; iter = iter->next)
+  for (iter = t->connection_head;
+       NULL != iter && to_allow > 0;
+       iter = iter->next)
   {
     allow_per_connection = to_allow/cs;
     to_allow -= allow_per_connection;
@@ -2425,10 +2614,11 @@ GMT_cancel (struct MeshTunnel3Queue *q)
 
 /**
  * Sends an already built message on a tunnel, encrypting it and
- * choosing the best connection.
+ * choosing the best connection if not provided.
  *
  * @param message Message to send. Function modifies it.
  * @param t Tunnel on which this message is transmitted.
+ * @param c Connection to use (autoselect if NULL).
  * @param force Force the tunnel to take the message (buffer overfill).
  * @param cont Continuation to call once message is really sent.
  * @param cont_cls Closure for @c cont.
@@ -2437,10 +2627,10 @@ GMT_cancel (struct MeshTunnel3Queue *q)
  */
 struct MeshTunnel3Queue *
 GMT_send_prebuilt_message (const struct GNUNET_MessageHeader *message,
-                           struct MeshTunnel3 *t, int force,
-                           GMT_sent cont, void *cont_cls)
+                           struct MeshTunnel3 *t, struct MeshConnection *c,
+                           int force, GMT_sent cont, void *cont_cls)
 {
-  return send_prebuilt_message (message, t, force, cont, cont_cls, NULL);
+  return send_prebuilt_message (message, t, c, force, cont, cont_cls, NULL);
 }
 
 
@@ -2521,7 +2711,7 @@ GMT_get_path_cost (const struct MeshTunnel3 *t,
       }
     }
   }
-  return (path->length + overlap) * (path->score * -1);
+  return path->length + overlap;
 }
 
 
@@ -2542,8 +2732,13 @@ GMT_2s (const struct MeshTunnel3 *t)
 }
 
 
+/******************************************************************************/
+/*****************************    INFO/DEBUG    *******************************/
+/******************************************************************************/
+
+
 /**
- * Log all possible info about the tunnel state.
+ * Log all possible info about the tunnel state to stderr.
  *
  * @param t Tunnel to debug.
  */
@@ -2560,7 +2755,7 @@ GMT_debug (const struct MeshTunnel3 *t)
        t->kx_ctx, t->rekey_task);
   LOG (GNUNET_ERROR_TYPE_DEBUG, "  tq_head %p, tq_tail %p\n",
        t->tq_head, t->tq_tail);
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "  destroy %u\n", t->destroy);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  destroy %u\n", t->destroy_task);
 
   LOG (GNUNET_ERROR_TYPE_DEBUG, "  channels:\n");
   for (iterch = t->channel_head; NULL != iterch; iterch = iterch->next)
@@ -2581,3 +2776,62 @@ GMT_debug (const struct MeshTunnel3 *t)
 
   LOG (GNUNET_ERROR_TYPE_DEBUG, "DEBUG TUNNEL END\n");
 }
+
+
+/**
+ * Iterate all tunnels.
+ *
+ * @param iter Iterator.
+ * @param cls Closure for @c iter.
+ */
+void
+GMT_iterate_all (GNUNET_CONTAINER_PeerMapIterator iter, void *cls)
+{
+  GNUNET_CONTAINER_multipeermap_iterate (tunnels, iter, cls);
+}
+
+
+/**
+ * Count all tunnels.
+ *
+ * @return Number of tunnels to remote peers kept by this peer.
+ */
+unsigned int
+GMT_count_all (void)
+{
+  return GNUNET_CONTAINER_multipeermap_size (tunnels);
+}
+
+
+/**
+ * Iterate all connections of a tunnel.
+ *
+ * @param t Tunnel whose connections to iterate.
+ * @param iter Iterator.
+ * @param cls Closure for @c iter.
+ */
+void
+GMT_iterate_connections (struct MeshTunnel3 *t, GMT_conn_iter iter, void *cls)
+{
+  struct MeshTConnection *ct;
+
+  for (ct = t->connection_head; NULL != ct; ct = ct->next)
+    iter (cls, ct->c);
+}
+
+
+/**
+ * Iterate all channels of a tunnel.
+ *
+ * @param t Tunnel whose channels to iterate.
+ * @param iter Iterator.
+ * @param cls Closure for @c iter.
+ */
+void
+GMT_iterate_channels (struct MeshTunnel3 *t, GMT_chan_iter iter, void *cls)
+{
+  struct MeshTChannel *cht;
+
+  for (cht = t->channel_head; NULL != cht; cht = cht->next)
+    iter (cls, cht->ch);
+}