clean up for configs
[oweals/gnunet.git] / src / mesh / gnunet-service-mesh_tunnel.c
index d2cffca12f3794f019245117df1de6590ef4937a..dab9df1e68f6f75fea375a4a1d3d078cd88ceef0 100644 (file)
@@ -163,9 +163,9 @@ struct MeshTunnelDelayed
   struct MeshTunnel3 *t;
 
   /**
-   * Channel.
+   * Tunnel queue given to the channel to cancel request. Update on send_queued.
    */
-  struct MeshChannel *ch;
+  struct MeshTunnel3Queue *tq;
 
   /**
    * Message to send.
@@ -182,12 +182,12 @@ struct MeshTunnel3Queue
   /**
    * Connection queue handle, to cancel if necessary.
    */
-  struct MeshConnectionQueue *q;
+  struct MeshConnectionQueue *cq;
 
   /**
    * Handle in case message hasn't been given to a connection yet.
    */
-  struct MeshTunnelDelayed *tq;
+  struct MeshTunnelDelayed *tqd;
 
   /**
    * Continuation to call once sent.
@@ -221,6 +221,12 @@ extern GNUNET_PEER_Id myid;
 extern struct GNUNET_PeerIdentity my_full_id;
 
 
+/**
+ * Don't try to recover tunnels if shutting down.
+ */
+extern int shutting_down;
+
+
 /**
  * Set of all tunnels, in order to trigger a new exchange on rekey.
  * Indexed by peer's ID.
@@ -335,9 +341,12 @@ estate2s (enum MeshTunnel3EState es)
 static int
 is_ready (struct MeshTunnel3 *t)
 {
-  return (MESH_TUNNEL3_READY == t->cstate
-          && MESH_TUNNEL3_KEY_OK == t->estate)
-         || GMT_is_loopback (t);
+  int ready;
+
+  GMT_debug (t);
+  ready = (MESH_TUNNEL3_READY == t->cstate && MESH_TUNNEL3_KEY_OK == t->estate);
+  ready = ready || GMT_is_loopback (t);
+  return ready;
 }
 
 
@@ -519,9 +528,28 @@ t_decrypt (struct MeshTunnel3 *t,
            size_t size, uint32_t iv)
 {
   struct GNUNET_CRYPTO_SymmetricInitializationVector siv;
+  struct GNUNET_CRYPTO_SymmetricSessionKey *key;
+
+  if (t->estate == MESH_TUNNEL3_KEY_OK || t->estate == MESH_TUNNEL3_KEY_PING)
+  {
+    key = &t->d_key;
+  }
+  else if (NULL != t->kx_ctx)
+  {
+    key = &t->kx_ctx->d_key_old;
+  }
+  else
+  {
+    GNUNET_STATISTICS_update (stats, "# non decryptable data", 1, GNUNET_NO);
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
+         "WARNING got data on %s without a valid key\n",
+         GMT_2s (t));
+    GMT_debug (t);
+    return 0;
+  }
 
-  GNUNET_CRYPTO_symmetric_derive_iv (&siv, &t->d_key, &iv, sizeof (uint32_t), NULL);
-  return GNUNET_CRYPTO_symmetric_decrypt (src, size, &t->d_key, &siv, dst);
+  GNUNET_CRYPTO_symmetric_derive_iv (&siv, key, &iv, sizeof (uint32_t), NULL);
+  return GNUNET_CRYPTO_symmetric_decrypt (src, size, key, &siv, dst);
 }
 
 
@@ -607,18 +635,184 @@ tunnel_get_connection (struct MeshTunnel3 *t)
 }
 
 
+/**
+ * Callback called when a queued message is sent.
+ *
+ * Calculates the average time and connection packet tracking.
+ *
+ * @param cls Closure (TunnelQueue handle).
+ * @param c Connection this message was on.
+ * @param q Connection queue handle (unused).
+ * @param type Type of message sent.
+ * @param fwd Was this a FWD going message?
+ * @param size Size of the message.
+ */
+static void
+message_sent (void *cls,
+              struct MeshConnection *c,
+              struct MeshConnectionQueue *q,
+              uint16_t type, int fwd, size_t size)
+{
+  struct MeshTunnel3Queue *qt = cls;
+
+  GNUNET_assert (NULL != qt->cont);
+  qt->cont (qt->cont_cls, GMC_get_tunnel (c), qt, type, size);
+  GNUNET_free (qt);
+}
+
 
 /**
- * Delete a queued message: most probably channel was destroyed before the
- * tunnel's key exchange had a chance to finish.
+ * Delete a queued message: either was sent or the channel was destroyed
+ * before the tunnel's key exchange had a chance to finish.
  *
- * @param tq Queue handle.
+ * @param tqd Delayed queue handle.
  */
 static void
-unqueue_data (struct MeshTunnelDelayed *tq)
+unqueue_data (struct MeshTunnelDelayed *tqd)
+{
+  GNUNET_CONTAINER_DLL_remove (tqd->t->tq_head, tqd->t->tq_tail, tqd);
+  GNUNET_free (tqd);
+}
+
+
+/**
+ * Cache a message to be sent once tunnel is online.
+ *
+ * @param t Tunnel to hold the message.
+ * @param msg Message itself (copy will be made).
+ */
+static struct MeshTunnelDelayed *
+queue_data (struct MeshTunnel3 *t, const struct GNUNET_MessageHeader *msg)
+{
+  struct MeshTunnelDelayed *tqd;
+  uint16_t size = ntohs (msg->size);
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "queue data on Tunnel %s\n", GMT_2s (t));
+
+  if (GNUNET_YES == is_ready (t))
+  {
+    GNUNET_break (0);
+    return NULL;
+  }
+
+  tqd = GNUNET_malloc (sizeof (struct MeshTunnelDelayed) + size);
+
+  tqd->t = t;
+  memcpy (&tqd[1], msg, size);
+  GNUNET_CONTAINER_DLL_insert_tail (t->tq_head, t->tq_tail, tqd);
+  return tqd;
+}
+
+
+
+/**
+ * Sends an already built message on a tunnel, encrypting it and
+ * choosing the best connection.
+ *
+ * @param message Message to send. Function modifies it.
+ * @param t Tunnel on which this message is transmitted.
+ * @param force Force the tunnel to take the message (buffer overfill).
+ * @param cont Continuation to call once message is really sent.
+ * @param cont_cls Closure for @c cont.
+ * @param existing_q In case this a transmission of previously queued data,
+ *                   this should be TunnelQueue given to the client.
+ *                   Otherwise, NULL.
+ *
+ * @return Handle to cancel message. NULL if @c cont is NULL.
+ */
+static struct MeshTunnel3Queue *
+send_prebuilt_message (const struct GNUNET_MessageHeader *message,
+                       struct MeshTunnel3 *t, int force,
+                       GMT_sent cont, void *cont_cls,
+                       struct MeshTunnel3Queue *existing_q)
 {
-  GNUNET_CONTAINER_DLL_remove (tq->t->tq_head, tq->t->tq_tail, tq);
-  GNUNET_free (tq);
+  struct MeshTunnel3Queue *tq;
+  struct MeshConnection *c;
+  struct GNUNET_MESH_Encrypted *msg;
+  size_t size = ntohs (message->size);
+  char cbuf[sizeof (struct GNUNET_MESH_Encrypted) + size];
+  uint32_t iv;
+  uint16_t type;
+  int fwd;
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "GMT Send on Tunnel %s\n", GMT_2s (t));
+
+  if (GNUNET_NO == is_ready (t))
+  {
+    struct MeshTunnelDelayed *tqd;
+    /* A non null existing_q indicates sending of queued data.
+     * Should only happen after tunnel becomes ready.
+     */
+    GNUNET_assert (NULL == existing_q);
+    tqd = queue_data (t, message);
+    if (NULL == cont)
+      return NULL;
+    tq = GNUNET_new (struct MeshTunnel3Queue);
+    tq->tqd = tqd;
+    tqd->tq = tq;
+    tq->cont = cont;
+    tq->cont_cls = cont_cls;
+    return tq;
+  }
+
+  GNUNET_assert (GNUNET_NO == GMT_is_loopback (t));
+
+  iv = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE, UINT32_MAX);
+  msg = (struct GNUNET_MESH_Encrypted *) cbuf;
+  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_ENCRYPTED);
+  msg->iv = iv;
+  GNUNET_assert (t_encrypt (t, &msg[1], message, size, iv) == size);
+  msg->header.size = htons (sizeof (struct GNUNET_MESH_Encrypted) + size);
+  c = tunnel_get_connection (t);
+  if (NULL == c)
+  {
+    if (GNUNET_YES == t->destroy || MESH_TUNNEL3_SEARCHING != t->cstate)
+    {
+      GNUNET_break (0);
+      GMT_debug (t);
+    }
+    return NULL;
+  }
+  type = ntohs (message->type);
+  switch (type)
+  {
+    case GNUNET_MESSAGE_TYPE_MESH_DATA:
+    case GNUNET_MESSAGE_TYPE_MESH_DATA_ACK:
+    case GNUNET_MESSAGE_TYPE_MESH_CHANNEL_CREATE:
+    case GNUNET_MESSAGE_TYPE_MESH_CHANNEL_DESTROY:
+    case GNUNET_MESSAGE_TYPE_MESH_CHANNEL_ACK:
+    case GNUNET_MESSAGE_TYPE_MESH_CHANNEL_NACK:
+      msg->cid = *GMC_get_id (c);
+      msg->ttl = htonl (default_ttl);
+      break;
+    default:
+      LOG (GNUNET_ERROR_TYPE_DEBUG, "unkown type %s\n",
+           GM_m2s (type));
+      GNUNET_break (0);
+  }
+
+  fwd = GMC_is_origin (c, GNUNET_YES);
+
+  if (NULL == cont)
+  {
+    (void) GMC_send_prebuilt_message (&msg->header, c, fwd, force, NULL, NULL);
+    return NULL;
+  }
+  if (NULL == existing_q)
+  {
+    tq = GNUNET_new (struct MeshTunnel3Queue); /* FIXME valgrind: leak*/
+  }
+  else
+  {
+    tq = existing_q;
+    tq->tqd = NULL;
+  }
+  tq->cq = GMC_send_prebuilt_message (&msg->header, c, fwd, force,
+                                      &message_sent, tq);
+  tq->cont = cont;
+  tq->cont_cls = cont_cls;
+
+  return tq;
 }
 
 
@@ -630,7 +824,7 @@ unqueue_data (struct MeshTunnelDelayed *tq)
 static void
 send_queued_data (struct MeshTunnel3 *t)
 {
-  struct MeshTunnelDelayed *tq;
+  struct MeshTunnelDelayed *tqd;
   struct MeshTunnelDelayed *next;
   unsigned int room;
 
@@ -654,66 +848,22 @@ send_queued_data (struct MeshTunnel3 *t)
   room = GMT_get_connections_buffer (t);
   LOG (GNUNET_ERROR_TYPE_DEBUG, "  buffer space: %u\n", room);
   LOG (GNUNET_ERROR_TYPE_DEBUG, "  tq head: %p\n", t->tq_head);
-  for (tq = t->tq_head; NULL != tq && room > 0; tq = next)
+  for (tqd = t->tq_head; NULL != tqd && room > 0; tqd = next)
   {
-    /* GMCH_send_prebuilt_message will call GMT_cancel on the current
-     * queue handler, therefore free'ing tq before calling GMT_send.
-     * Since the data to send is part of tq, we need to provide a copy,
-     * so the data is not invalidated.
-     */
-    struct GNUNET_MessageHeader *msg = (struct GNUNET_MessageHeader *) &tq[1];
-    size_t m_size = ntohs (msg->size);
-    char cbuf[m_size];
-    struct GNUNET_MessageHeader *copy = (struct GNUNET_MessageHeader *) cbuf;
-
-    LOG (GNUNET_ERROR_TYPE_DEBUG, " msg on channel %s\n", GMCH_2s (tq->ch));
-    next = tq->next;
+    LOG (GNUNET_ERROR_TYPE_DEBUG, " sending queued data\n");
+    next = tqd->next;
     room--;
-    memcpy (copy, msg, m_size);
-    GMCH_send_prebuilt_message (copy,
-                                tq->ch, GMCH_is_origin (tq->ch, GNUNET_YES),
-                                NULL);
-  }
-  LOG (GNUNET_ERROR_TYPE_DEBUG,
-       "GMT_send_queued_data end\n",
-       GMP_2s (t->peer));
-}
-
-
-/**
- * Cache a message to be sent once tunnel is online.
- *
- * @param t Tunnel to hold the message.
- * @param ch Channel the message is about.
- * @param msg Message itself (copy will be made).
- */
-static struct MeshTunnelDelayed *
-queue_data (struct MeshTunnel3 *t,
-            struct MeshChannel *ch,
-            const struct GNUNET_MessageHeader *msg)
-{
-  struct MeshTunnelDelayed *tq;
-  uint16_t size = ntohs (msg->size);
-
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "queue data on Tunnel %s\n", GMT_2s (t));
-
-  if (GNUNET_YES == is_ready (t))
-  {
-    GNUNET_break (0);
-    return NULL;
+    send_prebuilt_message ((struct GNUNET_MessageHeader *) &tqd[1],
+                           tqd->t, GNUNET_YES,
+                           NULL != tqd->tq ? tqd->tq->cont : NULL,
+                           NULL != tqd->tq ? tqd->tq->cont_cls : NULL,
+                           tqd->tq);
+    unqueue_data (tqd);
   }
-
-  tq = GNUNET_malloc (sizeof (struct MeshTunnelDelayed) + size);
-
-  tq->ch = ch;
-  tq->t = t;
-  memcpy (&tq[1], msg, size);
-  GNUNET_CONTAINER_DLL_insert_tail (t->tq_head, t->tq_tail, tq);
-  return tq;
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "GMT_send_queued_data end\n", GMP_2s (t->peer));
 }
 
 
-
 /**
  * Sends key exchange message on a tunnel, choosing the best connection.
  * Should not be called on loopback tunnels.
@@ -742,10 +892,17 @@ send_kx (struct MeshTunnel3 *t,
     return;
   }
 
+  if (GNUNET_NO != t->destroy)
+  {
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "  being destroyed, why bother\n");
+    return;
+  }
+
   /* Must have a connection. */
   if (NULL == t->connection_head)
   {
-    GNUNET_break (0);
+    GNUNET_break (MESH_TUNNEL3_SEARCHING == t->cstate);
+    GMT_debug (t);
     return;
   }
 
@@ -755,7 +912,8 @@ send_kx (struct MeshTunnel3 *t,
   c = tunnel_get_connection (t);
   if (NULL == c)
   {
-    GNUNET_break (GNUNET_YES == t->destroy);
+    GNUNET_break (GNUNET_YES == t->destroy || MESH_TUNNEL3_READY != t->cstate);
+    GMT_debug (t);
     return;
   }
   type = ntohs (message->type);
@@ -857,7 +1015,7 @@ rekey_tunnel (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 
   t->rekey_task = GNUNET_SCHEDULER_NO_TASK;
 
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "Re-key Tunnel\n");
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "Re-key Tunnel %s\n", GMT_2s (t));
   if (NULL != tc && 0 != (GNUNET_SCHEDULER_REASON_SHUTDOWN & tc->reason))
     return;
 
@@ -865,9 +1023,11 @@ rekey_tunnel (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG, "  new kx ctx\n");
     t->kx_ctx = GNUNET_new (struct MeshTunnelKXCtx);
-    t->kx_ctx->challenge = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE,
-                                                     UINT32_MAX);
+    t->kx_ctx->challenge =
+        GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE, UINT32_MAX);
     t->kx_ctx->d_key_old = t->d_key;
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "  new challenge for %s: %u\n",
+         GMT_2s (t), t->kx_ctx->challenge);
   }
   send_ephemeral (t);
   switch (t->estate)
@@ -982,6 +1142,29 @@ destroy_iterator (void *cls,
 }
 
 
+/**
+ * Notify remote peer that we don't know a channel he is talking about,
+ * probably CHANNEL_DESTROY was missed.
+ *
+ * @param t Tunnel on which to notify.
+ * @param gid ID of the channel.
+ */
+static void
+send_channel_destroy (struct MeshTunnel3 *t, unsigned int gid)
+{
+  struct GNUNET_MESH_ChannelManage msg;
+
+  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_CHANNEL_DESTROY);
+  msg.header.size = htons (sizeof (msg));
+  msg.chid = htonl (gid);
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+       "WARNING destroying unknown channel %u on tunnel %s\n",
+       gid, GMT_2s (t));
+  send_prebuilt_message (&msg.header, t, GNUNET_YES, NULL, NULL, NULL);
+}
+
+
 /**
  * Demultiplex data per channel and call appropriate channel handler.
  *
@@ -1018,8 +1201,9 @@ handle_data (struct MeshTunnel3 *t,
   {
     GNUNET_STATISTICS_update (stats, "# data on unknown channel",
                               1, GNUNET_NO);
-    LOG (GNUNET_ERROR_TYPE_DEBUG, "WARNING channel %u unknown\n",
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "WARNING channel 0x%X unknown\n",
          ntohl (msg->chid));
+    send_channel_destroy (t, ntohl (msg->chid));
     return;
   }
 
@@ -1276,7 +1460,8 @@ handle_ping (struct MeshTunnel3 *t,
   t_decrypt (t, &res.target, &msg->target, ping_encryption_size (), msg->iv);
   if (0 != memcmp (&my_full_id, &res.target, sizeof (my_full_id)))
   {
-    GNUNET_break_op (0);
+    GNUNET_STATISTICS_update (stats, "# malformed PINGs", 1, GNUNET_NO);
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "  WARNING malformed PING\n");
     LOG (GNUNET_ERROR_TYPE_DEBUG, "  e got %u\n", msg->nonce);
     LOG (GNUNET_ERROR_TYPE_DEBUG, "  e towards %s\n", GNUNET_i2s (&msg->target));
     LOG (GNUNET_ERROR_TYPE_DEBUG, "  got %u\n", res.nonce);
@@ -1305,7 +1490,7 @@ handle_pong (struct MeshTunnel3 *t,
   LOG (GNUNET_ERROR_TYPE_DEBUG, "PONG received\n");
   if (GNUNET_SCHEDULER_NO_TASK == t->rekey_task)
   {
-    GNUNET_break_op (0);
+    GNUNET_STATISTICS_update (stats, "# duplicate PONG messages", 1, GNUNET_NO);
     return;
   }
   t_decrypt (t, &challenge, &msg->nonce, sizeof (uint32_t), msg->iv);
@@ -1387,6 +1572,7 @@ handle_decrypted (struct MeshTunnel3 *t,
       LOG (GNUNET_ERROR_TYPE_DEBUG,
            "end-to-end message not known (%u)\n",
            ntohs (msgh->type));
+      GMT_debug (t);
   }
 }
 
@@ -1630,6 +1816,19 @@ GMT_add_connection (struct MeshTunnel3 *t, struct MeshConnection *c)
 }
 
 
+/**
+ * Mark a path as no longer valid for this tunnel: has been tried and failed.
+ *
+ * @param t Tunnel to update.
+ * @param path Invalid path to remove. Is destroyed after removal.
+ */
+void
+GMT_remove_path (struct MeshTunnel3 *t, struct MeshPeerPath *path)
+{
+  GMP_remove_path (t->peer, path);
+}
+
+
 /**
  * Remove a connection from a tunnel.
  *
@@ -1637,17 +1836,45 @@ GMT_add_connection (struct MeshTunnel3 *t, struct MeshConnection *c)
  * @param c Connection.
  */
 void
-GMT_remove_connection (struct MeshTunnel3 *t, struct MeshConnection *c)
+GMT_remove_connection (struct MeshTunnel3 *t,
+                       struct MeshConnection *c)
 {
   struct MeshTConnection *aux;
+  struct MeshTConnection *next;
 
-  for (aux = t->connection_head; aux != NULL; aux = aux->next)
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "Removing connection %s from tunnel %s\n",
+       GMC_2s (c), GMT_2s (t));
+  for (aux = t->connection_head; aux != NULL; aux = next)
+  {
+    next = aux->next;
     if (aux->c == c)
     {
       GNUNET_CONTAINER_DLL_remove (t->connection_head, t->connection_tail, aux);
       GNUNET_free (aux);
-      return;
     }
+  }
+
+  /* Start new connections if needed */
+  if (NULL == t->connection_head
+      && GNUNET_NO == t->destroy
+      && GNUNET_NO == shutting_down)
+  {
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "  no more connections, getting new ones\n");
+    GMP_connect (t->peer);
+    t->cstate = MESH_TUNNEL3_SEARCHING;
+    return;
+  }
+
+  /* If not marked as ready, no change is needed */
+  if (MESH_TUNNEL3_READY != t->cstate)
+    return;
+
+  /* Check if any connection is ready to maintaing cstate */
+  for (aux = t->connection_head; aux != NULL; aux = aux->next)
+    if (MESH_CONNECTION_READY == GMC_get_state (aux->c))
+      return;
+
+  t->cstate = MESH_TUNNEL3_WAITING;
 }
 
 
@@ -1749,12 +1976,21 @@ GMT_destroy_empty (struct MeshTunnel3 *t)
 {
   struct MeshTConnection *iter;
 
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel empty: destroying scheduled\n");
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel %s empty: destroying scheduled\n",
+       GMT_2s (t));
   for (iter = t->connection_head; NULL != iter; iter = iter->next)
   {
     GMC_send_destroy (iter->c);
   }
 
+  if (GNUNET_SCHEDULER_NO_TASK != t->rekey_task)
+  {
+    t->estate = MESH_TUNNEL3_KEY_UNINITIALIZED;
+    GNUNET_SCHEDULER_cancel (t->rekey_task);
+    t->rekey_task = GNUNET_SCHEDULER_NO_TASK;
+    GNUNET_free (t->kx_ctx);
+    t->kx_ctx = NULL;
+  }
   t->cstate = MESH_TUNNEL3_NEW;
   t->destroy = GNUNET_YES;
 }
@@ -1797,6 +2033,8 @@ GMT_destroy (struct MeshTunnel3 *t)
   if (NULL == t)
     return;
 
+  t->destroy = 2;
+
   LOG (GNUNET_ERROR_TYPE_DEBUG, "destroying tunnel %s\n", GMP_2s (t->peer));
 
   GNUNET_break (GNUNET_YES ==
@@ -1855,7 +2093,7 @@ GMT_use_path (struct MeshTunnel3 *t, struct MeshPeerPath *p)
   }
   if (own_pos > p->length - 1)
   {
-    GNUNET_break (0);
+    GNUNET_break_op (0);
     return NULL;
   }
 
@@ -1884,9 +2122,9 @@ GMT_count_connections (struct MeshTunnel3 *t)
   struct MeshTConnection *iter;
   unsigned int count;
 
-  for (count = 0, iter = t->connection_head;
-       NULL != iter;
-       iter = iter->next, count++);
+  for (count = 0, iter = t->connection_head; NULL != iter; iter = iter->next)
+    if (MESH_CONNECTION_DESTROYED != GMC_get_state (iter->c))
+      count++;
 
   return count;
 }
@@ -1924,7 +2162,7 @@ GMT_get_cstate (struct MeshTunnel3 *t)
 {
   if (NULL == t)
   {
-    GNUNET_break (0);
+    GNUNET_assert (0);
     return (enum MeshTunnel3CState) -1;
   }
   return t->cstate;
@@ -2107,8 +2345,7 @@ GMT_send_connection_acks (struct MeshTunnel3 *t)
   unsigned int cs;
   unsigned int buffer;
 
-  LOG (GNUNET_ERROR_TYPE_DEBUG,
-       "Tunnel send connection ACKs on %s\n",
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel send connection ACKs on %s\n",
        GMT_2s (t));
 
   if (NULL == t)
@@ -2118,6 +2355,7 @@ GMT_send_connection_acks (struct MeshTunnel3 *t)
   }
 
   buffer = GMT_get_channels_buffer (t);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  buffer %u\n", buffer);
 
   /* Count connections, how many messages are already allowed */
   cs = GMT_count_connections (t);
@@ -2125,6 +2363,7 @@ GMT_send_connection_acks (struct MeshTunnel3 *t)
   {
     allowed += get_connection_allowed (iter);
   }
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  allowed %u\n", allowed);
 
   /* Make sure there is no overflow */
   if (allowed > buffer)
@@ -2144,39 +2383,14 @@ GMT_send_connection_acks (struct MeshTunnel3 *t)
     {
       continue;
     }
-    GMC_allow (iter->c, buffer, GMC_is_origin (iter->c, GNUNET_YES));
+    GMC_allow (iter->c, allow_per_connection,
+               GMC_is_origin (iter->c, GNUNET_NO));
   }
 
   GNUNET_break (to_allow == 0);
 }
 
 
-/**
- * Callback called when a queued message is sent.
- *
- * Calculates the average time and connection packet tracking.
- *
- * @param cls Closure (TunnelQueue handle).
- * @param c Connection this message was on.
- * @param q Connection queue handle (unused).
- * @param type Type of message sent.
- * @param fwd Was this a FWD going message?
- * @param size Size of the message.
- */
-static void
-message_sent (void *cls,
-              struct MeshConnection *c,
-              struct MeshConnectionQueue *q,
-              uint16_t type, int fwd, size_t size)
-{
-  struct MeshTunnel3Queue *qt = cls;
-
-  GNUNET_assert (NULL != qt->cont);
-  qt->cont (qt->cont_cls, GMC_get_tunnel (c), qt, type, size);
-  GNUNET_free (qt);
-}
-
-
 /**
  * Cancel a previously sent message while it's in the queue.
  *
@@ -2189,14 +2403,18 @@ message_sent (void *cls,
 void
 GMT_cancel (struct MeshTunnel3Queue *q)
 {
-  if (NULL != q->q)
+  if (NULL != q->cq)
   {
-    GMC_cancel (q->q);
+    GMC_cancel (q->cq);
     /* message_sent() will be called and free q */
   }
-  else if (NULL != q->tq)
+  else if (NULL != q->tqd)
   {
-    unqueue_data (q->tq);
+    unqueue_data (q->tqd);
+    q->tqd = NULL;
+    if (NULL != q->cont)
+      q->cont (q->cont_cls, NULL, q, 0, 0);
+    GNUNET_free (q);
   }
   else
   {
@@ -2211,7 +2429,6 @@ GMT_cancel (struct MeshTunnel3Queue *q)
  *
  * @param message Message to send. Function modifies it.
  * @param t Tunnel on which this message is transmitted.
- * @param ch Channel on which this message is transmitted.
  * @param force Force the tunnel to take the message (buffer overfill).
  * @param cont Continuation to call once message is really sent.
  * @param cont_cls Closure for @c cont.
@@ -2220,76 +2437,13 @@ GMT_cancel (struct MeshTunnel3Queue *q)
  */
 struct MeshTunnel3Queue *
 GMT_send_prebuilt_message (const struct GNUNET_MessageHeader *message,
-                           struct MeshTunnel3 *t, struct MeshChannel *ch,
-                           int force,
+                           struct MeshTunnel3 *t, int force,
                            GMT_sent cont, void *cont_cls)
 {
-  struct MeshTunnel3Queue *q;
-  struct MeshConnection *c;
-  struct GNUNET_MESH_Encrypted *msg;
-  size_t size = ntohs (message->size);
-  size_t encrypted_size;
-  char cbuf[sizeof (struct GNUNET_MESH_Encrypted) + size];
-  uint32_t iv;
-  uint16_t type;
-  int fwd;
-
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "GMT Send on Tunnel %s\n", GMT_2s (t));
-
-  if (GNUNET_NO == is_ready (t))
-  {
-    q = GNUNET_new (struct MeshTunnel3Queue);
-    q->tq = queue_data (t, ch, message);
-    return q;
-  }
-
-  GNUNET_assert (GNUNET_NO == GMT_is_loopback (t));
-
-  iv = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE, UINT32_MAX);
-  msg = (struct GNUNET_MESH_Encrypted *) cbuf;
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_ENCRYPTED);
-  msg->iv = iv;
-  encrypted_size = t_encrypt (t, &msg[1], message, size, iv);
-  msg->header.size = htons (sizeof (struct GNUNET_MESH_Encrypted) + encrypted_size);
-  c = tunnel_get_connection (t);
-  if (NULL == c)
-  {
-    GNUNET_break (GNUNET_YES == t->destroy);
-    return NULL;
-  }
-  type = ntohs (message->type);
-  switch (type)
-  {
-    case GNUNET_MESSAGE_TYPE_MESH_DATA:
-    case GNUNET_MESSAGE_TYPE_MESH_DATA_ACK:
-    case GNUNET_MESSAGE_TYPE_MESH_CHANNEL_CREATE:
-    case GNUNET_MESSAGE_TYPE_MESH_CHANNEL_DESTROY:
-    case GNUNET_MESSAGE_TYPE_MESH_CHANNEL_ACK:
-      msg->cid = *GMC_get_id (c);
-      msg->ttl = htonl (default_ttl);
-      break;
-    default:
-      LOG (GNUNET_ERROR_TYPE_DEBUG, "unkown type %s\n",
-           GM_m2s (type));
-      GNUNET_break (0);
-  }
-
-  fwd = GMC_is_origin (c, GNUNET_YES);
-
-  if (NULL == cont)
-  {
-    (void) GMC_send_prebuilt_message (&msg->header, c, fwd, force, NULL, NULL);
-    return NULL;
-  }
-  q = GNUNET_new (struct MeshTunnel3Queue); /* FIXME valgrind: leak*/
-  q->q = GMC_send_prebuilt_message (&msg->header, c, fwd, force,
-                                    &message_sent, q);
-  q->cont = cont;
-  q->cont_cls = cont_cls;
-
-  return q;
+  return send_prebuilt_message (message, t, force, cont, cont_cls, NULL);
 }
 
+
 /**
  * Is the tunnel directed towards the local peer?
  *
@@ -2386,3 +2540,44 @@ GMT_2s (const struct MeshTunnel3 *t)
 
   return GMP_2s (t->peer);
 }
+
+
+/**
+ * Log all possible info about the tunnel state.
+ *
+ * @param t Tunnel to debug.
+ */
+void
+GMT_debug (const struct MeshTunnel3 *t)
+{
+  struct MeshTChannel *iterch;
+  struct MeshTConnection *iterc;
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "DEBUG TUNNEL TOWARDS %s\n", GMT_2s (t));
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  cstate %s, estate %s\n",
+       cstate2s (t->cstate), estate2s (t->estate));
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  kx_ctx %p, rekey_task %u\n",
+       t->kx_ctx, t->rekey_task);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  tq_head %p, tq_tail %p\n",
+       t->tq_head, t->tq_tail);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  destroy %u\n", t->destroy);
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  channels:\n");
+  for (iterch = t->channel_head; NULL != iterch; iterch = iterch->next)
+  {
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "  - %s\n", GMCH_2s (iterch->ch));
+  }
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  connections:\n");
+  for (iterc = t->connection_head; NULL != iterc; iterc = iterc->next)
+  {
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "  - %s [%u] buf: %u/%u (qn %u/%u)\n",
+         GMC_2s (iterc->c), GMC_get_state (iterc->c),
+         GMC_get_buffer (iterc->c, GNUNET_YES),
+         GMC_get_buffer (iterc->c, GNUNET_NO),
+         GMC_get_qn (iterc->c, GNUNET_YES),
+         GMC_get_qn (iterc->c, GNUNET_NO));
+  }
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "DEBUG TUNNEL END\n");
+}