- simplify timing out of old hellos
[oweals/gnunet.git] / src / mesh / gnunet-service-mesh_peer.c
index 157b48dadd9a7431ce29029bb6118f102bc40cc4..569eda84bccce534e62d4b54ae234842bc1472e2 100644 (file)
 #include "platform.h"
 #include "gnunet_util_lib.h"
 
+#include "gnunet_transport_service.h"
 #include "gnunet_core_service.h"
 #include "gnunet_statistics_service.h"
 
-#include "mesh_protocol_enc.h"
+#include "mesh_protocol.h"
 
 #include "gnunet-service-mesh_peer.h"
 #include "gnunet-service-mesh_dht.h"
 #include "gnunet-service-mesh_connection.h"
-#include "gnunet-service-mesh_local.h"
 #include "gnunet-service-mesh_tunnel.h"
 #include "mesh_path.h"
 
@@ -70,11 +70,6 @@ struct MeshPeerQueue
      */
   int fwd;
 
-    /**
-     * Channel this message belongs to, if known.
-     */
-  struct MeshChannel *ch;
-
     /**
      * Pointer to info stucture used as cls.
      */
@@ -139,7 +134,7 @@ struct MeshPeer
     /**
      * Tunnel to this peer, if any.
      */
-  struct MeshTunnel2 *tunnel;
+  struct MeshTunnel3 *tunnel;
 
     /**
      * Connections that go through this peer, indexed by tid;
@@ -165,6 +160,11 @@ struct MeshPeer
    * How many messages are in the queue to this peer.
    */
   unsigned int queue_n;
+
+  /**
+   * Hello message.
+   */
+  struct GNUNET_HELLO_Message* hello;
 };
 
 
@@ -177,6 +177,16 @@ struct MeshPeer
  */
 extern struct GNUNET_STATISTICS_Handle *stats;
 
+/**
+ * Local peer own ID (full value).
+ */
+extern struct GNUNET_PeerIdentity my_full_id;
+
+/**
+ * Local peer own ID (short)
+ */
+extern GNUNET_PEER_Id myid;
+
 /**
  * Peers known, indexed by PeerIdentity (MeshPeer).
  */
@@ -197,10 +207,8 @@ static unsigned long long drop_percent;
  */
 static struct GNUNET_CORE_Handle *core_handle;
 
-/**
- * Local peer own ID (full value).
- */
-const static struct GNUNET_PeerIdentity *my_full_id;
+static struct GNUNET_TRANSPORT_Handle *transport_handle;
+
 
 /******************************************************************************/
 /***************************** CORE CALLBACKS *********************************/
@@ -215,8 +223,7 @@ const static struct GNUNET_PeerIdentity *my_full_id;
  * @param key Current key code (peer id).
  * @param value Value in the hash map (connection).
  *
- * @return GNUNET_YES if we should continue to iterate,
- *         GNUNET_NO if not.
+ * @return #GNUNET_YES to continue to iterate.
  */
 static int
 notify_broken (void *cls,
@@ -226,12 +233,38 @@ notify_broken (void *cls,
   struct MeshPeer *peer = cls;
   struct MeshConnection *c = value;
 
-  GMC_notify_broken (c, peer, my_full_id);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  notifying %s due to %s\n",
+       GMC_2s (c), GMP_2s (peer));
+  GMC_notify_broken (c, peer);
 
   return GNUNET_YES;
 }
 
 
+/**
+ * Remove the direct path to the peer.
+ *
+ * @param peer Peer to remove the direct path from.
+ *
+ */
+static struct MeshPeerPath *
+pop_direct_path (struct MeshPeer *peer)
+{
+  struct MeshPeerPath *iter;
+
+  for (iter = peer->path_head; NULL != iter; iter = iter->next)
+  {
+    if (2 <= iter->length)
+    {
+      GNUNET_CONTAINER_DLL_remove (peer->path_head, peer->path_tail, iter);
+      return iter;
+    }
+  }
+  return NULL;
+}
+
+
+
 /**
  * Method called whenever a given peer connects.
  *
@@ -241,30 +274,30 @@ notify_broken (void *cls,
 static void
 core_connect (void *cls, const struct GNUNET_PeerIdentity *peer)
 {
-  struct MeshPeer *pi;
+  struct MeshPeer *mp;
   struct MeshPeerPath *path;
 
-  LOG ("Peer connected\n");
-  LOG ("     %s\n", GNUNET_i2s (&my_full_id));
-  pi = peer_get (peer);
-  if (myid == pi->id)
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "Peer connected\n");
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "     %s\n", GNUNET_i2s (&my_full_id));
+  mp = GMP_get (peer);
+  if (myid == mp->id)
   {
-    LOG ("     (self)\n");
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "     (self)\n");
     path = path_new (1);
   }
   else
   {
-    LOG ("     %s\n", GNUNET_i2s (peer));
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "     %s\n", GNUNET_i2s (peer));
     path = path_new (2);
-    path->peers[1] = pi->id;
-    GNUNET_PEER_change_rc (pi->id, 1);
+    path->peers[1] = mp->id;
+    GNUNET_PEER_change_rc (mp->id, 1);
     GNUNET_STATISTICS_update (stats, "# peers", 1, GNUNET_NO);
   }
   path->peers[0] = myid;
   GNUNET_PEER_change_rc (myid, 1);
-  peer_add_path (pi, path, GNUNET_YES);
+  GMP_add_path (mp, path, GNUNET_YES);
 
-  pi->connections = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_YES);
+  mp->connections = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_YES);
   return;
 }
 
@@ -278,30 +311,33 @@ core_connect (void *cls, const struct GNUNET_PeerIdentity *peer)
 static void
 core_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
 {
-  struct MeshPeer *pi;
+  struct MeshPeer *p;
+  struct MeshPeerPath *direct_path;
 
-  LOG ("Peer disconnected\n");
-  pi = GNUNET_CONTAINER_multipeermap_get (peers, peer);
-  if (NULL == pi)
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "Peer disconnected\n");
+  p = GNUNET_CONTAINER_multipeermap_get (peers, peer);
+  if (NULL == p)
   {
     GNUNET_break (0);
     return;
   }
+  if (myid == p->id)
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "     (self: %s)\n", GMP_2s (p));
+  else
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "     %s\n", GMP_2s (p));
 
-  GNUNET_CONTAINER_multihashmap_iterate (pi->connections, &notify_broken, pi);
-  GNUNET_CONTAINER_multihashmap_destroy (pi->connections);
-  pi->connections = NULL;
-  if (NULL != pi->core_transmit)
+  direct_path = pop_direct_path (p);
+  GNUNET_CONTAINER_multihashmap_iterate (p->connections, &notify_broken, p);
+  GNUNET_CONTAINER_multihashmap_destroy (p->connections);
+  p->connections = NULL;
+  if (NULL != p->core_transmit)
     {
-      GNUNET_CORE_notify_transmit_ready_cancel (pi->core_transmit);
-      pi->core_transmit = NULL;
+      GNUNET_CORE_notify_transmit_ready_cancel (p->core_transmit);
+      p->core_transmit = NULL;
     }
-  if (myid == pi->id)
-  {
-    LOG ("     (self)\n");
-  }
   GNUNET_STATISTICS_update (stats, "# peers", -1, GNUNET_NO);
 
+  path_destroy (direct_path);
   return;
 }
 
@@ -318,16 +354,14 @@ static struct GNUNET_CORE_MessageHandler core_handlers[] = {
     sizeof (struct GNUNET_MESH_ConnectionBroken)},
   {&GMC_handle_destroy, GNUNET_MESSAGE_TYPE_MESH_CONNECTION_DESTROY,
     sizeof (struct GNUNET_MESH_ConnectionDestroy)},
-  {&GMC_handle_keepalive, GNUNET_MESSAGE_TYPE_MESH_FWD_KEEPALIVE,
-    sizeof (struct GNUNET_MESH_ConnectionKeepAlive)},
-  {&GMC_handle_keepalive, GNUNET_MESSAGE_TYPE_MESH_BCK_KEEPALIVE,
+  {&GMC_handle_keepalive, GNUNET_MESSAGE_TYPE_MESH_KEEPALIVE,
     sizeof (struct GNUNET_MESH_ConnectionKeepAlive)},
   {&GMC_handle_ack, GNUNET_MESSAGE_TYPE_MESH_ACK,
     sizeof (struct GNUNET_MESH_ACK)},
   {&GMC_handle_poll, GNUNET_MESSAGE_TYPE_MESH_POLL,
     sizeof (struct GNUNET_MESH_Poll)},
-  {&GMC_handle_fwd, GNUNET_MESSAGE_TYPE_MESH_FWD, 0},
-  {&GMC_handle_bck, GNUNET_MESSAGE_TYPE_MESH_BCK, 0},
+  {&GMC_handle_encrypted, GNUNET_MESSAGE_TYPE_MESH_ENCRYPTED, 0},
+  {&GMC_handle_kx, GNUNET_MESSAGE_TYPE_MESH_KX, 0},
   {NULL, 0, 0}
 };
 
@@ -411,10 +445,13 @@ send_core_connection_create (struct MeshConnection *c, size_t size, void *buf)
 {
   struct GNUNET_MESH_ConnectionCreate *msg;
   struct GNUNET_PeerIdentity *peer_ptr;
-  struct MeshPeerPath *p = c->path;
+  const struct MeshPeerPath *p = GMC_get_path (c);
   size_t size_needed;
   int i;
 
+  if (NULL == p)
+    return 0;
+
   LOG (GNUNET_ERROR_TYPE_DEBUG, "Sending CONNECTION CREATE...\n");
   size_needed =
       sizeof (struct GNUNET_MESH_ConnectionCreate) +
@@ -428,7 +465,7 @@ send_core_connection_create (struct MeshConnection *c, size_t size, void *buf)
   msg = (struct GNUNET_MESH_ConnectionCreate *) buf;
   msg->header.size = htons (size_needed);
   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE);
-  msg->cid = c->id;
+  msg->cid = *GMC_get_id (c);
 
   peer_ptr = (struct GNUNET_PeerIdentity *) &msg[1];
   for (i = 0; i < p->length; i++)
@@ -437,7 +474,8 @@ send_core_connection_create (struct MeshConnection *c, size_t size, void *buf)
   }
 
   LOG (GNUNET_ERROR_TYPE_DEBUG,
-              "CONNECTION CREATE (%u bytes long) sent!\n", size_needed);
+       "CONNECTION CREATE (%u bytes long) sent!\n",
+       size_needed);
   return size_needed;
 }
 
@@ -455,10 +493,8 @@ static size_t
 send_core_connection_ack (struct MeshConnection *c, size_t size, void *buf)
 {
   struct GNUNET_MESH_ConnectionACK *msg = buf;
-  struct MeshTunnel2 *t = c->t;
 
   LOG (GNUNET_ERROR_TYPE_DEBUG, "Sending CONNECTION ACK...\n");
-  GNUNET_assert (NULL != t);
   if (sizeof (struct GNUNET_MESH_ConnectionACK) > size)
   {
     GNUNET_break (0);
@@ -466,7 +502,7 @@ send_core_connection_ack (struct MeshConnection *c, size_t size, void *buf)
   }
   msg->header.size = htons (sizeof (struct GNUNET_MESH_ConnectionACK));
   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK);
-  msg->cid = c->id;
+  msg->cid = *GMC_get_id (c);
   msg->reserved = 0;
 
   /* TODO add signature */
@@ -480,6 +516,46 @@ send_core_connection_ack (struct MeshConnection *c, size_t size, void *buf)
 /********************************   STATIC  ***********************************/
 /******************************************************************************/
 
+
+/**
+ * Get priority for a queued message.
+ *
+ * @param q Queued message
+ *
+ * @return CORE priority to use.
+ */
+static enum GNUNET_CORE_Priority
+get_priority (struct MeshPeerQueue *q)
+{
+  enum GNUNET_CORE_Priority low;
+  enum GNUNET_CORE_Priority high;
+
+  if (NULL == q)
+  {
+    GNUNET_break (0);
+    return GNUNET_CORE_PRIO_BACKGROUND;
+  }
+
+  /* Relayed traffic has lower priority, our own traffic has higher */
+  if (NULL == q->c || GNUNET_NO == GMC_is_origin (q->c, q->fwd))
+  {
+    low = GNUNET_CORE_PRIO_BEST_EFFORT;
+    high = GNUNET_CORE_PRIO_URGENT;
+  }
+  else
+  {
+    low = GNUNET_CORE_PRIO_URGENT;
+    high = GNUNET_CORE_PRIO_CRITICAL_CONTROL;
+  }
+
+  /* Bulky payload has lower priority, control traffic has higher. */
+  if (GNUNET_MESSAGE_TYPE_MESH_ENCRYPTED == q->type)
+    return low;
+  else
+    return high;
+}
+
+
 /**
  * Iterator over tunnel hash map entries to destroy the tunnel during shutdown.
  *
@@ -495,7 +571,7 @@ shutdown_tunnel (void *cls,
                  void *value)
 {
   struct MeshPeer *p = value;
-  struct MeshTunnel2 *t = p->tunnel;
+  struct MeshTunnel3 *t = p->tunnel;
 
   if (NULL != t)
     GMT_destroy (t);
@@ -503,7 +579,6 @@ shutdown_tunnel (void *cls,
 }
 
 
-
 /**
  * Destroy the peer_info and free any allocated resources linked to it
  *
@@ -521,37 +596,38 @@ peer_destroy (struct MeshPeer *peer)
   GNUNET_PEER_resolve (peer->id, &id);
   GNUNET_PEER_change_rc (peer->id, -1);
 
+  LOG (GNUNET_ERROR_TYPE_WARNING, "destroying peer %s\n", GNUNET_i2s (&id));
+
   if (GNUNET_YES !=
     GNUNET_CONTAINER_multipeermap_remove (peers, &id, peer))
   {
     GNUNET_break (0);
-    LOG (GNUNET_ERROR_TYPE_WARNING,
-                "removing peer %s, not in peermap\n", GNUNET_i2s (&id));
+    LOG (GNUNET_ERROR_TYPE_WARNING, " not in peermap!!\n");
   }
-    if (NULL != peer->search_h)
-    {
-      GMD_search_stop (peer->search_h);
-    }
-      p = peer->path_head;
-      while (NULL != p)
-      {
-        nextp = p->next;
-        GNUNET_CONTAINER_DLL_remove (peer->path_head, peer->path_tail, p);
-        path_destroy (p);
-        p = nextp;
-      }
-        tunnel_destroy_empty (peer->tunnel);
-        GNUNET_free (peer);
-        return GNUNET_OK;
+  if (NULL != peer->search_h)
+  {
+    GMD_search_stop (peer->search_h);
+  }
+  p = peer->path_head;
+  while (NULL != p)
+  {
+    nextp = p->next;
+    GNUNET_CONTAINER_DLL_remove (peer->path_head, peer->path_tail, p);
+    path_destroy (p);
+    p = nextp;
+  }
+  GMT_destroy_empty (peer->tunnel);
+  GNUNET_free (peer);
+  return GNUNET_OK;
 }
 
 
 /**
- * Returns if peer is used (has a tunnel, is neighbor).
+ * Returns if peer is used (has a tunnel or is neighbor).
  *
- * @peer Peer to check.
+ * @param peer Peer to check.
  *
- * @return GNUNET_YES if peer is in use.
+ * @return #GNUNET_YES if peer is in use.
  */
 static int
 peer_is_used (struct MeshPeer *peer)
@@ -611,8 +687,11 @@ peer_timeout (void *cls,
   struct MeshPeer *p = value;
   struct GNUNET_TIME_Absolute *abs = cls;
 
+  LOG (GNUNET_ERROR_TYPE_WARNING,
+       "peer %s timeout\n", GNUNET_i2s (key));
+
   if (p->last_contact.abs_value_us == abs->abs_value_us &&
-    GNUNET_NO == peer_is_used (p))
+      GNUNET_NO == peer_is_used (p))
   {
     peer_destroy (p);
     return GNUNET_NO;
@@ -641,94 +720,8 @@ peer_delete_oldest (void)
 
 
 /**
- * Retrieve the MeshPeer stucture associated with the peer, create one
- * and insert it in the appropriate structures if the peer is not known yet.
- *
- * @param peer Full identity of the peer.
- *
- * @return Existing or newly created peer info.
- */
-static struct MeshPeer *
-peer_get (const struct GNUNET_PeerIdentity *peer_id)
-{
-  struct MeshPeer *peer;
-
-  peer = GNUNET_CONTAINER_multipeermap_get (peers, peer_id);
-  if (NULL == peer)
-  {
-    peer = GNUNET_new (struct MeshPeer);
-    if (GNUNET_CONTAINER_multipeermap_size (peers) > max_peers)
-    {
-      peer_delete_oldest ();
-    }
-        GNUNET_CONTAINER_multipeermap_put (peers, peer_id, peer,
-                                           GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
-        peer->id = GNUNET_PEER_intern (peer_id);
-  }
-    peer->last_contact = GNUNET_TIME_absolute_get();
-
-    return peer;
-}
-
-
-/**
- * Retrieve the MeshPeer stucture associated with the peer, create one
- * and insert it in the appropriate structures if the peer is not known yet.
- *
- * @param peer Short identity of the peer.
- *
- * @return Existing or newly created peer info.
- */
-static struct MeshPeer *
-peer_get_short (const GNUNET_PEER_Id peer)
-{
-  return peer_get (GNUNET_PEER_resolve2 (peer));
-}
-
-
-/**
- * Get a cost of a path for a peer considering existing tunnel connections.
- *
- * @param peer Peer towards which the path is considered.
- * @param path Candidate path.
- *
- * @return Cost of the path (path length + number of overlapping nodes)
- */
-static unsigned int
-peer_get_path_cost (const struct MeshPeer *peer,
-                    const struct MeshPeerPath *path)
-{
-  struct MeshConnection *c;
-  unsigned int overlap;
-  unsigned int i;
-  unsigned int j;
-
-  if (NULL == path)
-    return 0;
-
-  overlap = 0;
-  GNUNET_assert (NULL != peer->tunnel);
-
-  for (i = 0; i < path->length; i++)
-  {
-    for (c = peer->tunnel->connection_head; NULL != c; c = c->next)
-    {
-      for (j = 0; j < c->path->length; j++)
-      {
-        if (path->peers[i] == c->path->peers[j])
-        {
-          overlap++;
-          break;
-        }
-      }
-    }
-  }
-  return (path->length + overlap) * (path->score * -1);
-}
-
-
-/**
- * Choose the best path towards a peer considering the tunnel properties.
+ * Choose the best (yet unused) path towards a peer,
+ * considering the tunnel properties.
  *
  * @param peer The destination peer.
  *
@@ -739,7 +732,6 @@ peer_get_best_path (const struct MeshPeer *peer)
 {
   struct MeshPeerPath *best_p;
   struct MeshPeerPath *p;
-  struct MeshConnection *c;
   unsigned int best_cost;
   unsigned int cost;
 
@@ -747,153 +739,71 @@ peer_get_best_path (const struct MeshPeer *peer)
   best_p = NULL;
   for (p = peer->path_head; NULL != p; p = p->next)
   {
-    for (c = peer->tunnel->connection_head; NULL != c; c = c->next)
-      if (c->path == p)
-        break;
-      if (NULL != c)
-        continue; /* If path is in use in a connection, skip it. */
+    if (GNUNET_YES == GMT_is_path_used (peer->tunnel, p))
+      continue; /* If path is already in use, skip it. */
+
+    if (GNUNET_NO == path_is_valid (p))
+      continue; /* Don't use invalid paths. */
 
-            if ((cost = peer_get_path_cost (peer, p)) < best_cost)
-            {
-              best_cost = cost;
-              best_p = p;
-            }
+    if ((cost = GMT_get_path_cost (peer->tunnel, p)) < best_cost)
+    {
+      best_cost = cost;
+      best_p = p;
+    }
   }
-    return best_p;
+  return best_p;
 }
 
 
-/**
- * Add the path to the peer and update the path used to reach it in case this
- * is the shortest.
- *
- * @param peer_info Destination peer to add the path to.
- * @param path New path to add. Last peer must be the peer in arg 1.
- *             Path will be either used of freed if already known.
- * @param trusted Do we trust that this path is real?
- */
-void
-peer_add_path (struct MeshPeer *peer_info, struct MeshPeerPath *path,
-               int trusted)
+static int
+queue_is_sendable (struct MeshPeerQueue *q)
 {
-  struct MeshPeerPath *aux;
-  unsigned int l;
-  unsigned int l2;
-
-  if ((NULL == peer_info) || (NULL == path))
+  /* Is PID-independent? */
+  switch (q->type)
   {
-    GNUNET_break (0);
-    path_destroy (path);
-    return;
-  }
-    if (path->peers[path->length - 1] != peer_info->id)
-    {
+    case GNUNET_MESSAGE_TYPE_MESH_ACK:
+    case GNUNET_MESSAGE_TYPE_MESH_POLL:
+    case GNUNET_MESSAGE_TYPE_MESH_KX:
+    case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE:
+    case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK:
+    case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_DESTROY:
+    case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_BROKEN:
+    case GNUNET_MESSAGE_TYPE_MESH_KEEPALIVE:
+      return GNUNET_YES;
+
+    case GNUNET_MESSAGE_TYPE_MESH_ENCRYPTED:
+      break;
+
+    default:
       GNUNET_break (0);
-      path_destroy (path);
-      return;
-    }
-      if (2 >= path->length && GNUNET_NO == trusted)
-      {
-        /* Only allow CORE to tell us about direct paths */
-        path_destroy (path);
-        return;
-      }
-        for (l = 1; l < path->length; l++)
-        {
-          if (path->peers[l] == myid)
-          {
-            LOG (GNUNET_ERROR_TYPE_DEBUG, "shortening path by %u\n", l);
-            for (l2 = 0; l2 < path->length - l; l2++)
-            {
-              path->peers[l2] = path->peers[l + l2];
-            }
-                  path->length -= l;
-                  l = 1;
-                  path->peers =
-                            GNUNET_realloc (path->peers, path->length * sizeof (GNUNET_PEER_Id));
-          }
-        }
-
-          LOG (GNUNET_ERROR_TYPE_DEBUG, "adding path [%u] to peer %s\n",
-                      path->length, peer2s (peer_info));
-
-          l = path_get_length (path);
-          if (0 == l)
-          {
-            path_destroy (path);
-            return;
-          }
-
-            GNUNET_assert (peer_info->id == path->peers[path->length - 1]);
-            for (aux = peer_info->path_head; aux != NULL; aux = aux->next)
-            {
-              l2 = path_get_length (aux);
-              if (l2 > l)
-              {
-                GNUNET_CONTAINER_DLL_insert_before (peer_info->path_head,
-                                                    peer_info->path_tail, aux, path);
-                return;
-              }
-                  else
-                  {
-                    if (l2 == l && memcmp (path->peers, aux->peers, l) == 0)
-                    {
-                      path_destroy (path);
-                      return;
-                    }
-                  }
-            }
-              GNUNET_CONTAINER_DLL_insert_tail (peer_info->path_head, peer_info->path_tail,
-                                                path);
-              return;
-}
+  }
 
+  if (GMC_is_sendable (q->c, q->fwd))
+    return GNUNET_YES;
 
-/**
- * Add the path to the origin peer and update the path used to reach it in case
- * this is the shortest.
- * The path is given in peer_info -> destination, therefore we turn the path
- * upside down first.
- *
- * @param peer_info Peer to add the path to, being the origin of the path.
- * @param path New path to add after being inversed.
- *             Path will be either used or freed.
- * @param trusted Do we trust that this path is real?
- */
-static void
-peer_add_path_to_origin (struct MeshPeer *peer_info,
-                         struct MeshPeerPath *path, int trusted)
-{
-  if (NULL == path)
-    return;
-  path_invert (path);
-  peer_add_path (peer_info, path, trusted);
+  return GNUNET_NO;
 }
 
 
 /**
- * Adds a path to the peer_infos of all the peers in the path
+ * Get first sendable message.
  *
- * @param p Path to process.
- * @param confirmed Whether we know if the path works or not.
+ * @param peer The destination peer.
+ *
+ * @return Best current known path towards the peer, if any.
  */
-static void
-path_add_to_peers (struct MeshPeerPath *p, int confirmed)
+static struct MeshPeerQueue *
+peer_get_first_message (const struct MeshPeer *peer)
 {
-  unsigned int i;
+  struct MeshPeerQueue *q;
 
-  /* TODO: invert and add */
-  for (i = 0; i < p->length && p->peers[i] != myid; i++) /* skip'em */ ;
-  for (i++; i < p->length; i++)
+  for (q = peer->queue_head; NULL != q; q = q->next)
   {
-    struct MeshPeer *aux;
-    struct MeshPeerPath *copy;
-
-    aux = peer_get_short (p->peers[i]);
-    copy = path_duplicate (p);
-    copy->length = i + 1;
-    peer_add_path (aux, copy, p->length < 3 ? GNUNET_NO : confirmed);
+    if (queue_is_sendable (q))
+      return q;
   }
+
+  return NULL;
 }
 
 
@@ -906,21 +816,21 @@ path_add_to_peers (struct MeshPeerPath *p, int confirmed)
  * @param path
  */
 static void
-search_handler (void *cls, struct MeshPeerPath *path)
+search_handler (void *cls, const struct MeshPeerPath *path)
 {
   struct MeshPeer *peer = cls;
   unsigned int connection_count;
 
-  path_add_to_peers (path, GNUNET_NO);
+  GMP_add_path_to_all (path, GNUNET_NO);
 
   /* Count connections */
-  connection_count = GMC_count (peer->tunnel->connection_head);
+  connection_count = GMT_count_connections (peer->tunnel);
 
   /* If we already have 3 (or more (?!)) connections, it's enough */
   if (3 <= connection_count)
     return;
 
-  if (peer->tunnel->state == MESH_TUNNEL3_SEARCHING)
+  if (MESH_TUNNEL3_SEARCHING == GMT_get_cstate (peer->tunnel))
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG, " ... connect!\n");
     GMP_connect (peer);
@@ -929,6 +839,7 @@ search_handler (void *cls, struct MeshPeerPath *path)
 }
 
 
+
 /**
  * Core callback to write a queued packet to core buffer
  *
@@ -942,20 +853,14 @@ static size_t
 queue_send (void *cls, size_t size, void *buf)
 {
   struct MeshPeer *peer = cls;
-  struct MeshFlowControl *fc;
   struct MeshConnection *c;
-  struct GNUNET_MessageHeader *msg;
   struct MeshPeerQueue *queue;
-  struct MeshTunnel2 *t;
-  struct MeshChannel *ch;
   const struct GNUNET_PeerIdentity *dst_id;
   size_t data_size;
-  uint32_t pid;
-  uint16_t type;
-  int fwd;
 
   peer->core_transmit = NULL;
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "* Queue send (max %u)\n", size);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "* Queue send towards %s (max %u)\n",
+       GMP_2s (peer), size);
 
   if (NULL == buf || 0 == size)
   {
@@ -971,19 +876,16 @@ queue_send (void *cls, size_t size, void *buf)
     return 0;
   }
   c = queue->c;
-  fwd = queue->fwd;
-  fc = fwd ? &c->fwd_fc : &c->bck_fc;
 
   dst_id = GNUNET_PEER_resolve2 (peer->id);
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "*   towards %s\n", GNUNET_i2s (dst_id));
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "*   on connection %s\n", GMC_2s (c));
   /* Check if buffer size is enough for the message */
   if (queue->size > size)
   {
       LOG (GNUNET_ERROR_TYPE_DEBUG, "*   not enough room, reissue\n");
       peer->core_transmit =
           GNUNET_CORE_notify_transmit_ready (core_handle,
-                                             GNUNET_NO,
-                                             0,
+                                             GNUNET_NO, get_priority (queue),
                                              GNUNET_TIME_UNIT_FOREVER_REL,
                                              dst_id,
                                              queue->size,
@@ -993,25 +895,18 @@ queue_send (void *cls, size_t size, void *buf)
   }
   LOG (GNUNET_ERROR_TYPE_DEBUG, "*   size %u ok\n", queue->size);
 
-  t = (NULL != c) ? c->t : NULL;
-  type = 0;
-
   /* Fill buf */
   switch (queue->type)
   {
-    case GNUNET_MESSAGE_TYPE_MESH_TUNNEL3_DESTROY:
     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_DESTROY:
     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_BROKEN:
-    case GNUNET_MESSAGE_TYPE_MESH_FWD:
-    case GNUNET_MESSAGE_TYPE_MESH_BCK:
+    case GNUNET_MESSAGE_TYPE_MESH_KEEPALIVE:
+    case GNUNET_MESSAGE_TYPE_MESH_ENCRYPTED:
+    case GNUNET_MESSAGE_TYPE_MESH_KX:
     case GNUNET_MESSAGE_TYPE_MESH_ACK:
     case GNUNET_MESSAGE_TYPE_MESH_POLL:
-      LOG (GNUNET_ERROR_TYPE_DEBUG,
-                  "*   raw: %s\n",
-                  GNUNET_MESH_DEBUG_M2S (queue->type));
+      LOG (GNUNET_ERROR_TYPE_DEBUG, "*   raw: %s\n", GM_m2s (queue->type));
       data_size = send_core_data_raw (queue->cls, size, buf);
-      msg = (struct GNUNET_MessageHeader *) buf;
-      type = ntohs (msg->type);
       break;
     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE:
       LOG (GNUNET_ERROR_TYPE_DEBUG, "*   path create\n");
@@ -1037,8 +932,7 @@ queue_send (void *cls, size_t size, void *buf)
       break;
     default:
       GNUNET_break (0);
-      LOG (GNUNET_ERROR_TYPE_WARNING, "*   type unknown: %u\n",
-                  queue->type);
+      LOG (GNUNET_ERROR_TYPE_WARNING, "*   type unknown: %u\n", queue->type);
       data_size = 0;
   }
 
@@ -1047,51 +941,28 @@ queue_send (void *cls, size_t size, void *buf)
   {
     LOG (GNUNET_ERROR_TYPE_WARNING,
                 "Dropping message of type %s\n",
-                GNUNET_MESH_DEBUG_M2S (queue->type));
+                GM_m2s (queue->type));
     data_size = 0;
   }
 
-  if (NULL != queue->callback)
-  {
-    LOG (GNUNET_ERROR_TYPE_DEBUG, "*   Calling callback\n");
-    queue->callback (queue->callback_cls,
-                    queue->c,
-                    GNUNET_TIME_absolute_get_duration (queue->start_waiting));
-  }
-
   /* Free queue, but cls was freed by send_core_* */
-  ch = queue->ch;
   GMP_queue_destroy (queue, GNUNET_NO);
 
-  /* Send ACK if needed, after accounting for sent ID in fc->queue_n */
-  switch (type)
-  {
-    case GNUNET_MESSAGE_TYPE_MESH_FWD:
-    case GNUNET_MESSAGE_TYPE_MESH_BCK:
-      pid = ntohl ( ((struct GNUNET_MESH_Encrypted *) buf)->pid );
-      LOG (GNUNET_ERROR_TYPE_DEBUG, "*   accounting pid %u\n", pid);
-      fc->last_pid_sent = pid;
-      send_ack (c, ch, fwd);
-      break;
-    default:
-      break;
-  }
-
   /* If more data in queue, send next */
   queue = peer_get_first_message (peer);
   if (NULL != queue)
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG, "*   more data!\n");
-    if (NULL == peer->core_transmit) {
+    if (NULL == peer->core_transmit)
+    {
       peer->core_transmit =
-          GNUNET_CORE_notify_transmit_ready(core_handle,
-                                            0,
-                                            0,
-                                            GNUNET_TIME_UNIT_FOREVER_REL,
-                                            dst_id,
-                                            queue->size,
-                                            &queue_send,
-                                            peer);
+          GNUNET_CORE_notify_transmit_ready (core_handle,
+                                             GNUNET_NO, get_priority (queue),
+                                             GNUNET_TIME_UNIT_FOREVER_REL,
+                                             dst_id,
+                                             queue->size,
+                                             &queue_send,
+                                             peer);
       queue->start_waiting = GNUNET_TIME_absolute_get ();
     }
     else
@@ -1099,93 +970,21 @@ queue_send (void *cls, size_t size, void *buf)
       LOG (GNUNET_ERROR_TYPE_DEBUG,
                   "*   tmt rdy called somewhere else\n");
     }
-    if (GNUNET_SCHEDULER_NO_TASK == fc->poll_task)
-    {
-      LOG (GNUNET_ERROR_TYPE_DEBUG, "*   starting poll timeout\n");
-      fc->poll_task =
-          GNUNET_SCHEDULER_add_delayed (fc->poll_time, &connection_poll, fc);
-    }
+//     GMC_start_poll (); FIXME needed?
   }
   else
   {
-    if (GNUNET_SCHEDULER_NO_TASK != fc->poll_task)
-    {
-      GNUNET_SCHEDULER_cancel (fc->poll_task);
-      fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
-    }
-  }
-  if (NULL != c)
-  {
-    c->pending_messages--;
-    if (GNUNET_YES == c->destroy && 0 == c->pending_messages)
-    {
-      LOG (GNUNET_ERROR_TYPE_DEBUG, "*  destroying connection!\n");
-      GMC_destroy (c);
-    }
+//     GMC_stop_poll(); FIXME needed?
   }
 
-  if (NULL != t)
-  {
-    t->pending_messages--;
-    if (GNUNET_YES == t->destroy && 0 == t->pending_messages)
-    {
-//       LOG (GNUNET_ERROR_TYPE_DEBUG, "*  destroying tunnel!\n");
-      tunnel_destroy (t);
-    }
-  }
   LOG (GNUNET_ERROR_TYPE_DEBUG, "*  Return %d\n", data_size);
   return data_size;
 }
 
 
-
-/**
- * Get first sendable message.
- *
- * @param peer The destination peer.
- *
- * @return Best current known path towards the peer, if any.
- */
-static struct MeshPeerQueue *
-peer_get_first_message (const struct MeshPeer *peer)
-{
-  struct MeshPeerQueue *q;
-
-  for (q = peer->queue_head; NULL != q; q = q->next)
-  {
-    if (queue_is_sendable (q))
-      return q;
-  }
-
-  return NULL;
-}
-
-
-static int
-queue_is_sendable (struct MeshPeerQueue *q)
-{
-  struct MeshFlowControl *fc;
-
-  /* Is PID-independent? */
-  switch (q->type)
-  {
-    case GNUNET_MESSAGE_TYPE_MESH_ACK:
-    case GNUNET_MESSAGE_TYPE_MESH_POLL:
-      return GNUNET_YES;
-  }
-
-  /* Is PID allowed? */
-  fc = q->fwd ? &q->c->fwd_fc : &q->c->bck_fc;
-  if (GMC_is_pid_bigger (fc->last_ack_recv, fc->last_pid_sent))
-    return GNUNET_YES;
-
-  return GNUNET_NO;
-}
-
-
-/******************************************************************************/
-/********************************    API    ***********************************/
-/******************************************************************************/
+/******************************************************************************/
+/********************************    API    ***********************************/
+/******************************************************************************/
 
 
 /**
@@ -1199,59 +998,50 @@ void
 GMP_queue_destroy (struct MeshPeerQueue *queue, int clear_cls)
 {
   struct MeshPeer *peer;
-  struct MeshFlowControl *fc;
-  int fwd;
 
-  fwd = queue->fwd;
   peer = queue->peer;
-  GNUNET_assert (NULL != queue->c);
-  fc = fwd ? &queue->c->fwd_fc : &queue->c->bck_fc;
 
   if (GNUNET_YES == clear_cls)
   {
-    LOG (GNUNET_ERROR_TYPE_DEBUG, "   queue destroy type %s\n",
-                GNUNET_MESH_DEBUG_M2S (queue->type));
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "#   queue destroy type %s\n",
+                GM_m2s (queue->type));
     switch (queue->type)
     {
       case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_DESTROY:
-      case GNUNET_MESSAGE_TYPE_MESH_TUNNEL3_DESTROY:
         LOG (GNUNET_ERROR_TYPE_INFO, "destroying a DESTROY message\n");
-        GNUNET_break (GNUNET_YES == queue->c->destroy);
         /* fall through */
-      case GNUNET_MESSAGE_TYPE_MESH_FWD:
-      case GNUNET_MESSAGE_TYPE_MESH_BCK:
-      case GNUNET_MESSAGE_TYPE_MESH_ACK:
-      case GNUNET_MESSAGE_TYPE_MESH_POLL:
       case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK:
       case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE:
       case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_BROKEN:
-        LOG (GNUNET_ERROR_TYPE_DEBUG, "   prebuilt message\n");;
+      case GNUNET_MESSAGE_TYPE_MESH_KEEPALIVE:
+      case GNUNET_MESSAGE_TYPE_MESH_KX:
+      case GNUNET_MESSAGE_TYPE_MESH_ENCRYPTED:
+      case GNUNET_MESSAGE_TYPE_MESH_ACK:
+      case GNUNET_MESSAGE_TYPE_MESH_POLL:
         GNUNET_free_non_null (queue->cls);
         break;
 
       default:
         GNUNET_break (0);
-        LOG (GNUNET_ERROR_TYPE_ERROR, "   type %s unknown!\n",
-                    GNUNET_MESH_DEBUG_M2S (queue->type));
+        LOG (GNUNET_ERROR_TYPE_ERROR, "#   type %s unknown!\n",
+                    GM_m2s (queue->type));
     }
-
   }
   GNUNET_CONTAINER_DLL_remove (peer->queue_head, peer->queue_tail, queue);
 
   if (queue->type != GNUNET_MESSAGE_TYPE_MESH_ACK &&
       queue->type != GNUNET_MESSAGE_TYPE_MESH_POLL)
   {
-    LOG (GNUNET_ERROR_TYPE_DEBUG, "  Q_N- %p %u\n", fc, fc->queue_n);
-    fc->queue_n--;
     peer->queue_n--;
   }
-  if (NULL != queue->c)
+
+  if (NULL != queue->callback)
   {
-    queue->c->pending_messages--;
-    if (NULL != queue->c->t)
-    {
-      queue->c->t->pending_messages--;
-    }
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "#   Calling callback\n");
+    queue->callback (queue->callback_cls,
+                     queue->c, queue->type,
+                     queue->fwd, queue->size,
+                     GNUNET_TIME_absolute_get_duration (queue->start_waiting));
   }
 
   GNUNET_free (queue);
@@ -1261,48 +1051,40 @@ GMP_queue_destroy (struct MeshPeerQueue *queue, int clear_cls)
 /**
  * @brief Queue and pass message to core when possible.
  *
+ * @param peer Peer towards which to queue the message.
  * @param cls Closure (@c type dependant). It will be used by queue_send to
  *            build the message to be sent if not already prebuilt.
  * @param type Type of the message, 0 for a raw message.
  * @param size Size of the message.
- * @param c Connection this message belongs to (cannot be NULL).
- * @param ch Channel this message belongs to, if applicable (otherwise NULL).
+ * @param c Connection this message belongs to (can be NULL).
  * @param fwd Is this a message going root->dest? (FWD ACK are NOT FWD!)
- * @param callback Function to be called once CORE has taken the message.
- * @param callback_cls Closure for @c callback.
+ * @param cont Continuation to be called once CORE has taken the message.
+ * @param cont_cls Closure for @c cont.
+ *
+ * @return Handle to cancel the message before it is sent. Once cont is called
+ *         message has been sent and therefore the handle is no longer valid.
  */
-void
-GMP_queue_add (void *cls, uint16_t type, size_t size,
-               struct MeshConnection *c,
-               struct MeshChannel *ch,
-               int fwd,
-               GMP_sent callback, void *callback_cls)
+struct MeshPeerQueue *
+GMP_queue_add (struct MeshPeer *peer, void *cls, uint16_t type, size_t size,
+               struct MeshConnection *c, int fwd,
+               GMP_sent cont, void *cont_cls)
 {
   struct MeshPeerQueue *queue;
-  struct MeshFlowControl *fc;
-  struct MeshPeer *peer;
   int priority;
   int call_core;
 
-  LOG (GNUNET_ERROR_TYPE_DEBUG,
-              "queue add %s %s (%u) on c %p, ch %p\n",
-              fwd ? "FWD" : "BCK",  GNUNET_MESH_DEBUG_M2S (type), size, c, ch);
-  GNUNET_assert (NULL != c);
-
-  fc   = fwd ? &c->fwd_fc : &c->bck_fc;
-  peer = fwd ? connection_get_next_hop (c) : connection_get_prev_hop (c);
-
-  if (NULL == fc)
-  {
-    GNUNET_break (0);
-    return;
-  }
+  LOG (GNUNET_ERROR_TYPE_INFO,
+       "queue add %s %s towards %s (size %u) on c %p (%s)\n",
+       GM_f2s (fwd),  GM_m2s (type), GMP_2s(peer),
+       size, c, GMC_2s (c));
 
   if (NULL == peer->connections)
   {
     /* We are not connected to this peer, ignore request. */
-    GNUNET_break_op (0);
-    return;
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "WARNING %s not a neighbor\n", GMP_2s (peer));
+    GNUNET_STATISTICS_update (stats, "# messages dropped due to wrong hop", 1,
+                              GNUNET_NO);
+    return NULL;
   }
 
   priority = 0;
@@ -1314,79 +1096,36 @@ GMP_queue_add (void *cls, uint16_t type, size_t size,
   }
 
   LOG (GNUNET_ERROR_TYPE_DEBUG, "priority %d\n", priority);
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "fc %p\n", fc);
-  if (fc->queue_n >= fc->queue_max && 0 == priority)
-  {
-    GNUNET_STATISTICS_update (stats, "# messages dropped (buffer full)",
-                              1, GNUNET_NO);
-    GNUNET_break (0);
-    LOG (GNUNET_ERROR_TYPE_DEBUG,
-                "queue full: %u/%u\n",
-                fc->queue_n, fc->queue_max);
-    return; /* Drop this message */
-  }
 
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "last pid %u\n", fc->last_pid_sent);
-  LOG (GNUNET_ERROR_TYPE_DEBUG, "     ack %u\n", fc->last_ack_recv);
-  if (GMC_is_pid_bigger (fc->last_pid_sent + 1, fc->last_ack_recv))
-  {
-    call_core = GNUNET_NO;
-    if (GNUNET_SCHEDULER_NO_TASK == fc->poll_task &&
-        GNUNET_MESSAGE_TYPE_MESH_POLL != type)
-    {
-      LOG (GNUNET_ERROR_TYPE_DEBUG,
-                  "no buffer space (%u > %u): starting poll\n",
-                  fc->last_pid_sent + 1, fc->last_ack_recv);
-      fc->poll_task = GNUNET_SCHEDULER_add_delayed (fc->poll_time,
-                                                    &connection_poll,
-                                                    fc);
-    }
-  }
-  else
-    call_core = GNUNET_YES;
-  queue = GNUNET_malloc (sizeof (struct MeshPeerQueue));
+  call_core = NULL == c ? GNUNET_YES : GMC_is_sendable (c, fwd);
+  queue = GNUNET_new (struct MeshPeerQueue);
   queue->cls = cls;
   queue->type = type;
   queue->size = size;
   queue->peer = peer;
   queue->c = c;
-  queue->ch = ch;
   queue->fwd = fwd;
-  queue->callback = callback;
-  queue->callback_cls = callback_cls;
-  if (100 <= priority)
+  queue->callback = cont;
+  queue->callback_cls = cont_cls;
+  if (100 > priority)
   {
-    struct MeshPeerQueue *copy;
-    struct MeshPeerQueue *next;
-
-    for (copy = peer->queue_head; NULL != copy; copy = next)
-    {
-      next = copy->next;
-      if (copy->type == type && copy->c == c && copy->fwd == fwd)
-      {
-        /* Example: also a FWD ACK for connection XYZ */
-        GMP_queue_destroy (copy, GNUNET_YES);
-      }
-    }
-    GNUNET_CONTAINER_DLL_insert (peer->queue_head, peer->queue_tail, queue);
+    GNUNET_CONTAINER_DLL_insert_tail (peer->queue_head, peer->queue_tail, queue);
+    peer->queue_n++;
   }
   else
   {
-    GNUNET_CONTAINER_DLL_insert_tail (peer->queue_head, peer->queue_tail, queue);
-    LOG (GNUNET_ERROR_TYPE_DEBUG, "  Q_N+ %p %u\n", fc, fc->queue_n);
-    fc->queue_n++;
-    peer->queue_n++;
+    GNUNET_CONTAINER_DLL_insert (peer->queue_head, peer->queue_tail, queue);
+    call_core = GNUNET_YES;
   }
 
   if (NULL == peer->core_transmit && GNUNET_YES == call_core)
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG,
                 "calling core tmt rdy towards %s for %u bytes\n",
-                peer2s (peer), size);
+                GMP_2s (peer), size);
     peer->core_transmit =
         GNUNET_CORE_notify_transmit_ready (core_handle,
-                                           0,
-                                           0,
+                                           GNUNET_NO, get_priority (queue),
                                            GNUNET_TIME_UNIT_FOREVER_REL,
                                            GNUNET_PEER_resolve2 (peer->id),
                                            size,
@@ -1398,12 +1137,10 @@ GMP_queue_add (void *cls, uint16_t type, size_t size,
   {
     LOG (GNUNET_ERROR_TYPE_DEBUG,
                 "core tmt rdy towards %s already called\n",
-                peer2s (peer));
+                GMP_2s (peer));
 
   }
-  c->pending_messages++;
-  if (NULL != c->t)
-    c->t->pending_messages++;
+  return queue;
 }
 
 
@@ -1411,23 +1148,35 @@ GMP_queue_add (void *cls, uint16_t type, size_t size,
  * Cancel all queued messages to a peer that belong to a certain connection.
  *
  * @param peer Peer towards whom to cancel.
- * @param c Connection whose queued messages to cancel.
+ * @param c Connection whose queued messages to cancel. Might be destroyed by
+ *          the sent continuation call.
  */
 void
 GMP_queue_cancel (struct MeshPeer *peer, struct MeshConnection *c)
 {
   struct MeshPeerQueue *q;
   struct MeshPeerQueue *next;
+  struct MeshPeerQueue *prev;
 
   for (q = peer->queue_head; NULL != q; q = next)
   {
-    next = q->next;
+    prev = q->prev;
     if (q->c == c)
     {
-      LOG (GNUNET_ERROR_TYPE_DEBUG,
-                  "connection_cancel_queue %s\n",
-                  GNUNET_MESH_DEBUG_M2S (q->type));
+      LOG (GNUNET_ERROR_TYPE_DEBUG, "GMP_cancel_queue %s\n", GM_m2s (q->type));
       GMP_queue_destroy (q, GNUNET_YES);
+
+      /* Get next from prev, q->next might be already freed:
+       * queue destroy -> callback -> GMC_destroy -> cancel_queues -> here
+       */
+      if (NULL == prev)
+        next = peer->queue_head;
+      else
+        next = prev->next;
+    }
+    else
+    {
+      next = q->next;
     }
   }
   if (NULL == peer->queue_head)
@@ -1441,23 +1190,81 @@ GMP_queue_cancel (struct MeshPeer *peer, struct MeshConnection *c)
 }
 
 
+/**
+ * Get the first transmittable message for a connection.
+ *
+ * @param peer Neighboring peer.
+ * @param c Connection.
+ *
+ * @return First transmittable message.
+ */
+static struct MeshPeerQueue *
+connection_get_first_message (struct MeshPeer *peer, struct MeshConnection *c)
+{
+  struct MeshPeerQueue *q;
+
+  for (q = peer->queue_head; NULL != q; q = q->next)
+  {
+    if (q->c != c)
+      continue;
+    if (queue_is_sendable (q))
+    {
+      LOG (GNUNET_ERROR_TYPE_DEBUG, "  sendable!!\n");
+      return q;
+    }
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "  not sendable\n");
+  }
+
+  return NULL;
+}
+
+
+void
+GMP_queue_unlock (struct MeshPeer *peer, struct MeshConnection *c)
+{
+  struct MeshPeerQueue *q;
+  size_t size;
+
+  if (NULL != peer->core_transmit)
+  {
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "  already unlocked!\n");
+    return; /* Already unlocked */
+  }
+
+  q = connection_get_first_message (peer, c);
+  if (NULL == q)
+  {
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "  queue empty!\n");
+    return; /* Nothing to transmit */
+  }
+
+  size = q->size;
+  peer->core_transmit =
+      GNUNET_CORE_notify_transmit_ready (core_handle,
+                                         GNUNET_NO, get_priority (q),
+                                         GNUNET_TIME_UNIT_FOREVER_REL,
+                                         GNUNET_PEER_resolve2 (peer->id),
+                                         size,
+                                         &queue_send,
+                                         peer);
+}
+
+
 /**
  * Initialize the peer subsystem.
  *
  * @param c Configuration.
- * @param id Peer identity
  */
 void
-GMP_init (const struct GNUNET_CONFIGURATION_Handle *c,
-          const struct GNUNET_PeerIdentity *id)
+GMP_init (const struct GNUNET_CONFIGURATION_Handle *c)
 {
-  my_full_id = id;
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "init\n");
   peers = GNUNET_CONTAINER_multipeermap_create (128, GNUNET_NO);
   if (GNUNET_OK !=
       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_PEERS",
                                              &max_peers))
   {
-    LOG_config_invalid (GNUNET_ERROR_TYPE_WARNING,
+    GNUNET_log_config_invalid (GNUNET_ERROR_TYPE_WARNING,
                                "MESH", "MAX_PEERS", "USING DEFAULT");
     max_peers = 1000;
   }
@@ -1488,12 +1295,17 @@ GMP_init (const struct GNUNET_CONFIGURATION_Handle *c,
                                      NULL,      /* Don't notify about all outbound messages */
                                      GNUNET_NO, /* For header-only out notification */
                                      core_handlers);    /* Register these handlers */
-  if (NULL == core_handle)
+  transport_handle = GNUNET_TRANSPORT_connect (c, &my_full_id,
+                                        NULL, /* cls */
+                                        NULL, NULL, NULL); /* Notify callbacks */
+
+  if (NULL == core_handle || NULL == transport_handle)
   {
     GNUNET_break (0);
     GNUNET_SCHEDULER_shutdown ();
     return;
   }
+
 }
 
 /**
@@ -1509,39 +1321,118 @@ GMP_shutdown (void)
     GNUNET_CORE_disconnect (core_handle);
     core_handle = NULL;
   }
+  if (transport_handle != NULL)
+  {
+    GNUNET_TRANSPORT_disconnect (transport_handle);
+    transport_handle = NULL;
+  }
+  GNUNET_PEER_change_rc (myid, -1);
+}
+
+/**
+ * Retrieve the MeshPeer stucture associated with the peer, create one
+ * and insert it in the appropriate structures if the peer is not known yet.
+ *
+ * @param peer_id Full identity of the peer.
+ *
+ * @return Existing or newly created peer structure.
+ */
+struct MeshPeer *
+GMP_get (const struct GNUNET_PeerIdentity *peer_id)
+{
+  struct MeshPeer *peer;
+
+  peer = GNUNET_CONTAINER_multipeermap_get (peers, peer_id);
+  if (NULL == peer)
+  {
+    peer = GNUNET_new (struct MeshPeer);
+    if (GNUNET_CONTAINER_multipeermap_size (peers) > max_peers)
+    {
+      peer_delete_oldest ();
+    }
+        GNUNET_CONTAINER_multipeermap_put (peers, peer_id, peer,
+                                           GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
+        peer->id = GNUNET_PEER_intern (peer_id);
+  }
+  peer->last_contact = GNUNET_TIME_absolute_get();
+
+  return peer;
 }
 
 
 /**
- * Try to establish a new connection to this peer in the given tunnel.
+ * Retrieve the MeshPeer stucture associated with the peer, create one
+ * and insert it in the appropriate structures if the peer is not known yet.
+ *
+ * @param peer Short identity of the peer.
+ *
+ * @return Existing or newly created peer structure.
+ */
+struct MeshPeer *
+GMP_get_short (const GNUNET_PEER_Id peer)
+{
+  return GMP_get (GNUNET_PEER_resolve2 (peer));
+}
+
+
+/**
+ * Try to connect to a peer on transport level.
+ *
+ * @param cls Closure (peer).
+ * @param tc TaskContext.
+ */
+static void
+try_connect (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct MeshPeer *peer = cls;
+
+  if (0 != (GNUNET_SCHEDULER_REASON_SHUTDOWN & tc->reason))
+    return;
+
+  GNUNET_TRANSPORT_try_connect (transport_handle,
+                                GNUNET_PEER_resolve2 (peer->id), NULL, NULL);
+}
+
+/**
+ * Try to establish a new connection to this peer (in its tunnel).
  * If the peer doesn't have any path to it yet, try to get one.
  * If the peer already has some path, send a CREATE CONNECTION towards it.
  *
- * @param peer PeerInfo of the peer.
+ * @param peer Peer to connect to.
  */
 void
 GMP_connect (struct MeshPeer *peer)
 {
-  struct MeshTunnel2 *t;
+  struct MeshTunnel3 *t;
   struct MeshPeerPath *p;
   struct MeshConnection *c;
+  struct GNUNET_HELLO_Message *hello;
   int rerun_search;
 
-  LOG (GNUNET_ERROR_TYPE_DEBUG,
-              "peer_connect towards %s\n",
-              peer2s (peer));
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "peer_connect towards %s\n", GMP_2s (peer));
+
+  /* If we have a current hello, try to connect using it. */
+  hello = GMP_get_hello (peer);
+  if (NULL != hello)
+  {
+    struct GNUNET_MessageHeader *mh;
+
+    mh = GNUNET_HELLO_get_header (hello);
+    GNUNET_TRANSPORT_offer_hello (transport_handle, mh, try_connect, peer);
+  }
+
   t = peer->tunnel;
   c = NULL;
   rerun_search = GNUNET_NO;
 
   if (NULL != peer->path_head)
   {
-    LOG (GNUNET_ERROR_TYPE_DEBUG, "path exists\n");
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "  some path exists\n");
     p = peer_get_best_path (peer);
     if (NULL != p)
     {
       LOG (GNUNET_ERROR_TYPE_DEBUG, "  %u hops\n", p->length);
-      c = tunnel_use_path (t, p);
+      c = GMT_use_path (t, p);
       if (NULL == c)
       {
         /* This case can happen when the path includes a first hop that is
@@ -1555,23 +1446,29 @@ GMP_connect (struct MeshPeer *peer)
          * path.
          *
          * Re-running the DHT GET should give core time to callback.
+         *
+         * GMT_use_path -> GMC_new -> register_neighbors takes care of
+         * updating statistics about this issue.
          */
-        GNUNET_break(0);
-                rerun_search = GNUNET_YES;
+        rerun_search = GNUNET_YES;
       }
       else
       {
-        send_connection_create (c);
+        GMC_send_create (c);
         return;
       }
     }
+    else
+    {
+      LOG (GNUNET_ERROR_TYPE_DEBUG, "  but is NULL, all paths are in use\n");
+    }
   }
 
   if (NULL != peer->search_h && GNUNET_YES == rerun_search)
   {
     GMD_search_stop (peer->search_h);
     peer->search_h = NULL;
-    LOG (GNUNET_ERROR_TYPE_DEBUG, 
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
          "  Stopping DHT GET for peer %s\n",
          GMP_2s (peer));
   }
@@ -1582,33 +1479,20 @@ GMP_connect (struct MeshPeer *peer)
 
     id = GNUNET_PEER_resolve2 (peer->id);
     LOG (GNUNET_ERROR_TYPE_DEBUG,
-                "  Starting DHT GET for peer %s\n", peer2s (peer));
+                "  Starting DHT GET for peer %s\n", GMP_2s (peer));
     peer->search_h = GMD_search (id, &search_handler, peer);
-    if (MESH_TUNNEL3_NEW == t->state)
-      GMT_change_state (t, MESH_TUNNEL3_SEARCHING);
+    if (MESH_TUNNEL3_NEW == GMT_get_cstate (t))
+      GMT_change_cstate (t, MESH_TUNNEL3_SEARCHING);
   }
 }
 
 
-/**
- * Set tunnel.
- *
- * @param peer Peer.
- * @param t Tunnel.
- */
-void
-GMP_set_tunnel (struct MeshPeer *peer, struct MeshTunnel2 *t)
-{
-  peer->tunnel = t;
-}
-
-
 /**
  * Chech whether there is a direct (core level)  connection to peer.
  *
  * @param peer Peer to check.
  *
- * @return GNUNET_YES if there is a direct connection.
+ * @return #GNUNET_YES if there is a direct connection.
  */
 int
 GMP_is_neighbor (const struct MeshPeer *peer)
@@ -1624,11 +1508,28 @@ GMP_is_neighbor (const struct MeshPeer *peer)
       return GNUNET_YES;
   }
 
-  GNUNET_break (0); /* Is not a neighbor but connections is not NULL */
+  /* Is not a neighbor but connections is not NULL, probably disconnecting */
   return GNUNET_NO;
 }
 
 
+/**
+ * Create and initialize a new tunnel towards a peer, in case it has none.
+ * In case the peer already has a tunnel, nothing is done.
+ *
+ * Does not generate any traffic, just creates the local data structures.
+ *
+ * @param peer Peer towards which to create the tunnel.
+ */
+void
+GMP_add_tunnel (struct MeshPeer *peer)
+{
+  if (NULL != peer->tunnel)
+    return;
+  peer->tunnel = GMT_new (peer);
+}
+
+
 /**
  * Add a connection to a neighboring peer.
  *
@@ -1643,17 +1544,210 @@ GMP_is_neighbor (const struct MeshPeer *peer)
  */
 int
 GMP_add_connection (struct MeshPeer *peer,
-                    const struct MeshConnection *c)
+                    struct MeshConnection *c)
 {
+  int result;
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "adding connection %s\n", GMC_2s (c));
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "to peer %s\n", GMP_2s (peer));
+
   if (NULL == peer->connections)
   {
     GNUNET_break (0);
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
+         "Peer %s is not a neighbor!\n",
+         GMP_2s (peer));
     return GNUNET_SYSERR;
   }
-  return GNUNET_CONTAINER_multihashmap_put (peer->connections,
-                                            GMC_get_id (c),
-                                            c,
-                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+       "peer %s ok, has %u connections.\n",
+       GMP_2s (peer), GNUNET_CONTAINER_multihashmap_size (peer->connections));
+  result = GNUNET_CONTAINER_multihashmap_put (peer->connections,
+                                              GMC_get_id (c),
+                                              c,
+                                              GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+       " now has %u connections.\n",
+       GNUNET_CONTAINER_multihashmap_size (peer->connections));
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "result %u\n", result);
+
+  return result;
+}
+
+
+/**
+ * Add the path to the peer and update the path used to reach it in case this
+ * is the shortest.
+ *
+ * @param peer Destination peer to add the path to.
+ * @param path New path to add. Last peer must be the peer in arg 1.
+ *             Path will be either used of freed if already known.
+ * @param trusted Do we trust that this path is real?
+ *
+ * @return path if path was taken, pointer to existing duplicate if exists
+ *         NULL on error.
+ */
+struct MeshPeerPath *
+GMP_add_path (struct MeshPeer *peer, struct MeshPeerPath *path,
+              int trusted)
+{
+  struct MeshPeerPath *aux;
+  unsigned int l;
+  unsigned int l2;
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "adding path [%u] to peer %s\n",
+       path->length, GMP_2s (peer));
+
+  if ((NULL == peer) || (NULL == path))
+  {
+    GNUNET_break (0);
+    path_destroy (path);
+    return NULL;
+  }
+  if (path->peers[path->length - 1] != peer->id)
+  {
+    GNUNET_break (0);
+    path_destroy (path);
+    return NULL;
+  }
+  if (2 >= path->length && GNUNET_NO == trusted)
+  {
+    /* Only allow CORE to tell us about direct paths */
+    path_destroy (path);
+    return NULL;
+  }
+  for (l = 1; l < path->length; l++)
+  {
+    if (path->peers[l] == myid)
+    {
+      LOG (GNUNET_ERROR_TYPE_DEBUG, "shortening path by %u\n", l);
+      for (l2 = 0; l2 < path->length - l; l2++)
+      {
+        path->peers[l2] = path->peers[l + l2];
+      }
+      path->length -= l;
+      l = 1;
+      path->peers = GNUNET_realloc (path->peers,
+                                    path->length * sizeof (GNUNET_PEER_Id));
+    }
+  }
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "adding path [%u]\n", path->length);
+
+  l = path_get_length (path);
+  if (0 == l)
+  {
+    path_destroy (path);
+    return NULL;
+  }
+
+  GNUNET_assert (peer->id == path->peers[path->length - 1]);
+  for (aux = peer->path_head; aux != NULL; aux = aux->next)
+  {
+    l2 = path_get_length (aux);
+    if (l2 > l)
+    {
+      LOG (GNUNET_ERROR_TYPE_DEBUG, "  added\n");
+      GNUNET_CONTAINER_DLL_insert_before (peer->path_head,
+                                          peer->path_tail, aux, path);
+      return path;
+    }
+    else
+    {
+      if (l2 == l && memcmp (path->peers, aux->peers, l) == 0)
+      {
+        LOG (GNUNET_ERROR_TYPE_DEBUG, "  already known\n");
+        path_destroy (path);
+        return aux;
+      }
+    }
+  }
+  GNUNET_CONTAINER_DLL_insert_tail (peer->path_head, peer->path_tail,
+                                    path);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "  added last\n");
+  return path;
+}
+
+
+/**
+ * Add the path to the origin peer and update the path used to reach it in case
+ * this is the shortest.
+ * The path is given in peer_info -> destination, therefore we turn the path
+ * upside down first.
+ *
+ * @param peer Peer to add the path to, being the origin of the path.
+ * @param path New path to add after being inversed.
+ *             Path will be either used or freed.
+ * @param trusted Do we trust that this path is real?
+ *
+ * @return path if path was taken, pointer to existing duplicate if exists
+ *         NULL on error.
+ */
+struct MeshPeerPath *
+GMP_add_path_to_origin (struct MeshPeer *peer,
+                        struct MeshPeerPath *path,
+                        int trusted)
+{
+  if (NULL == path)
+    return NULL;
+  path_invert (path);
+  return GMP_add_path (peer, path, trusted);
+}
+
+
+/**
+ * Adds a path to the info of all the peers in the path
+ *
+ * @param p Path to process.
+ * @param confirmed Whether we know if the path works or not.
+ */
+void
+GMP_add_path_to_all (const struct MeshPeerPath *p, int confirmed)
+{
+  unsigned int i;
+
+  /* TODO: invert and add */
+  for (i = 0; i < p->length && p->peers[i] != myid; i++) /* skip'em */ ;
+  for (i++; i < p->length; i++)
+  {
+    struct MeshPeer *aux;
+    struct MeshPeerPath *copy;
+
+    aux = GMP_get_short (p->peers[i]);
+    copy = path_duplicate (p);
+    copy->length = i + 1;
+    GMP_add_path (aux, copy, p->length < 3 ? GNUNET_NO : confirmed);
+  }
+}
+
+
+/**
+ * Remove any path to the peer that has the extact same peers as the one given.
+ *
+ * @param peer Peer to remove the path from.
+ * @param path Path to remove. Is always destroyed .
+ */
+void
+GMP_remove_path (struct MeshPeer *peer, struct MeshPeerPath *path)
+{
+  struct MeshPeerPath *iter;
+  struct MeshPeerPath *next;
+
+  GNUNET_assert (myid == path->peers[0]);
+  GNUNET_assert (peer->id == path->peers[path->length - 1]);
+
+  for (iter = peer->path_head; NULL != iter; iter = next)
+  {
+    next = iter->next;
+    if (0 == memcmp (path->peers, iter->peers,
+                     sizeof (GNUNET_PEER_Id) * path->length))
+    {
+      GNUNET_CONTAINER_DLL_remove (peer->path_head, peer->path_tail, iter);
+      path_destroy (iter);
+      if (path == iter)
+        return;
+    }
+  }
+  path_destroy (path);
 }
 
 
@@ -1669,16 +1763,64 @@ int
 GMP_remove_connection (struct MeshPeer *peer,
                        const struct MeshConnection *c)
 {
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "removing connection %s\n", GMC_2s (c));
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "from peer %s\n", GMP_2s (peer));
+
   if (NULL == peer || NULL == peer->connections)
   {
-    GNUNET_break (0);
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
+         "Peer %s is not a neighbor!\n",
+         GMP_2s (peer));
     return GNUNET_SYSERR;
   }
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+       "peer %s ok, has %u connections.\n",
+       GMP_2s (peer), GNUNET_CONTAINER_multihashmap_size (peer->connections));
+
   return GNUNET_CONTAINER_multihashmap_remove (peer->connections,
                                                GMC_get_id (c),
                                                c);
 }
 
+/**
+ * Start the DHT search for new paths towards the peer: we don't have
+ * enough good connections.
+ *
+ * @param peer Destination peer.
+ */
+void
+GMP_start_search (struct MeshPeer *peer)
+{
+  if (NULL != peer->search_h)
+  {
+    GNUNET_break (0);
+    return;
+  }
+
+  peer->search_h = GMD_search (GMP_get_id (peer), &search_handler, peer);
+}
+
+
+/**
+ * Stop the DHT search for new paths towards the peer: we already have
+ * enough good connections.
+ *
+ * @param peer Destination peer.
+ */
+void
+GMP_stop_search (struct MeshPeer *peer)
+{
+  if (NULL == peer->search_h)
+  {
+    GNUNET_break (0);
+    return;
+  }
+
+  GMD_search_stop (peer->search_h);
+  peer->search_h = NULL;
+}
+
+
 /**
  * Get the Full ID of a peer.
  *
@@ -1686,7 +1828,7 @@ GMP_remove_connection (struct MeshPeer *peer,
  *
  * @return Full ID of peer.
  */
-struct GNUNET_PeerIdentity *
+const struct GNUNET_PeerIdentity *
 GMP_get_id (const struct MeshPeer *peer)
 {
   return GNUNET_PEER_resolve2 (peer->id);
@@ -1707,6 +1849,121 @@ GMP_get_short_id (const struct MeshPeer *peer)
 }
 
 
+/**
+ * Set tunnel.
+ *
+ * @param peer Peer.
+ * @param t Tunnel.
+ */
+void
+GMP_set_tunnel (struct MeshPeer *peer, struct MeshTunnel3 *t)
+{
+  peer->tunnel = t;
+}
+
+
+/**
+ * Get the tunnel towards a peer.
+ *
+ * @param peer Peer to get from.
+ *
+ * @return Tunnel towards peer.
+ */
+struct MeshTunnel3 *
+GMP_get_tunnel (const struct MeshPeer *peer)
+{
+  return peer->tunnel;
+}
+
+
+/**
+ * Set the hello message.
+ *
+ * @param peer Peer whose message to set.
+ * @param hello Hello message.
+ */
+void
+GMP_set_hello (struct MeshPeer *peer, const struct GNUNET_HELLO_Message *hello)
+{
+  struct GNUNET_HELLO_Message *old;
+  size_t size;
+
+  old = GMP_get_hello (peer);
+  if (NULL == old)
+  {
+    size = GNUNET_HELLO_size (hello);
+    peer->hello = GNUNET_malloc (size);
+    memcpy (peer->hello, hello, size);
+    return;
+  }
+  else
+  {
+    peer->hello = GNUNET_HELLO_merge (old, hello);
+    GNUNET_free (old);
+  }
+}
+
+
+/**
+ * Get the hello message.
+ *
+ * @param peer Peer whose message to get.
+ *
+ * @return Hello message.
+ */
+struct GNUNET_HELLO_Message *
+GMP_get_hello (struct MeshPeer *peer)
+{
+  struct GNUNET_TIME_Absolute expiration;
+  struct GNUNET_TIME_Relative remaining;
+
+  if (NULL == peer->hello)
+    return NULL;
+
+  expiration = GNUNET_HELLO_get_last_expiration (peer->hello);
+  remaining = GNUNET_TIME_absolute_get_remaining (expiration);
+  if (0 == remaining.rel_value_us)
+  {
+    GNUNET_free (peer->hello);
+    peer->hello = NULL;
+  }
+  return peer->hello;
+}
+
+
+/**
+ * Count the number of known paths toward the peer.
+ *
+ * @param peer Peer to get path info.
+ *
+ * @return Number of known paths.
+ */
+unsigned int
+GMP_count_paths (const struct MeshPeer *peer)
+{
+  struct MeshPeerPath *iter;
+  unsigned int i;
+
+  for (iter = peer->path_head, i = 0; NULL != iter; iter = iter->next)
+    i++;
+
+  return i;
+}
+
+
+/**
+ * Iterate all known peers.
+ *
+ * @param iter Iterator.
+ * @param cls Closure for @c iter.
+ */
+void
+GMP_iterate_all (GNUNET_CONTAINER_PeerMapIterator iter, void *cls)
+{
+  GNUNET_CONTAINER_multipeermap_iterate (peers, iter, cls);
+}
+
+
 /**
  * Get the static string for a peer ID.
  *
@@ -1720,4 +1977,4 @@ GMP_2s (const struct MeshPeer *peer)
   if (NULL == peer)
     return "(NULL)";
   return GNUNET_i2s (GNUNET_PEER_resolve2 (peer->id));
-}
\ No newline at end of file
+}