- add framework for mesh2 mutipeer tests
[oweals/gnunet.git] / src / mesh / gnunet-service-mesh-new.c
index 657d35829011eea10e180068826d744ddbbfab36..3e64003f9a2453510550480423ea0bbb707a9e05 100644 (file)
@@ -28,7 +28,7 @@
  * - set ttl relative to path length
  * - add signatures
  * - add encryption
- * - add port numbers
+ * - keep queues until receiving ACK
  * TODO END
  */
 
@@ -293,6 +293,11 @@ struct MeshTunnel
      */
   struct MESH_TunnelID id;
 
+    /**
+     * Port of the tunnel.
+     */
+  uint32_t port;
+
     /**
      * State of the tunnel.
      */
@@ -393,7 +398,7 @@ struct MeshTunnel
 /**
  * Struct containing information about a client of the service
  * 
- * TODO: add a list of 'waiting' types
+ * TODO: add a list of 'waiting' ports
  */
 struct MeshClient
 {
@@ -423,10 +428,10 @@ struct MeshClient
   struct GNUNET_SERVER_Client *handle;
 
     /**
-     * Messages that this client has declared interest in.
+     * Ports that this client has declared interest in.
      * Indexed by a GMC_hash32 (type), contains *Client.
      */
-  struct GNUNET_CONTAINER_MultiHashMap *types;
+  struct GNUNET_CONTAINER_MultiHashMap *ports;
 
     /**
      * Whether the client is active or shutting down (don't send confirmations
@@ -467,6 +472,7 @@ mesh_debug (void *cls, int success)
 }
 #endif
 
+/* FIXME */
 unsigned int debug_fwd_ack;
 unsigned int debug_bck_ack;
 
@@ -620,9 +626,9 @@ static MESH_TunnelNumber next_tid;
 static MESH_TunnelNumber next_local_tid;
 
 /**
- * All message types clients of this peer are interested in.
+ * All ports clients of this peer have opened.
  */
-static struct GNUNET_CONTAINER_MultiHashMap *types;
+static struct GNUNET_CONTAINER_MultiHashMap *ports;
 
 /**
  * Task to periodically announce itself in the network.
@@ -738,7 +744,9 @@ tunnel_notify_connection_broken (struct MeshTunnel *t, GNUNET_PEER_Id p1,
 
 
 /**
- * Use the given path for the tunnel.
+ * @brief Use the given path for the tunnel.
+ * Update the next and prev hops (and RCs).
+ * (Re)start the path refresh in case the tunnel is locally owned.
  * 
  * @param t Tunnel to update.
  * @param p Path to use.
@@ -913,10 +921,30 @@ client_delete_tunnel (struct MeshClient *c, struct MeshTunnel *t)
   }
 }
 
+/**
+ * Notify the appropiate client that a new incoming tunnel was created.
+ *
+ * @param t Tunnel that was created.
+ */
+static void
+send_client_tunnel_create (struct MeshTunnel *t)
+{
+  struct GNUNET_MESH_TunnelMessage msg;
+
+  if (NULL == t->client)
+    return;
+  msg.header.size = htons (sizeof (msg));
+  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
+  msg.tunnel_id = htonl (t->local_tid_dest);
+  msg.port = htonl (t->port);
+  GNUNET_PEER_resolve (t->id.oid, &msg.peer);
+  GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
+                                              &msg.header, GNUNET_NO);
+}
+
 
 /**
- * Notify all clients (not depending on registration status) that the incoming
- * tunnel is no longer valid.
+ * Notify dest client that the incoming tunnel is no longer valid.
  *
  * @param t Tunnel that was destroyed.
  */
@@ -1123,16 +1151,11 @@ send_prebuilt_message (const struct GNUNET_MessageHeader *message,
   switch (type)
   {
     struct GNUNET_MESH_Unicast *u;
-    struct GNUNET_MESH_ToOrigin *to;
 
     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
       u = (struct GNUNET_MESH_Unicast *) data;
       u->ttl = htonl (ntohl (u->ttl) - 1);
       break;
-    case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
-      to = (struct GNUNET_MESH_ToOrigin *) data;
-      t->prev_fc.last_pid_sent++; /* FIXME per hop? */
-      to->pid = htonl (t->prev_fc.last_pid_sent);
   }
   GNUNET_PEER_resolve (peer, &id);
   neighbor = peer_get (&id);
@@ -1200,7 +1223,7 @@ send_create_path (struct MeshTunnel *t)
   neighbor = peer_get_short (t->next_hop);
   queue_add (t,
              GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE,
-             sizeof (struct GNUNET_MESH_ManipulatePath) +
+             sizeof (struct GNUNET_MESH_CreateTunnel) +
                 (t->path->length * sizeof (struct GNUNET_PeerIdentity)),
              neighbor,
              t);
@@ -1218,15 +1241,9 @@ send_path_ack (struct MeshTunnel *t)
 {
   struct MeshPeerInfo *peer;
 
-  if (0 == t->prev_hop)
-  {
-    GNUNET_break (0);
-    return;
-  }
-
   peer = peer_get_short (t->prev_hop);
 
-  queue_add (&t->id,
+  queue_add (t,
              GNUNET_MESSAGE_TYPE_MESH_PATH_ACK,
              sizeof (struct GNUNET_MESH_PathACK),
              peer,
@@ -1408,7 +1425,6 @@ peer_info_add_path (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path,
     path_destroy (path);
     return;
   }
-  GNUNET_assert (peer_info->id == path->peers[path->length - 1]);
   for (l = 1; l < path->length; l++)
   {
     if (path->peers[l] == myid)
@@ -1473,6 +1489,7 @@ peer_info_add_path (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path,
  *
  * @param peer_info Peer to add the path to, being the origin of the path.
  * @param path New path to add after being inversed.
+ *             Path will be either used or freed.
  * @param trusted Do we trust that this path is real?
  */
 static void
@@ -1484,6 +1501,30 @@ peer_info_add_path_to_origin (struct MeshPeerInfo *peer_info,
 }
 
 
+
+/**
+ * Remove a tunnel from the list of tunnels a peer participates in.
+ * 
+ * @param p Peer to clean.
+ * @param t Tunnel to remove.
+ */
+static void
+peer_info_remove_tunnel (struct MeshPeerInfo *p, struct MeshTunnel *t)
+{
+  unsigned int i;
+
+  for (i = 0; i < p->ntunnels; i++)
+  {
+    if (p->tunnels[i] == t)
+    {
+      p->tunnels[i] = p->tunnels[p->ntunnels - 1];
+      GNUNET_array_grow (p->tunnels, p->ntunnels, p->ntunnels - 1);
+      return;
+    }
+  }
+}
+
+
 /**
  * Function called if the connection to the peer has been stalled for a while,
  * possibly due to a missed ACK. Poll the peer about its ACK status.
@@ -1509,16 +1550,20 @@ tunnel_poll (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   msg.header.size = htons (sizeof (msg));
   msg.tid = htonl (t->id.tid);
   GNUNET_PEER_resolve (t->id.oid, &msg.oid);
-  msg.last_ack = htonl (fc->last_ack_recv);
 
   if (fc == &t->prev_fc)
   {
     peer = t->prev_hop;
   }
-  else
+  else if (fc == &t->next_fc)
   {
     peer = t->next_hop;
   }
+  else
+  {
+    GNUNET_break (0);
+    return;
+  }
   send_prebuilt_message (&msg.header, peer, t);
   fc->poll_time = GNUNET_TIME_STD_BACKOFF (fc->poll_time);
   fc->poll_task = GNUNET_SCHEDULER_add_delayed (fc->poll_time,
@@ -1634,7 +1679,7 @@ path_add_to_peers (struct MeshPeerPath *p, int confirmed)
     aux = peer_get_short (p->peers[i]);
     copy = path_duplicate (p);
     copy->length = i + 1;
-    peer_info_add_path (aux, copy, GNUNET_NO);
+    peer_info_add_path (aux, copy, p->length < 3 ? GNUNET_NO : confirmed);
   }
 }
 
@@ -1732,22 +1777,32 @@ tunnel_get (const struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid)
 /**
  * Add a client to a tunnel, initializing all needed data structures.
  * 
- * FIXME: make static after implementing port numbers
- * 
  * @param t Tunnel to which add the client.
  * @param c Client which to add to the tunnel.
  */
-void
+static void
 tunnel_add_client (struct MeshTunnel *t, struct MeshClient *c)
 {
+  struct GNUNET_HashCode hash;
+
   if (NULL != t->client)
   {
     GNUNET_break(0);
     return;
   }
-  if (0 != t->next_hop)
+  GMC_hash32 (t->local_tid_dest, &hash);
+  if (GNUNET_OK !=
+      GNUNET_CONTAINER_multihashmap_put (c->incoming_tunnels, &hash, t,
+                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
   {
-    GNUNET_break(0);
+    GNUNET_break (0);
+    return;
+  }
+  if (GNUNET_OK !=
+      GNUNET_CONTAINER_multihashmap_put (incoming_tunnels, &hash, t,
+                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
+  {
+    GNUNET_break (0);
     return;
   }
   t->client = c;
@@ -1757,34 +1812,40 @@ tunnel_add_client (struct MeshTunnel *t, struct MeshClient *c)
 static void
 tunnel_use_path (struct MeshTunnel *t, struct MeshPeerPath *p)
 {
-  unsigned int i;
+  unsigned int own_pos;
 
-  for (i = 0; i < p->length; i++)
+  for (own_pos = 0; own_pos < p->length; own_pos++)
   {
-    if (p->peers[i] == myid)
+    if (p->peers[own_pos] == myid)
       break;
   }
-  if (i > p->length - 1)
+  if (own_pos > p->length - 1)
   {
     GNUNET_break (0);
     return;
   }
 
-  if (i < p->length - 1)
-    t->next_hop = p->peers[i + 1];
+  if (own_pos < p->length - 1)
+    t->next_hop = p->peers[own_pos + 1];
   else
-    t->next_hop = 0;
-  if (0 < i)
-    t->prev_hop = p->peers[i - 1];
+    t->next_hop = p->peers[own_pos];
+  GNUNET_PEER_change_rc (t->next_hop, 1);
+  if (0 < own_pos)
+    t->prev_hop = p->peers[own_pos - 1];
   else
-    t->prev_hop = 0;
+    t->prev_hop = p->peers[0];
+  GNUNET_PEER_change_rc (t->prev_hop, 1);
 
   if (NULL != t->path)
     path_destroy (t->path);
   t->path = path_duplicate (p);
-  if (GNUNET_SCHEDULER_NO_TASK == t->maintenance_task)
-    t->maintenance_task =
-        GNUNET_SCHEDULER_add_delayed (refresh_path_time, &path_refresh, t);
+  if (0 == own_pos)
+  {
+    if (GNUNET_SCHEDULER_NO_TASK != t->maintenance_task)
+      GNUNET_SCHEDULER_cancel (t->maintenance_task);
+    t->maintenance_task = GNUNET_SCHEDULER_add_delayed (refresh_path_time,
+                                                        &path_refresh, t);
+  }
 }
 
 
@@ -1904,6 +1965,7 @@ tunnel_send_fwd_ack (struct MeshTunnel *t, uint16_t type)
     case GNUNET_MESSAGE_TYPE_MESH_ACK:
     case GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK:
       break;
+    case GNUNET_MESSAGE_TYPE_MESH_PATH_ACK:
     case GNUNET_MESSAGE_TYPE_MESH_POLL:
       t->force_ack = GNUNET_YES;
       break;
@@ -1935,10 +1997,10 @@ tunnel_send_fwd_ack (struct MeshTunnel *t, uint16_t type)
   }
 
   t->prev_fc.last_ack_sent = ack;
-  if (0 != t->prev_hop)
-    send_ack (t, t->prev_hop, ack);
-  else if (NULL != t->owner)
+  if (NULL != t->owner)
     send_local_ack (t, t->owner, ack);
+  else if (0 != t->prev_hop)
+    send_ack (t, t->prev_hop, ack);
   else
     GNUNET_break (0);
   debug_fwd_ack++;
@@ -1978,6 +2040,7 @@ tunnel_send_bck_ack (struct MeshTunnel *t, uint16_t type)
     case GNUNET_MESSAGE_TYPE_MESH_ACK:
     case GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK:
       break;
+    case GNUNET_MESSAGE_TYPE_MESH_PATH_ACK:
     case GNUNET_MESSAGE_TYPE_MESH_POLL:
       t->force_ack = GNUNET_YES;
       break;
@@ -1985,6 +2048,8 @@ tunnel_send_bck_ack (struct MeshTunnel *t, uint16_t type)
       GNUNET_break (0);
   }
 
+  /* TODO: Check if we need to transmit the ACK (as in fwd) */
+
   ack = t->next_fc.last_pid_recv + t->queue_max - t->prev_fc.queue_n;
 
   if (t->next_fc.last_ack_sent == ack && GNUNET_NO == t->force_ack)
@@ -1998,16 +2063,82 @@ tunnel_send_bck_ack (struct MeshTunnel *t, uint16_t type)
               ack, t->next_fc.last_ack_sent);
   t->next_fc.last_ack_sent = ack;
 
-  if (0 != t->next_hop)
-    send_ack (t, t->next_hop, ack);
-  else if (NULL != t->client)
+  if (NULL != t->client)
     send_local_ack (t, t->client, ack);
+  else if (0 != t->next_hop)
+    send_ack (t, t->next_hop, ack);
   else
     GNUNET_break (0);
   t->force_ack = GNUNET_NO;
 }
 
 
+/**
+ * Modify the unicast message TID from global to local and send to client.
+ * 
+ * @param t Tunnel on which to send the message.
+ * @param msg Message to modify and send.
+ */
+static void
+tunnel_send_client_ucast (struct MeshTunnel *t,
+                          const struct GNUNET_MESH_Unicast *msg)
+{
+  struct GNUNET_MESH_Unicast *copy;
+  uint16_t size = ntohs (msg->header.size);
+  char cbuf[size];
+
+  if (size < sizeof (struct GNUNET_MESH_Unicast) +
+             sizeof (struct GNUNET_MessageHeader))
+  {
+    GNUNET_break_op (0);
+    return;
+  }
+  if (NULL == t->client)
+  {
+    GNUNET_break (0);
+    return;
+  }
+  copy = (struct GNUNET_MESH_Unicast *) cbuf;
+  memcpy (copy, msg, size);
+  copy->tid = htonl (t->local_tid_dest);
+  GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
+                                              &copy->header, GNUNET_NO);
+}
+
+
+/**
+ * Modify the to_origin  message TID from global to local and send to client.
+ * 
+ * @param t Tunnel on which to send the message.
+ * @param msg Message to modify and send.
+ */
+static void
+tunnel_send_client_to_orig (struct MeshTunnel *t,
+                            const struct GNUNET_MESH_ToOrigin *msg)
+{
+  struct GNUNET_MESH_ToOrigin *copy;
+  uint16_t size = ntohs (msg->header.size);
+  char cbuf[size];
+
+  if (size < sizeof (struct GNUNET_MESH_ToOrigin) +
+             sizeof (struct GNUNET_MessageHeader))
+  {
+    GNUNET_break_op (0);
+    return;
+  }
+  if (NULL == t->owner)
+  {
+    GNUNET_break (0);
+    return;
+  }
+  copy = (struct GNUNET_MESH_ToOrigin *) cbuf;
+  memcpy (cbuf, msg, size);
+  copy->tid = htonl (t->local_tid);
+  GNUNET_SERVER_notification_context_unicast (nc, t->owner->handle,
+                                              &copy->header, GNUNET_NO);
+}
+
+
 /**
  * @brief Re-initiate traffic to this peer if necessary.
  *
@@ -2074,7 +2205,7 @@ tunnel_send_destroy (struct MeshTunnel *t)
               "  sending tunnel destroy for tunnel: %s [%X]\n",
               GNUNET_i2s (&msg.oid), t->id.tid);
 
-  if (0 != t->next_hop)
+  if (NULL == t->client && 0 != t->next_hop)
   {
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  child: %u\n", t->next_hop);
     GNUNET_PEER_resolve (t->next_hop, &id);
@@ -2083,7 +2214,7 @@ tunnel_send_destroy (struct MeshTunnel *t)
                 GNUNET_i2s (&id));
     send_prebuilt_message (&msg.header, t->next_hop, t);
   }
-  if (0 != t->prev_hop)
+  if (NULL == t->owner && 0 != t->prev_hop)
   {
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  parent: %u\n", t->prev_hop);
     GNUNET_PEER_resolve (t->prev_hop, &id);
@@ -2108,6 +2239,8 @@ peer_cancel_queues (GNUNET_PEER_Id neighbor, struct MeshTunnel *t)
   struct MeshPeerQueue *pq;
   struct MeshPeerQueue *next;
 
+  if (0 == neighbor)
+    return; /* Was local peer, 0'ed in tunnel_destroy_iterator */
   peer_info = peer_get_short (neighbor);
   for (pq = peer_info->queue_head; NULL != pq; pq = next)
   {
@@ -2182,6 +2315,7 @@ tunnel_destroy (struct MeshTunnel *t)
 
   if (NULL != t->client)
   {
+    c = t->client;
     GMC_hash32 (t->local_tid_dest, &hash);
     if (GNUNET_YES !=
           GNUNET_CONTAINER_multihashmap_remove (c->incoming_tunnels, &hash, t))
@@ -2189,28 +2323,29 @@ tunnel_destroy (struct MeshTunnel *t)
       GNUNET_break (0);
       r = GNUNET_SYSERR;
     }
-  }
-  if (GNUNET_YES != 
+    if (GNUNET_YES != 
       GNUNET_CONTAINER_multihashmap_remove (incoming_tunnels, &hash, t))
-  {
-    GNUNET_break (0);
-    r = GNUNET_SYSERR;
+    {
+      GNUNET_break (0);
+      r = GNUNET_SYSERR;
+    }
   }
 
   peer_cancel_queues (t->next_hop, t);
   peer_cancel_queues (t->prev_hop, t);
+  GNUNET_PEER_change_rc(t->next_hop, -1);
+  GNUNET_PEER_change_rc(t->prev_hop, -1);
 
   if (GNUNET_SCHEDULER_NO_TASK != t->maintenance_task)
     GNUNET_SCHEDULER_cancel (t->maintenance_task);
 
   n_tunnels--;
   GNUNET_STATISTICS_update (stats, "# tunnels", -1, GNUNET_NO);
+  path_destroy (t->path);
   GNUNET_free (t);
   return r;
 }
 
-#define TUNNEL_DESTROY_EMPTY_TIME GNUNET_TIME_UNIT_MILLISECONDS
-
 /**
  * Tunnel is empty: destroy it.
  * 
@@ -2230,7 +2365,8 @@ tunnel_destroy_empty (struct MeshTunnel *t)
   }
   #endif
 
-  tunnel_send_destroy (t);
+  if (GNUNET_NO == t->destroy)
+    tunnel_send_destroy (t);
   if (0 == t->pending_messages)
     tunnel_destroy (t);
   else
@@ -2247,8 +2383,8 @@ fc_init (struct MeshFlowControl *fc)
 {
   fc->last_pid_sent = (uint32_t) -1; /* Next (expected) = 0 */
   fc->last_pid_recv = (uint32_t) -1;
-  fc->last_ack_sent = INITIAL_WINDOW_SIZE - 1;
-  fc->last_ack_recv = INITIAL_WINDOW_SIZE - 1;
+  fc->last_ack_sent = (uint32_t) -1; /* No traffic allowed yet */
+  fc->last_ack_recv = (uint32_t) -1;
   fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
   fc->poll_time = GNUNET_TIME_UNIT_SECONDS;
   fc->queue_n = 0;
@@ -2341,17 +2477,32 @@ tunnel_destroy_iterator (void *cls,
   struct MeshTunnel *t = value;
   struct MeshClient *c = cls;
 
-  send_client_tunnel_destroy (t);
-  if (c != t->owner)
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              " Tunnel %X / %X destroy, due to client %u shutdown.\n",
+              t->local_tid, t->local_tid_dest, c->id);
+  if (GNUNET_NO == c->shutting_down)
+    send_client_tunnel_destroy (t);
+  client_delete_tunnel (c, t);
+  if (c == t->client)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Client %u is destination.\n", c->id);
-    client_delete_tunnel (c, t);
-    tunnel_destroy_empty (t);
-    return GNUNET_OK;
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " Client %u is destination.\n", c->id);
+    t->client = NULL;
+    t->next_hop = 0;
   }
-  tunnel_send_destroy (t);
-  t->owner = NULL;
-  t->destroy = GNUNET_YES;
+  else if (c == t->owner)
+  {
+    struct MeshPeerInfo *p;
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " Client %u is owner.\n", c->id);
+    t->owner = NULL;
+    t->prev_hop = 0;
+    p = peer_get_short(t->dest);
+    peer_info_remove_tunnel (p, t);
+  }
+  else
+  {
+    GNUNET_break (0);
+  }
+  tunnel_destroy_empty (t);
 
   return GNUNET_OK;
 }
@@ -2417,7 +2568,7 @@ static size_t
 send_core_path_create (void *cls, size_t size, void *buf)
 {
   struct MeshTunnel *t = cls;
-  struct GNUNET_MESH_ManipulatePath *msg;
+  struct GNUNET_MESH_CreateTunnel *msg;
   struct GNUNET_PeerIdentity *peer_ptr;
   struct MeshPeerPath *p = t->path;
   size_t size_needed;
@@ -2426,7 +2577,7 @@ send_core_path_create (void *cls, size_t size, void *buf)
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "CREATE PATH sending...\n");
   size_needed =
-      sizeof (struct GNUNET_MESH_ManipulatePath) +
+      sizeof (struct GNUNET_MESH_CreateTunnel) +
       p->length * sizeof (struct GNUNET_PeerIdentity);
 
   if (size < size_needed || NULL == buf)
@@ -2434,7 +2585,7 @@ send_core_path_create (void *cls, size_t size, void *buf)
     GNUNET_break (0);
     return 0;
   }
-  msg = (struct GNUNET_MESH_ManipulatePath *) buf;
+  msg = (struct GNUNET_MESH_CreateTunnel *) buf;
   msg->header.size = htons (size_needed);
   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE);
   msg->tid = ntohl (t->id.tid);
@@ -2442,8 +2593,8 @@ send_core_path_create (void *cls, size_t size, void *buf)
   opt = 0;
   if (GNUNET_YES == t->nobuffer)
     opt |= MESH_TUNNEL_OPT_NOBUFFER;
-  msg->opt = htonl(opt);
-  msg->reserved = 0;
+  msg->opt = htonl (opt);
+  msg->port = htonl (t->port);
 
   peer_ptr = (struct GNUNET_PeerIdentity *) &msg[1];
   for (i = 0; i < p->length; i++)
@@ -2468,20 +2619,22 @@ send_core_path_create (void *cls, size_t size, void *buf)
 static size_t
 send_core_path_ack (void *cls, size_t size, void *buf)
 {
-  struct MESH_TunnelID *id = cls;
+  struct MeshTunnel *t = cls;
   struct GNUNET_MESH_PathACK *msg = buf;
 
-  GNUNET_assert (NULL != id);
+  GNUNET_assert (NULL != t);
   if (sizeof (struct GNUNET_MESH_PathACK) > size)
   {
     GNUNET_break (0);
     return 0;
   }
+  t->prev_fc.last_ack_sent = t->nobuffer ? 0 : t->queue_max - 1;
   msg->header.size = htons (sizeof (struct GNUNET_MESH_PathACK));
   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_ACK);
-  GNUNET_PEER_resolve (id->oid, &msg->oid);
-  msg->tid = htonl (id->tid);
+  GNUNET_PEER_resolve (t->id.oid, &msg->oid);
+  msg->tid = htonl (t->id.tid);
   msg->peer_id = my_full_id;
+  msg->ack = htonl (t->prev_fc.last_ack_sent);
 
   /* TODO add signature */
 
@@ -2573,12 +2726,12 @@ queue_get_next (const struct MeshPeerInfo *peer)
   uint32_t pid;
   uint32_t ack;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   selecting message\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   selecting message\n");
   for (q = peer->queue_head; NULL != q; q = q->next)
   {
     t = q->tunnel;
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "*********     %s\n",
+                "*     %s\n",
                 GNUNET_MESH_DEBUG_M2S(q->type));
     switch (q->type)
     {
@@ -2594,26 +2747,26 @@ queue_get_next (const struct MeshPeerInfo *peer)
         break;
       default:
         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                    "*********   OK!\n");
+                    "*   OK!\n");
         return q;
     }
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "*********     ACK: %u, PID: %u\n",
+                "*     ACK: %u, PID: %u\n",
                 ack, pid);
     if (GNUNET_NO == GMC_is_pid_bigger (pid, ack))
     {
       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                  "*********   OK!\n");
+                  "*   OK!\n");
       return q;
     }
     else
     {
       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                  "*********     NEXT!\n");
+                  "*     NEXT!\n");
     }
   }
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "*********   nothing found\n");
+                "*   nothing found\n");
   return NULL;
 }
 
@@ -2632,28 +2785,28 @@ queue_send (void *cls, size_t size, void *buf)
 
   peer->core_transmit = NULL;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "********* Queue send\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "* Queue send\n");
   queue = queue_get_next (peer);
 
   /* Queue has no internal mesh traffic nor sendable payload */
   if (NULL == queue)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   not ready, return\n");
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   not ready, return\n");
     if (NULL == peer->queue_head)
       GNUNET_break (0); /* Core tmt_rdy should've been canceled */
     return 0;
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   not empty\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   not empty\n");
 
   GNUNET_PEER_resolve (peer->id, &dst_id);
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "*********   towards %s\n",
+              "*   towards %s\n",
               GNUNET_i2s (&dst_id));
   /* Check if buffer size is enough for the message */
   if (queue->size > size)
   {
       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                  "*********   not enough room, reissue\n");
+                  "*   not enough room, reissue\n");
       peer->core_transmit =
           GNUNET_CORE_notify_transmit_ready (core_handle,
                                              GNUNET_NO,
@@ -2665,7 +2818,7 @@ queue_send (void *cls, size_t size, void *buf)
                                              peer);
       return 0;
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   size ok\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   size ok\n");
 
   t = queue->tunnel;
   GNUNET_assert (0 < t->pending_messages);
@@ -2683,7 +2836,7 @@ queue_send (void *cls, size_t size, void *buf)
     case GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY:
     case GNUNET_MESSAGE_TYPE_MESH_PATH_KEEPALIVE:
       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                  "*********   raw: %s\n",
+                  "*   raw: %s\n",
                   GNUNET_MESH_DEBUG_M2S (queue->type));
       /* Fall through */
     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
@@ -2693,17 +2846,17 @@ queue_send (void *cls, size_t size, void *buf)
       type = ntohs (msg->type);
       break;
     case GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE:
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   path create\n");
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   path create\n");
       data_size = send_core_path_create (queue->cls, size, buf);
       break;
     case GNUNET_MESSAGE_TYPE_MESH_PATH_ACK:
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   path ack\n");
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   path ack\n");
       data_size = send_core_path_ack (queue->cls, size, buf);
       break;
     default:
       GNUNET_break (0);
       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                  "*********   type unknown: %u\n",
+                  "*   type unknown: %u\n",
                   queue->type);
       data_size = 0;
   }
@@ -2715,9 +2868,11 @@ queue_send (void *cls, size_t size, void *buf)
   switch (type)
   {
     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
+      t->next_fc.last_pid_sent = ((struct GNUNET_MESH_Unicast *) buf)->pid;
       tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_UNICAST);
       break;
     case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
+      t->prev_fc.last_pid_sent = ((struct GNUNET_MESH_ToOrigin *) buf)->pid;
       tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN);
       break;
     default:
@@ -2726,7 +2881,7 @@ queue_send (void *cls, size_t size, void *buf)
 
   if (GNUNET_YES == t->destroy && 0 == t->pending_messages)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********  destroying tunnel!\n");
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*  destroying tunnel!\n");
     tunnel_destroy (t);
   }
 
@@ -2736,7 +2891,7 @@ queue_send (void *cls, size_t size, void *buf)
   {
       struct GNUNET_PeerIdentity id;
 
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   more data!\n");
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   more data!\n");
       GNUNET_PEER_resolve (peer->id, &id);
       peer->core_transmit =
           GNUNET_CORE_notify_transmit_ready(core_handle,
@@ -2751,7 +2906,7 @@ queue_send (void *cls, size_t size, void *buf)
   else if (NULL != peer->queue_head)
   {
     GNUNET_log (GNUNET_ERROR_TYPE_INFO,
-                "*********   %s stalled\n",
+                "*   %s stalled\n",
                 GNUNET_i2s (&my_full_id));
     if (peer->id == t->next_hop)
       fc = &t->next_fc;
@@ -2769,7 +2924,7 @@ queue_send (void *cls, size_t size, void *buf)
                                                     &tunnel_poll, fc);
     }
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********  Return %d\n", data_size);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*  Return %d\n", data_size);
   return data_size;
 }
 
@@ -2867,9 +3022,8 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
   uint16_t size;
   uint16_t i;
   MESH_TunnelNumber tid;
-  struct GNUNET_MESH_ManipulatePath *msg;
+  struct GNUNET_MESH_CreateTunnel *msg;
   struct GNUNET_PeerIdentity *pi;
-  struct GNUNET_HashCode hash;
   struct MeshPeerPath *path;
   struct MeshPeerInfo *dest_peer_info;
   struct MeshPeerInfo *orig_peer_info;
@@ -2879,33 +3033,33 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
               "Received a path create msg [%s]\n",
               GNUNET_i2s (&my_full_id));
   size = ntohs (message->size);
-  if (size < sizeof (struct GNUNET_MESH_ManipulatePath))
+  if (size < sizeof (struct GNUNET_MESH_CreateTunnel))
   {
     GNUNET_break_op (0);
     return GNUNET_OK;
   }
 
-  size -= sizeof (struct GNUNET_MESH_ManipulatePath);
+  size -= sizeof (struct GNUNET_MESH_CreateTunnel);
   if (size % sizeof (struct GNUNET_PeerIdentity))
   {
     GNUNET_break_op (0);
     return GNUNET_OK;
   }
   size /= sizeof (struct GNUNET_PeerIdentity);
-  if (size < 2)
+  if (size < 1)
   {
     GNUNET_break_op (0);
     return GNUNET_OK;
   }
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "    path has %u hops.\n", size);
-  msg = (struct GNUNET_MESH_ManipulatePath *) message;
+  msg = (struct GNUNET_MESH_CreateTunnel *) message;
 
   tid = ntohl (msg->tid);
   pi = (struct GNUNET_PeerIdentity *) &msg[1];
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "    path is for tunnel %s [%X].\n", GNUNET_i2s (pi), tid);
+              "    path is for tunnel %s[%X].\n", GNUNET_i2s (pi), tid);
   t = tunnel_get (pi, tid);
-  if (NULL == t)
+  if (NULL == t) /* might be a local tunnel */
   {
     uint32_t opt;
 
@@ -2916,29 +3070,18 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
       GNUNET_break (0);
       return GNUNET_OK;
     }
+    t->port = ntohl (msg->port);
     opt = ntohl (msg->opt);
     if (0 != (opt & MESH_TUNNEL_OPT_NOBUFFER))
     {
       t->nobuffer = GNUNET_YES;
       t->prev_fc.last_ack_sent = t->prev_fc.last_pid_recv + 1;
-    }
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  nobuffer:%d\n", t->nobuffer);
-
-    if (GNUNET_YES == t->nobuffer)
-    {
+      t->next_fc.last_ack_sent = t->next_fc.last_pid_recv + 1;
       t->queue_max = 1;
     }
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  nobuffer:%d\n", t->nobuffer);
 
     tunnel_reset_timeout (t);
-    GMC_hash32 (t->local_tid_dest, &hash);
-    if (GNUNET_OK !=
-        GNUNET_CONTAINER_multihashmap_put (incoming_tunnels, &hash, t,
-                                           GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
-    {
-      tunnel_destroy (t);
-      GNUNET_break (0);
-      return GNUNET_OK;
-    }
   }
   t->state = MESH_TUNNEL_WAITING;
   dest_peer_info =
@@ -2975,9 +3118,8 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
       own_pos = i;
   }
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Own position: %u\n", own_pos);
-  if (own_pos == 0)
+  if (own_pos == 0 && path->peers[own_pos] != myid)
   {
-    /* cannot be self, must be 'not found' */
     /* create path: self not found in path through self */
     GNUNET_break_op (0);
     path_destroy (path);
@@ -2985,21 +3127,34 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
     return GNUNET_OK;
   }
   path_add_to_peers (path, GNUNET_NO);
-  t->prev_hop = path->peers[own_pos - 1];
-  GNUNET_PEER_change_rc (t->prev_hop, 1);
+  tunnel_use_path (t, path);
+
   if (own_pos == size - 1)
   {
-    /* It is for us! Send ack. */
-    // TODO: check port number / client registration
+    struct MeshClient *c;
+    struct GNUNET_HashCode hc;
+
+    /* Find target client */
+    GMC_hash32 (t->port, &hc);
+    c = GNUNET_CONTAINER_multihashmap_get (ports, &hc);
+    if (NULL == c)
+    {
+      /* TODO send reject */
+      return GNUNET_OK;
+    }
+
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  It's for us!\n");
-    peer_info_add_path_to_origin (orig_peer_info, path, GNUNET_NO);
+    peer_info_add_path_to_origin (orig_peer_info, path, GNUNET_YES);
     t->dest = myid;
 
+    /* Assign local tid */
     while (NULL != tunnel_get_incoming (next_local_tid))
       next_local_tid = (next_local_tid + 1) | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
     t->local_tid_dest = next_local_tid++;
     next_local_tid = next_local_tid | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
 
+    tunnel_add_client (t, c);
+    send_client_tunnel_create (t);
     send_path_ack (t);
   }
   else
@@ -3010,19 +3165,19 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
     GNUNET_PEER_change_rc(t->next_hop, 1);
 
     /* It's for somebody else! Retransmit. */
-    path2 = path_duplicate (path);
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Retransmitting.\n");
-    peer_info_add_path (dest_peer_info, path2, GNUNET_NO);
     path2 = path_duplicate (path);
-    peer_info_add_path_to_origin (orig_peer_info, path2, GNUNET_NO);
+    peer_info_add_path (dest_peer_info, path2, GNUNET_NO);
+    peer_info_add_path_to_origin (orig_peer_info, path, GNUNET_NO);
     send_create_path (t);
   }
   return GNUNET_OK;
 }
 
 
+
 /**
- * Core handler for path destruction
+ * Core handler for path ACKs
  *
  * @param cls closure
  * @param message message
@@ -3032,64 +3187,72 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
  *         GNUNET_SYSERR to close it (signal serious error)
  */
 static int
-handle_mesh_path_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
-                          const struct GNUNET_MessageHeader *message)
+handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
+                      const struct GNUNET_MessageHeader *message)
 {
-  struct GNUNET_MESH_ManipulatePath *msg;
-  struct GNUNET_PeerIdentity *pi;
+  struct GNUNET_MESH_PathACK *msg;
+  struct MeshPeerInfo *peer_info;
+  struct MeshPeerPath *p;
   struct MeshTunnel *t;
-  unsigned int own_pos;
-  unsigned int i;
-  size_t size;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "Received a PATH DESTROY msg from %s\n", GNUNET_i2s (peer));
-  size = ntohs (message->size);
-  if (size < sizeof (struct GNUNET_MESH_ManipulatePath))
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Received a path ACK msg [%s]\n",
+              GNUNET_i2s (&my_full_id));
+  msg = (struct GNUNET_MESH_PathACK *) message;
+  t = tunnel_get (&msg->oid, ntohl(msg->tid));
+  if (NULL == t)
   {
-    GNUNET_break_op (0);
+    /* TODO notify that we don't know the tunnel */
+    GNUNET_STATISTICS_update (stats, "# control on unknown tunnel", 1, GNUNET_NO);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  don't know the tunnel %s [%X]!\n",
+                GNUNET_i2s (&msg->oid), ntohl(msg->tid));
     return GNUNET_OK;
   }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %s [%X]\n",
+              GNUNET_i2s (&msg->oid), ntohl(msg->tid));
 
-  size -= sizeof (struct GNUNET_MESH_ManipulatePath);
-  if (size % sizeof (struct GNUNET_PeerIdentity))
+  peer_info = peer_get (&msg->peer_id);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by peer %s\n",
+              GNUNET_i2s (&msg->peer_id));
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  via peer %s\n",
+              GNUNET_i2s (peer));
+
+  /* Add path to peers? */
+  p = t->path;
+  if (NULL != p)
   {
-    GNUNET_break_op (0);
-    return GNUNET_OK;
+    path_add_to_peers (p, GNUNET_YES);
   }
-  size /= sizeof (struct GNUNET_PeerIdentity);
-  if (size < 2)
+  else
   {
-    GNUNET_break_op (0);
-    return GNUNET_OK;
+    GNUNET_break (0);
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "    path has %u hops.\n", size);
+  t->state = MESH_TUNNEL_READY;
+  t->next_fc.last_ack_recv = ntohl (msg->ack);
+  t->prev_fc.last_ack_sent = ntohl (msg->ack);
 
-  msg = (struct GNUNET_MESH_ManipulatePath *) message;
-  pi = (struct GNUNET_PeerIdentity *) &msg[1];
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "    path is for tunnel %s [%X].\n", GNUNET_i2s (pi),
-              msg->tid);
-  t = tunnel_get (pi, ntohl (msg->tid));
-  if (NULL == t)
+  /* Message for us? */
+  if (0 == memcmp (&msg->oid, &my_full_id, sizeof (struct GNUNET_PeerIdentity)))
   {
-    /* TODO notify back: we don't know this tunnel */
-    GNUNET_break_op (0);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  It's for us!\n");
+    if (NULL == t->owner)
+    {
+      GNUNET_break_op (0);
+      return GNUNET_OK;
+    }
+    if (NULL != peer_info->dhtget)
+    {
+      GNUNET_DHT_get_stop (peer_info->dhtget);
+      peer_info->dhtget = NULL;
+    }
+    tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_PATH_ACK);
+    tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_PATH_ACK);
     return GNUNET_OK;
   }
-  own_pos = 0;
-  for (i = 0; i < size; i++)
-  {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  %u: %s\n", i, GNUNET_i2s (&pi[i]));
-    if (GNUNET_PEER_search (&pi[i]) == myid)
-      own_pos = i;
-  }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Own position: %u\n", own_pos);
-  if (own_pos < size - 1)
-    send_prebuilt_message (message, t->next_hop, t);
-  else
-    send_client_tunnel_destroy (t);
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "  not for us, retransmitting...\n");
+  peer_info = peer_get (&msg->oid);
+  send_prebuilt_message (message, t->prev_hop, t);
   return GNUNET_OK;
 }
 
@@ -3191,7 +3354,7 @@ handle_mesh_tunnel_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
  *         GNUNET_SYSERR to close it (signal serious error)
  */
 static int
-handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
+handle_mesh_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
                           const struct GNUNET_MessageHeader *message)
 {
   struct GNUNET_MESH_Unicast *msg;
@@ -3237,8 +3400,6 @@ handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
                 " pid %u not seen yet, forwarding\n", pid);
   }
 
-  t->prev_fc.last_pid_recv = pid;
-
   if (GMC_is_pid_bigger (pid, t->prev_fc.last_ack_sent))
   {
     GNUNET_STATISTICS_update (stats, "# unsolicited unicast", 1, GNUNET_NO);
@@ -3246,22 +3407,19 @@ handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "Received PID %u, ACK %u\n",
                 pid, t->prev_fc.last_ack_sent);
+    tunnel_send_fwd_ack(t, GNUNET_MESSAGE_TYPE_MESH_POLL);
     return GNUNET_OK;
   }
+  t->prev_fc.last_pid_recv = pid;
 
   tunnel_reset_timeout (t);
   if (t->dest == myid)
   {
-    if (NULL == t->client)
-    {
-      GNUNET_break (0);
-      return GNUNET_OK;
-    }
+    /* TODO signature verification */
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "  it's for us! sending to clients...\n");
     GNUNET_STATISTICS_update (stats, "# unicast received", 1, GNUNET_NO);
-    GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
-                                                message, GNUNET_NO);
+    tunnel_send_client_ucast (t, msg);
     tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_UNICAST);
     return GNUNET_OK;
   }
@@ -3282,15 +3440,6 @@ handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
               "  not for us, retransmitting...\n");
 
-  if (GNUNET_YES == t->nobuffer &&
-      GNUNET_YES == GMC_is_pid_bigger (pid, t->next_fc.last_ack_recv))
-  {
-    GNUNET_STATISTICS_update (stats, "# unsolicited unicast", 1, GNUNET_NO);
-    GNUNET_log (GNUNET_ERROR_TYPE_INFO, "  %u > %u\n",
-                pid, t->next_fc.last_ack_recv);
-    GNUNET_break_op (0);
-    return GNUNET_OK;
-  }
   send_prebuilt_message (message, t->next_hop, t);
   GNUNET_STATISTICS_update (stats, "# unicast forwarded", 1, GNUNET_NO);
   return GNUNET_OK;
@@ -3308,11 +3457,10 @@ handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
  *         GNUNET_SYSERR to close it (signal serious error)
  */
 static int
-handle_mesh_data_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
+handle_mesh_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
                           const struct GNUNET_MessageHeader *message)
 {
   struct GNUNET_MESH_ToOrigin *msg;
-  struct MeshPeerInfo *peer_info;
   struct MeshTunnel *t;
   size_t size;
   uint32_t pid;
@@ -3342,7 +3490,6 @@ handle_mesh_data_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
     return GNUNET_OK;
   }
 
-
   if (t->next_fc.last_pid_recv == pid)
   {
     /* already seen this packet, drop */
@@ -3353,37 +3500,33 @@ handle_mesh_data_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
     return GNUNET_OK;
   }
 
+  if (GMC_is_pid_bigger (pid, t->next_fc.last_ack_sent))
+  {
+    GNUNET_STATISTICS_update (stats, "# unsolicited to_orig", 1, GNUNET_NO);
+    GNUNET_break_op (0);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "Received PID %u, ACK %u\n",
+                pid, t->next_fc.last_ack_sent);
+    tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_POLL);
+    return GNUNET_OK;
+  }
+  t->next_fc.last_pid_recv = pid;
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
               " pid %u not seen yet, forwarding\n", pid);
-  t->next_fc.last_pid_recv = pid;
 
-  if (NULL != t->owner)
+  if (myid == t->id.oid)
   {
-    char cbuf[size];
-    struct GNUNET_MESH_ToOrigin *copy;
-
+    /* TODO signature verification */
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "  it's for us! sending to clients...\n");
-    /* TODO signature verification */
-    memcpy (cbuf, message, size);
-    copy = (struct GNUNET_MESH_ToOrigin *) cbuf;
-    copy->tid = htonl (t->local_tid);
     GNUNET_STATISTICS_update (stats, "# to origin received", 1, GNUNET_NO);
-    GNUNET_SERVER_notification_context_unicast (nc, t->owner->handle,
-                                                &copy->header, GNUNET_NO);
+    tunnel_send_client_to_orig (t, msg);
     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN);
     return GNUNET_OK;
   }
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
               "  not for us, retransmitting...\n");
 
-  peer_info = peer_get (&msg->oid);
-  if (NULL == peer_info)
-  {
-    /* unknown origin of tunnel */
-    GNUNET_break (0);
-    return GNUNET_OK;
-  }
   if (0 == t->prev_hop) /* No owner AND no prev hop */
   {
     if (GNUNET_YES == t->destroy)
@@ -3400,7 +3543,7 @@ handle_mesh_data_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
                 "from peer %s\n",
                 GNUNET_i2s (peer));
     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, 
-                "for tunnel %s [%X]\n",
+                "on tunnel %s [%X]\n",
                 GNUNET_i2s (&msg->oid), ntohl(msg->tid));
     return GNUNET_OK;
   }
@@ -3427,6 +3570,7 @@ handle_mesh_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
 {
   struct GNUNET_MESH_ACK *msg;
   struct MeshTunnel *t;
+  GNUNET_PEER_Id id;
   uint32_t ack;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got an ACK packet from %s!\n",
@@ -3445,9 +3589,10 @@ handle_mesh_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  ACK %u\n", ack);
 
   /* Is this a forward or backward ACK? */
-  if (t->prev_hop != GNUNET_PEER_search (peer))
+  id = GNUNET_PEER_search (peer);
+  if (t->next_hop == id)
   {
-    debug_bck_ack++;
+    debug_fwd_ack++;
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  FWD ACK\n");
     if (GNUNET_SCHEDULER_NO_TASK != t->next_fc.poll_task &&
         GMC_is_pid_bigger (ack, t->next_fc.last_ack_recv))
@@ -3460,8 +3605,9 @@ handle_mesh_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
     peer_unlock_queue (t->next_hop);
     tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
   }
-  else
+  else if (t->prev_hop == id)
   {
+    debug_bck_ack++;
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  BCK ACK\n");
     if (GNUNET_SCHEDULER_NO_TASK != t->prev_fc.poll_task &&
         GMC_is_pid_bigger (ack, t->prev_fc.last_ack_recv))
@@ -3474,6 +3620,8 @@ handle_mesh_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
     peer_unlock_queue (t->prev_hop);
     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
   }
+  else
+    GNUNET_break_op (0);
   return GNUNET_OK;
 }
 
@@ -3529,82 +3677,6 @@ handle_mesh_poll (void *cls, const struct GNUNET_PeerIdentity *peer,
   return GNUNET_OK;
 }
 
-/**
- * Core handler for path ACKs
- *
- * @param cls closure
- * @param message message
- * @param peer peer identity this notification is about
- *
- * @return GNUNET_OK to keep the connection open,
- *         GNUNET_SYSERR to close it (signal serious error)
- */
-static int
-handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
-                      const struct GNUNET_MessageHeader *message)
-{
-  struct GNUNET_MESH_PathACK *msg;
-  struct MeshPeerInfo *peer_info;
-  struct MeshPeerPath *p;
-  struct MeshTunnel *t;
-
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Received a path ACK msg [%s]\n",
-              GNUNET_i2s (&my_full_id));
-  msg = (struct GNUNET_MESH_PathACK *) message;
-  t = tunnel_get (&msg->oid, ntohl(msg->tid));
-  if (NULL == t)
-  {
-    /* TODO notify that we don't know the tunnel */
-    GNUNET_STATISTICS_update (stats, "# control on unknown tunnel", 1, GNUNET_NO);
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  don't know the tunnel %s [%X]!\n",
-                GNUNET_i2s (&msg->oid), ntohl(msg->tid));
-    return GNUNET_OK;
-  }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %s [%X]\n",
-              GNUNET_i2s (&msg->oid), ntohl(msg->tid));
-
-  peer_info = peer_get (&msg->peer_id);
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by peer %s\n",
-              GNUNET_i2s (&msg->peer_id));
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  via peer %s\n",
-              GNUNET_i2s (peer));
-
-  /* Add path to peers? */
-  p = t->path;
-  if (NULL != p)
-  {
-    path_add_to_peers (p, GNUNET_YES);
-  }
-  else
-  {
-    GNUNET_break (0);
-  }
-  t->state = MESH_TUNNEL_READY;
-
-  /* Message for us? */
-  if (0 == memcmp (&msg->oid, &my_full_id, sizeof (struct GNUNET_PeerIdentity)))
-  {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  It's for us!\n");
-    if (NULL == t->owner)
-    {
-      GNUNET_break_op (0);
-      return GNUNET_OK;
-    }
-    if (NULL != peer_info->dhtget)
-    {
-      GNUNET_DHT_get_stop (peer_info->dhtget);
-      peer_info->dhtget = NULL;
-    }
-    return GNUNET_OK;
-  }
-
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "  not for us, retransmitting...\n");
-  peer_info = peer_get (&msg->oid);
-  send_prebuilt_message (message, t->prev_hop, t);
-  return GNUNET_OK;
-}
-
 
 /**
  * Core handler for mesh keepalives.
@@ -3652,15 +3724,14 @@ handle_mesh_keepalive (void *cls, const struct GNUNET_PeerIdentity *peer,
  */
 static struct GNUNET_CORE_MessageHandler core_handlers[] = {
   {&handle_mesh_path_create, GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE, 0},
-  {&handle_mesh_path_destroy, GNUNET_MESSAGE_TYPE_MESH_PATH_DESTROY, 0},
   {&handle_mesh_path_broken, GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN,
    sizeof (struct GNUNET_MESH_PathBroken)},
   {&handle_mesh_tunnel_destroy, GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY,
    sizeof (struct GNUNET_MESH_TunnelDestroy)},
-  {&handle_mesh_data_unicast, GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
+  {&handle_mesh_unicast, GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
   {&handle_mesh_keepalive, GNUNET_MESSAGE_TYPE_MESH_PATH_KEEPALIVE,
     sizeof (struct GNUNET_MESH_TunnelKeepAlive)},
-  {&handle_mesh_data_to_orig, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
+  {&handle_mesh_to_orig, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
   {&handle_mesh_ack, GNUNET_MESSAGE_TYPE_MESH_ACK,
     sizeof (struct GNUNET_MESH_ACK)},
   {&handle_mesh_poll, GNUNET_MESSAGE_TYPE_MESH_POLL,
@@ -3846,8 +3917,8 @@ handle_local_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
     GNUNET_CONTAINER_multihashmap_destroy (c->own_tunnels);
     GNUNET_CONTAINER_multihashmap_destroy (c->incoming_tunnels);
 
-    if (NULL != c->types)
-      GNUNET_CONTAINER_multihashmap_destroy (c->types);
+    if (NULL != c->ports)
+      GNUNET_CONTAINER_multihashmap_destroy (c->ports);
     next = c->next;
     GNUNET_CONTAINER_DLL_remove (clients_head, clients_tail, c);
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  CLIENT FREE at %p\n", c);
@@ -3874,48 +3945,49 @@ handle_local_new_client (void *cls, struct GNUNET_SERVER_Client *client,
   struct GNUNET_MESH_ClientConnect *cc_msg;
   struct MeshClient *c;
   unsigned int size;
-  uint16_t ntypes;
-  uint16_t *t;
-  uint16_t i;
+  uint32_t *p;
+  unsigned int i;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new client connected\n");
 
   /* Check data sanity */
   size = ntohs (message->size) - sizeof (struct GNUNET_MESH_ClientConnect);
   cc_msg = (struct GNUNET_MESH_ClientConnect *) message;
-  ntypes = ntohs (cc_msg->types);
-  if (size != ntypes * sizeof (uint16_t))
+  if (0 != (size % sizeof (uint32_t)))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
+  size /= sizeof (uint32_t);
 
   /* Create new client structure */
   c = GNUNET_malloc (sizeof (struct MeshClient));
   c->id = next_client_id++; /* overflow not important: just for debug */
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  CLIENT NEW %u\n", c->id);
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  client has %u types\n", ntypes);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  client id %u\n", c->id);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  client has %u ports\n", size);
   c->handle = client;
   GNUNET_SERVER_client_keep (client);
-  if (ntypes > 0)
+  if (size > 0)
   {
-    uint16_t u16;
+    uint32_t u32;
     struct GNUNET_HashCode hc;
 
-    t = (uint16_t *) &cc_msg[1];
-    c->types = GNUNET_CONTAINER_multihashmap_create (ntypes, GNUNET_NO);
-    for (i = 0; i < ntypes; i++)
+    p = (uint32_t *) &cc_msg[1];
+    c->ports = GNUNET_CONTAINER_multihashmap_create (size, GNUNET_NO);
+    for (i = 0; i < size; i++)
     {
-      u16 = ntohs (t[i]);
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "    msg type: %u\n", u16);
-      GMC_hash32 ((uint32_t) u16, &hc);
+      u32 = ntohl (p[i]);
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "    port: %u\n", u32);
+      GMC_hash32 (u32, &hc);
 
-      /* store in clients hashmap */
-      GNUNET_CONTAINER_multihashmap_put (c->types, &hc, c,
+      /* store in client's hashmap */
+      GNUNET_CONTAINER_multihashmap_put (c->ports, &hc, c,
                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
       /* store in global hashmap */
-      GNUNET_CONTAINER_multihashmap_put (types, &hc, c,
+      /* FIXME only allow one client to have the port open,
+       *       have a backup hashmap with waiting clients */
+      GNUNET_CONTAINER_multihashmap_put (ports, &hc, c,
                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
     }
   }
@@ -3996,8 +4068,9 @@ handle_local_tunnel_create (void *cls, struct GNUNET_SERVER_Client *client,
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "CREATED TUNNEL %s [%x] (%x)\n",
-              GNUNET_i2s (&my_full_id), t->id.tid, t->local_tid);
+  t->port = ntohl (t_msg->port);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "CREATED TUNNEL %s[%x]:%u (%x)\n",
+              GNUNET_i2s (&my_full_id), t->id.tid, t->port, t->local_tid);
 
   peer_info = peer_get (&t_msg->peer);
   GNUNET_array_append (peer_info->tunnels, peer_info->ntunnels, t);
@@ -4217,7 +4290,7 @@ handle_local_unicast (void *cls, struct GNUNET_SERVER_Client *client,
     copy->ttl = htonl (default_ttl);
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "  calling generic handler...\n");
-    handle_mesh_data_unicast (NULL, &my_full_id, &copy->header);
+        handle_mesh_unicast (NULL, &my_full_id, &copy->header);
   }
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "receive done OK\n");
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
@@ -4306,7 +4379,6 @@ handle_local_to_origin (void *cls, struct GNUNET_SERVER_Client *client,
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
-  fc->last_pid_recv++;
 
   /* Ok, everything is correct, send the message
    * (pretend we got it from a mesh peer)
@@ -4321,11 +4393,10 @@ handle_local_to_origin (void *cls, struct GNUNET_SERVER_Client *client,
     GNUNET_PEER_resolve (t->id.oid, &copy->oid);
     copy->tid = htonl (t->id.tid);
     copy->ttl = htonl (default_ttl);
-    copy->pid = htonl (t->prev_fc.last_pid_sent + 1);
 
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "  calling generic handler...\n");
-    handle_mesh_data_to_orig (NULL, &my_full_id, &copy->header);
+        handle_mesh_to_orig (NULL, &my_full_id, &copy->header);
   }
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
 
@@ -4641,6 +4712,24 @@ core_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
 }
 
 
+/**
+ * Install server (service) handlers and start listening to clients.
+ */
+static void
+server_init (void)
+{
+  GNUNET_SERVER_add_handlers (server_handle, client_handlers);
+  GNUNET_SERVER_disconnect_notify (server_handle,
+                                   &handle_local_client_disconnect, NULL);
+  nc = GNUNET_SERVER_notification_context_create (server_handle, 1);
+
+  clients_head = NULL;
+  clients_tail = NULL;
+  next_client_id = 0;
+  GNUNET_SERVER_resume (server_handle);
+}
+
+
 /**
  * To be called on core init/fail.
  *
@@ -4656,7 +4745,7 @@ core_init (void *cls, struct GNUNET_CORE_Handle *server,
   static int i = 0;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Core init\n");
-  core_handle = server;
+  GNUNET_break (core_handle == server);
   if (0 != memcmp (identity, &my_full_id, sizeof (my_full_id)) ||
     NULL == server)
   {
@@ -4681,7 +4770,8 @@ core_init (void *cls, struct GNUNET_CORE_Handle *server,
     if (10 < i++)
       GNUNET_abort();
   }
-    return;
+  server_init ();
+  return;
 }
 
 
@@ -4796,11 +4886,11 @@ key_generation_cb (void *cls,
   struct MeshPeerInfo *peer;
   struct MeshPeerPath *p;
 
-  keygen = NULL;  
+  keygen = NULL;
   if (NULL == pk)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
-                _("Mesh service could not access hostkey: %s. Exiting.\n"),
+    GNUNET_log (GNUNET_ERROR_TYPE_INFO,
+                _("Could not access hostkey: %s. Exiting.\n"),
                 emsg);
     GNUNET_SCHEDULER_shutdown ();
     return;
@@ -4834,17 +4924,6 @@ key_generation_cb (void *cls,
   next_tid = 0;
   next_local_tid = GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
 
-
-  GNUNET_SERVER_add_handlers (server_handle, client_handlers);
-  nc = GNUNET_SERVER_notification_context_create (server_handle, 1);
-  GNUNET_SERVER_disconnect_notify (server_handle,
-                                   &handle_local_client_disconnect, NULL);
-
-
-  clients_head = NULL;
-  clients_tail = NULL;
-  next_client_id = 0;
-
   announce_id_task = GNUNET_SCHEDULER_add_now (&announce_id, cls);
 
   /* Create a peer_info for the local peer */
@@ -4853,7 +4932,7 @@ key_generation_cb (void *cls,
   p->peers[0] = myid;
   GNUNET_PEER_change_rc (myid, 1);
   peer_info_add_path (peer, p, GNUNET_YES);
-  GNUNET_SERVER_resume (server_handle);
+
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Mesh service running\n");
 }
 
@@ -4873,6 +4952,7 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "starting to run\n");
   server_handle = server;
+  GNUNET_SERVER_suspend (server_handle);
 
   if (GNUNET_OK !=
       GNUNET_CONFIGURATION_get_value_filename (c, "PEER", "PRIVATE_KEY",
@@ -4981,7 +5061,7 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
   tunnels = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
   incoming_tunnels = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
   peers = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
-  types = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
+  ports = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
 
   dht_handle = GNUNET_DHT_connect (c, 64);
   if (NULL == dht_handle)
@@ -4990,7 +5070,6 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
   }
   stats = GNUNET_STATISTICS_create ("mesh", c);
 
-  GNUNET_SERVER_suspend (server_handle);
   /* Scheduled the task to clean up when shutdown is called */
   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL, &shutdown_task,
                                 NULL);