Fixed id counters' cycling
[oweals/gnunet.git] / src / mesh / gnunet-service-mesh.c
index d5a457fbc4d4a70ca90acb6493a34c0138fdee80..3920738d7a5039c4e44ee4e8c462d61d5bd6ad34 100644 (file)
@@ -108,7 +108,7 @@ struct MeshDataDescriptor
 
     /** Used to allow a client send more traffic to the service after a
      * previous packet was tried to be sent to a neighbor and couldn't */
-  GNUNET_SCHEDULER_TaskIdentifier timeout_task;
+  GNUNET_SCHEDULER_TaskIdentifier *timeout_task;
 };
 
 
@@ -444,6 +444,11 @@ static struct GNUNET_CONTAINER_MultiHashMap *peers;
  */
 static struct GNUNET_CORE_Handle *core_handle;
 
+/**
+ * Handle to communicate with transport
+ */
+// static struct GNUNET_TRANSPORT_Handle *transport_handle;
+
 /**
  * Handle to use DHT
  */
@@ -603,7 +608,7 @@ announce_id (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
    * - Adapt X to churn
    */
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: DHT_put for ID %s started.\n",
-              GNUNET_h2s_full (&my_full_id.hashPubKey));
+              GNUNET_i2s (&my_full_id));
   GNUNET_DHT_put (dht_handle,   /* DHT handle */
                   &my_full_id.hashPubKey,       /* Key to use */
                   10U,          /* Replication level */
@@ -693,6 +698,15 @@ client_is_subscribed (uint16_t message_type, struct MeshClient *c)
   return GNUNET_CONTAINER_multihashmap_contains (c->types, &hc);
 }
 
+
+/**
+ * Allow a client to send more data after transmitting a multicast message
+ * which some neighbor has not yet accepted altough a reasonable time has
+ * passed.
+ * 
+ * @param cls Closure (DataDescriptor containing the task identifier)
+ * @param tc Task Context
+ */
 static void
 client_allow_send(void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
@@ -700,7 +714,12 @@ client_allow_send(void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 
   if (GNUNET_SCHEDULER_REASON_SHUTDOWN == tc->reason)
     return;
-  info->timeout_task = GNUNET_SCHEDULER_NO_TASK;
+#if MESH_DEBUG
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH: CLIENT ALLOW SEND DESPITE %u COPIES PENDING\n",
+              *(info->copies));
+#endif
+  *(info->timeout_task) = GNUNET_SCHEDULER_NO_TASK;
   GNUNET_SERVER_receive_done(info->client, GNUNET_OK);
 }
 
@@ -717,6 +736,23 @@ static struct MeshTunnel *
 tunnel_get (struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid);
 
 
+/**
+ * Notify a tunnel that a connection has broken that affects at least
+ * some of its peers.
+ *
+ * @param t Tunnel affected.
+ * @param p1 Peer that got disconnected from p2.
+ * @param p2 Peer that got disconnected from p1.
+ *
+ * @return Short ID of the peer disconnected (either p1 or p2).
+ *         0 if the tunnel remained unaffected.
+ */
+static GNUNET_PEER_Id
+tunnel_notify_connection_broken (struct MeshTunnel *t,
+                                 GNUNET_PEER_Id p1,
+                                 GNUNET_PEER_Id p2);
+
+
 /**
  * Send the message to all clients that have subscribed to its type
  *
@@ -860,6 +896,36 @@ static size_t
 send_core_data_multicast (void *cls, size_t size, void *buf);
 
 
+/**
+ * Decrements the reference counter and frees all resources if needed
+ * 
+ * @param dd Data Descriptor used in a multicast message
+ */
+static void
+data_descriptor_decrement_multicast (struct MeshDataDescriptor *dd)
+{
+  if (0 == --(*(dd->copies)))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Last copy!\n");
+    if (NULL != dd->client)
+    {
+      if (GNUNET_SCHEDULER_NO_TASK != *(dd->timeout_task))
+      {
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                    "MESH:  cancelling client timeout (%u)...\n",
+                    *(dd->timeout_task));
+        GNUNET_SCHEDULER_cancel(*(dd->timeout_task));
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  notifying client...\n");
+        GNUNET_SERVER_receive_done (dd->client, GNUNET_OK);
+      }
+      GNUNET_free (dd->timeout_task);
+    }
+    GNUNET_free (dd->copies);
+    GNUNET_free (dd->data);
+  }
+}
+
+
 /**
  * Cancel a core transmission that was already requested and free all resources
  * associated to the request.
@@ -897,11 +963,7 @@ peer_info_cancel_transmission(struct MeshPeerInfo *peer, unsigned int i)
       case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    type payload\n");
         dd = peer->infos[i];
-        if (0 == --(*dd->copies))
-        {
-          GNUNET_free (dd->copies);
-          GNUNET_free (dd->data);
-        }
+        data_descriptor_decrement_multicast (dd);
         break;
       case GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE:
         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    type create path\n");
@@ -1073,7 +1135,7 @@ send_core_data_raw (void *cls, size_t size, void *buf)
  * Sends an already built message to a peer, properly registrating
  * all used resources.
  *
- * @param message Message to send.
+ * @param message Message to send. Fucntion makes a copy of it.
  * @param peer Short ID of the neighbor whom to send the message.
  */
 static void
@@ -1082,14 +1144,29 @@ send_message (const struct GNUNET_MessageHeader *message,
 {
   struct MeshDataDescriptor *info;
   struct MeshPeerInfo *neighbor;
+  struct MeshPeerPath *p;
   unsigned int i;
   size_t size;
 
+//   GNUNET_TRANSPORT_try_connect();
+
   size = ntohs (message->size);
   info = GNUNET_malloc (sizeof (struct MeshDataDescriptor));
   info->data = GNUNET_malloc (size);
   memcpy (info->data, message, size);
   neighbor = peer_info_get (peer);
+  for (p = neighbor->path_head; NULL != p; p = p->next)
+  {
+    if (2 == p->length)
+    {
+      break;
+    }
+  }
+  if (NULL == p)
+  {
+    GNUNET_break (0);
+    return;
+  }
   i = peer_info_transmit_slot (neighbor);
   info->handler_n = i;
   info->peer = neighbor;
@@ -1179,10 +1256,7 @@ send_create_path (struct MeshPeerInfo *peer,
 static void
 send_destroy_path (struct MeshTunnel *t, GNUNET_PEER_Id destination)
 {
-  struct GNUNET_MESH_ManipulatePath *msg;
-  struct GNUNET_PeerIdentity *pi;
   struct MeshPeerPath *p;
-  unsigned int i;
   size_t size;
 
   p = tree_get_path_to_peer(t->tree, destination);
@@ -1193,16 +1267,23 @@ send_destroy_path (struct MeshTunnel *t, GNUNET_PEER_Id destination)
   }
   size = sizeof (struct GNUNET_MESH_ManipulatePath);
   size += p->length * sizeof (struct GNUNET_PeerIdentity);
-  msg = GNUNET_malloc (size);
-  msg->header.size = htons (size);
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_DESTROY);
-  msg->tid = htonl (t->id.tid);
-  pi = (struct GNUNET_PeerIdentity *) &msg[1];
-  for (i = 0; i < p->length; i++)
   {
-    GNUNET_PEER_resolve(p->peers[i], &pi[i]);
+    struct GNUNET_MESH_ManipulatePath *msg;
+    struct GNUNET_PeerIdentity *pi;
+    char cbuf[size];
+    unsigned int i;
+
+    msg = (struct GNUNET_MESH_ManipulatePath *) cbuf;
+    msg->header.size = htons (size);
+    msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_DESTROY);
+    msg->tid = htonl (t->id.tid);
+    pi = (struct GNUNET_PeerIdentity *) &msg[1];
+    for (i = 0; i < p->length; i++)
+    {
+      GNUNET_PEER_resolve(p->peers[i], &pi[i]);
+    }
+    send_message (&msg->header, path_get_first_hop(t->tree, destination));
   }
-  send_message (&msg->header, path_get_first_hop(t->tree, destination));
   path_destroy (p);
 }
 
@@ -1225,6 +1306,12 @@ peer_info_connect (struct MeshPeerInfo *peer, struct MeshTunnel *t)
   if (NULL != peer->path_head)
   {
     p = tree_get_path_to_peer(t->tree, peer->id);
+    if (NULL == p)
+    {
+      GNUNET_break (0);
+      return;
+    }
+
     if (p->length > 1)
     {
       send_create_path(peer, p, t);
@@ -1264,6 +1351,29 @@ peer_info_connect (struct MeshPeerInfo *peer, struct MeshTunnel *t)
 }
 
 
+/**
+ * Task to delay the connection of a peer
+ *
+ * @param cls Closure (path info with tunnel and peer to connect).
+ *            Will be free'd on exection.
+ * @param tc TaskContext
+ */
+static void
+peer_info_connect_task (void *cls,
+                        const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct MeshPathInfo *path_info = cls;
+
+  if (0 != (GNUNET_SCHEDULER_REASON_SHUTDOWN & tc->reason))
+  {
+    GNUNET_free (cls);
+    return;
+  }
+  peer_info_connect (path_info->peer, path_info->t);
+  GNUNET_free (cls);
+}
+
+
 /**
  * Destroy the peer_info and free any allocated resources linked to it
  * 
@@ -1275,16 +1385,21 @@ static int
 peer_info_destroy (struct MeshPeerInfo *pi)
 {
   struct GNUNET_PeerIdentity id;
-  GNUNET_HashCode hash;
   struct MeshPeerPath *p;
   struct MeshPeerPath *nextp;
   unsigned int i;
 
   GNUNET_PEER_resolve (pi->id, &id);
   GNUNET_PEER_change_rc (pi->id, -1);
-  GNUNET_CRYPTO_hash (&id, sizeof (struct GNUNET_PeerIdentity), &hash);
 
-  GNUNET_CONTAINER_multihashmap_remove (peers, &hash, pi);
+  if (GNUNET_YES !=
+      GNUNET_CONTAINER_multihashmap_remove (peers,&id.hashPubKey, pi))
+  {
+    GNUNET_break (0);
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                "MESH: removing peer %s, not in hashmap\n",
+                GNUNET_i2s (&id));
+  }
   if (NULL != pi->dhtget)
   {
     GNUNET_DHT_get_stop(pi->dhtget);
@@ -1307,24 +1422,6 @@ peer_info_destroy (struct MeshPeerInfo *pi)
 }
 
 
-/**
- * Notify a tunnel that a connection has broken that affects at least
- * some of its peers.
- *
- * @param t Tunnel affected.
- * @param peer Peer that (at least) has been affected by the disconnection.
- * @param p1 Peer that got disconnected from p2.
- * @param p2 Peer that got disconnected from p1.
- *
- * @return Short ID of the peer disconnected (either p1 or p2).
- *         0 if the tunnel remained unaffected.
- */
-static GNUNET_PEER_Id
-tunnel_notify_connection_broken (struct MeshTunnel *t,
-                                 struct MeshPeerInfo *peer, GNUNET_PEER_Id p1,
-                                 GNUNET_PEER_Id p2);
-
-
 /**
  * Remove all paths that rely on a direct connection between p1 and p2
  * from the peer itself and notify all tunnels about it.
@@ -1373,7 +1470,7 @@ path_remove_from_peer (struct MeshPeerInfo *peer,
 
   for (i = 0; i < peer->ntunnels; i++)
   {
-    d = tunnel_notify_connection_broken (peer->tunnels[i], peer, p1, p2);
+    d = tunnel_notify_connection_broken (peer->tunnels[i], p1, p2);
     /* TODO
      * Problem: one or more peers have been deleted from the tunnel tree.
      * We don't know who they are to try to add them again.
@@ -1416,22 +1513,56 @@ path_remove_from_peer (struct MeshPeerInfo *peer,
  * @param peer_info Destination peer to add the path to.
  * @param path New path to add. Last peer must be the peer in arg 1.
  *             Path will be either used of freed if already known.
- *
- * TODO: trim the part from origin to us? Add it as path to origin?
+ * @param trusted Do we trust that this path is real?
  */
 void
-path_add_to_peer (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path)
+path_add_to_peer (struct MeshPeerInfo *peer_info,
+                  struct MeshPeerPath *path,
+                  int trusted)
 {
   struct MeshPeerPath *aux;
   unsigned int l;
   unsigned int l2;
 
-  if (NULL == peer_info || NULL == path)
+  if ((NULL == peer_info) || (NULL == path))
   {
     GNUNET_break (0);
+    path_destroy (path);
     return;
   }
+  if (path->length <= 2 && GNUNET_NO == trusted)
+  {
+    /* Only allow CORE to tell us about direct paths */
+    return;
+  }
+  for (l = 1; l < path->length; l++)
+  {
+    if (path->peers[l] == myid)
+    {
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                  "MESH: shortening path by %u\n",
+                  l);
+      for (l2 = 0; l2 < path->length - l - 1 ; l2++)
+      {
+        path->peers[l2] = path->peers[l + l2];
+      }
+      path->length -= l;
+      l = 0;
+      path->peers = GNUNET_realloc (path->peers,
+                                    path->length * sizeof (GNUNET_PEER_Id));
+    }
+  }
+#if MESH_DEBUG
+  { 
+    struct GNUNET_PeerIdentity id;
 
+    GNUNET_PEER_resolve (peer_info->id, &id);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "MESH: adding path [%u] to peer %s\n",
+                path->length,
+                GNUNET_i2s (&id));
+  }
+#endif
   l = path_get_length (path);
   if (0 == l)
   {
@@ -1445,7 +1576,10 @@ path_add_to_peer (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path)
     if (l2 > l)
     {
       GNUNET_CONTAINER_DLL_insert_before (peer_info->path_head,
-                                          peer_info->path_tail, aux, path);
+                                          peer_info->path_tail,
+                                          aux,
+                                          path);
+      return;
     }
     else
     {
@@ -1456,7 +1590,8 @@ path_add_to_peer (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path)
       }
     }
   }
-  GNUNET_CONTAINER_DLL_insert_tail (peer_info->path_head, peer_info->path_tail,
+  GNUNET_CONTAINER_DLL_insert_tail (peer_info->path_head,
+                                    peer_info->path_tail,
                                     path);
   return;
 }
@@ -1470,12 +1605,15 @@ path_add_to_peer (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path)
  *
  * @param peer_info Peer to add the path to, being the origin of the path.
  * @param path New path to add after being inversed.
+ * @param trusted Do we trust that this path is real?
  */
 static void
-path_add_to_origin (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path)
+path_add_to_origin (struct MeshPeerInfo *peer_info,
+                    struct MeshPeerPath *path,
+                    int trusted)
 {
   path_invert(path);
-  path_add_to_peer (peer_info, path);
+  path_add_to_peer (peer_info, path, trusted);
 }
 
 
@@ -1487,9 +1625,9 @@ path_add_to_origin (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path)
  */
 static struct MeshPeerPath *
 path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
-                    unsigned int get_path_length,
+                     unsigned int get_path_length,
                      const struct GNUNET_PeerIdentity *put_path,
-                    unsigned int put_path_length)
+                     unsigned int put_path_length)
 {
   struct MeshPeerPath *p;
   GNUNET_PEER_Id id;
@@ -1550,11 +1688,11 @@ path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
   if (get_path_length > 0)
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "MESH:    (first of GET: %s)\n",
-                GNUNET_h2s_full(&get_path[0].hashPubKey));
+                GNUNET_i2s(&get_path[0]));
   if (put_path_length > 0)
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "MESH:    (first of PUT: %s)\n",
-                GNUNET_h2s_full(&put_path[0].hashPubKey));
+                GNUNET_i2s(&put_path[0]));
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
               "MESH:    In total: %d hops\n",
               p->length);
@@ -1566,7 +1704,7 @@ path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
               "MESH:        %u: %s\n",
               p->peers[i],
-              GNUNET_h2s_full(&peer_id.hashPubKey));
+              GNUNET_i2s(&peer_id));
   }
 #endif
   return p;
@@ -1586,24 +1724,45 @@ path_refresh (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
 
 
 /**
- * Search for a tunnel among the tunnels for a client
+ * Search for a tunnel among the incoming tunnels
  *
- * @param c the client whose tunnels to search in
  * @param tid the local id of the tunnel
  *
  * @return tunnel handler, NULL if doesn't exist
  */
 static struct MeshTunnel *
-tunnel_get_by_local_id (struct MeshClient *c, MESH_TunnelNumber tid)
+tunnel_get_incoming (MESH_TunnelNumber tid)
 {
   GNUNET_HashCode hash;
 
+  GNUNET_assert (tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV);
   GNUNET_CRYPTO_hash (&tid, sizeof (MESH_TunnelNumber), &hash);
+  return GNUNET_CONTAINER_multihashmap_get (incoming_tunnels, &hash);
+}
+
+
+/**
+ * Search for a tunnel among the tunnels for a client
+ *
+ * @param c the client whose tunnels to search in
+ * @param tid the local id of the tunnel
+ *
+ * @return tunnel handler, NULL if doesn't exist
+ */
+static struct MeshTunnel *
+tunnel_get_by_local_id (struct MeshClient *c, MESH_TunnelNumber tid)
+{
   if (tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
   {
-    return GNUNET_CONTAINER_multihashmap_get (incoming_tunnels, &hash);
+    return tunnel_get_incoming (tid);
+  }
+  else
+  {
+    GNUNET_HashCode hash;
+
+    GNUNET_CRYPTO_hash (&tid, sizeof (MESH_TunnelNumber), &hash);
+    return GNUNET_CONTAINER_multihashmap_get (c->tunnels, &hash);
   }
-  return GNUNET_CONTAINER_multihashmap_get (c->tunnels, &hash);
 }
 
 
@@ -1649,11 +1808,14 @@ tunnel_get (struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid)
  * disconnected, most likely because of a path change.
  *
  * @param n Node in the tree representing the disconnected peer
+ * 
+ * FIXME: pass tunnel via cls, make param just a peer identity
  */
 void
 notify_peer_disconnected (const struct MeshTunnelTreeNode *n)
 {
   struct MeshPeerInfo *peer;
+  struct MeshPathInfo *path_info;
 
   if (NULL != n->t->client && NULL != nc)
   {
@@ -1666,7 +1828,10 @@ notify_peer_disconnected (const struct MeshTunnelTreeNode *n)
                                                 &msg.header, GNUNET_NO);
   }
   peer = peer_info_get_short(n->peer);
-  peer_info_connect(peer, n->t);
+  path_info = GNUNET_malloc (sizeof (struct MeshPathInfo));
+  path_info->peer = peer;
+  path_info->t = n->t;
+  GNUNET_SCHEDULER_add_now(&peer_info_connect_task, path_info);
 }
 
 
@@ -1694,11 +1859,11 @@ tunnel_add_peer (struct MeshTunnel *t, struct MeshPeerInfo *peer)
   {
     t->peers_total++;
     GNUNET_array_append (peer->tunnels, peer->ntunnels, t);
-    GNUNET_CONTAINER_multihashmap_put(
+    GNUNET_assert (GNUNET_OK == GNUNET_CONTAINER_multihashmap_put(
       t->peers,
       &id.hashPubKey,
       peer,
-      GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
+      GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST));
   }
 
   if (NULL != (p = peer->path_head))
@@ -1756,11 +1921,12 @@ tunnel_add_path (struct MeshTunnel *t,
 
 
 /**
- * Notify a tunnel that a connection has broken that affects at least
- * some of its peers.
+ * Notifies a tunnel that a connection has broken that affects at least
+ * some of its peers. Sends a notification towards the root of the tree.
+ * In case the peer is the owner of the tree, notifies the client that owns
+ * the tunnel and tries to reconnect.
  *
  * @param t Tunnel affected.
- * @param peer Peer that (at least) has been affected by the disconnection.
  * @param p1 Peer that got disconnected from p2.
  * @param p2 Peer that got disconnected from p1.
  *
@@ -1769,12 +1935,38 @@ tunnel_add_path (struct MeshTunnel *t,
  */
 static GNUNET_PEER_Id
 tunnel_notify_connection_broken (struct MeshTunnel *t,
-                                 struct MeshPeerInfo *peer,
                                  GNUNET_PEER_Id p1,
                                  GNUNET_PEER_Id p2)
 {
-  return tree_notify_connection_broken (t->tree, p1, p2,
-                                        &notify_peer_disconnected);
+  GNUNET_PEER_Id pid;
+
+  pid = tree_notify_connection_broken (t->tree,
+                                       p1,
+                                       p2,
+                                       &notify_peer_disconnected);
+  if (myid != p1 && myid != p2)
+  {
+    return pid;
+  }
+  if (pid != myid)
+  {
+    if (NULL != t->tree->me->parent)
+    {
+      /* We are the peer still connected, notify owner of the disconnection. */
+      struct GNUNET_MESH_PathBroken msg;
+      struct GNUNET_PeerIdentity neighbor;
+
+      msg.header.size = htons (sizeof (msg));
+      msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN);
+      GNUNET_PEER_resolve (t->id.oid, &msg.oid);
+      msg.tid = htonl (t->id.tid);
+      msg.peer1 = my_full_id;
+      GNUNET_PEER_resolve (pid, &msg.peer2);
+      GNUNET_PEER_resolve (t->tree->me->parent->peer, &neighbor);
+      send_message (&msg.header, &neighbor);
+    }
+  }
+  return pid;
 }
 
 
@@ -1786,6 +1978,8 @@ tunnel_notify_connection_broken (struct MeshTunnel *t,
  * @param msg Message to be sent
  *
  * @return Number of copies sent.
+ * 
+ * TODO: unifiy shared resources and reference counter management
  */
 static int
 tunnel_send_multicast (struct MeshTunnel *t,
@@ -1794,6 +1988,8 @@ tunnel_send_multicast (struct MeshTunnel *t,
   struct GNUNET_PeerIdentity neighbor;
   struct MeshDataDescriptor *info;
   struct MeshTunnelTreeNode *n;
+  struct MeshTunnelTreeNode *counter;
+  GNUNET_SCHEDULER_TaskIdentifier *task;
   unsigned int *copies;
   unsigned int i;
   size_t size;
@@ -1811,12 +2007,20 @@ tunnel_send_multicast (struct MeshTunnel *t,
     return 0;
   }
   copies = GNUNET_malloc (sizeof (unsigned int));
-  for (*copies = 0; NULL != n; n = n->next)
+  for (counter = n; NULL != counter; counter = counter->next)
     (*copies)++;
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  (%u copies)\n", *copies);
-  n = t->tree->me->children_head;
   data = GNUNET_malloc (size);
   memcpy (data, msg, size);
+  if (NULL != t->client)
+  {
+    task = GNUNET_malloc (sizeof (GNUNET_SCHEDULER_TaskIdentifier));
+    *task = GNUNET_SCHEDULER_add_delayed (UNACKNOWLEDGED_WAIT,
+                                         &client_allow_send,
+                                         t->client->handle);
+  }
+  else
+    task = NULL; // So GCC shuts up about task being potentially uninitialized
   while (NULL != n)
   {
     info = GNUNET_malloc (sizeof (struct MeshDataDescriptor));
@@ -1826,9 +2030,7 @@ tunnel_send_multicast (struct MeshTunnel *t,
     if (NULL != t->client)
     {
       info->client = t->client->handle;
-      info->timeout_task = GNUNET_SCHEDULER_add_delayed (UNACKNOWLEDGED_WAIT,
-                                                         &client_allow_send,
-                                                         t->client->handle);
+      info->timeout_task = task;
     }
     info->destination = n->peer;
     GNUNET_PEER_resolve (n->peer, &neighbor);
@@ -2187,25 +2389,7 @@ send_core_data_multicast (void *cls, size_t size, void *buf)
     }
   }
 #endif
-  if (0 == --(*info->copies))
-  {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Last copy!\n");
-    if (NULL != info->client)
-    {
-      if (GNUNET_SCHEDULER_NO_TASK != info->timeout_task)
-      {
-        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                    "MESH:  cancelling client timeout (%u)...\n",
-                    info->timeout_task);
-        GNUNET_SCHEDULER_cancel(info->timeout_task);
-        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  notifying client...\n");
-        GNUNET_SERVER_receive_done (info->client, GNUNET_OK);
-      }
-    }
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  freeing memory...\n");
-    GNUNET_free (info->data);
-    GNUNET_free (info->copies);
-  }
+  data_descriptor_decrement_multicast (info);
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: freeing info...\n");
   GNUNET_free (info);
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: return %u\n", total_size);
@@ -2265,6 +2449,7 @@ send_core_path_ack (void *cls, size_t size, void *buf)
  * @param message message
  * @param peer peer identity this notification is about
  * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
  * 
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
@@ -2272,7 +2457,8 @@ send_core_path_ack (void *cls, size_t size, void *buf)
 static int
 handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
                          const struct GNUNET_MessageHeader *message,
-                         const struct GNUNET_ATS_Information *atsi)
+                         const struct GNUNET_ATS_Information *atsi,
+                        unsigned int atsi_count)
 {
   unsigned int own_pos;
   uint16_t size;
@@ -2326,9 +2512,10 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
     t = GNUNET_malloc (sizeof (struct MeshTunnel));
     t->id.oid = GNUNET_PEER_intern (pi);
     t->id.tid = tid;
+    while (NULL != tunnel_get_incoming (next_local_tid))
+      next_local_tid = (next_local_tid + 1) | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
     t->local_tid = next_local_tid++;
-    /* FIXME test if taken */
-    next_local_tid |= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
+    next_local_tid = next_local_tid | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
     t->tree = tree_new(t, t->id.oid);
 
     GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
@@ -2412,8 +2599,9 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
 
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "MESH:   It's for us!\n");
-    path_add_to_origin (orig_peer_info, path);
-    t->peers = GNUNET_CONTAINER_multihashmap_create(4);
+    path_add_to_origin (orig_peer_info, path, GNUNET_NO);
+    if (NULL == t->peers)
+      t->peers = GNUNET_CONTAINER_multihashmap_create(4);
     GNUNET_break (GNUNET_OK == GNUNET_CONTAINER_multihashmap_put (
         t->peers,
         &my_full_id.hashPubKey,
@@ -2446,9 +2634,9 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
     path2 = path_duplicate(path);
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "MESH:   Retransmitting.\n");
-    path_add_to_peer(dest_peer_info, path);
+    path_add_to_peer(dest_peer_info, path, GNUNET_NO);
     path = path_duplicate(path2);
-    path_add_to_origin(orig_peer_info, path2);
+    path_add_to_origin(orig_peer_info, path2, GNUNET_NO);
     send_create_path(dest_peer_info, path, t);
   }
   return GNUNET_OK;
@@ -2462,6 +2650,7 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
  * @param message message
  * @param peer peer identity this notification is about
  * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
  *
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
@@ -2469,7 +2658,8 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
 static int
 handle_mesh_path_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
                           const struct GNUNET_MessageHeader *message,
-                          const struct GNUNET_ATS_Information *atsi)
+                          const struct GNUNET_ATS_Information *atsi,
+                         unsigned int atsi_count)
 {
   struct GNUNET_MESH_ManipulatePath *msg;
   struct GNUNET_PeerIdentity *pi;
@@ -2535,7 +2725,53 @@ handle_mesh_path_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
   if (own_pos < path->length - 1)
     send_message (message, &pi[own_pos + 1]);
   tunnel_delete_peer (t, path->peers[path->length - 1]);
+  path_destroy (path);
+  return GNUNET_OK;
+}
+
+
+/**
+ * Core handler for notifications of broken paths
+ *
+ * @param cls closure
+ * @param message message
+ * @param peer peer identity this notification is about
+ * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
+ *
+ * @return GNUNET_OK to keep the connection open,
+ *         GNUNET_SYSERR to close it (signal serious error)
+ */
+static int
+handle_mesh_path_broken (void *cls, const struct GNUNET_PeerIdentity *peer,
+                          const struct GNUNET_MessageHeader *message,
+                          const struct GNUNET_ATS_Information *atsi,
+                          unsigned int atsi_count)
+{
+  struct GNUNET_MESH_PathBroken *msg;
+  struct MeshTunnel *t;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH: Received a PATH BROKEN msg from %s\n",
+              GNUNET_i2s(peer));
+  msg = (struct GNUNET_MESH_PathBroken *) message;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH:   regarding %s\n",
+              GNUNET_i2s(&msg->peer1));
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH:   regarding %s\n",
+              GNUNET_i2s(&msg->peer2));
+  t = tunnel_get(&msg->oid, ntohl (msg->tid));
+  if (NULL == t)
+  {
+    GNUNET_break_op (0);
+    return GNUNET_OK;
+  }
+  tunnel_notify_connection_broken(t,
+                                  GNUNET_PEER_search(&msg->peer1),
+                                  GNUNET_PEER_search(&msg->peer2));
   return GNUNET_OK;
+
 }
 
 
@@ -2546,6 +2782,7 @@ handle_mesh_path_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
  * @param message message
  * @param peer peer identity this notification is about
  * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
  *
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
@@ -2553,7 +2790,8 @@ handle_mesh_path_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
 static int
 handle_mesh_tunnel_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
                             const struct GNUNET_MessageHeader *message,
-                            const struct GNUNET_ATS_Information *atsi)
+                            const struct GNUNET_ATS_Information *atsi,
+                           unsigned int atsi_count)
 {
   struct GNUNET_MESH_TunnelDestroy *msg;
   struct MeshTunnel *t;
@@ -2569,8 +2807,10 @@ handle_mesh_tunnel_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
   t = tunnel_get (&msg->oid, ntohl (msg->tid));
   if (NULL == t)
   {
-    /* TODO notify back: we don't know this tunnel */
-    GNUNET_break_op (0);
+    /* Probably already got the message from another path,
+     * destroyed the tunnel and retransmitted to children.
+     * Safe to ignore.
+     */
     return GNUNET_OK;
   }
   if (t->id.oid == myid)
@@ -2596,13 +2836,15 @@ handle_mesh_tunnel_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
  * @param peer peer identity this notification is about
  * @param message message
  * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
  */
 static int
 handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
                           const struct GNUNET_MessageHeader *message,
-                          const struct GNUNET_ATS_Information *atsi)
+                          const struct GNUNET_ATS_Information *atsi,
+                         unsigned int atsi_count)
 {
   struct GNUNET_MESH_Unicast *msg;
   struct MeshTunnel *t;
@@ -2654,6 +2896,7 @@ handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
  * @param message message
  * @param peer peer identity this notification is about
  * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
  *
@@ -2662,7 +2905,8 @@ handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
 static int
 handle_mesh_data_multicast (void *cls, const struct GNUNET_PeerIdentity *peer,
                             const struct GNUNET_MessageHeader *message,
-                            const struct GNUNET_ATS_Information *atsi)
+                            const struct GNUNET_ATS_Information *atsi,
+                           unsigned int atsi_count)
 {
   struct GNUNET_MESH_Multicast *msg;
   struct MeshTunnel *t;
@@ -2707,6 +2951,7 @@ handle_mesh_data_multicast (void *cls, const struct GNUNET_PeerIdentity *peer,
  * @param message message
  * @param peer peer identity this notification is about
  * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
  *
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
@@ -2714,7 +2959,8 @@ handle_mesh_data_multicast (void *cls, const struct GNUNET_PeerIdentity *peer,
 static int
 handle_mesh_data_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
                           const struct GNUNET_MessageHeader *message,
-                          const struct GNUNET_ATS_Information *atsi)
+                          const struct GNUNET_ATS_Information *atsi,
+                         unsigned int atsi_count)
 {
   struct GNUNET_MESH_ToOrigin *msg;
   struct GNUNET_PeerIdentity id;
@@ -2794,6 +3040,7 @@ handle_mesh_data_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
  * @param message message
  * @param peer peer identity this notification is about
  * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
  *
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
@@ -2801,7 +3048,8 @@ handle_mesh_data_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
 static int
 handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
                       const struct GNUNET_MessageHeader *message,
-                      const struct GNUNET_ATS_Information *atsi)
+                      const struct GNUNET_ATS_Information *atsi,
+                     unsigned int atsi_count)
 {
   struct GNUNET_MESH_PathACK *msg;
   struct GNUNET_PeerIdentity id;
@@ -2829,12 +3077,12 @@ handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
       GNUNET_break_op (0);
       return GNUNET_OK;
     }
-    peer_info = peer_info_get (&msg->peer_id);
-    if (NULL == peer_info)
+    if (NULL != t->dht_get_type)
     {
-      GNUNET_break_op (0);
-      return GNUNET_OK;
+      GNUNET_DHT_get_stop (t->dht_get_type);
+      t->dht_get_type = NULL;
     }
+    peer_info = peer_info_get (&msg->peer_id);
     n = tree_find_peer(t->tree->root, peer_info->id);
     if (NULL == n)
     {
@@ -2867,12 +3115,14 @@ handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
 static struct GNUNET_CORE_MessageHandler core_handlers[] = {
   {&handle_mesh_path_create, GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE, 0},
   {&handle_mesh_path_destroy, GNUNET_MESSAGE_TYPE_MESH_PATH_DESTROY, 0},
+  {&handle_mesh_path_broken, GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN,
+    sizeof (struct GNUNET_MESH_PathBroken)},
   {&handle_mesh_tunnel_destroy, GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY, 0},
   {&handle_mesh_data_unicast, GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
   {&handle_mesh_data_multicast, GNUNET_MESSAGE_TYPE_MESH_MULTICAST, 0},
   {&handle_mesh_data_to_orig, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
   {&handle_mesh_path_ack, GNUNET_MESSAGE_TYPE_MESH_PATH_ACK,
-   sizeof (struct GNUNET_MESH_PathACK)},
+    sizeof (struct GNUNET_MESH_PathACK)},
   {NULL, 0, 0}
 };
 
@@ -3011,22 +3261,24 @@ dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
   struct GNUNET_PeerIdentity pi;
   int i;
 
+  GNUNET_log(GNUNET_ERROR_TYPE_DEBUG,
+             "MESH: Got results from DHT!\n");
   GNUNET_PEER_resolve (path_info->peer->id, &pi);
   GNUNET_log(GNUNET_ERROR_TYPE_DEBUG,
-             "MESH: Got results from DHT for %s\n",
-             GNUNET_h2s_full(&pi.hashPubKey));
-  GNUNET_DHT_get_stop(path_info->peer->dhtget);
-  path_info->peer->dhtget = NULL;
+             "MESH:   for %s\n",
+             GNUNET_i2s(&pi));
+//   GNUNET_DHT_get_stop(path_info->peer->dhtget);
+//   path_info->peer->dhtget = NULL;
 
   p = path_build_from_dht (get_path, get_path_length,
                            put_path, put_path_length);
-  path_add_to_peer (path_info->peer, p);
+  path_add_to_peer (path_info->peer, p, GNUNET_NO);
   for (i = 0; i < path_info->peer->ntunnels; i++)
   {
     tunnel_add_peer (path_info->peer->tunnels[i], path_info->peer);
     peer_info_connect(path_info->peer, path_info->t);
   }
-  GNUNET_free (path_info);
+//   GNUNET_free (path_info);
 
   return;
 }
@@ -3055,12 +3307,9 @@ dht_get_type_handler (void *cls, struct GNUNET_TIME_Absolute exp,
                       const void *data)
 {
   const struct GNUNET_PeerIdentity *pi = data;
-  struct GNUNET_PeerIdentity id;
   struct MeshTunnel *t = cls;
   struct MeshPeerInfo *peer_info;
-  struct MeshPathInfo *path_info;
   struct MeshPeerPath *p;
-  int i;
 
   if (size != sizeof (struct GNUNET_PeerIdentity))
   {
@@ -3068,42 +3317,18 @@ dht_get_type_handler (void *cls, struct GNUNET_TIME_Absolute exp,
     return;
   }
   GNUNET_assert (NULL != t->client);
-  GNUNET_DHT_get_stop (t->dht_get_type);
-  t->dht_get_type = NULL;
   peer_info = peer_info_get (pi);
-  GNUNET_CONTAINER_multihashmap_put (t->peers, &pi->hashPubKey, peer_info,
-                                     GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
-
-  if ((NULL == get_path || NULL == put_path) && NULL == peer_info->path_head &&
-      NULL == peer_info->dhtget)
-  {
-    peer_info_connect (peer_info, t);
-    return;
-  }
+  (void) GNUNET_CONTAINER_multihashmap_put (
+      t->peers,
+      &pi->hashPubKey,
+      peer_info,
+      GNUNET_CONTAINER_MULTIHASHMAPOPTION_REPLACE);
 
-  p = path_build_from_dht (get_path, get_path_length, put_path, put_path_length);
-  path_add_to_peer (peer_info, p);
+  p = path_build_from_dht (get_path, get_path_length,
+                           put_path, put_path_length);
+  path_add_to_peer (peer_info, p, GNUNET_NO);
   tunnel_add_peer(t, peer_info);
-  p = tree_get_path_to_peer(t->tree, peer_info->id);
-#if MESH_DEBUG
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH: new route for tunnel 0x%x found, has %u hops\n",
-              t->local_tid, p->length);
-  for (i = 0; i < p->length; i++)
-  {
-    GNUNET_PEER_resolve (p->peers[0], &id);
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:\t%d\t%s\n", i,
-                GNUNET_h2s_full (&id.hashPubKey));
-  }
-#endif
-
-  if (p->length > 1)
-  {
-    send_create_path(peer_info, p, t);
-    return;
-  }
-  path_destroy(p);
-  send_client_peer_connected(t, myid);
+  peer_info_connect (peer_info, t);
 }
 
 
@@ -3127,7 +3352,10 @@ handle_local_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: client disconnected\n");
   if (client == NULL)
-     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    (SERVER DOWN)\n");
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    (SERVER DOWN)\n");
+    return;
+  }
   c = clients;
   while (NULL != c)
   {
@@ -3138,6 +3366,7 @@ handle_local_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
       continue;
     }
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: matching client found\n");
+    GNUNET_SERVER_client_drop (c->handle);
     if (NULL != c->tunnels)
     {
       GNUNET_CONTAINER_multihashmap_iterate (c->tunnels,
@@ -3160,8 +3389,9 @@ handle_local_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
     }
     if (NULL != c->types)
       GNUNET_CONTAINER_multihashmap_destroy (c->types);
-    GNUNET_CONTAINER_DLL_remove (clients, clients_tail, c);
     next = c->next;
+    GNUNET_CONTAINER_DLL_remove (clients, clients_tail, c);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   CLIENT FREE at %p\n", c);
     GNUNET_free (c);
     c = next;
   }
@@ -3210,7 +3440,9 @@ handle_local_new_client (void *cls, struct GNUNET_SERVER_Client *client,
 #if MESH_DEBUG
   c->id = next_client_id++;
 #endif
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   CLIENT NEW %u at %p\n", c->id, c);
   c->handle = client;
+  GNUNET_SERVER_client_keep (client);
   a = (GNUNET_MESH_ApplicationType *) &cc_msg[1];
   if (napps > 0)
   {
@@ -3323,19 +3555,27 @@ handle_local_tunnel_create (void *cls, struct GNUNET_SERVER_Client *client,
   }
 
   t = GNUNET_malloc (sizeof (struct MeshTunnel));
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: CREATED TUNNEL at %p\n", t);
   while (NULL != tunnel_get_by_pi (myid, next_tid))
     next_tid = (next_tid + 1) & ~GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
   t->id.tid = next_tid++;
+  next_tid = next_tid & ~GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
   t->id.oid = myid;
   t->local_tid = ntohl (t_msg->tunnel_id);
+#if MESH_DEBUG
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH: CREATED TUNNEL %s [%x] (%x)\n",
+              GNUNET_i2s (&my_full_id),
+              t->id.tid,
+              t->local_tid);
+#endif
   t->client = c;
   t->peers = GNUNET_CONTAINER_multihashmap_create (32);
 
   GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
   if (GNUNET_OK !=
-      GNUNET_CONTAINER_multihashmap_put (c->tunnels, &hash, t,
-                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
+      GNUNET_CONTAINER_multihashmap_put (
+        c->tunnels, &hash, t,
+        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -3344,8 +3584,9 @@ handle_local_tunnel_create (void *cls, struct GNUNET_SERVER_Client *client,
 
   GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
   if (GNUNET_OK !=
-      GNUNET_CONTAINER_multihashmap_put (tunnels, &hash, t,
-                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
+      GNUNET_CONTAINER_multihashmap_put (
+        tunnels, &hash, t,
+        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -3406,7 +3647,8 @@ handle_local_tunnel_destroy (void *cls, struct GNUNET_SERVER_Client *client,
   /* Remove from local id hashmap */
   GNUNET_CRYPTO_hash (&tid, sizeof (MESH_TunnelNumber), &hash);
   t = GNUNET_CONTAINER_multihashmap_get (c->tunnels, &hash);
-  GNUNET_CONTAINER_multihashmap_remove (c->tunnels, &hash, t);
+  GNUNET_assert (GNUNET_YES ==
+                GNUNET_CONTAINER_multihashmap_remove (c->tunnels, &hash, t));
 
   t->client = NULL;
   tunnel_send_destroy (t);
@@ -3469,7 +3711,7 @@ handle_local_connect_add (void *cls, struct GNUNET_SERVER_Client *client,
     return;
   }
   GNUNET_log(GNUNET_ERROR_TYPE_DEBUG, "MESH:      for %s\n",
-             GNUNET_h2s_full(&peer_msg->peer.hashPubKey));
+             GNUNET_i2s(&peer_msg->peer));
   peer_info = peer_info_get (&peer_msg->peer);
 
   tunnel_add_peer(t, peer_info);
@@ -3638,7 +3880,7 @@ handle_local_connect_by_type (void *cls, struct GNUNET_SERVER_Client *client,
     GNUNET_DHT_get_stop (t->dht_get_type);
   }
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  looking in DHT for %s\n",
-              GNUNET_h2s_full (&hash));
+              GNUNET_h2s (&hash));
   t->dht_get_type =
       GNUNET_DHT_get_start (dht_handle,
                             GNUNET_TIME_UNIT_FOREVER_REL,
@@ -3738,7 +3980,7 @@ handle_local_unicast (void *cls, struct GNUNET_SERVER_Client *client,
     copy->tid = htonl (t->id.tid);
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "MESH:   calling generic handler...\n");
-    handle_mesh_data_unicast (NULL, &my_full_id, &copy->header, NULL);
+    handle_mesh_data_unicast (NULL, &my_full_id, &copy->header, NULL, 0);
   }
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
   return;
@@ -3824,7 +4066,7 @@ handle_local_to_origin (void *cls, struct GNUNET_SERVER_Client *client,
     copy->sender = my_full_id;
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "MESH:   calling generic handler...\n");
-    handle_mesh_data_to_orig (NULL, &my_full_id, &copy->header, NULL);
+    handle_mesh_data_to_orig (NULL, &my_full_id, &copy->header, NULL, 0);
   }
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
   return;
@@ -3895,7 +4137,7 @@ handle_local_multicast (void *cls, struct GNUNET_SERVER_Client *client,
     copy->tid = htonl(t->id.tid);
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "MESH:   calling generic handler...\n");
-    handle_mesh_data_multicast(client, &my_full_id, &copy->header, NULL);
+    handle_mesh_data_multicast(client, &my_full_id, &copy->header, NULL, 0);
   }
 
   /* receive done gets called when last copy is sent to a neighbor */
@@ -3960,10 +4202,12 @@ core_init (void *cls, struct GNUNET_CORE_Handle *server,
  * @param cls closure
  * @param peer peer identity this notification is about
  * @param atsi performance data for the connection
+ * @param atsi_count number of records in 'atsi'
  */
 static void
 core_connect (void *cls, const struct GNUNET_PeerIdentity *peer,
-              const struct GNUNET_ATS_Information *atsi)
+              const struct GNUNET_ATS_Information *atsi,
+              unsigned int atsi_count)
 {
   struct MeshPeerInfo *peer_info;
   struct MeshPeerPath *path;
@@ -3971,7 +4215,7 @@ core_connect (void *cls, const struct GNUNET_PeerIdentity *peer,
 #if MESH_DEBUG_CONNECTION
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Peer connected\n");
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      %s\n",
-              GNUNET_h2s(&my_full_id.hashPubKey));
+              GNUNET_i2s(&my_full_id));
 #endif
   peer_info = peer_info_get (peer);
   if (myid == peer_info->id)
@@ -3985,7 +4229,7 @@ core_connect (void *cls, const struct GNUNET_PeerIdentity *peer,
   else
   {
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      %s\n",
-                GNUNET_h2s(&peer->hashPubKey));
+                GNUNET_i2s(peer));
   }
 #endif
   path = path_new (2);
@@ -3993,7 +4237,7 @@ core_connect (void *cls, const struct GNUNET_PeerIdentity *peer,
   path->peers[1] = peer_info->id;
   GNUNET_PEER_change_rc(myid, 1);
   GNUNET_PEER_change_rc(peer_info->id, 1);
-  path_add_to_peer (peer_info, path);
+  path_add_to_peer (peer_info, path, GNUNET_YES);
   return;
 }
 
@@ -4020,6 +4264,7 @@ core_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
   }
   for (i = 0; i < CORE_QUEUE_SIZE; i++)
   {
+    /* TODO: notify that the transmission failed */
     peer_info_cancel_transmission(pi, i);
   }
   path_remove_from_peer (pi, pi->id, myid);
@@ -4046,7 +4291,7 @@ core_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
  * @return GNUNET_YES if we should continue to iterate,
  *         GNUNET_NO if not.
  */
-int
+static int
 shutdown_tunnel (void *cls, const GNUNET_HashCode * key, void *value)
 {
   struct MeshTunnel *t = value;
@@ -4063,11 +4308,11 @@ shutdown_tunnel (void *cls, const GNUNET_HashCode * key, void *value)
  * @return GNUNET_YES if we should continue to iterate,
  *         GNUNET_NO if not.
  */
-int
+static int
 shutdown_peer (void *cls, const GNUNET_HashCode * key, void *value)
 {
   struct MeshPeerInfo *p = value;
-  peer_info_destroy(p);
+  peer_info_destroy (p);
   return GNUNET_YES;
 }
 
@@ -4135,6 +4380,7 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
                                      NULL,      /* Don't notify about all outbound messages */
                                      GNUNET_NO, /* For header-only out notification */
                                      core_handlers);    /* Register these handlers */
+
   if (core_handle == NULL)
   {
     GNUNET_break (0);
@@ -4166,6 +4412,13 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
                       &my_full_id.hashPubKey);
   myid = GNUNET_PEER_intern (&my_full_id);
 
+// //   transport_handle = GNUNET_TRANSPORT_connect(c,
+// //                                               &my_full_id,
+// //                                               NULL,
+// //                                               NULL,
+// //                                               NULL,
+// //                                               NULL);
+
   dht_handle = GNUNET_DHT_connect (c, 64);
   if (dht_handle == NULL)
   {
@@ -4202,7 +4455,7 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
   peer = peer_info_get(&my_full_id);
   p = path_new (1);
   p->peers[0] = myid;
-  path_add_to_peer(peer, p);
+  path_add_to_peer(peer, p, GNUNET_YES);
 
   /* Scheduled the task to clean up when shutdown is called */
   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL, &shutdown_task,