Implemented workaround for #2071
[oweals/gnunet.git] / src / mesh / gnunet-service-mesh.c
index 9734fe4d9da9edaaf533c60298f3bd6ada53d852..63700504860f550761679d45ac7bb822cfb332f4 100644 (file)
  * - add vs create? change vs. keep-alive? same msg or different ones? -- thinking...
  * - speed requirement specification (change?) in mesh API -- API call
  * - add ping message
- * - add connection confirmation message
- * - handle trnsmt_rdy return values
+ * - relay corking down to core
+ * - set ttl relative to tree depth
  */
 
 #include "platform.h"
-#include "gnunet_common.h"
-#include "gnunet_util_lib.h"
-#include "gnunet_peer_lib.h"
-#include "gnunet_core_service.h"
-#include "gnunet_protocols.h"
-
 #include "mesh.h"
 #include "mesh_protocol.h"
 #include "gnunet_dht_service.h"
-
-#define MESH_DEBUG              GNUNET_YES
-
-#if MESH_DEBUG
-/**
- * GNUNET_SCHEDULER_Task for printing a message after some operation is done
- */
-static void
-mesh_debug (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
-{
-  char *s = cls;
-
-  if (GNUNET_SCHEDULER_REASON_SHUTDOWN == tc->reason)
-  {
-    return;
-  }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: %s", s);
-}
-#endif
+#include "mesh_tunnel_tree.h"
 
 /* TODO: move into configuration file */
-#define CORE_QUEUE_SIZE         10
-#define LOCAL_QUEUE_SIZE        100
 #define REFRESH_PATH_TIME       GNUNET_TIME_relative_multiply(\
                                     GNUNET_TIME_UNIT_SECONDS,\
                                     300)
@@ -85,102 +59,73 @@ mesh_debug (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
                                     5)
 
 #define ID_ANNOUNCE_TIME        GNUNET_TIME_relative_multiply(\
+                                    GNUNET_TIME_UNIT_SECONDS,\
+                                    10)
+
+#define GET_RESTART_TIME        GNUNET_TIME_relative_multiply(\
                                     GNUNET_TIME_UNIT_SECONDS,\
                                     5)
 
+#define UNACKNOWLEDGED_WAIT     GNUNET_TIME_relative_multiply(\
+                                    GNUNET_TIME_UNIT_SECONDS,\
+                                    2)
+#define DEFAULT_TTL     64
+
+#define MESH_DEBUG_DHT GNUNET_NO
+
 
 
 /******************************************************************************/
 /************************      DATA STRUCTURES     ****************************/
 /******************************************************************************/
 
-/**
- * Information regarding a path
- */
-struct MeshPath
-{
-
-    /**
-     * Linked list
-     */
-  struct MeshPath *next;
-  struct MeshPath *prev;
-
-    /**
-     * Whether the path is serving traffic in a tunnel or is a backup
-     */
-  int in_use;
-
-    /**
-     * List of all the peers that form the path from origin to target
-     */
-  GNUNET_PEER_Id *peers;
-
-    /**
-     * Number of peers (hops) in the path
-     */
-  unsigned int length;
-};
+/** FWD declaration */
+struct MeshPeerInfo;
 
 
 /**
- * All the states a peer participating in a tunnel can be in.
+ * Struct representing a piece of data being sent to other peers
  */
-enum MeshPeerState
+struct MeshData
 {
-    /**
-     * Path to the peer not known yet
-     */
-  MESH_PEER_SEARCHING,
+  /** Tunnel it belongs to. */
+  struct MeshTunnel *t;
 
-    /**
-     * Request sent, not yet answered.
-     */
-  MESH_PEER_WAITING,
+  /** In case of a multicast, task to allow a client to send more data if
+   * some neighbor is too slow. */
+  GNUNET_SCHEDULER_TaskIdentifier *task;
 
-    /**
-     * Peer connected and ready to accept data
-     */
-  MESH_PEER_READY,
+  /** How many remaining neighbors we need to send this to. */
+  unsigned int *reference_counter;
 
-    /**
-     * Peer connected previosly but not responding
-     */
-  MESH_PEER_RECONNECTING
-};
+  /** Size of the data. */
+  size_t data_len;
 
+  /** Data itself */
+  void *data;
+};
 
-/** FWD declaration */
-struct MeshPeerInfo;
 
 /**
  * Struct containing all info possibly needed to build a package when called
  * back by core.
  */
-struct MeshDataDescriptor
+struct MeshTransmissionDescriptor
 {
     /** ID of the tunnel this packet travels in */
   struct MESH_TunnelID *origin;
 
+    /** Who was this message being sent to */
+  struct MeshPeerInfo *peer;
+
     /** Ultimate destination of the packet */
   GNUNET_PEER_Id destination;
 
-    /** Number of identical messages sent to different hops (multicast) */
-  unsigned int copies;
-
-    /** Size of the data */
-  size_t size;
-
-    /** Client that asked for the transmission, if any */
-  struct GNUNET_SERVER_Client *client;
-
-    /** Who was is message being sent to */
-  struct MeshPeerInfo *peer;
-
     /** Which handler was used to request the transmission */
   unsigned int handler_n;
 
-  /* Data at the end */
+    /** Data descriptor */
+  struct MeshData* mesh_data;
 };
 
 
@@ -194,11 +139,6 @@ struct MeshPeerInfo
      */
   GNUNET_PEER_Id id;
 
-    /**
-     * Is the peer reachable? Is the peer even connected?
-     */
-  enum MeshPeerState state;
-
     /**
      * Last time we heard from this peer
      */
@@ -210,16 +150,25 @@ struct MeshPeerInfo
   int n_reconnect_attempts;
 
     /**
-     * Paths to reach the peer
+     * Paths to reach the peer, ordered by ascending hop count
+     */
+  struct MeshPeerPath *path_head;
+
+    /**
+     * Paths to reach the peer, ordered by ascending hop count
      */
-  struct MeshPath *path;
-  struct MeshPath *path_tail;
+  struct MeshPeerPath *path_tail;
 
     /**
      * Handle to stop the DHT search for a path to this peer
      */
   struct GNUNET_DHT_GetHandle *dhtget;
 
+    /**
+     * Closure given to the DHT GET
+     */
+  struct MeshPathInfo *dhtgetcls;
+
     /**
      * Handles to stop queued transmissions for this peer
      */
@@ -228,12 +177,25 @@ struct MeshPeerInfo
     /**
      * Pointer to info stuctures used as cls for queued transmissions
      */
-  struct MeshDataDescriptor *infos[CORE_QUEUE_SIZE];
+  void *infos[CORE_QUEUE_SIZE];
 
     /**
-     * Task to send keepalive packets over the current active path
+     * Type of message being in each transmission
      */
-  GNUNET_SCHEDULER_TaskIdentifier path_refresh_task;
+  uint16_t types[CORE_QUEUE_SIZE];
+
+    /**
+     * Array of tunnels this peer participates in
+     * (most probably a small amount, therefore not a hashmap)
+     * When the path to the peer changes, notify these tunnels to let them
+     * re-adjust their path trees.
+     */
+  struct MeshTunnel **tunnels;
+
+    /**
+     * Number of tunnels this peers participates in
+     */
+  unsigned int ntunnels;
 };
 
 
@@ -314,6 +276,16 @@ struct MeshTunnel
      */
   MESH_TunnelNumber local_tid;
 
+      /**
+     * Local tunnel number for local destination clients
+     */
+  MESH_TunnelNumber local_tid_dest;
+
+    /**
+     * ID of the last multicast packet seen/sent.
+     */
+  uint32_t mid;
+
     /**
      * Last time the tunnel was used
      */
@@ -321,6 +293,7 @@ struct MeshTunnel
 
     /**
      * Peers in the tunnel, indexed by PeerIdentity -> (MeshPeerInfo)
+     * containing peers added by id or by type, not intermediate peers.
      */
   struct GNUNET_CONTAINER_MultiHashMap *peers;
 
@@ -334,7 +307,6 @@ struct MeshTunnel
      */
   unsigned int peers_total;
 
-
     /**
      * Client owner of the tunnel, if any
      */
@@ -346,8 +318,63 @@ struct MeshTunnel
   struct MeshQueue *queue_head;
   struct MeshQueue *queue_tail;
 
+  /**
+   * Tunnel paths
+   */
+  struct MeshTunnelTree *tree;
+
+  /**
+   * Application type we are looking for in this tunnel
+   */
+  GNUNET_MESH_ApplicationType type;
+
+    /**
+     * Used to search peers offering a service
+     */
+  struct GNUNET_DHT_GetHandle *dht_get_type;
+
+  /**
+   * Task to keep the used paths alive
+   */
+  GNUNET_SCHEDULER_TaskIdentifier path_refresh_task;
+
+  /**
+   * Task to destroy the tunnel after timeout
+   *
+   * FIXME: merge the two? a tunnel will have either
+   * a path refresh OR a timeout, never both!
+   */
+  GNUNET_SCHEDULER_TaskIdentifier timeout_task;
+};
+
+
+/**
+ * Info needed to work with tunnel paths and peers
+ */
+struct MeshPathInfo
+{
+  /**
+   * Tunnel
+   */
+  struct MeshTunnel *t;
+
+  /**
+   * Neighbouring peer to whom we send the packet to
+   */
+  struct MeshPeerInfo *peer;
+
+  /**
+   * Path itself
+   */
+  struct MeshPeerPath *path;
+
+  /**
+   * Position in peer's transmit queue
+   */
+  unsigned int pos;
 };
 
+
 /**
  * Struct containing information about a client of the service
  */
@@ -372,22 +399,47 @@ struct MeshClient
     /**
      * Applications that this client has claimed to provide
      */
-  GNUNET_MESH_ApplicationType *apps;
-  unsigned int app_counter;
+  struct GNUNET_CONTAINER_MultiHashMap *apps;
 
     /**
      * Messages that this client has declared interest in
      */
-  uint16_t *types;
-  unsigned int type_counter;
+  struct GNUNET_CONTAINER_MultiHashMap *types;
 
+#if MESH_DEBUG
     /**
-     * Used for seachching peers offering a service
+     * ID of the client, for debug messages
      */
-  struct GNUNET_DHT_GetHandle *dht_get_type;
+  unsigned int id;
+#endif
 
 };
 
+
+
+/******************************************************************************/
+/************************      DEBUG FUNCTIONS     ****************************/
+/******************************************************************************/
+
+#if MESH_DEBUG
+/**
+ * GNUNET_SCHEDULER_Task for printing a message after some operation is done
+ * @param cls string to print
+ * @param tc task context
+ */
+static void
+mesh_debug (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  char *s = cls;
+
+  if (GNUNET_SCHEDULER_REASON_SHUTDOWN == tc->reason)
+  {
+    return;
+  }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: %s\n", s);
+}
+#endif
+
 /******************************************************************************/
 /***********************      GLOBAL VARIABLES     ****************************/
 /******************************************************************************/
@@ -403,6 +455,12 @@ static struct MeshClient *clients_tail;
  */
 static struct GNUNET_CONTAINER_MultiHashMap *tunnels;
 
+/**
+ * Tunnels incoming, indexed by MESH_TunnelNumber
+ * (which is greater than GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
+ */
+static struct GNUNET_CONTAINER_MultiHashMap *incoming_tunnels;
+
 /**
  * Peers known, indexed by PeerIdentity (MeshPeerInfo)
  */
@@ -413,6 +471,11 @@ static struct GNUNET_CONTAINER_MultiHashMap *peers;
  */
 static struct GNUNET_CORE_Handle *core_handle;
 
+/**
+ * Handle to communicate with transport
+ */
+// static struct GNUNET_TRANSPORT_Handle *transport_handle;
+
 /**
  * Handle to use DHT
  */
@@ -438,25 +501,35 @@ static GNUNET_PEER_Id myid;
  */
 static struct GNUNET_PeerIdentity my_full_id;
 
+/**
+ * Own private key
+ */
+static struct GNUNET_CRYPTO_RsaPrivateKey *my_private_key;
+
+/**
+ * Own public key.
+ */
+static struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded my_public_key;
+
 /**
  * Tunnel ID for the next created tunnel (global tunnel number)
  */
 static MESH_TunnelNumber next_tid;
 
 /**
- * All application types provided by this peer
+ * Tunnel ID for the next incoming tunnel (local tunnel number)
  */
-static GNUNET_MESH_ApplicationType *applications;
+static MESH_TunnelNumber next_local_tid;
 
 /**
- * All application types provided by this peer (reference counter)
+ * All application types provided by this peer
  */
-static unsigned int *applications_rc;
+static struct GNUNET_CONTAINER_MultiHashMap *applications;
 
 /**
- * Number of applications provided by this peer
+ * All message types clients of this peer are interested in
  */
-static unsigned int n_apps;
+static struct GNUNET_CONTAINER_MultiHashMap *types;
 
 /**
  * Task to periodically announce provided applications
@@ -468,179 +541,159 @@ GNUNET_SCHEDULER_TaskIdentifier announce_applications_task;
  */
 GNUNET_SCHEDULER_TaskIdentifier announce_id_task;
 
+#if MESH_DEBUG
+unsigned int next_client_id;
+#endif
+
 
 /******************************************************************************/
-/******************      GENERAL HELPER FUNCTIONS      ************************/
+/************************         ITERATORS        ****************************/
 /******************************************************************************/
 
-/**
- * Retrieve the MeshPeerInfo stucture associated with the peer, create one
- * and inster it in the appropiate structures if the peer is not known yet.
- * @param peer Identity of the peer
- * @return Existing or newly created peer info
- */
-static struct MeshPeerInfo *
-get_peer_info (const struct GNUNET_PeerIdentity *peer)
-{
-  struct MeshPeerInfo *peer_info;
-
-  peer_info = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
-  if (NULL == peer_info)
-  {
-    peer_info =
-        (struct MeshPeerInfo *) GNUNET_malloc (sizeof (struct MeshPeerInfo));
-    GNUNET_CONTAINER_multihashmap_put (peers, &peer->hashPubKey, peer_info,
-                                       GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
-    peer_info->id = GNUNET_PEER_intern (peer);
-    peer_info->state = MESH_PEER_SEARCHING;
-  }
-
-  return peer_info;
-}
-
-/**
- * Find the first peer whom to send a packet to go down this path
- * @param path The path to use
- * @return short id of the next peer, myid in case of local delivery,
- * or 0 in case of error
- */
-static GNUNET_PEER_Id
-get_first_hop (struct MeshPath *path)
-{
-  unsigned int i;
-
-  while (NULL != path)
-  {
-    if (path->in_use)
-      break;
-    path = path->next;
-  }
-  if (NULL == path)
-  {
-    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                "tried to get the next hop from an invalid path\n");
-    return 0;
-  }
+/* FIXME move iterators here */
 
-  for (i = 0; i < path->length; i++)
-  {
-    if (path->peers[i] == myid)
-    {
-      if (i < path->length - 1)
-      {
-        return path->peers[i + 1];
-      }
-      else
-      {
-        return myid;
-      }
-    }
-  }
-  return 0;
-}
 
+/******************************************************************************/
+/************************    PERIODIC FUNCTIONS    ****************************/
+/******************************************************************************/
 
 /**
- * Get the cost of the path.
- * @param path The path to analyze
- * @return Number of hops to reach destination, UINT_MAX in case the peer is not
- * in the path
+ * Announce iterator over for each application provided by the peer
+ *
+ * @param cls closure
+ * @param key current key code
+ * @param value value in the hash map
+ * @return GNUNET_YES if we should continue to
+ *         iterate,
+ *         GNUNET_NO if not.
  */
-static unsigned int
-get_path_cost (struct MeshPath *path)
+static int
+announce_application (void *cls, const GNUNET_HashCode * key, void *value)
 {
-  unsigned int i;
-
-  if (NULL == path)
-    return UINT_MAX;
-  for (i = 0; i < path->length; i++)
-  {
-    if (path->peers[i] == myid)
-    {
-      return path->length - i;
-    }
-  }
-  return UINT_MAX;
+  /* FIXME are hashes in multihash map equal on all aquitectures? */
+  GNUNET_DHT_put (dht_handle, key, 10U,
+                  GNUNET_DHT_RO_RECORD_ROUTE |
+                  GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE, GNUNET_BLOCK_TYPE_TEST,
+                  sizeof (struct GNUNET_PeerIdentity),
+                  (const char *) &my_full_id,
+#if MESH_DEBUG
+                  GNUNET_TIME_UNIT_FOREVER_ABS, GNUNET_TIME_UNIT_FOREVER_REL,
+                  &mesh_debug, "DHT_put for app completed");
+#else
+                  GNUNET_TIME_absolute_add (GNUNET_TIME_absolute_get (),
+                                            APP_ANNOUNCE_TIME),
+                  APP_ANNOUNCE_TIME, NULL, NULL);
+#endif
+  return GNUNET_OK;
 }
 
 
 /**
- * Add the path to the peer and update the path used to reach it in case this
- * is the shortest.
- * @param peer_info Destination peer to add the path to.
- * @param path New path to add. Last peer must be the peer in arg 1.
+ * Periodically announce what applications are provided by local clients
+ *
+ * @param cls closure
+ * @param tc task context
  */
 static void
-add_path_to_peer (struct MeshPeerInfo *peer_info, struct MeshPath *path)
+announce_applications (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  unsigned int i;
-  unsigned int new_cost;
-  unsigned int best_cost;
-  struct MeshPath *aux;
-  struct MeshPath *best;
-
-  if (NULL == peer_info || NULL == path)
-    return;
-
-  new_cost = get_path_cost (path);
-  best_cost = UINT_MAX;
-  best = NULL;
-  for (aux = peer_info->path; aux != NULL; aux = aux->next)
-  {
-    if ((i = get_path_cost (aux)) < best_cost)
-    {
-      best = aux;
-      best_cost = i;
-    }
-  }
-  if (best_cost < new_cost)
-  {
-    path->in_use = 0;
-    GNUNET_CONTAINER_DLL_insert_tail (peer_info->path, peer_info->path_tail,
-                                      path);
-  }
-  else
+  if (tc->reason == GNUNET_SCHEDULER_REASON_SHUTDOWN)
   {
-    if (NULL != best)
-      best->in_use = 0;
-    path->in_use = 1;
-    GNUNET_CONTAINER_DLL_insert (peer_info->path, peer_info->path_tail, path);
+    announce_applications_task = GNUNET_SCHEDULER_NO_TASK;
+    return;
   }
+#if MESH_DEBUG_DHT
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Starting PUT for apps\n");
+#endif
+  GNUNET_CONTAINER_multihashmap_iterate (applications, &announce_application,
+                                         NULL);
+  announce_applications_task =
+      GNUNET_SCHEDULER_add_delayed (APP_ANNOUNCE_TIME, &announce_applications,
+                                    cls);
+#if MESH_DEBUG_DHT
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Finished PUT for apps\n");
+#endif
   return;
 }
 
 
 /**
- * Add the path to the peer and update the path used to reach it in case this
- * is the shortest. The path is given in reverse, the destination peer is
- * path[0]. The function modifies the path, inverting it to use the origin as
- * destination.
- * @param peer_info Destination peer to add the path to.
- * @param path New path to add. First peer must be the peer in arg 1.
+ * Periodically announce self id in the DHT
+ *
+ * @param cls closure
+ * @param tc task context
  */
 static void
-add_path_to_origin (struct MeshPeerInfo *peer_info, struct MeshPath *path)
+announce_id (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  GNUNET_PEER_Id aux;
-  unsigned int i;
-
-  for (i = 0; i < path->length / 2; i++)
+  if (tc->reason == GNUNET_SCHEDULER_REASON_SHUTDOWN)
   {
-    aux = path->peers[i];
-    path->peers[i] = path->peers[path->length - i - 1];
-    path->peers[path->length - i - 1] = aux;
+    announce_id_task = GNUNET_SCHEDULER_NO_TASK;
+    return;
   }
-  add_path_to_peer (peer_info, path);
+  /* TODO
+   * - Set data expiration in function of X
+   * - Adapt X to churn
+   */
+#if MESH_DEBUG_DHT
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: DHT_put for ID %s started.\n",
+              GNUNET_i2s (&my_full_id));
+#endif
+  GNUNET_DHT_put (dht_handle,   /* DHT handle */
+                  &my_full_id.hashPubKey,       /* Key to use */
+                  10U,          /* Replication level */
+                  GNUNET_DHT_RO_RECORD_ROUTE | GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,    /* DHT options */
+                  GNUNET_BLOCK_TYPE_TEST,       /* Block type */
+                  sizeof (my_full_id),  /* Size of the data */
+                  (char *) &my_full_id, /* Data itself */
+                  GNUNET_TIME_absolute_get_forever (),  /* Data expiration */
+                  GNUNET_TIME_UNIT_FOREVER_REL, /* Retry time */
+#if MESH_DEBUG_DHT
+                  &mesh_debug, "DHT_put for id completed");
+#else
+                  NULL,         /* Continuation */
+                  NULL);        /* Continuation closure */
+#endif
+  announce_id_task =
+      GNUNET_SCHEDULER_add_delayed (ID_ANNOUNCE_TIME, &announce_id, cls);
 }
 
 
+/**
+ * Function to process paths received for a new peer addition. The recorded
+ * paths form the initial tunnel, which can be optimized later.
+ * Called on each result obtained for the DHT search.
+ *
+ * @param cls closure
+ * @param exp when will this value expire
+ * @param key key of the result
+ * @param type type of the result
+ * @param size number of bytes in data
+ * @param data pointer to the result data
+ */
+static void
+dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
+                    const GNUNET_HashCode * key,
+                    const struct GNUNET_PeerIdentity *get_path,
+                    unsigned int get_path_length,
+                    const struct GNUNET_PeerIdentity *put_path,
+                    unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
+                    size_t size, const void *data);
+
+
+/******************************************************************************/
+/******************      GENERAL HELPER FUNCTIONS      ************************/
+/******************************************************************************/
+
 /**
  * Check if client has registered with the service and has not disconnected
+ *
  * @param client the client to check
+ *
  * @return non-NULL if client exists in the global DLL
  */
 static struct MeshClient *
-retrieve_client (struct GNUNET_SERVER_Client *client)
+client_get (struct GNUNET_SERVER_Client *client)
 {
   struct MeshClient *c;
 
@@ -657,250 +710,196 @@ retrieve_client (struct GNUNET_SERVER_Client *client)
 
 /**
  * Checks if a given client has subscribed to certain message type
+ *
  * @param message_type Type of message to check
  * @param c Client to check
+ *
  * @return GNUNET_YES or GNUNET_NO, depending on subscription status
+ *
+ * TODO inline?
  */
-static int                      /* FIXME inline? */
-is_client_subscribed (uint16_t message_type, struct MeshClient *c)
+static int
+client_is_subscribed (uint16_t message_type, struct MeshClient *c)
 {
-  unsigned int i;
+  GNUNET_HashCode hc;
 
-  for (i = 0; i < c->type_counter; i++)
-  {
-    if (c->types[i] == message_type)
-      return GNUNET_YES;
-  }
-  return GNUNET_NO;
+  GNUNET_CRYPTO_hash (&message_type, sizeof (uint16_t), &hc);
+  return GNUNET_CONTAINER_multihashmap_contains (c->types, &hc);
 }
 
 
 /**
- * Search for a tunnel among the tunnels for a client
- * @param client the client whose tunnels to search in
- * @param tid the local id of the tunnel
- * @return tunnel handler, NULL if doesn't exist
- */
-static struct MeshTunnel *
-retrieve_tunnel_by_local_id (struct MeshClient *c, MESH_TunnelNumber tid)
-{
-  GNUNET_HashCode hash;
-
-  GNUNET_CRYPTO_hash (&tid, sizeof (MESH_TunnelNumber), &hash);
-  return GNUNET_CONTAINER_multihashmap_get (c->tunnels, &hash);
-}
-
-/**
- * Search for a tunnel by global ID using PEER_ID
- * @param pi owner of the tunnel
- * @param tid global tunnel number
- * @return tunnel handler, NULL if doesn't exist
+ * Allow a client to send more data after transmitting a multicast message
+ * which some neighbor has not yet accepted altough a reasonable time has
+ * passed.
+ *
+ * @param cls Closure (DataDescriptor containing the task identifier)
+ * @param tc Task Context
  */
-static struct MeshTunnel *
-retrieve_tunnel_by_pi (GNUNET_PEER_Id pi, MESH_TunnelNumber tid)
+static void
+client_allow_send (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  struct MESH_TunnelID id;
-  GNUNET_HashCode hash;
-
-  id.oid = pi;
-  id.tid = tid;
+  struct MeshData *mdata = cls;
 
-  GNUNET_CRYPTO_hash (&id, sizeof (struct MESH_TunnelID), &hash);
-  return GNUNET_CONTAINER_multihashmap_get (tunnels, &hash);
+  if (GNUNET_SCHEDULER_REASON_SHUTDOWN == tc->reason)
+    return;
+#if MESH_DEBUG
+  GNUNET_assert (NULL != mdata->reference_counter);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH: CLIENT ALLOW SEND DESPITE %u COPIES PENDING\n",
+              mdata->reference_counter);
+#endif
+  *(mdata->task) = GNUNET_SCHEDULER_NO_TASK;
+  GNUNET_SERVER_receive_done (mdata->t->client->handle, GNUNET_OK);
 }
 
 
-
 /**
  * Search for a tunnel by global ID using full PeerIdentities
+ *
  * @param oid owner of the tunnel
  * @param tid global tunnel number
+ *
  * @return tunnel handler, NULL if doesn't exist
  */
 static struct MeshTunnel *
-retrieve_tunnel (struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid)
-{
-  return retrieve_tunnel_by_pi (GNUNET_PEER_search (oid), tid);
-}
+tunnel_get (struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid);
 
 
 /**
- * Destroy the path and free any allocated resources linked to it
- * @param t tunnel the path belongs to
- * @param p the path to destroy
- * @return GNUNET_OK on success
- */
-static int
-destroy_path (struct MeshPath *p)
-{
-  GNUNET_PEER_decrement_rcs (p->peers, p->length);
-  GNUNET_free (p->peers);
-  GNUNET_free (p);
-  return GNUNET_OK;
-}
-
-#if LATER
-/**
- * Destroy the peer_info and free any allocated resources linked to it
- * @param t tunnel the path belongs to
- * @param pi the peer_info to destroy
- * @return GNUNET_OK on success
+ * Notify a tunnel that a connection has broken that affects at least
+ * some of its peers.
+ *
+ * @param t Tunnel affected.
+ * @param p1 Peer that got disconnected from p2.
+ * @param p2 Peer that got disconnected from p1.
+ *
+ * @return Short ID of the peer disconnected (either p1 or p2).
+ *         0 if the tunnel remained unaffected.
  */
-static int
-destroy_peer_info (struct MeshPeerInfo *pi)
-{
-  GNUNET_HashCode hash;
-  struct GNUNET_PeerIdentity id;
-
-  GNUNET_PEER_resolve (pi->id, &id);
-  GNUNET_PEER_change_rc (pi->id, -1);
-  GNUNET_CRYPTO_hash (&id, sizeof (struct GNUNET_PeerIdentity), &hash);
-
-  GNUNET_CONTAINER_multihashmap_remove (peers, &hash, pi);
-  GNUNET_SCHEDULER_cancel (pi->path_refresh_task);
-  GNUNET_free (pi);
-  return GNUNET_OK;
-}
-#endif
+static GNUNET_PEER_Id
+tunnel_notify_connection_broken (struct MeshTunnel *t, GNUNET_PEER_Id p1,
+                                 GNUNET_PEER_Id p2);
 
 
 /**
- * Destroy the tunnel and free any allocated resources linked to it
- * @param c client the tunnel belongs to
- * @param t the tunnel to destroy
- * @return GNUNET_OK on success
+ * Send the message to all clients that have subscribed to its type
+ *
+ * @param msg Pointer to the message itself
+ * @param payload Pointer to the payload of the message.
+ * @return number of clients this message was sent to
  */
-static int
-destroy_tunnel (struct MeshTunnel *t)
+static unsigned int
+send_subscribed_clients (const struct GNUNET_MessageHeader *msg,
+                         const struct GNUNET_MessageHeader *payload)
 {
+  struct GNUNET_PeerIdentity *oid;
   struct MeshClient *c;
-  struct MeshQueue *q;
-  struct MeshQueue *qn;
-  GNUNET_HashCode hash;
-  int r;
-
-  if (NULL == t)
-    return GNUNET_OK;
+  struct MeshTunnel *t;
+  MESH_TunnelNumber *tid;
+  unsigned int count;
+  uint16_t type;
+  char cbuf[htons (msg->size)];
 
-  c = t->client;
+#if MESH_DEBUG
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Sending to clients...\n");
+  type = ntohs (payload->type);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: message of type %u\n", type);
+#endif
 
-  GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
-  if (GNUNET_YES != GNUNET_CONTAINER_multihashmap_remove (tunnels, &hash, t))
+  memcpy (cbuf, msg, sizeof (cbuf));
+  switch (htons (msg->type))
   {
-    r = GNUNET_SYSERR;
+    struct GNUNET_MESH_Unicast *uc;
+    struct GNUNET_MESH_Multicast *mc;
+    struct GNUNET_MESH_ToOrigin *to;
+
+  case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
+    uc = (struct GNUNET_MESH_Unicast *) cbuf;
+    tid = &uc->tid;
+    oid = &uc->oid;
+    break;
+  case GNUNET_MESSAGE_TYPE_MESH_MULTICAST:
+    mc = (struct GNUNET_MESH_Multicast *) cbuf;
+    tid = &mc->tid;
+    oid = &mc->oid;
+    break;
+  case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
+    to = (struct GNUNET_MESH_ToOrigin *) cbuf;
+    tid = &to->tid;
+    oid = &to->oid;
+    break;
+  default:
+    GNUNET_break (0);
+    return 0;
   }
-
-  GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
-  if (GNUNET_YES != GNUNET_CONTAINER_multihashmap_remove (c->tunnels, &hash, t))
+  t = tunnel_get (oid, ntohl (*tid));
+  if (NULL == t)
   {
-    r = GNUNET_SYSERR;
+    GNUNET_break (0);
+    return 0;
   }
-  GNUNET_CONTAINER_multihashmap_destroy (t->peers);
-  q = t->queue_head;
-  while (NULL != q)
+  // FIXME proper client differentiation mechanism required
+  if (htons (msg->type) == GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN)
+    *tid = htonl (t->local_tid);
+  else
+    *tid = htonl (t->local_tid_dest != 0 ? t->local_tid_dest : t->local_tid);
+  for (count = 0, c = clients; c != NULL; c = c->next)
   {
-    if (NULL != q->data)
-      GNUNET_free (q->data);
-    qn = q->next;
-    GNUNET_free (q);
-    q = qn;
-    /* TODO cancel core transmit ready in case it was active */
+#if MESH_DEBUG
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    client %u\n", c->id);
+#endif
+    if (client_is_subscribed (type, c))
+    {
+      count++;
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      sending\n");
+      GNUNET_SERVER_notification_context_unicast (nc, c->handle,
+                                                  (struct GNUNET_MessageHeader
+                                                   *) cbuf, GNUNET_YES);
+    }
   }
-  GNUNET_free (t);
-  return r;
+  return count;
 }
 
-/******************************************************************************/
-/************************    PERIODIC FUNCTIONS    ****************************/
-/******************************************************************************/
 
 /**
- * Periodically announce what applications are provided by local clients
+ * Notify the client that owns the tunnel that a peer has connected to it
+ * (the requested path to it has been confirmed).
  *
- * @param cls closure
- * @param tc task context
+ * @param t Tunnel whose owner to notify
+ * @param id Short id of the peer that has connected
  */
 static void
-announce_applications (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+send_client_peer_connected (const struct MeshTunnel *t, const GNUNET_PEER_Id id)
 {
-  GNUNET_HashCode hash;
-  uint8_t buffer[12] = "MESH_APP";
-  uint32_t *p;
-  uint32_t i;
-
-  if (tc->reason == GNUNET_SCHEDULER_REASON_SHUTDOWN)
-  {
-    announce_applications_task = GNUNET_SCHEDULER_NO_TASK;
-    return;
-  }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Starting PUT for %u apps\n",
-              n_apps);
-  p = (unsigned int *) &buffer[8];
-  for (i = 0; i < n_apps; i++)
-  {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Starting PUT for app %u\n",
-                applications[i]);
-    *p = htonl (applications[i]);
-    GNUNET_CRYPTO_hash (buffer, 12, &hash);
-    GNUNET_DHT_put (dht_handle, &hash, 10U, GNUNET_DHT_RO_RECORD_ROUTE,
-                    GNUNET_BLOCK_TYPE_ANY, sizeof (struct GNUNET_PeerIdentity),
-                    (const char *) &my_full_id,
-                    GNUNET_TIME_absolute_add (GNUNET_TIME_absolute_get (),
-                                              APP_ANNOUNCE_TIME),
-                    APP_ANNOUNCE_TIME,
-#if MESH_DEBUG
-                    &mesh_debug, "DHT_put for apps completed\n");
-#else
-                    NULL, NULL);
-#endif
-  }
-  announce_applications_task =
-      GNUNET_SCHEDULER_add_delayed (APP_ANNOUNCE_TIME, &announce_applications,
-                                    cls);
-  return;
+  struct GNUNET_MESH_PeerControl pc;
+
+  pc.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD);
+  pc.header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
+  pc.tunnel_id = htonl (t->local_tid);
+  GNUNET_PEER_resolve (id, &pc.peer);
+  GNUNET_SERVER_notification_context_unicast (nc, t->client->handle, &pc.header,
+                                              GNUNET_NO);
 }
 
 
 /**
- * Periodically announce self id in the DHT
+ * Notify all clients (not depending on registration status) that the incoming
+ * tunnel is no longer valid.
  *
- * @param cls closure
- * @param tc task context
+ * @param t Tunnel that was destroyed.
  */
 static void
-announce_id (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+send_clients_tunnel_destroy (struct MeshTunnel *t)
 {
-  if (tc->reason == GNUNET_SCHEDULER_REASON_SHUTDOWN)
-  {
-    announce_id_task = GNUNET_SCHEDULER_NO_TASK;
-    return;
-  }
-  /* TODO
-   * - Set data expiration in function of X
-   * - Adapt X to churn
-   */
-  GNUNET_DHT_put (dht_handle,   /* DHT handle */
-                  &my_full_id.hashPubKey,       /* Key to use */
-                  10U,          /* Replication level */
-                  GNUNET_DHT_RO_RECORD_ROUTE,   /* DHT options */
-                  GNUNET_BLOCK_TYPE_ANY,        /* Block type */
-                  0,            /* Size of the data */
-                  NULL,         /* Data itself */
-                  GNUNET_TIME_absolute_get_forever (),  /* Data expiration */
-                  GNUNET_TIME_UNIT_FOREVER_REL, /* Retry time */
-#if MESH_DEBUG
-                  &mesh_debug, "DHT_put for id completed\n");
-#else
-                  NULL,         /* Continuation */
-                  NULL);        /* Continuation closure */
-#endif
-  announce_id_task =
-      GNUNET_SCHEDULER_add_delayed (ID_ANNOUNCE_TIME, &announce_id, cls);
+  struct GNUNET_MESH_TunnelMessage msg;
+
+  msg.header.size = htons (sizeof (msg));
+  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY);
+  msg.tunnel_id = htonl (t->local_tid);
+  GNUNET_SERVER_notification_context_broadcast (nc, &msg.header, GNUNET_NO);
 }
 
-/******************************************************************************/
-/****************      MESH NETWORK HANDLER HELPERS     ***********************/
-/******************************************************************************/
 
 /**
  * Function called to notify a client about the socket
@@ -914,364 +913,1566 @@ announce_id (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
  * @return number of bytes written to buf
  */
 static size_t
-send_core_create_path_for_peer (void *cls, size_t size, void *buf)
-{
-  struct MeshPeerInfo *peer_info = cls;
-  struct GNUNET_MESH_ManipulatePath *msg;
-  struct MeshPath *p;
-  struct GNUNET_PeerIdentity *peer_ptr;
-  struct GNUNET_PeerIdentity id;
-  size_t size_needed;
-  int i;
-
-  if (0 == size && NULL == buf)
-  {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Retransmitting create path\n");
-    GNUNET_PEER_resolve (get_first_hop (peer_info->path), &id);
-    GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
-                                       GNUNET_TIME_UNIT_FOREVER_REL, &id,
-                                       sizeof (struct
-                                               GNUNET_MESH_ManipulatePath) +
-                                       (peer_info->path->length *
-                                        sizeof (struct GNUNET_PeerIdentity)),
-                                       &send_core_create_path_for_peer,
-                                       peer_info);
-    return 0;
-  }
-  p = peer_info->path;
-  while (NULL != p)
-  {
-    if (p->in_use)
-    {
-      break;
-    }
-    p = p->next;
-  }
-  if (p == NULL)
-    return 0;                   // TODO Notify ERROR Path not found
-
-  size_needed =
-      sizeof (struct GNUNET_MESH_ManipulatePath) +
-      p->length * sizeof (struct GNUNET_PeerIdentity);
-  if (size < size_needed)
-  {
-    // TODO retry? cancel?
-    return 0;
-  }
-
-  msg = (struct GNUNET_MESH_ManipulatePath *) buf;
-  msg->header.size = htons (size_needed);
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE);
-
-  peer_ptr = (struct GNUNET_PeerIdentity *) &msg[1];
-  for (i = 0; i < p->length; i++)
-  {
-    GNUNET_PEER_resolve (p->peers[i], peer_ptr++);
-  }
-
-  peer_info->state = MESH_PEER_WAITING;
-
-  return size_needed;
-}
+send_core_create_path (void *cls, size_t size, void *buf);
 
 
-#if LATER
 /**
  * Function called to notify a client about the socket
  * being ready to queue more data.  "buf" will be
  * NULL and "size" zero if the socket was closed for
  * writing in the meantime.
  *
- * @param cls closure (MeshDataDescriptor with all info to build packet)
+ * @param cls closure (data itself)
  * @param size number of bytes available in buf
  * @param buf where the callee should write the message
+ *
  * @return number of bytes written to buf
  */
 static size_t
-send_core_data_to_origin (void *cls, size_t size, void *buf)
+send_core_data_multicast (void *cls, size_t size, void *buf);
+
+
+/**
+ * Decrements the reference counter and frees all resources if needed
+ *
+ * @param dd Data Descriptor used in a multicast message. Freed if needed.
+ */
+static void
+data_descriptor_decrement_multicast (struct MeshData *mesh_data)
 {
-  struct MeshDataDescriptor *info = cls;
-  struct GNUNET_MESH_ToOrigin *msg = buf;
-  size_t total_size;
+  /* Make sure it's a multicast packet */
+  GNUNET_assert (NULL != mesh_data->reference_counter);
 
-  GNUNET_assert (NULL != info);
-  total_size = sizeof (struct GNUNET_MESH_ToOrigin) + info->size;
-  GNUNET_assert (total_size < 65536);   /* UNIT16_MAX */
+  if (0 == --(*(mesh_data->reference_counter)))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Last copy!\n");
+    if (NULL != mesh_data->task)
+    {
+      if (GNUNET_SCHEDULER_NO_TASK != *(mesh_data->task))
+      {
+        GNUNET_SCHEDULER_cancel (*(mesh_data->task));
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  notifying client...\n");
+        GNUNET_SERVER_receive_done (mesh_data->t->client->handle, GNUNET_OK);
+      }
+      GNUNET_free (mesh_data->task);
+    }
+    GNUNET_free (mesh_data->reference_counter);
+    GNUNET_free (mesh_data->data);
+    GNUNET_free (mesh_data);
+  }
+}
 
-  if (total_size > size)
+
+/**
+ * Cancel a core transmission that was already requested and free all resources
+ * associated to the request.
+ *
+ * @param peer PeeInfo of the peer whose transmission is cancelled.
+ * @param i Position of the transmission to be cancelled.
+ */
+static void
+peer_info_cancel_transmission (struct MeshPeerInfo *peer, unsigned int i)
+{
+  if (NULL != peer->core_transmit[i])
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                "not enough buffer to send data to origin\n");
-    return 0;
+    struct MeshTransmissionDescriptor *dd;
+    struct MeshPathInfo *path_info;
+
+#if MESH_DEBUG
+    {
+      struct GNUNET_PeerIdentity id;
+
+      GNUNET_PEER_resolve (peer->id, &id);
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                  "MESH:   Cancelling data transmission at %s [%u]\n",
+                  GNUNET_i2s (&id), i);
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    message type %u\n",
+                  peer->types[i]);
+    }
+#endif
+    /* TODO: notify that tranmission has failed */
+    switch (peer->types[i])
+    {
+    case GNUNET_MESSAGE_TYPE_MESH_MULTICAST:
+    case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
+    case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    type payload\n");
+      dd = peer->infos[i];
+      data_descriptor_decrement_multicast (dd->mesh_data);
+      break;
+    case GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE:
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    type create path\n");
+      path_info = peer->infos[i];
+      path_destroy (path_info->path);
+      break;
+    default:
+      GNUNET_break (0);
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    type unknown!\n");
+    }
+    GNUNET_CORE_notify_transmit_ready_cancel (peer->core_transmit[i]);
+    peer->core_transmit[i] = NULL;
+    GNUNET_free (peer->infos[i]);
   }
-  msg->header.size = htons (total_size);
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_DATA_MESSAGE_TO_ORIGIN);
-  GNUNET_PEER_resolve (info->origin->oid, &msg->oid);
-  msg->tid = htonl (info->origin->tid);
-  if (0 != info->size)
+}
+
+
+/**
+ * Get a unused CORE slot to transmit a message to a peer. If all the slots
+ * are used, cancel one and return it's position.
+ *
+ * @param peer PeerInfo of the neighbor we want to transmit to.
+ *
+ * @return The index of an available slot to transmit to the neighbor.
+ */
+static unsigned int
+peer_info_transmit_slot (struct MeshPeerInfo *peer)
+{
+  unsigned int i;
+
+  for (i = 0; peer->core_transmit[i]; i++)
   {
-    memcpy (&msg[1], &info[1], info->size);
+    if (i == (CORE_QUEUE_SIZE - 1))
+    {
+      /* All positions are taken! Overwriting! */
+      GNUNET_break (0);
+      peer_info_cancel_transmission (peer, 0);
+      return 0;
+    }
   }
-  if (NULL != info->client)
+  return i;
+}
+
+
+/**
+ * Retrieve the MeshPeerInfo stucture associated with the peer, create one
+ * and insert it in the appropiate structures if the peer is not known yet.
+ *
+ * @param peer Full identity of the peer.
+ *
+ * @return Existing or newly created peer info.
+ */
+static struct MeshPeerInfo *
+peer_info_get (const struct GNUNET_PeerIdentity *peer)
+{
+  struct MeshPeerInfo *peer_info;
+
+  peer_info = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
+  if (NULL == peer_info)
   {
-    GNUNET_SERVER_receive_done (info->client, GNUNET_OK);
+    peer_info =
+        (struct MeshPeerInfo *) GNUNET_malloc (sizeof (struct MeshPeerInfo));
+    GNUNET_CONTAINER_multihashmap_put (peers, &peer->hashPubKey, peer_info,
+                                       GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
+    peer_info->id = GNUNET_PEER_intern (peer);
   }
-  GNUNET_free (info);
-  return total_size;
+
+  return peer_info;
 }
-#endif
+
 
 /**
- * Function called to notify a client about the socket
- * being ready to queue more data.  "buf" will be
- * NULL and "size" zero if the socket was closed for
- * writing in the meantime.
+ * Retrieve the MeshPeerInfo stucture associated with the peer, create one
+ * and insert it in the appropiate structures if the peer is not known yet.
  *
- * @param cls closure (data itself)
- * @param size number of bytes available in buf
- * @param buf where the callee should write the message
- * @return number of bytes written to buf
+ * @param peer Short identity of the peer.
+ *
+ * @return Existing or newly created peer info.
+ */
+static struct MeshPeerInfo *
+peer_info_get_short (const GNUNET_PEER_Id peer)
+{
+  struct GNUNET_PeerIdentity id;
+
+  GNUNET_PEER_resolve (peer, &id);
+  return peer_info_get (&id);
+}
+
+
+/**
+ * Iterator to remove the tunnel from the list of tunnels a peer participates
+ * in.
+ *
+ * @param cls Closure (tunnel info)
+ * @param key GNUNET_PeerIdentity of the peer (unused)
+ * @param value PeerInfo of the peer
+ *
+ * @return always GNUNET_YES, to keep iterating
  */
+static int
+peer_info_delete_tunnel (void *cls, const GNUNET_HashCode * key, void *value)
+{
+  struct MeshTunnel *t = cls;
+  struct MeshPeerInfo *peer = value;
+  unsigned int i;
+
+  for (i = 0; i < peer->ntunnels; i++)
+  {
+    if (0 ==
+        memcmp (&peer->tunnels[i]->id, &t->id, sizeof (struct MESH_TunnelID)))
+    {
+      peer->ntunnels--;
+      peer->tunnels[i] = peer->tunnels[peer->ntunnels];
+      peer->tunnels = GNUNET_realloc (peer->tunnels, peer->ntunnels);
+      return GNUNET_YES;
+    }
+  }
+  return GNUNET_YES;
+}
+
+
+/**
+  * Core callback to write a
+  *
+  * @param cls Closure (MeshTransmissionDescriptor with data in "data" member).
+  * @param size Number of bytes available in buf.
+  * @param buf Where the to write the message.
+  *
+  * @return number of bytes written to buf
+  */
 static size_t
-send_core_data_unicast (void *cls, size_t size, void *buf)
+send_core_data_raw (void *cls, size_t size, void *buf)
 {
-  struct MeshDataDescriptor *info = cls;
-  struct GNUNET_MESH_Unicast *msg = buf;
+  struct MeshTransmissionDescriptor *info = cls;
+  struct GNUNET_MessageHeader *msg;
   size_t total_size;
 
   GNUNET_assert (NULL != info);
-  total_size = sizeof (struct GNUNET_MESH_Unicast) + info->size;
-  GNUNET_assert (total_size < 65536);   /* UNIT16_MAX */
+  GNUNET_assert (NULL != info->mesh_data);
+  msg = (struct GNUNET_MessageHeader *) info->mesh_data->data;
+  total_size = ntohs (msg->size);
 
   if (total_size > size)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                "not enough buffer to send data to peer\n");
+    struct GNUNET_PeerIdentity id;
+
+    GNUNET_PEER_resolve (info->peer->id, &id);
+    info->peer->core_transmit[info->handler_n] =
+        GNUNET_CORE_notify_transmit_ready (core_handle, 0, 100,
+                                           GNUNET_TIME_UNIT_FOREVER_REL, &id,
+                                           size, &send_core_data_raw, info);
     return 0;
   }
-  msg->header.size = htons (total_size);
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_UNICAST);
-  GNUNET_PEER_resolve (info->origin->oid, &msg->oid);
-  GNUNET_PEER_resolve (info->destination, &msg->destination);
-  msg->tid = htonl (info->origin->tid);
-  if (0 != info->size)
-  {
-    memcpy (&msg[1], &info[1], info->size);
-  }
-  if (NULL != info->client)
-  {
-    GNUNET_SERVER_receive_done (info->client, GNUNET_OK);
-  }
+  info->peer->core_transmit[info->handler_n] = NULL;
+  memcpy (buf, msg, total_size);
+  GNUNET_free (info->mesh_data);
   GNUNET_free (info);
   return total_size;
 }
 
 
 /**
- * Function called to notify a client about the socket
- * being ready to queue more data.  "buf" will be
- * NULL and "size" zero if the socket was closed for
- * writing in the meantime.
+ * Sends an already built message to a peer, properly registrating
+ * all used resources.
  *
- * @param cls closure (data itself)
- * @param size number of bytes available in buf
- * @param buf where the callee should write the message
- * @return number of bytes written to buf
+ * @param message Message to send. Fucntion makes a copy of it.
+ * @param peer Short ID of the neighbor whom to send the message.
+ *
+ * FIXME tunnel?
  */
-static size_t
-send_core_data_multicast (void *cls, size_t size, void *buf)
+static void
+send_message (const struct GNUNET_MessageHeader *message,
+              const struct GNUNET_PeerIdentity *peer)
 {
-  struct MeshDataDescriptor *info = cls;
-  struct GNUNET_MESH_Multicast *msg = buf;
-  size_t total_size;
+  struct MeshTransmissionDescriptor *info;
+  struct MeshPeerInfo *neighbor;
+  struct MeshPeerPath *p;
+  unsigned int i;
+  size_t size;
 
-  GNUNET_assert (NULL != info);
-  total_size = info->size + sizeof (struct GNUNET_MESH_Multicast);
-  GNUNET_assert (total_size < GNUNET_SERVER_MAX_MESSAGE_SIZE);
+//   GNUNET_TRANSPORT_try_connect();
 
-  if (info->peer)
-  {
-    info->peer->core_transmit[info->handler_n] = NULL;
-  }
-  if (total_size > size)
-  {
-    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                "not enough buffer to send data futher\n");
-    return 0;
-  }
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_MULTICAST);
-  msg->header.size = htons (total_size);
-  GNUNET_PEER_resolve (info->origin->oid, &msg->oid);
-  msg->tid = htonl (info->origin->tid);
-  memcpy (&msg[1], &info[1], total_size);
-  if (0 == --info->copies)
+  size = ntohs (message->size);
+  info = GNUNET_malloc (sizeof (struct MeshTransmissionDescriptor));
+  info->mesh_data = GNUNET_malloc (sizeof (struct MeshData));
+  info->mesh_data->data = GNUNET_malloc (size);
+  memcpy (info->mesh_data->data, message, size);
+  info->mesh_data->data_len = size;
+  neighbor = peer_info_get (peer);
+  for (p = neighbor->path_head; NULL != p; p = p->next)
   {
-    if (NULL != info->client)
+    if (2 == p->length)
     {
-      GNUNET_SERVER_receive_done (info->client, GNUNET_OK);
+      break;
     }
+  }
+  if (NULL == p)
+  {
+    GNUNET_break (0);
+    GNUNET_free (info->mesh_data->data);
+    GNUNET_free (info->mesh_data);
     GNUNET_free (info);
+    return;
   }
-  return total_size;
+  i = peer_info_transmit_slot (neighbor);
+  info->handler_n = i;
+  info->peer = neighbor;
+  neighbor->types[i] = GNUNET_MESSAGE_TYPE_MESH_UNICAST;
+  neighbor->infos[i] = info;
+  neighbor->core_transmit[i] =
+      GNUNET_CORE_notify_transmit_ready (core_handle, 0, 100,
+                                         GNUNET_TIME_UNIT_FOREVER_REL, peer,
+                                         size, &send_core_data_raw, info);
+
 }
 
 
 /**
- * Function called to notify a client about the socket
- * being ready to queue more data.  "buf" will be
- * NULL and "size" zero if the socket was closed for
- * writing in the meantime.
+ * Sends a CREATE PATH message for a path to a peer, properly registrating
+ * all used resources.
  *
- * @param cls closure (MeshDataDescriptor)
- * @param size number of bytes available in buf
- * @param buf where the callee should write the message
- * @return number of bytes written to buf
+ * @param peer PeerInfo of the final peer for whom this path is being created.
+ * @param p Path itself.
+ * @param t Tunnel for which the path is created.
  */
-static size_t
-send_core_path_ack (void *cls, size_t size, void *buf)
+static void
+send_create_path (struct MeshPeerInfo *peer, struct MeshPeerPath *p,
+                  struct MeshTunnel *t)
 {
-  struct MeshDataDescriptor *info = cls;
-  struct GNUNET_MESH_PathACK *msg = buf;
+  struct GNUNET_PeerIdentity id;
+  struct MeshPathInfo *path_info;
+  struct MeshPeerInfo *neighbor;
+  unsigned int i;
 
-  GNUNET_assert (NULL != info);
-  if (info->peer)
+  if (NULL == p)
   {
-    info->peer->core_transmit[info->handler_n] = NULL;
+    p = tree_get_path_to_peer (t->tree, peer->id);
+    if (NULL == p)
+    {
+      GNUNET_break (0);
+      return;
+    }
   }
-  if (sizeof (struct GNUNET_MESH_PathACK) > size)
+  for (i = 0; i < p->length; i++)
+  {
+    if (p->peers[i] == myid)
+      break;
+  }
+  if (i >= p->length - 1)
   {
+    path_destroy (p);
     GNUNET_break (0);
-    return 0;
+    return;
   }
-  msg->header.size = htons (sizeof (struct GNUNET_MESH_PathACK));
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_ACK);
-  GNUNET_PEER_resolve (info->origin->oid, &msg->oid);
-  msg->tid = htonl (info->origin->tid);
-  msg->peer_id = my_full_id;
-  /* TODO add signature */
-
-  return sizeof (struct GNUNET_MESH_PathACK);
+  GNUNET_PEER_resolve (p->peers[i + 1], &id);
+
+  path_info = GNUNET_malloc (sizeof (struct MeshPathInfo));
+  path_info->path = p;
+  path_info->t = t;
+  neighbor = peer_info_get (&id);
+  path_info->peer = neighbor;
+  path_info->pos = peer_info_transmit_slot (neighbor);
+  neighbor->types[path_info->pos] = GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE;
+  neighbor->infos[path_info->pos] = path_info;
+  neighbor->core_transmit[path_info->pos] = GNUNET_CORE_notify_transmit_ready (core_handle,     /* handle */
+                                                                               0,       /* cork */
+                                                                               0,       /* priority */
+                                                                               GNUNET_TIME_UNIT_FOREVER_REL,    /* timeout */
+                                                                               &id,     /* target */
+                                                                               sizeof (struct GNUNET_MESH_ManipulatePath) + (p->length * sizeof (struct GNUNET_PeerIdentity)),  /*size */
+                                                                               &send_core_create_path,  /* callback */
+                                                                               path_info);      /* cls */
 }
 
 
 /**
- * Function called to notify a client about the socket
- * being ready to queue more data.  "buf" will be
- * NULL and "size" zero if the socket was closed for
- * writing in the meantime.
+ * Sends a DESTROY PATH message to free resources for a path in a tunnel
  *
- * @param cls closure (data itself)
- * @param size number of bytes available in buf
- * @param buf where the callee should write the message
- * @return number of bytes written to buf
+ * @param t Tunnel whose path to destroy.
+ * @param destination Short ID of the peer to whom the path to destroy.
  */
-static size_t
-send_core_data_raw (void *cls, size_t size, void *buf)
+static void
+send_destroy_path (struct MeshTunnel *t, GNUNET_PEER_Id destination)
 {
-  struct GNUNET_MessageHeader *msg = cls;
-  size_t total_size;
-
-  GNUNET_assert (NULL != msg);
-  total_size = ntohs (msg->size);
+  struct MeshPeerPath *p;
+  size_t size;
 
-  if (total_size > size)
+  p = tree_get_path_to_peer (t->tree, destination);
+  if (NULL == p)
   {
     GNUNET_break (0);
-    return 0;
+    return;
   }
-  memcpy (buf, msg, total_size);
-  GNUNET_free (cls);
-  return total_size;
+  size = sizeof (struct GNUNET_MESH_ManipulatePath);
+  size += p->length * sizeof (struct GNUNET_PeerIdentity);
+  {
+    struct GNUNET_MESH_ManipulatePath *msg;
+    struct GNUNET_PeerIdentity *pi;
+    char cbuf[size];
+    unsigned int i;
+
+    msg = (struct GNUNET_MESH_ManipulatePath *) cbuf;
+    msg->header.size = htons (size);
+    msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_DESTROY);
+    msg->tid = htonl (t->id.tid);
+    pi = (struct GNUNET_PeerIdentity *) &msg[1];
+    for (i = 0; i < p->length; i++)
+    {
+      GNUNET_PEER_resolve (p->peers[i], &pi[i]);
+    }
+    send_message (&msg->header, tree_get_first_hop (t->tree, destination));
+  }
+  path_destroy (p);
 }
 
 
-#if LATER
 /**
- * Send another peer a notification to destroy a tunnel
- * @param cls The tunnel to destroy
- * @param size Size in the buffer
- * @param buf Memory where to put the data to transmit
- * @return Size of data put in buffer
+ * Try to establish a new connection to this peer.
+ * Use the best path for the given tunnel.
+ * If the peer doesn't have any path to it yet, try to get one.
+ * If the peer already has some path, send a CREATE PATH towards it.
+ *
+ * @param peer PeerInfo of the peer.
+ * @param t Tunnel for which to create the path, if possible.
  */
-static size_t
-send_p2p_tunnel_destroy (void *cls, size_t size, void *buf)
+static void
+peer_info_connect (struct MeshPeerInfo *peer, struct MeshTunnel *t)
 {
-  struct MeshTunnel *t = cls;
-  struct MeshClient *c;
-  struct GNUNET_MESH_TunnelMessage *msg;
+  struct MeshPeerPath *p;
+  struct MeshPathInfo *path_info;
 
-  c = t->client;
-  msg = buf;
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY);
-   /*FIXME*/ msg->header.size =
-      htons (sizeof (struct GNUNET_MESH_TunnelMessage));
-  msg->tunnel_id = htonl (t->id.tid);
+  if (NULL != peer->path_head)
+  {
+    p = tree_get_path_to_peer (t->tree, peer->id);
+    if (NULL == p)
+    {
+      GNUNET_break (0);
+      return;
+    }
 
-  destroy_tunnel (c, t);
-  return sizeof (struct GNUNET_MESH_TunnelMessage);
+    if (p->length > 1)
+    {
+      send_create_path (peer, p, t);
+    }
+    else
+    {
+      path_destroy (p);
+      send_client_peer_connected (t, myid);
+    }
+  }
+  else if (NULL == peer->dhtget)
+  {
+    struct GNUNET_PeerIdentity id;
+
+    GNUNET_PEER_resolve (peer->id, &id);
+    path_info = GNUNET_malloc (sizeof (struct MeshPathInfo));
+    path_info->peer = peer;
+    path_info->t = t;
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "MESH:   Starting DHT GET for peer %s\n", GNUNET_i2s (&id));
+    peer->dhtgetcls = path_info;
+    peer->dhtget = GNUNET_DHT_get_start (dht_handle,    /* handle */
+                                         GNUNET_TIME_UNIT_FOREVER_REL,  /* timeout */
+                                         GNUNET_BLOCK_TYPE_TEST,        /* type */
+                                         &id.hashPubKey,        /* key to search */
+                                         4,     /* replication level */
+                                         GNUNET_DHT_RO_RECORD_ROUTE | GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE, NULL,       /* xquery */
+                                         0,     /* xquery bits */
+                                         &dht_get_id_handler, path_info);
+  }
+  /* Otherwise, there is no path but the DHT get is already started. */
 }
-#endif
 
 
 /**
- * Send the message to all clients that have subscribed to its type
+ * Task to delay the connection of a peer
  *
- * @param msg Pointer to the message itself
- * @return number of clients this message was sent to
+ * @param cls Closure (path info with tunnel and peer to connect).
+ *            Will be free'd on exection.
+ * @param tc TaskContext
  */
-static unsigned int
-send_subscribed_clients (struct GNUNET_MessageHeader *msg)
+static void
+peer_info_connect_task (void *cls,
+                        const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  struct MeshClient *c;
-  unsigned int count;
-  uint16_t type;
+  struct MeshPathInfo *path_info = cls;
 
-  type = ntohs (msg->type);
-  for (count = 0, c = clients; c != NULL; c = c->next)
+  if (0 != (GNUNET_SCHEDULER_REASON_SHUTDOWN & tc->reason))
+  {
+    GNUNET_free (cls);
+    return;
+  }
+  peer_info_connect (path_info->peer, path_info->t);
+  GNUNET_free (cls);
+}
+
+
+/**
+ * Destroy the peer_info and free any allocated resources linked to it
+ *
+ * @param pi The peer_info to destroy.
+ *
+ * @return GNUNET_OK on success
+ */
+static int
+peer_info_destroy (struct MeshPeerInfo *pi)
+{
+  struct GNUNET_PeerIdentity id;
+  struct MeshPeerPath *p;
+  struct MeshPeerPath *nextp;
+  unsigned int i;
+
+  GNUNET_PEER_resolve (pi->id, &id);
+  GNUNET_PEER_change_rc (pi->id, -1);
+
+  if (GNUNET_YES !=
+      GNUNET_CONTAINER_multihashmap_remove (peers, &id.hashPubKey, pi))
+  {
+    GNUNET_break (0);
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                "MESH: removing peer %s, not in hashmap\n", GNUNET_i2s (&id));
+  }
+  if (NULL != pi->dhtget)
+  {
+    GNUNET_DHT_get_stop (pi->dhtget);
+    GNUNET_free (pi->dhtgetcls);
+  }
+  for (i = 0; i < CORE_QUEUE_SIZE; i++)
+  {
+    peer_info_cancel_transmission (pi, i);
+  }
+  p = pi->path_head;
+  while (NULL != p)
+  {
+    nextp = p->next;
+    GNUNET_CONTAINER_DLL_remove (pi->path_head, pi->path_tail, p);
+    path_destroy (p);
+    p = nextp;
+  }
+  GNUNET_free (pi);
+  return GNUNET_OK;
+}
+
+
+/**
+ * Remove all paths that rely on a direct connection between p1 and p2
+ * from the peer itself and notify all tunnels about it.
+ *
+ * @param peer PeerInfo of affected peer.
+ * @param p1 GNUNET_PEER_Id of one peer.
+ * @param p2 GNUNET_PEER_Id of another peer that was connected to the first and
+ *           no longer is.
+ *
+ * TODO: optimize (see below)
+ */
+static void
+peer_info_remove_path (struct MeshPeerInfo *peer, GNUNET_PEER_Id p1,
+                       GNUNET_PEER_Id p2)
+{
+  struct MeshPeerPath *p;
+  struct MeshPeerPath *aux;
+  struct MeshPeerInfo *peer_d;
+  GNUNET_PEER_Id d;
+  unsigned int destroyed;
+  unsigned int best;
+  unsigned int cost;
+  unsigned int i;
+
+  destroyed = 0;
+  p = peer->path_head;
+  while (NULL != p)
+  {
+    aux = p->next;
+    for (i = 0; i < (p->length - 1); i++)
+    {
+      if ((p->peers[i] == p1 && p->peers[i + 1] == p2) ||
+          (p->peers[i] == p2 && p->peers[i + 1] == p1))
+      {
+        GNUNET_CONTAINER_DLL_remove (peer->path_head, peer->path_tail, p);
+        path_destroy (p);
+        destroyed++;
+        break;
+      }
+    }
+    p = aux;
+  }
+  if (0 == destroyed)
+    return;
+
+  for (i = 0; i < peer->ntunnels; i++)
+  {
+    d = tunnel_notify_connection_broken (peer->tunnels[i], p1, p2);
+    if (0 == d)
+      continue;
+    /* TODO
+     * Problem: one or more peers have been deleted from the tunnel tree.
+     * We don't know who they are to try to add them again.
+     * We need to try to find a new path for each of the disconnected peers.
+     * Some of them might already have a path to reach them that does not
+     * involve p1 and p2. Adding all anew might render in a better tree than
+     * the trivial immediate fix.
+     *
+     * Trivial immiediate fix: try to reconnect to the disconnected node. All
+     * its children will be reachable trough him.
+     */
+    peer_d = peer_info_get_short (d);
+    best = UINT_MAX;
+    aux = NULL;
+    for (p = peer_d->path_head; NULL != p; p = p->next)
+    {
+      if ((cost = tree_get_path_cost (peer->tunnels[i]->tree, p)) < best)
+      {
+        best = cost;
+        aux = p;
+      }
+    }
+    if (NULL != aux)
+    {
+      /* No callback, as peer will be already disconnected and a connection
+       * scheduled by tunnel_notify_connection_broken.
+       */
+      tree_add_path (peer->tunnels[i]->tree, aux, NULL, NULL);
+    }
+    else
+    {
+      peer_info_connect (peer_d, peer->tunnels[i]);
+    }
+  }
+}
+
+
+/**
+ * Add the path to the peer and update the path used to reach it in case this
+ * is the shortest.
+ *
+ * @param peer_info Destination peer to add the path to.
+ * @param path New path to add. Last peer must be the peer in arg 1.
+ *             Path will be either used of freed if already known.
+ * @param trusted Do we trust that this path is real?
+ */
+void
+peer_info_add_path (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path,
+                    int trusted)
+{
+  struct MeshPeerPath *aux;
+  unsigned int l;
+  unsigned int l2;
+
+  if ((NULL == peer_info) || (NULL == path))
+  {
+    GNUNET_break (0);
+    path_destroy (path);
+    return;
+  }
+  if (path->peers[path->length - 1] != peer_info->id)
+  {
+    GNUNET_break (0);
+    path_destroy (path);
+    return;
+  }
+  if (path->length <= 2 && GNUNET_NO == trusted)
+  {
+    /* Only allow CORE to tell us about direct paths */
+    path_destroy (path);
+    return;
+  }
+  GNUNET_assert (peer_info->id == path->peers[path->length - 1]);
+  for (l = 1; l < path->length; l++)
+  {
+    if (path->peers[l] == myid)
+    {
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: shortening path by %u\n", l);
+      for (l2 = 0; l2 < path->length - l; l2++)
+      {
+        path->peers[l2] = path->peers[l + l2];
+      }
+      path->length -= l;
+      l = 1;
+      path->peers =
+          GNUNET_realloc (path->peers, path->length * sizeof (GNUNET_PEER_Id));
+    }
+  }
+#if MESH_DEBUG
+  {
+    struct GNUNET_PeerIdentity id;
+
+    GNUNET_PEER_resolve (peer_info->id, &id);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: adding path [%u] to peer %s\n",
+                path->length, GNUNET_i2s (&id));
+  }
+#endif
+  l = path_get_length (path);
+  if (0 == l)
+  {
+    GNUNET_free (path);
+    return;
+  }
+
+  GNUNET_assert (peer_info->id == path->peers[path->length - 1]);
+  for (aux = peer_info->path_head; aux != NULL; aux = aux->next)
+  {
+    l2 = path_get_length (aux);
+    if (l2 > l)
+    {
+      GNUNET_CONTAINER_DLL_insert_before (peer_info->path_head,
+                                          peer_info->path_tail, aux, path);
+      return;
+    }
+    else
+    {
+      if (l2 == l && memcmp (path->peers, aux->peers, l) == 0)
+      {
+        path_destroy (path);
+        return;
+      }
+    }
+  }
+  GNUNET_CONTAINER_DLL_insert_tail (peer_info->path_head, peer_info->path_tail,
+                                    path);
+  return;
+}
+
+
+/**
+ * Add the path to the origin peer and update the path used to reach it in case
+ * this is the shortest.
+ * The path is given in peer_info -> destination, therefore we turn the path
+ * upside down first.
+ *
+ * @param peer_info Peer to add the path to, being the origin of the path.
+ * @param path New path to add after being inversed.
+ * @param trusted Do we trust that this path is real?
+ */
+static void
+peer_info_add_path_to_origin (struct MeshPeerInfo *peer_info,
+                              struct MeshPeerPath *path, int trusted)
+{
+  path_invert (path);
+  peer_info_add_path (peer_info, path, trusted);
+}
+
+
+/**
+ * Build a PeerPath from the paths returned from the DHT, reversing the paths
+ * to obtain a local peer -> destination path and interning the peer ids.
+ *
+ * @return Newly allocated and created path
+ */
+static struct MeshPeerPath *
+path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
+                     unsigned int get_path_length,
+                     const struct GNUNET_PeerIdentity *put_path,
+                     unsigned int put_path_length)
+{
+  struct MeshPeerPath *p;
+  GNUNET_PEER_Id id;
+  int i;
+
+  p = path_new (1);
+  p->peers[0] = myid;
+  GNUNET_PEER_change_rc (myid, 1);
+  i = get_path_length;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    GET has %d hops.\n", i);
+  for (i--; i >= 0; i--)
+  {
+    id = GNUNET_PEER_intern (&get_path[i]);
+    if (p->length > 0 && id == p->peers[p->length - 1])
+    {
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    Optimizing 1 hop out.\n");
+      GNUNET_PEER_change_rc (id, -1);
+    }
+    else
+    {
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    Adding from GET: %s.\n",
+                  GNUNET_i2s (&get_path[i]));
+      p->length++;
+      p->peers = GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * p->length);
+      p->peers[p->length - 1] = id;
+    }
+  }
+  i = put_path_length;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    PUT has %d hops.\n", i);
+  for (i--; i >= 0; i--)
+  {
+    id = GNUNET_PEER_intern (&put_path[i]);
+    if (id == myid)
+    {
+      /* PUT path went through us, so discard the path up until now and start
+       * from here to get a much shorter (and loop-free) path.
+       */
+      path_destroy (p);
+      p = path_new (0);
+    }
+    if (p->length > 0 && id == p->peers[p->length - 1])
+    {
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    Optimizing 1 hop out.\n");
+      GNUNET_PEER_change_rc (id, -1);
+    }
+    else
+    {
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    Adding from PUT: %s.\n",
+                  GNUNET_i2s (&put_path[i]));
+      p->length++;
+      p->peers = GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * p->length);
+      p->peers[p->length - 1] = id;
+    }
+  }
+#if MESH_DEBUG
+  if (get_path_length > 0)
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    (first of GET: %s)\n",
+                GNUNET_i2s (&get_path[0]));
+  if (put_path_length > 0)
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    (first of PUT: %s)\n",
+                GNUNET_i2s (&put_path[0]));
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    In total: %d hops\n",
+              p->length);
+  for (i = 0; i < p->length; i++)
+  {
+    struct GNUNET_PeerIdentity peer_id;
+
+    GNUNET_PEER_resolve (p->peers[i], &peer_id);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:        %u: %s\n", p->peers[i],
+                GNUNET_i2s (&peer_id));
+  }
+#endif
+  return p;
+}
+
+
+/**
+ * Adds a path to the peer_infos of all the peers in the path
+ *
+ * @param p Path to process.
+ * @param confirmed Whether we know if the path works or not. FIXME use
+ */
+static void
+path_add_to_peers (struct MeshPeerPath *p, int confirmed)
+{
+  unsigned int i;
+
+  /* TODO: invert and add */
+  for (i = 0; i < p->length && p->peers[i] != myid; i++) /* skip'em */ ;
+  for (i++; i < p->length; i++)
+  {
+    struct MeshPeerInfo *aux;
+    struct MeshPeerPath *copy;
+
+    aux = peer_info_get_short (p->peers[i]);
+    copy = path_duplicate (p);
+    copy->length = i + 1;
+    peer_info_add_path (aux, copy, GNUNET_NO);
+  }
+}
+
+
+/**
+ * Send keepalive packets for a peer
+ *
+ * @param cls Closure (tunnel for which to send the keepalive).
+ * @param tc Notification context.
+ *
+ * TODO: implement explicit multicast keepalive?
+ */
+static void
+path_refresh (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
+
+
+/**
+ * Search for a tunnel among the incoming tunnels
+ *
+ * @param tid the local id of the tunnel
+ *
+ * @return tunnel handler, NULL if doesn't exist
+ */
+static struct MeshTunnel *
+tunnel_get_incoming (MESH_TunnelNumber tid)
+{
+  GNUNET_HashCode hash;
+
+  GNUNET_assert (tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV);
+  GNUNET_CRYPTO_hash (&tid, sizeof (MESH_TunnelNumber), &hash);
+  return GNUNET_CONTAINER_multihashmap_get (incoming_tunnels, &hash);
+}
+
+
+/**
+ * Search for a tunnel among the tunnels for a client
+ *
+ * @param c the client whose tunnels to search in
+ * @param tid the local id of the tunnel
+ *
+ * @return tunnel handler, NULL if doesn't exist
+ */
+static struct MeshTunnel *
+tunnel_get_by_local_id (struct MeshClient *c, MESH_TunnelNumber tid)
+{
+  if (tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
+  {
+    return tunnel_get_incoming (tid);
+  }
+  else
+  {
+    GNUNET_HashCode hash;
+
+    GNUNET_CRYPTO_hash (&tid, sizeof (MESH_TunnelNumber), &hash);
+    return GNUNET_CONTAINER_multihashmap_get (c->tunnels, &hash);
+  }
+}
+
+
+/**
+ * Search for a tunnel by global ID using PEER_ID
+ *
+ * @param pi owner of the tunnel
+ * @param tid global tunnel number
+ *
+ * @return tunnel handler, NULL if doesn't exist
+ */
+static struct MeshTunnel *
+tunnel_get_by_pi (GNUNET_PEER_Id pi, MESH_TunnelNumber tid)
+{
+  struct MESH_TunnelID id;
+  GNUNET_HashCode hash;
+
+  id.oid = pi;
+  id.tid = tid;
+
+  GNUNET_CRYPTO_hash (&id, sizeof (struct MESH_TunnelID), &hash);
+  return GNUNET_CONTAINER_multihashmap_get (tunnels, &hash);
+}
+
+
+/**
+ * Search for a tunnel by global ID using full PeerIdentities
+ *
+ * @param oid owner of the tunnel
+ * @param tid global tunnel number
+ *
+ * @return tunnel handler, NULL if doesn't exist
+ */
+static struct MeshTunnel *
+tunnel_get (struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid)
+{
+  return tunnel_get_by_pi (GNUNET_PEER_search (oid), tid);
+}
+
+
+/**
+ * Callback used to notify a client owner of a tunnel that a peer has
+ * disconnected, most likely because of a path change.
+ *
+ * @param cls Closure (tunnel this notification is about).
+ * @param peer_id Short ID of disconnected peer.
+ */
+void
+notify_peer_disconnected (void *cls, GNUNET_PEER_Id peer_id)
+{
+  struct MeshTunnel *t = cls;
+  struct MeshPeerInfo *peer;
+  struct MeshPathInfo *path_info;
+
+  if (NULL != t->client && NULL != nc)
+  {
+    struct GNUNET_MESH_PeerControl msg;
+
+    msg.header.size = htons (sizeof (msg));
+    msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DEL);
+    msg.tunnel_id = htonl (t->local_tid);
+    GNUNET_PEER_resolve (peer_id, &msg.peer);
+    GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
+                                                &msg.header, GNUNET_NO);
+  }
+  peer = peer_info_get_short (peer_id);
+  path_info = GNUNET_malloc (sizeof (struct MeshPathInfo));
+  path_info->peer = peer;
+  path_info->t = t;
+  GNUNET_SCHEDULER_add_now (&peer_info_connect_task, path_info);
+}
+
+
+/**
+ * Add a peer to a tunnel, accomodating paths accordingly and initializing all
+ * needed rescources.
+ * If peer already exists, reevaluate shortest path and change if different.
+ *
+ * @param t Tunnel we want to add a new peer to
+ * @param peer PeerInfo of the peer being added
+ *
+ */
+static void
+tunnel_add_peer (struct MeshTunnel *t, struct MeshPeerInfo *peer)
+{
+  struct GNUNET_PeerIdentity id;
+  struct MeshPeerPath *best_p;
+  struct MeshPeerPath *p;
+  unsigned int best_cost;
+  unsigned int cost;
+
+  GNUNET_PEER_resolve (peer->id, &id);
+  if (GNUNET_NO ==
+      GNUNET_CONTAINER_multihashmap_contains (t->peers, &id.hashPubKey))
+  {
+    t->peers_total++;
+    GNUNET_array_append (peer->tunnels, peer->ntunnels, t);
+    GNUNET_assert (GNUNET_OK ==
+                   GNUNET_CONTAINER_multihashmap_put (t->peers, &id.hashPubKey,
+                                                      peer,
+                                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST));
+  }
+
+  if (NULL != (p = peer->path_head))
+  {
+    best_p = p;
+    best_cost = tree_get_path_cost (t->tree, p);
+    while (NULL != p)
+    {
+      if ((cost = tree_get_path_cost (t->tree, p)) < best_cost)
+      {
+        best_cost = cost;
+        best_p = p;
+      }
+      p = p->next;
+    }
+    tree_add_path (t->tree, best_p, &notify_peer_disconnected, t);
+    if (GNUNET_SCHEDULER_NO_TASK == t->path_refresh_task)
+      t->path_refresh_task =
+          GNUNET_SCHEDULER_add_delayed (REFRESH_PATH_TIME, &path_refresh, t);
+  }
+  else
+  {
+    /* Start a DHT get */
+    peer_info_connect (peer, t);
+  }
+}
+
+/**
+ * Add a path to a tunnel which we don't own, just to remember the next hop.
+ * If destination node was already in the tunnel, the first hop information
+ * will be replaced with the new path.
+ *
+ * @param t Tunnel we want to add a new peer to
+ * @param p Path to add
+ * @param own_pos Position of local node in path.
+ *
+ */
+static void
+tunnel_add_path (struct MeshTunnel *t, struct MeshPeerPath *p,
+                 unsigned int own_pos)
+{
+  struct GNUNET_PeerIdentity id;
+
+  GNUNET_assert (0 != own_pos);
+  tree_add_path (t->tree, p, NULL, NULL);
+  if (own_pos < p->length - 1)
+  {
+    GNUNET_PEER_resolve (p->peers[own_pos + 1], &id);
+    tree_update_first_hops (t->tree, myid, &id);
+  }
+}
+
+
+/**
+ * Notifies a tunnel that a connection has broken that affects at least
+ * some of its peers. Sends a notification towards the root of the tree.
+ * In case the peer is the owner of the tree, notifies the client that owns
+ * the tunnel and tries to reconnect.
+ *
+ * @param t Tunnel affected.
+ * @param p1 Peer that got disconnected from p2.
+ * @param p2 Peer that got disconnected from p1.
+ *
+ * @return Short ID of the peer disconnected (either p1 or p2).
+ *         0 if the tunnel remained unaffected.
+ */
+static GNUNET_PEER_Id
+tunnel_notify_connection_broken (struct MeshTunnel *t, GNUNET_PEER_Id p1,
+                                 GNUNET_PEER_Id p2)
+{
+  GNUNET_PEER_Id pid;
+
+  pid =
+      tree_notify_connection_broken (t->tree, p1, p2, &notify_peer_disconnected,
+                                     t);
+  if (myid != p1 && myid != p2)
+  {
+    return pid;
+  }
+  if (pid != myid)
+  {
+    if (tree_get_predecessor (t->tree) != 0)
+    {
+      /* We are the peer still connected, notify owner of the disconnection. */
+      struct GNUNET_MESH_PathBroken msg;
+      struct GNUNET_PeerIdentity neighbor;
+
+      msg.header.size = htons (sizeof (msg));
+      msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN);
+      GNUNET_PEER_resolve (t->id.oid, &msg.oid);
+      msg.tid = htonl (t->id.tid);
+      msg.peer1 = my_full_id;
+      GNUNET_PEER_resolve (pid, &msg.peer2);
+      GNUNET_PEER_resolve (tree_get_predecessor (t->tree), &neighbor);
+      send_message (&msg.header, &neighbor);
+    }
+  }
+  return pid;
+}
+
+
+/**
+ * Send a multicast packet to a neighbor.
+ *
+ * @param cls Closure (Info about the multicast packet)
+ * @param neighbor_id Short ID of the neighbor to send the packet to.
+ */
+static void
+tunnel_send_multicast_iterator (void *cls, GNUNET_PEER_Id neighbor_id)
+{
+  struct MeshData *mdata = cls;
+  struct MeshTransmissionDescriptor *info;
+  struct GNUNET_PeerIdentity neighbor;
+  unsigned int i;
+
+  info = GNUNET_malloc (sizeof (struct MeshTransmissionDescriptor));
+
+  info->mesh_data = mdata;
+  (*(mdata->reference_counter)) ++;
+  info->destination = neighbor_id;
+  GNUNET_PEER_resolve (neighbor_id, &neighbor);
+#if MESH_DEBUG
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    sending to %s...\n",
+              GNUNET_i2s (&neighbor));
+#endif
+  info->peer = peer_info_get (&neighbor);
+  GNUNET_assert (NULL != info->peer);
+  i = peer_info_transmit_slot (info->peer);
+  info->handler_n = i;
+  info->peer->infos[i] = info;
+  info->peer->types[i] = GNUNET_MESSAGE_TYPE_MESH_MULTICAST;
+  info->peer->core_transmit[i] =
+      GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
+                                         GNUNET_TIME_UNIT_FOREVER_REL,
+                                         &neighbor, info->mesh_data->data_len,
+                                         &send_core_data_multicast, info);
+}
+
+/**
+ * Send a message in a tunnel in multicast, sending a copy to each child node
+ * down the local one in the tunnel tree.
+ *
+ * @param t Tunnel in which to send the data.
+ * @param msg Message to be sent
+ */
+static void
+tunnel_send_multicast (struct MeshTunnel *t,
+                       const struct GNUNET_MessageHeader *msg)
+{
+  struct MeshData *mdata;
+
+#if MESH_DEBUG
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH:  sending a multicast packet...\n");
+#endif
+  mdata = GNUNET_malloc (sizeof (struct MeshData));
+  mdata->data_len = ntohs (msg->size);
+  mdata->reference_counter = GNUNET_malloc (sizeof (unsigned int));
+  mdata->t = t;
+  mdata->data = GNUNET_malloc (mdata->data_len);
+  memcpy (mdata->data, msg, mdata->data_len);
+  if (ntohs (msg->type) == GNUNET_MESSAGE_TYPE_MESH_MULTICAST)
+  {
+    struct GNUNET_MESH_Multicast *mcast;
+
+    mcast = (struct GNUNET_MESH_Multicast *) mdata->data;
+    mcast->ttl = htonl (ntohl (mcast->ttl) - 1);
+#if MESH_DEBUG
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   data packet, ttl: %u\n",
+                ntohl (mcast->ttl));
+  }
+  else
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   not a data packet, no ttl\n");
+#endif
+  }
+  if (NULL != t->client)
+  {
+    mdata->task = GNUNET_malloc (sizeof (GNUNET_SCHEDULER_TaskIdentifier));
+    (*(mdata->task)) =
+        GNUNET_SCHEDULER_add_delayed (UNACKNOWLEDGED_WAIT, &client_allow_send,
+                                      mdata);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: timeout task %u\n",
+                *(mdata->task));
+  }
+
+  tree_iterate_children (t->tree, &tunnel_send_multicast_iterator, mdata);
+  if (*(mdata->reference_counter) == 0)
+  {
+    GNUNET_free (mdata->data);
+    GNUNET_free (mdata->reference_counter);
+    if (NULL != mdata->task)
+    {
+      GNUNET_SCHEDULER_cancel(*(mdata->task));
+      GNUNET_free (mdata->task);
+      GNUNET_SERVER_receive_done(t->client->handle, GNUNET_OK);
+    }
+    // FIXME change order?
+    GNUNET_free (mdata);
+  }
+#if MESH_DEBUG
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH:  sending a multicast packet done\n");
+#endif
+  return;
+}
+
+
+/**
+ * Send a message to all peers in this tunnel that the tunnel is no longer
+ * valid.
+ *
+ * @param t The tunnel whose peers to notify.
+ */
+static void
+tunnel_send_destroy (struct MeshTunnel *t)
+{
+  struct GNUNET_MESH_TunnelDestroy msg;
+
+  msg.header.size = htons (sizeof (msg));
+  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY);
+  GNUNET_PEER_resolve (t->id.oid, &msg.oid);
+  msg.tid = htonl (t->id.tid);
+  tunnel_send_multicast (t, &msg.header);
+}
+
+
+
+/**
+ * Destroy the tunnel and free any allocated resources linked to it
+ *
+ * @param t the tunnel to destroy
+ *
+ * @return GNUNET_OK on success
+ */
+static int
+tunnel_destroy (struct MeshTunnel *t)
+{
+  struct MeshClient *c;
+  struct MeshQueue *q;
+  struct MeshQueue *qn;
+  GNUNET_HashCode hash;
+  int r;
+
+  if (NULL == t)
+    return GNUNET_OK;
+
+  c = t->client;
+#if MESH_DEBUG
+  {
+    struct GNUNET_PeerIdentity id;
+
+    GNUNET_PEER_resolve (t->id.oid, &id);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: destroying tunnel %s [%x]\n",
+                GNUNET_i2s (&id), t->id.tid);
+    if (NULL != c)
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   by client %u\n", c->id);
+  }
+#endif
+
+  GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
+  if (GNUNET_YES != GNUNET_CONTAINER_multihashmap_remove (tunnels, &hash, t))
+  {
+    r = GNUNET_SYSERR;
+  }
+
+  GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
+  if (NULL != c &&
+      GNUNET_YES != GNUNET_CONTAINER_multihashmap_remove (c->tunnels, &hash, t))
+  {
+    r = GNUNET_SYSERR;
+  }
+  if (t->local_tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
+  {
+    GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
+    GNUNET_break (GNUNET_YES ==
+                  GNUNET_CONTAINER_multihashmap_remove (incoming_tunnels, &hash,
+                                                        t));
+  }
+  if (NULL != t->peers)
+  {
+    GNUNET_CONTAINER_multihashmap_iterate (t->peers, &peer_info_delete_tunnel,
+                                           t);
+    GNUNET_CONTAINER_multihashmap_destroy (t->peers);
+  }
+  q = t->queue_head;
+  while (NULL != q)
+  {
+    if (NULL != q->data)
+      GNUNET_free (q->data);
+    qn = q->next;
+    GNUNET_free (q);
+    q = qn;
+    /* TODO cancel core transmit ready in case it was active */
+  }
+  tree_destroy (t->tree);
+  if (NULL != t->dht_get_type)
+    GNUNET_DHT_get_stop (t->dht_get_type);
+  if (GNUNET_SCHEDULER_NO_TASK != t->timeout_task)
+    GNUNET_SCHEDULER_cancel (t->timeout_task);
+  if (GNUNET_SCHEDULER_NO_TASK != t->path_refresh_task)
+    GNUNET_SCHEDULER_cancel (t->path_refresh_task);
+  GNUNET_free (t);
+  return r;
+}
+
+
+/**
+ * Removes an explicit path from a tunnel, freeing all intermediate nodes
+ * that are no longer needed, as well as nodes of no longer reachable peers.
+ * The tunnel itself is also destoyed if results in a remote empty tunnel.
+ *
+ * @param t Tunnel from which to remove the path.
+ * @param peer Short id of the peer which should be removed.
+ */
+static void
+tunnel_delete_peer (struct MeshTunnel *t, GNUNET_PEER_Id peer)
+{
+  if (GNUNET_NO == tree_del_peer (t->tree, peer, NULL, NULL))
+    tunnel_destroy (t);
+}
+
+
+/**
+ * tunnel_destroy_iterator: iterator for deleting each tunnel that belongs to a
+ * client when the client disconnects.
+ *
+ * @param cls closure (client that is disconnecting)
+ * @param key the hash of the local tunnel id (used to access the hashmap)
+ * @param value the value stored at the key (tunnel to destroy)
+ *
+ * @return GNUNET_OK on success
+ */
+static int
+tunnel_destroy_iterator (void *cls, const GNUNET_HashCode * key, void *value)
+{
+  struct MeshTunnel *t = value;
+  int r;
+
+  r = tunnel_destroy (t);
+  return r;
+}
+
+
+/**
+ * Timeout function, destroys tunnel if called
+ *
+ * @param cls Closure (tunnel to destroy).
+ * @param tc TaskContext
+ */
+static void
+tunnel_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct MeshTunnel *t = cls;
+
+  if (GNUNET_SCHEDULER_REASON_SHUTDOWN == tc->reason)
+    return;
+  t->timeout_task = GNUNET_SCHEDULER_NO_TASK;
+  tunnel_destroy (t);
+}
+
+/**
+ * Resets the tunnel timeout. Starts it if no timeout was running.
+ *
+ * @param t Tunnel whose timeout to reset.
+ */
+static void
+tunnel_reset_timeout (struct MeshTunnel *t)
+{
+  if (GNUNET_SCHEDULER_NO_TASK != t->timeout_task)
+    GNUNET_SCHEDULER_cancel (t->timeout_task);
+  t->timeout_task =
+      GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_relative_multiply
+                                    (REFRESH_PATH_TIME, 4), &tunnel_timeout, t);
+}
+
+
+/******************************************************************************/
+/****************      MESH NETWORK HANDLER HELPERS     ***********************/
+/******************************************************************************/
+
+/**
+ * Function called to notify a client about the socket
+ * being ready to queue more data.  "buf" will be
+ * NULL and "size" zero if the socket was closed for
+ * writing in the meantime.
+ *
+ * @param cls closure
+ * @param size number of bytes available in buf
+ * @param buf where the callee should write the message
+ * @return number of bytes written to buf
+ */
+static size_t
+send_core_create_path (void *cls, size_t size, void *buf)
+{
+  struct MeshPathInfo *info = cls;
+  struct GNUNET_MESH_ManipulatePath *msg;
+  struct GNUNET_PeerIdentity *peer_ptr;
+  struct MeshPeerInfo *peer = info->peer;
+  struct MeshTunnel *t = info->t;
+  struct MeshPeerPath *p = info->path;
+  size_t size_needed;
+  int i;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: CREATE PATH sending...\n");
+  size_needed =
+      sizeof (struct GNUNET_MESH_ManipulatePath) +
+      p->length * sizeof (struct GNUNET_PeerIdentity);
+
+  if (size < size_needed || NULL == buf)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: create path retransmit!\n");
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   buf:  %p\n", buf);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   size: (%u/%u)\n", size,
+                size_needed);
+    info->peer->core_transmit[info->pos] =
+        GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
+                                           GNUNET_TIME_UNIT_FOREVER_REL,
+                                           tree_get_first_hop (t->tree,
+                                                               peer->id),
+                                           size_needed, &send_core_create_path,
+                                           info);
+    return 0;
+  }
+  info->peer->core_transmit[info->pos] = NULL;
+#if MESH_DEBUG
+  {
+    struct GNUNET_PeerIdentity id;
+
+    GNUNET_PEER_resolve (peer->id, &id);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "MESH:   setting core_transmit %s [%u] to NULL\n",
+                GNUNET_i2s (&id), info->pos);
+  }
+#endif
+  msg = (struct GNUNET_MESH_ManipulatePath *) buf;
+  msg->header.size = htons (size_needed);
+  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE);
+  msg->tid = ntohl (t->id.tid);
+
+  peer_ptr = (struct GNUNET_PeerIdentity *) &msg[1];
+  for (i = 0; i < p->length; i++)
+  {
+    GNUNET_PEER_resolve (p->peers[i], peer_ptr++);
+  }
+
+  path_destroy (p);
+  GNUNET_free (info);
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH: CREATE PATH (%u bytes long) sent!\n", size_needed);
+  return size_needed;
+}
+
+
+/**
+ * Function called to notify a client about the socket
+ * being ready to queue more data.  "buf" will be
+ * NULL and "size" zero if the socket was closed for
+ * writing in the meantime.
+ *
+ * @param cls closure (data itself)
+ * @param size number of bytes available in buf
+ * @param buf where the callee should write the message
+ *
+ * @return number of bytes written to buf
+ */
+static size_t
+send_core_data_multicast (void *cls, size_t size, void *buf)
+{
+  struct MeshTransmissionDescriptor *info = cls;
+  size_t total_size;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Multicast callback.\n");
+  GNUNET_assert (NULL != info);
+  GNUNET_assert (NULL != info->peer);
+  total_size = info->mesh_data->data_len;
+  GNUNET_assert (total_size < GNUNET_SERVER_MAX_MESSAGE_SIZE);
+
+  if (total_size > size)
   {
-    if (is_client_subscribed (type, c))
+    /* Retry */
+    struct GNUNET_PeerIdentity id;
+
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "MESH: Multicast: retransmitting... (%u/%u)\n", size,
+                total_size);
+    GNUNET_PEER_resolve (info->peer->id, &id);
+    info->peer->core_transmit[info->handler_n] =
+        GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
+                                           GNUNET_TIME_UNIT_FOREVER_REL, &id,
+                                           total_size,
+                                           &send_core_data_multicast, info);
+    return 0;
+  }
+  info->peer->core_transmit[info->handler_n] = NULL;
+  info->peer->infos[info->handler_n] = NULL;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  copying data...\n");
+  memcpy (buf, info->mesh_data->data, total_size);
+#if MESH_DEBUG
+  {
+    struct GNUNET_MESH_Multicast *mc;
+    struct GNUNET_MessageHeader *mh;
+
+    mh = buf;
+    if (ntohs (mh->type) == GNUNET_MESSAGE_TYPE_MESH_MULTICAST)
     {
-      count++;
-      GNUNET_SERVER_notification_context_unicast (nc, c->handle, msg,
-                                                  GNUNET_YES);
+      mc = (struct GNUNET_MESH_Multicast *) mh;
+      mh = (struct GNUNET_MessageHeader *) &mc[1];
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                  "MESH:  multicast, payload type %u\n", ntohs (mh->type));
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                  "MESH:  multicast, payload size %u\n", ntohs (mh->size));
+    }
+    else
+    {
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  type %u\n",
+                  ntohs (mh->type));
     }
   }
-  return count;
+#endif
+  data_descriptor_decrement_multicast (info->mesh_data);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: freeing info...\n");
+  GNUNET_free (info);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: return %u\n", total_size);
+  return total_size;
 }
 
 
 /**
- * Iterator over hash map peer entries collect all neighbors who to resend the
- * data to.
+ * Function called to notify a client about the socket
+ * being ready to queue more data.  "buf" will be
+ * NULL and "size" zero if the socket was closed for
+ * writing in the meantime.
  *
- * @param cls closure (**GNUNET_PEER_Id to store hops to send packet)
- * @param key current key code (peer id hash)
- * @param value value in the hash map (peer_info)
- * @return GNUNET_YES if we should continue to iterate, GNUNET_NO if not.
+ * @param cls closure (MeshTransmissionDescriptor)
+ * @param size number of bytes available in buf
+ * @param buf where the callee should write the message
+ * @return number of bytes written to buf
  */
-static int
-iterate_collect_neighbors (void *cls, const GNUNET_HashCode * key, void *value)
+static size_t
+send_core_path_ack (void *cls, size_t size, void *buf)
 {
-  struct MeshPeerInfo *peer_info = value;
-  GNUNET_PEER_Id **neighbors = cls;
-  GNUNET_PEER_Id id;
-  unsigned int i;
+  struct MeshTransmissionDescriptor *info = cls;
+  struct GNUNET_MESH_PathACK *msg = buf;
 
-  if (peer_info->id == myid)
+  GNUNET_assert (NULL != info);
+  if (info->peer)
   {
-    return GNUNET_YES;
+    info->peer->core_transmit[info->handler_n] = NULL;
   }
-  id = get_first_hop (peer_info->path);
-  for (i = 0; *neighbors[i] != 0; i++)
+  if (sizeof (struct GNUNET_MESH_PathACK) > size)
   {
-    if (*neighbors[i] == id)
-      return GNUNET_YES;
+    GNUNET_break (0);
+    return 0;
   }
-  *neighbors = GNUNET_realloc (*neighbors, (i + 2) * sizeof (GNUNET_PEER_Id));
-  *neighbors[i] = id;
-  *neighbors[i + 1] = 0;
+  msg->header.size = htons (sizeof (struct GNUNET_MESH_PathACK));
+  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_ACK);
+  GNUNET_PEER_resolve (info->origin->oid, &msg->oid);
+  msg->tid = htonl (info->origin->tid);
+  msg->peer_id = my_full_id;
+  GNUNET_free (info);
+  /* TODO add signature */
 
-  return GNUNET_YES;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: PATH ACK sent!\n");
+  return sizeof (struct GNUNET_MESH_PathACK);
 }
 
 
@@ -1282,20 +2483,21 @@ iterate_collect_neighbors (void *cls, const GNUNET_HashCode * key, void *value)
 
 /**
  * Core handler for path creation
- * struct GNUNET_CORE_MessageHandler
  *
  * @param cls closure
  * @param message message
  * @param peer peer identity this notification is about
  * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
+ *
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
- *
  */
 static int
 handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
                          const struct GNUNET_MessageHeader *message,
-                         const struct GNUNET_TRANSPORT_ATS_Information *atsi)
+                         const struct GNUNET_ATS_Information *atsi,
+                         unsigned int atsi_count)
 {
   unsigned int own_pos;
   uint16_t size;
@@ -1303,68 +2505,82 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
   MESH_TunnelNumber tid;
   struct GNUNET_MESH_ManipulatePath *msg;
   struct GNUNET_PeerIdentity *pi;
-  struct GNUNET_PeerIdentity id;
   GNUNET_HashCode hash;
-  struct MeshPath *path;
+  struct MeshPeerPath *path;
   struct MeshPeerInfo *dest_peer_info;
   struct MeshPeerInfo *orig_peer_info;
   struct MeshTunnel *t;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH: Received a MESH path create msg\n");
+              "MESH: Received a path create msg [%s]\n",
+              GNUNET_i2s (&my_full_id));
   size = ntohs (message->size);
   if (size < sizeof (struct GNUNET_MESH_ManipulatePath))
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                "received create path message too short\n");
+    GNUNET_break_op (0);
     return GNUNET_OK;
   }
 
   size -= sizeof (struct GNUNET_MESH_ManipulatePath);
-  if (size < 2 * sizeof (struct GNUNET_PeerIdentity))
+  if (size % sizeof (struct GNUNET_PeerIdentity))
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                "create path message lacks enough peers\n");
+    GNUNET_break_op (0);
     return GNUNET_OK;
   }
-  if (size % sizeof (struct GNUNET_PeerIdentity))
+  size /= sizeof (struct GNUNET_PeerIdentity);
+  if (size < 2)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                "create path message of wrong size\n");
+    GNUNET_break_op (0);
     return GNUNET_OK;
   }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:     path has %u hops.\n", size);
   msg = (struct GNUNET_MESH_ManipulatePath *) message;
-  size /= sizeof (struct GNUNET_PeerIdentity);
 
   tid = ntohl (msg->tid);
   pi = (struct GNUNET_PeerIdentity *) &msg[1];
-  t = retrieve_tunnel (pi, tid);
-
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH:     path is for tunnel %s [%X].\n", GNUNET_i2s (pi), tid);
+  t = tunnel_get (pi, tid);
   if (NULL == t)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Creating tunnel\n");
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Creating tunnel\n");
     t = GNUNET_malloc (sizeof (struct MeshTunnel));
     t->id.oid = GNUNET_PEER_intern (pi);
     t->id.tid = tid;
-    t->peers = GNUNET_CONTAINER_multihashmap_create (32);
+    while (NULL != tunnel_get_incoming (next_local_tid))
+      next_local_tid = (next_local_tid + 1) | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
+    t->local_tid = next_local_tid++;
+    next_local_tid = next_local_tid | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
+    t->tree = tree_new (t->id.oid);
 
     GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
     if (GNUNET_OK !=
         GNUNET_CONTAINER_multihashmap_put (tunnels, &hash, t,
-                                           GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
+                                           GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
     {
+      tunnel_destroy (t);
+      GNUNET_break (0);
+      return GNUNET_OK;
+    }
+    tunnel_reset_timeout (t);
+    GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
+    if (GNUNET_OK !=
+        GNUNET_CONTAINER_multihashmap_put (incoming_tunnels, &hash, t,
+                                           GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
+    {
+      tunnel_destroy (t);
       GNUNET_break (0);
       return GNUNET_OK;
     }
-
   }
   dest_peer_info =
       GNUNET_CONTAINER_multihashmap_get (peers, &pi[size - 1].hashPubKey);
   if (NULL == dest_peer_info)
   {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "MESH:   Creating PeerInfo for destination.\n");
     dest_peer_info = GNUNET_malloc (sizeof (struct MeshPeerInfo));
     dest_peer_info->id = GNUNET_PEER_intern (&pi[size - 1]);
-    dest_peer_info->state = MESH_PEER_WAITING;
     GNUNET_CONTAINER_multihashmap_put (peers, &pi[size - 1].hashPubKey,
                                        dest_peer_info,
                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
@@ -1372,68 +2588,264 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
   orig_peer_info = GNUNET_CONTAINER_multihashmap_get (peers, &pi->hashPubKey);
   if (NULL == orig_peer_info)
   {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "MESH:   Creating PeerInfo for origin.\n");
     orig_peer_info = GNUNET_malloc (sizeof (struct MeshPeerInfo));
     orig_peer_info->id = GNUNET_PEER_intern (pi);
-    orig_peer_info->state = MESH_PEER_WAITING;
     GNUNET_CONTAINER_multihashmap_put (peers, &pi->hashPubKey, orig_peer_info,
                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
   }
-
-
-  path = GNUNET_malloc (sizeof (struct MeshPath));
-  path->length = size;
-  path->peers = GNUNET_malloc (size * sizeof (GNUNET_PEER_Id));
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Creating path...\n");
+  path = path_new (size);
   own_pos = 0;
   for (i = 0; i < size; i++)
   {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   ... adding %s\n",
+                GNUNET_i2s (&pi[i]));
     path->peers[i] = GNUNET_PEER_intern (&pi[i]);
     if (path->peers[i] == myid)
       own_pos = i;
   }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Own position: %u\n", own_pos);
   if (own_pos == 0)
-  {                             /* cannot be self, must be 'not found' */
+  {
+    /* cannot be self, must be 'not found' */
     /* create path: self not found in path through self */
     GNUNET_break_op (0);
-    destroy_path (path);
+    path_destroy (path);
     /* FIXME error. destroy tunnel? leave for timeout? */
     return 0;
   }
+  path_add_to_peers (path, GNUNET_NO);
+  tunnel_add_path (t, path, own_pos);
   if (own_pos == size - 1)
-  {                             /* it is for us! */
-    struct MeshDataDescriptor *info;
+  {
+    /* It is for us! Send ack. */
+    struct MeshTransmissionDescriptor *info;
     unsigned int j;
 
-    add_path_to_origin (orig_peer_info, path);  /* inverts path!  */
-    GNUNET_PEER_resolve (get_first_hop (path), &id);    /* path is inverted :) */
-    info = GNUNET_malloc (sizeof (struct MeshDataDescriptor));
-    info->origin = &t->id;
-    info->peer = GNUNET_CONTAINER_multihashmap_get (peers, &id.hashPubKey);
-    GNUNET_assert (info->peer);
-    for (j = 0; info->peer->core_transmit[j]; j++)
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   It's for us!\n");
+    peer_info_add_path_to_origin (orig_peer_info, path, GNUNET_NO);
+    if (NULL == t->peers)
     {
-      if (j == 9)
-      {
-        GNUNET_break (0);
-        return GNUNET_OK;
-      }
+      /* New tunnel! Notify clients! */
+      struct GNUNET_MESH_TunnelNotification cmsg;
+
+      cmsg.header.size = htons (sizeof (cmsg));
+      cmsg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
+      GNUNET_PEER_resolve (t->id.oid, &cmsg.peer);
+      cmsg.tunnel_id = htonl (t->local_tid);
+      GNUNET_SERVER_notification_context_broadcast (nc, &cmsg.header,
+                                                    GNUNET_NO);
+
+      t->peers = GNUNET_CONTAINER_multihashmap_create (4);
     }
+    GNUNET_break (GNUNET_OK ==
+                  GNUNET_CONTAINER_multihashmap_put (t->peers,
+                                                     &my_full_id.hashPubKey,
+                                                     peer_info_get
+                                                     (&my_full_id),
+                                                     GNUNET_CONTAINER_MULTIHASHMAPOPTION_REPLACE));
+    /* FIXME use send_message */
+    info = GNUNET_malloc (sizeof (struct MeshTransmissionDescriptor));
+    info->origin = &t->id;
+    info->peer = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
+    GNUNET_assert (NULL != info->peer);
+    j = peer_info_transmit_slot (info->peer);
     info->handler_n = j;
+    info->peer->types[j] = GNUNET_MESSAGE_TYPE_MESH_PATH_ACK;
+    info->peer->infos[j] = info;
     info->peer->core_transmit[j] =
         GNUNET_CORE_notify_transmit_ready (core_handle, 0, 100,
-                                           GNUNET_TIME_UNIT_FOREVER_REL, &id,
-                                           sizeof (struct GNUNET_MessageHeader),
+                                           GNUNET_TIME_UNIT_FOREVER_REL, peer,
+                                           sizeof (struct GNUNET_MESH_PathACK),
                                            &send_core_path_ack, info);
   }
   else
   {
-    add_path_to_peer (dest_peer_info, path);
-    GNUNET_PEER_resolve (get_first_hop (path), &id);
-    GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
-                                       GNUNET_TIME_UNIT_FOREVER_REL, &id,
-                                       sizeof (struct GNUNET_MessageHeader),
-                                       &send_core_create_path_for_peer,
-                                       dest_peer_info);
+    struct MeshPeerPath *path2;
+
+    /* It's for somebody else! Retransmit. */
+    path2 = path_duplicate (path);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Retransmitting.\n");
+    peer_info_add_path (dest_peer_info, path2, GNUNET_NO);
+    path2 = path_duplicate (path);
+    peer_info_add_path_to_origin (orig_peer_info, path2, GNUNET_NO);
+    send_create_path (dest_peer_info, path, t);
+  }
+  return GNUNET_OK;
+}
+
+
+/**
+ * Core handler for path destruction
+ *
+ * @param cls closure
+ * @param message message
+ * @param peer peer identity this notification is about
+ * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
+ *
+ * @return GNUNET_OK to keep the connection open,
+ *         GNUNET_SYSERR to close it (signal serious error)
+ */
+static int
+handle_mesh_path_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
+                          const struct GNUNET_MessageHeader *message,
+                          const struct GNUNET_ATS_Information *atsi,
+                          unsigned int atsi_count)
+{
+  struct GNUNET_MESH_ManipulatePath *msg;
+  struct GNUNET_PeerIdentity *pi;
+  struct MeshPeerPath *path;
+  struct MeshTunnel *t;
+  unsigned int own_pos;
+  unsigned int i;
+  size_t size;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH: Received a PATH DESTROY msg from %s\n", GNUNET_i2s (peer));
+  size = ntohs (message->size);
+  if (size < sizeof (struct GNUNET_MESH_ManipulatePath))
+  {
+    GNUNET_break_op (0);
+    return GNUNET_OK;
+  }
+
+  size -= sizeof (struct GNUNET_MESH_ManipulatePath);
+  if (size % sizeof (struct GNUNET_PeerIdentity))
+  {
+    GNUNET_break_op (0);
+    return GNUNET_OK;
+  }
+  size /= sizeof (struct GNUNET_PeerIdentity);
+  if (size < 2)
+  {
+    GNUNET_break_op (0);
+    return GNUNET_OK;
+  }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:     path has %u hops.\n", size);
+
+  msg = (struct GNUNET_MESH_ManipulatePath *) message;
+  pi = (struct GNUNET_PeerIdentity *) &msg[1];
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH:     path is for tunnel %s [%X].\n", GNUNET_i2s (pi),
+              msg->tid);
+  t = tunnel_get (pi, ntohl (msg->tid));
+  if (NULL == t)
+  {
+    /* TODO notify back: we don't know this tunnel */
+    GNUNET_break_op (0);
+    return GNUNET_OK;
+  }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Creating path...\n");
+  path = path_new (size);
+  own_pos = 0;
+  for (i = 0; i < size; i++)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   ... adding %s\n",
+                GNUNET_i2s (&pi[i]));
+    path->peers[i] = GNUNET_PEER_intern (&pi[i]);
+    if (path->peers[i] == myid)
+      own_pos = i;
+  }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Own position: %u\n", own_pos);
+  if (own_pos < path->length - 1)
+    send_message (message, &pi[own_pos + 1]);
+  tunnel_delete_peer (t, path->peers[path->length - 1]);
+  path_destroy (path);
+  return GNUNET_OK;
+}
+
+
+/**
+ * Core handler for notifications of broken paths
+ *
+ * @param cls closure
+ * @param message message
+ * @param peer peer identity this notification is about
+ * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
+ *
+ * @return GNUNET_OK to keep the connection open,
+ *         GNUNET_SYSERR to close it (signal serious error)
+ */
+static int
+handle_mesh_path_broken (void *cls, const struct GNUNET_PeerIdentity *peer,
+                         const struct GNUNET_MessageHeader *message,
+                         const struct GNUNET_ATS_Information *atsi,
+                         unsigned int atsi_count)
+{
+  struct GNUNET_MESH_PathBroken *msg;
+  struct MeshTunnel *t;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH: Received a PATH BROKEN msg from %s\n", GNUNET_i2s (peer));
+  msg = (struct GNUNET_MESH_PathBroken *) message;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   regarding %s\n",
+              GNUNET_i2s (&msg->peer1));
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   regarding %s\n",
+              GNUNET_i2s (&msg->peer2));
+  t = tunnel_get (&msg->oid, ntohl (msg->tid));
+  if (NULL == t)
+  {
+    GNUNET_break_op (0);
+    return GNUNET_OK;
+  }
+  tunnel_notify_connection_broken (t, GNUNET_PEER_search (&msg->peer1),
+                                   GNUNET_PEER_search (&msg->peer2));
+  return GNUNET_OK;
+
+}
+
+
+/**
+ * Core handler for tunnel destruction
+ *
+ * @param cls closure
+ * @param message message
+ * @param peer peer identity this notification is about
+ * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
+ *
+ * @return GNUNET_OK to keep the connection open,
+ *         GNUNET_SYSERR to close it (signal serious error)
+ */
+static int
+handle_mesh_tunnel_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
+                            const struct GNUNET_MessageHeader *message,
+                            const struct GNUNET_ATS_Information *atsi,
+                            unsigned int atsi_count)
+{
+  struct GNUNET_MESH_TunnelDestroy *msg;
+  struct MeshTunnel *t;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH: Got a TUNNEL DESTROY packet from %s\n", GNUNET_i2s (peer));
+  msg = (struct GNUNET_MESH_TunnelDestroy *) message;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   for tunnel %s [%u]\n",
+              GNUNET_i2s (&msg->oid), ntohl (msg->tid));
+  t = tunnel_get (&msg->oid, ntohl (msg->tid));
+  if (NULL == t)
+  {
+    /* Probably already got the message from another path,
+     * destroyed the tunnel and retransmitted to children.
+     * Safe to ignore.
+     */
+    return GNUNET_OK;
+  }
+  if (t->id.oid == myid)
+  {
+    GNUNET_break_op (0);
+    return GNUNET_OK;
+  }
+  if (t->local_tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
+  {
+    /* Tunnel was incoming, notify clients */
+    send_clients_tunnel_destroy (t);
   }
+  tunnel_send_destroy (t);
+  tunnel_destroy (t);
   return GNUNET_OK;
 }
 
@@ -1445,20 +2857,23 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
  * @param peer peer identity this notification is about
  * @param message message
  * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
  */
 static int
 handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
                           const struct GNUNET_MessageHeader *message,
-                          const struct GNUNET_TRANSPORT_ATS_Information *atsi)
+                          const struct GNUNET_ATS_Information *atsi,
+                          unsigned int atsi_count)
 {
   struct GNUNET_MESH_Unicast *msg;
-  struct GNUNET_PeerIdentity id;
   struct MeshTunnel *t;
-  struct MeshPeerInfo *pi;
+  GNUNET_PEER_Id pid;
   size_t size;
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: got a unicast packet from %s\n",
+              GNUNET_i2s (peer));
   size = ntohs (message->size);
   if (size <
       sizeof (struct GNUNET_MESH_Unicast) +
@@ -1468,30 +2883,27 @@ handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
     return GNUNET_OK;
   }
   msg = (struct GNUNET_MESH_Unicast *) message;
-  t = retrieve_tunnel (&msg->oid, ntohl (msg->tid));
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  of type %u\n",
+              ntohs (msg[1].header.type));
+  t = tunnel_get (&msg->oid, ntohl (msg->tid));
   if (NULL == t)
   {
     /* TODO notify back: we don't know this tunnel */
+    GNUNET_break_op (0);
     return GNUNET_OK;
   }
-  pi = GNUNET_CONTAINER_multihashmap_get (t->peers,
-                                          &msg->destination.hashPubKey);
-  if (NULL == pi)
-  {
-    /* TODO maybe feedback, log to statistics */
-    return GNUNET_OK;
-  }
-  if (pi->id == myid)
+  tunnel_reset_timeout (t);
+  pid = GNUNET_PEER_search (&msg->destination);
+  if (pid == myid)
   {
-    send_subscribed_clients ((struct GNUNET_MessageHeader *) &msg[1]);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "MESH:   it's for us! sending to clients...\n");
+    send_subscribed_clients (message, (struct GNUNET_MessageHeader *) &msg[1]);
     return GNUNET_OK;
   }
-  GNUNET_PEER_resolve (get_first_hop (pi->path), &id);
-  msg = GNUNET_malloc (size);
-  memcpy (msg, message, size);
-  GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
-                                     GNUNET_TIME_UNIT_FOREVER_REL, &id, size,
-                                     &send_core_data_raw, msg);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH:   not for us, retransmitting...\n");
+  send_message (message, tree_get_first_hop (t->tree, pid));
   return GNUNET_OK;
 }
 
@@ -1503,150 +2915,156 @@ handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
  * @param message message
  * @param peer peer identity this notification is about
  * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
+ *
+ * TODO: Check who we got this from, to validate route.
  */
 static int
 handle_mesh_data_multicast (void *cls, const struct GNUNET_PeerIdentity *peer,
                             const struct GNUNET_MessageHeader *message,
-                            const struct GNUNET_TRANSPORT_ATS_Information *atsi)
+                            const struct GNUNET_ATS_Information *atsi,
+                            unsigned int atsi_count)
 {
   struct GNUNET_MESH_Multicast *msg;
-  struct GNUNET_PeerIdentity id;
   struct MeshTunnel *t;
-  struct MeshDataDescriptor *info;
-  GNUNET_PEER_Id *neighbors;
   size_t size;
-  uint16_t i;
-  uint16_t j;
-
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: got a multicast packet from %s\n",
+              GNUNET_i2s (peer));
   size = ntohs (message->size);
-  if (size <
-      sizeof (struct GNUNET_MESH_Multicast) +
-      sizeof (struct GNUNET_MessageHeader))
+  if (sizeof (struct GNUNET_MESH_Multicast) +
+      sizeof (struct GNUNET_MessageHeader) > size)
   {
     GNUNET_break_op (0);
     return GNUNET_OK;
   }
   msg = (struct GNUNET_MESH_Multicast *) message;
-  t = retrieve_tunnel (&msg->oid, ntohl (msg->tid));
+  t = tunnel_get (&msg->oid, ntohl (msg->tid));
 
   if (NULL == t)
   {
     /* TODO notify that we dont know that tunnel */
+    GNUNET_break_op (0);
+    return GNUNET_OK;
+  }
+  if (t->mid == ntohl (msg->mid))
+  {
+    /* FIXME: already seen this packet, log dropping */
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                "MESH:  Already seen mid %u, DROPPING!\n", t->mid);
     return GNUNET_OK;
   }
+#if MESH_DEBUG
+  else
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "MESH:  mid %u not seen yet, forwarding\n", ntohl (msg->mid));
+  }
+#endif
+  t->mid = ntohl (msg->mid);
+  tunnel_reset_timeout (t);
 
   /* Transmit to locally interested clients */
-  if (GNUNET_CONTAINER_multihashmap_contains (t->peers, &my_full_id.hashPubKey))
+  if (NULL != t->peers &&
+      GNUNET_CONTAINER_multihashmap_contains (t->peers, &my_full_id.hashPubKey))
   {
-    send_subscribed_clients ((struct GNUNET_MessageHeader *) &msg[1]);
+    send_subscribed_clients (message, &msg[1].header);
   }
-
-  /* Retransmit to other peers */
-  neighbors = GNUNET_malloc (sizeof (GNUNET_PEER_Id));
-  neighbors[0] = 0;
-  GNUNET_CONTAINER_multihashmap_iterate (t->peers, &iterate_collect_neighbors,
-                                         &neighbors);
-  if (!neighbors[0])
+#if MESH_DEBUG
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    ttl: %u\n", ntohl (msg->ttl));
+#endif
+  if (ntohl (msg->ttl) == 0)
   {
+    /* FIXME: ttl is 0, log dropping */
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "MESH:  TTL is 0, DROPPING!\n");
     return GNUNET_OK;
   }
-  size -= sizeof (struct GNUNET_MESH_Multicast);
-  info = GNUNET_malloc (sizeof (struct MeshDataDescriptor) + size);
-  info->origin = &t->id;
-  info->copies = 0;
-  for (i = 0; 0 != neighbors[i]; i++)
-  {
-    GNUNET_PEER_resolve (neighbors[i], &id);
-    info->copies++;
-    info->destination = neighbors[i];
-    info->peer = GNUNET_CONTAINER_multihashmap_get (peers, &id.hashPubKey);
-    GNUNET_assert (info->peer);
-    for (j = 0; info->peer->core_transmit[j]; j++)
-    {
-      if (j == 9)
-      {
-        GNUNET_break (0);
-        return GNUNET_OK;
-      }
-    }
-    info->handler_n = j;
-    info->peer->infos[j] = info;
-    info->peer->core_transmit[j] =
-        GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
-                                           GNUNET_TIME_UNIT_FOREVER_REL, &id,
-                                           ntohs (msg->header.size),
-                                           &send_core_data_multicast, info);
-  }
+  tunnel_send_multicast (t, message);
   return GNUNET_OK;
 }
 
 
 /**
- * Core handler for mesh network traffic
+ * Core handler for mesh network traffic toward the owner of a tunnel
  *
  * @param cls closure
  * @param message message
  * @param peer peer identity this notification is about
  * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
+ *
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
  */
 static int
 handle_mesh_data_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
                           const struct GNUNET_MessageHeader *message,
-                          const struct GNUNET_TRANSPORT_ATS_Information *atsi)
+                          const struct GNUNET_ATS_Information *atsi,
+                          unsigned int atsi_count)
 {
   struct GNUNET_MESH_ToOrigin *msg;
   struct GNUNET_PeerIdentity id;
-  struct MeshTunnel *t;
   struct MeshPeerInfo *peer_info;
+  struct MeshTunnel *t;
   size_t size;
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: got a ToOrigin packet from %s\n",
+              GNUNET_i2s (peer));
   size = ntohs (message->size);
-  if (size <
-      sizeof (struct GNUNET_MESH_ToOrigin) +
-      sizeof (struct GNUNET_MessageHeader))
+  if (size < sizeof (struct GNUNET_MESH_ToOrigin) +     /* Payload must be */
+      sizeof (struct GNUNET_MessageHeader))     /* at least a header */
   {
     GNUNET_break_op (0);
     return GNUNET_OK;
   }
   msg = (struct GNUNET_MESH_ToOrigin *) message;
-  t = retrieve_tunnel (&msg->oid, ntohl (msg->tid));
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  of type %u\n",
+              ntohs (msg[1].header.type));
+  t = tunnel_get (&msg->oid, ntohl (msg->tid));
 
   if (NULL == t)
   {
     /* TODO notify that we dont know this tunnel (whom)? */
+    GNUNET_break_op (0);
     return GNUNET_OK;
   }
 
   if (t->id.oid == myid)
   {
+    char cbuf[size];
+    struct GNUNET_MESH_ToOrigin *copy;
+
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "MESH:   it's for us! sending to clients...\n");
     if (NULL == t->client)
     {
       /* got data packet for ownerless tunnel */
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   no clients!\n");
       GNUNET_break_op (0);
       return GNUNET_OK;
     }
-    GNUNET_SERVER_notification_context_unicast (nc, t->client->handle, message,
-                                                GNUNET_YES);
+    /* TODO signature verification */
+    memcpy (cbuf, message, size);
+    copy = (struct GNUNET_MESH_ToOrigin *) cbuf;
+    copy->tid = htonl (t->local_tid);
+    GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
+                                                &copy->header, GNUNET_YES);
     return GNUNET_OK;
   }
-  peer_info = get_peer_info (&msg->oid);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH:   not for us, retransmitting...\n");
+
+  peer_info = peer_info_get (&msg->oid);
   if (NULL == peer_info)
   {
     /* unknown origin of tunnel */
     GNUNET_break (0);
     return GNUNET_OK;
   }
-  GNUNET_PEER_resolve (get_first_hop (peer_info->path), &id);
-  msg = GNUNET_malloc (size);
-  memcpy (msg, message, size);
-  GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
-                                     GNUNET_TIME_UNIT_FOREVER_REL, &id, size,
-                                     &send_core_data_raw, msg);
+  GNUNET_PEER_resolve (tree_get_predecessor (t->tree), &id);
+  send_message (message, &id);
 
   return GNUNET_OK;
 }
@@ -1659,67 +3077,80 @@ handle_mesh_data_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
  * @param message message
  * @param peer peer identity this notification is about
  * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
+ *
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
  */
 static int
 handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
                       const struct GNUNET_MessageHeader *message,
-                      const struct GNUNET_TRANSPORT_ATS_Information *atsi)
+                      const struct GNUNET_ATS_Information *atsi,
+                      unsigned int atsi_count)
 {
   struct GNUNET_MESH_PathACK *msg;
   struct GNUNET_PeerIdentity id;
-  struct MeshTunnel *t;
   struct MeshPeerInfo *peer_info;
+  struct MeshPeerPath *p;
+  struct MeshTunnel *t;
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Received a path ACK msg [%s]\n",
+              GNUNET_i2s (&my_full_id));
   msg = (struct GNUNET_MESH_PathACK *) message;
-  t = retrieve_tunnel (&msg->oid, msg->tid);
+  t = tunnel_get (&msg->oid, msg->tid);
   if (NULL == t)
   {
-    /* TODO notify that we don't know the tunnel */
-    return GNUNET_OK;
+    /* TODO notify that we don't know the tunnel */
+    return GNUNET_OK;
+  }
+
+  peer_info = peer_info_get (&msg->peer_id);
+
+  /* Add paths to peers? */
+  p = tree_get_path_to_peer (t->tree, peer_info->id);
+  if (NULL != p)
+  {
+    path_add_to_peers (p, GNUNET_YES);
+    path_destroy (p);
+  }
+  else
+  {
+    GNUNET_break (0);
   }
 
   /* Message for us? */
-  if (0 == memcmp (&msg->oid, &my_full_id, sizeof(struct GNUNET_PeerIdentity)))
+  if (0 == memcmp (&msg->oid, &my_full_id, sizeof (struct GNUNET_PeerIdentity)))
   {
-    struct GNUNET_MESH_PeerControl pc;
-
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   It's for us!\n");
     if (NULL == t->client)
     {
-      GNUNET_break (0);
+      GNUNET_break_op (0);
       return GNUNET_OK;
     }
-    peer_info = get_peer_info (&msg->peer_id);
-    if (NULL == peer_info)
+    if (NULL != t->dht_get_type)
     {
-      GNUNET_break_op (0);
-      return GNUNET_OK;
+      GNUNET_DHT_get_stop (t->dht_get_type);
+      t->dht_get_type = NULL;
+    }
+    if (tree_get_status (t->tree, peer_info->id) != MESH_PEER_READY)
+    {
+      tree_set_status (t->tree, peer_info->id, MESH_PEER_READY);
+      send_client_peer_connected (t, peer_info->id);
     }
-    peer_info->state = MESH_PEER_READY;
-    pc.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD);
-    pc.header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
-    pc.tunnel_id = htonl (t->local_tid);
-    GNUNET_PEER_resolve (peer_info->id, &pc.peer);
-    GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
-                                                &pc.header, GNUNET_NO);
     return GNUNET_OK;
   }
 
-  peer_info = get_peer_info (&msg->oid);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH:   not for us, retransmitting...\n");
+  GNUNET_PEER_resolve (tree_get_predecessor (t->tree), &id);
+  peer_info = peer_info_get (&msg->oid);
   if (NULL == peer_info)
   {
     /* If we know the tunnel, we should DEFINITELY know the peer */
     GNUNET_break (0);
     return GNUNET_OK;
   }
-  GNUNET_PEER_resolve (get_first_hop (peer_info->path), &id);
-  msg = GNUNET_malloc (sizeof (struct GNUNET_MESH_PathACK));
-  memcpy (msg, message, sizeof (struct GNUNET_MESH_PathACK));
-  GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
-                                     GNUNET_TIME_UNIT_FOREVER_REL, &id,
-                                     sizeof (struct GNUNET_MESH_PathACK),
-                                     &send_core_data_raw, msg);
+  send_message (message, &id);
   return GNUNET_OK;
 }
 
@@ -1729,6 +3160,10 @@ handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
  */
 static struct GNUNET_CORE_MessageHandler core_handlers[] = {
   {&handle_mesh_path_create, GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE, 0},
+  {&handle_mesh_path_destroy, GNUNET_MESSAGE_TYPE_MESH_PATH_DESTROY, 0},
+  {&handle_mesh_path_broken, GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN,
+   sizeof (struct GNUNET_MESH_PathBroken)},
+  {&handle_mesh_tunnel_destroy, GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY, 0},
   {&handle_mesh_data_unicast, GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
   {&handle_mesh_data_multicast, GNUNET_MESSAGE_TYPE_MESH_MULTICAST, 0},
   {&handle_mesh_data_to_orig, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
@@ -1744,20 +3179,21 @@ static struct GNUNET_CORE_MessageHandler core_handlers[] = {
 /******************************************************************************/
 
 /**
- * delete_tunnel_entry: iterator for deleting each tunnel that belongs to a
- * client when the client disconnects.
- * @param cls closure (client that is disconnecting)
- * @param key the hash of the local tunnel id (used to access the hashmap)
- * @param value the value stored at the key (tunnel to destroy)
+ * deregister_app: iterator for removing each application registered by a client
+ *
+ * @param cls closure
+ * @param key the hash of the application id (used to access the hashmap)
+ * @param value the value stored at the key (client)
+ *
  * @return GNUNET_OK on success
  */
 static int
-delete_tunnel_entry (void *cls, const GNUNET_HashCode * key, void *value)
+deregister_app (void *cls, const GNUNET_HashCode * key, void *value)
 {
-  int r;
-
-  r = destroy_tunnel ((struct MeshTunnel *) value);
-  return r;
+  GNUNET_break (GNUNET_YES ==
+                GNUNET_CONTAINER_multihashmap_remove (applications, key,
+                                                      value));
+  return GNUNET_OK;
 }
 
 #if LATER
@@ -1803,29 +3239,43 @@ notify_client_connection_failure (void *cls, size_t size, void *buf)
 /**
  * Send keepalive packets for a peer
  *
- * @param cls unused
- * @param tc unused
+ * @param cls Closure (tunnel for which to send the keepalive).
+ * @param tc Notification context.
+ *
+ * TODO: implement explicit multicast keepalive?
  */
 static void
 path_refresh (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  struct MeshPeerInfo *peer_info = cls;
-  struct GNUNET_PeerIdentity id;
+  struct MeshTunnel *t = cls;
+  struct GNUNET_MessageHeader *payload;
+  struct GNUNET_MESH_Multicast *msg;
+  size_t size =
+      sizeof (struct GNUNET_MESH_Multicast) +
+      sizeof (struct GNUNET_MessageHeader);
+  char cbuf[size];
 
   if (tc->reason == GNUNET_SCHEDULER_REASON_SHUTDOWN)
+  {
     return;
-  GNUNET_PEER_resolve (get_first_hop (peer_info->path), &id);
-  GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
-                                     GNUNET_TIME_UNIT_FOREVER_REL, &id,
-                                     sizeof (struct GNUNET_MESH_ManipulatePath)
-                                     +
-                                     (peer_info->path->length *
-                                      sizeof (struct GNUNET_PeerIdentity)),
-                                     &send_core_create_path_for_peer,
-                                     peer_info);
-  peer_info->path_refresh_task =
-      GNUNET_SCHEDULER_add_delayed (REFRESH_PATH_TIME, &path_refresh,
-                                    peer_info);
+  }
+  t->path_refresh_task = GNUNET_SCHEDULER_NO_TASK;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH: sending keepalive for tunnel %d\n", t->id.tid);
+
+  msg = (struct GNUNET_MESH_Multicast *) cbuf;
+  msg->header.size = htons (size);
+  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_MULTICAST);
+  msg->oid = my_full_id;
+  msg->tid = htonl (t->id.tid);
+  payload = (struct GNUNET_MessageHeader *) &msg[1];
+  payload->size = htons (sizeof (struct GNUNET_MessageHeader));
+  payload->type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_KEEPALIVE);
+  tunnel_send_multicast (t, &msg->header);
+
+  t->path_refresh_task =
+      GNUNET_SCHEDULER_add_delayed (REFRESH_PATH_TIME, &path_refresh, t);
   return;
 }
 
@@ -1838,72 +3288,44 @@ path_refresh (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
  * @param cls closure
  * @param exp when will this value expire
  * @param key key of the result
- * @param get_path NULL-terminated array of pointers
- *                 to the peers on reverse GET path (or NULL if not recorded)
- * @param put_path NULL-terminated array of pointers
- *                 to the peers on the PUT path (or NULL if not recorded)
+ * @param get_path path of the get request
+ * @param get_path_length lenght of get_path
+ * @param put_path path of the put request
+ * @param put_path_length length of the put_path
  * @param type type of the result
  * @param size number of bytes in data
  * @param data pointer to the result data
+ *
+ * TODO: re-issue the request after certain time? cancel after X results?
  */
 static void
 dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
                     const GNUNET_HashCode * key,
-                    const struct GNUNET_PeerIdentity *const *get_path,
-                    const struct GNUNET_PeerIdentity *const *put_path,
-                    enum GNUNET_BLOCK_Type type, size_t size, const void *data)
+                    const struct GNUNET_PeerIdentity *get_path,
+                    unsigned int get_path_length,
+                    const struct GNUNET_PeerIdentity *put_path,
+                    unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
+                    size_t size, const void *data)
 {
-  struct MeshPeerInfo *peer_info = cls;
-  struct MeshPath *p;
+  struct MeshPathInfo *path_info = cls;
+  struct MeshPeerPath *p;
   struct GNUNET_PeerIdentity pi;
   int i;
 
-  if ((NULL == get_path || NULL == put_path) && NULL == peer_info->path)
-  {
-    // Find ourselves some alternate initial path to the destination: retry
-    GNUNET_DHT_get_stop (peer_info->dhtget);
-    GNUNET_PEER_resolve (peer_info->id, &pi);
-    peer_info->dhtget = GNUNET_DHT_get_start (dht_handle, GNUNET_TIME_UNIT_FOREVER_REL, GNUNET_BLOCK_TYPE_ANY, &pi.hashPubKey, 4,       /* replication level */
-                                              GNUNET_DHT_RO_RECORD_ROUTE, NULL, /* bloom filter */
-                                              0,        /* mutator */
-                                              NULL,     /* xquery */
-                                              0,        /* xquery bits */
-                                              dht_get_id_handler,
-                                              (void *) peer_info);
-  }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Got results from DHT!\n");
+  GNUNET_PEER_resolve (path_info->peer->id, &pi);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   for %s\n", GNUNET_i2s (&pi));
 
-  p = GNUNET_malloc (sizeof (struct MeshPath));
-  for (i = 0; get_path[i] != NULL; i++) ;
-  for (i--; i >= 0; i--)
-  {
-    p->peers =
-        GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * (p->length + 1));
-    p->peers[p->length] = GNUNET_PEER_intern (get_path[i]);
-    p->length++;
-  }
-  for (i = 0; put_path[i] != NULL; i++) ;
-  for (i--; i >= 0; i--)
+  p = path_build_from_dht (get_path, get_path_length, put_path,
+                           put_path_length);
+  path_add_to_peers (p, GNUNET_NO);
+  path_destroy(p);
+  for (i = 0; i < path_info->peer->ntunnels; i++)
   {
-    p->peers =
-        GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * (p->length + 1));
-    p->peers[p->length] = GNUNET_PEER_intern (put_path[i]);
-    p->length++;
-  }
-  add_path_to_peer (peer_info, p);
-  GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
-                                     GNUNET_TIME_UNIT_FOREVER_REL, get_path[1],
-                                     sizeof (struct GNUNET_MESH_ManipulatePath)
-                                     +
-                                     (p->length *
-                                      sizeof (struct GNUNET_PeerIdentity)),
-                                     &send_core_create_path_for_peer,
-                                     peer_info);
-  if (0 == peer_info->path_refresh_task)
-  {
-    peer_info->path_refresh_task =
-        GNUNET_SCHEDULER_add_delayed (REFRESH_PATH_TIME, &path_refresh,
-                                      peer_info);
+    tunnel_add_peer (path_info->peer->tunnels[i], path_info->peer);
+    peer_info_connect (path_info->peer, path_info->t);
   }
+
   return;
 }
 
@@ -1916,10 +3338,10 @@ dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
  * @param cls closure
  * @param exp when will this value expire
  * @param key key of the result
- * @param get_path NULL-terminated array of pointers
- *                 to the peers on reverse GET path (or NULL if not recorded)
- * @param put_path NULL-terminated array of pointers
- *                 to the peers on the PUT path (or NULL if not recorded)
+ * @param get_path path of the get request
+ * @param get_path_length lenght of get_path
+ * @param put_path path of the put request
+ * @param put_path_length length of the put_path
  * @param type type of the result
  * @param size number of bytes in data
  * @param data pointer to the result data
@@ -1927,69 +3349,37 @@ dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
 static void
 dht_get_type_handler (void *cls, struct GNUNET_TIME_Absolute exp,
                       const GNUNET_HashCode * key,
-                      const struct GNUNET_PeerIdentity *const *get_path,
-                      const struct GNUNET_PeerIdentity *const *put_path,
-                      enum GNUNET_BLOCK_Type type, size_t size,
-                      const void *data)
+                      const struct GNUNET_PeerIdentity *get_path,
+                      unsigned int get_path_length,
+                      const struct GNUNET_PeerIdentity *put_path,
+                      unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
+                      size_t size, const void *data)
 {
   const struct GNUNET_PeerIdentity *pi = data;
   struct MeshTunnel *t = cls;
   struct MeshPeerInfo *peer_info;
-  struct MeshPath *p;
-  int i;
-
+  struct MeshPeerPath *p;
 
   if (size != sizeof (struct GNUNET_PeerIdentity))
   {
     GNUNET_break_op (0);
     return;
   }
-  peer_info = get_peer_info (pi);
-  GNUNET_CONTAINER_multihashmap_put (t->peers, &pi->hashPubKey, peer_info,
-                                     GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
-  if ((NULL == get_path || NULL == put_path) && NULL == peer_info->path)
-  {
-    /* we don't have a route to the peer, let's try a direct lookup */
-    if (NULL == peer_info->dhtget)
-    {
-      peer_info->dhtget = GNUNET_DHT_get_start (dht_handle, GNUNET_TIME_UNIT_FOREVER_REL, GNUNET_BLOCK_TYPE_ANY, &pi->hashPubKey, 10U,  /* replication level */
-                                                GNUNET_DHT_RO_RECORD_ROUTE, NULL,       /* bloom filter */
-                                                0,      /* mutator */
-                                                NULL,   /* xquery */
-                                                0,      /* xquery bits */
-                                                dht_get_id_handler, peer_info);
-    }
-  }
-  /* TODO refactor */
-  p = GNUNET_malloc (sizeof (struct MeshPath));
-  for (i = 0; get_path[i] != NULL; i++) ;
-  for (i--; i >= 0; i--)
-  {
-    p->peers =
-        GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * (p->length + 1));
-    p->peers[p->length] = GNUNET_PEER_intern (get_path[i]);
-    p->length++;
-  }
-  for (i = 0; put_path[i] != NULL; i++) ;
-  for (i--; i >= 0; i--)
-  {
-    p->peers =
-        GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * (p->length + 1));
-    p->peers[p->length] = GNUNET_PEER_intern (put_path[i]);
-    p->length++;
-  }
-  add_path_to_peer (peer_info, p);
-  GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
-                                     GNUNET_TIME_UNIT_FOREVER_REL, get_path[1],
-                                     sizeof (struct GNUNET_MESH_ManipulatePath)
-                                     +
-                                     (p->length *
-                                      sizeof (struct GNUNET_PeerIdentity)),
-                                     &send_core_create_path_for_peer,
-                                     peer_info);
-
+  GNUNET_assert (NULL != t->client);
+  peer_info = peer_info_get (pi);
+  (void) GNUNET_CONTAINER_multihashmap_put (t->peers, &pi->hashPubKey,
+                                            peer_info,
+                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_REPLACE);
+
+  p = path_build_from_dht (get_path, get_path_length, put_path,
+                           put_path_length);
+  path_add_to_peers (p, GNUNET_NO);
+  path_destroy(p);
+  tunnel_add_peer (t, peer_info);
+  peer_info_connect (peer_info, t);
 }
 
+
 /******************************************************************************/
 /*********************       MESH LOCAL HANDLES      **************************/
 /******************************************************************************/
@@ -2003,55 +3393,52 @@ dht_get_type_handler (void *cls, struct GNUNET_TIME_Absolute exp,
  *        for the last call when the server is destroyed
  */
 static void
-handle_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
+handle_local_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
 {
   struct MeshClient *c;
   struct MeshClient *next;
-  unsigned int i;
-  unsigned int j;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: client disconnected\n");
+  if (client == NULL)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    (SERVER DOWN)\n");
+    return;
+  }
   c = clients;
   while (NULL != c)
   {
-    if (c->handle != client)
+    if (c->handle != client && NULL != client)
     {
       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    ... searching\n");
       c = c->next;
       continue;
     }
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: matching client found\n");
-    GNUNET_CONTAINER_multihashmap_iterate (c->tunnels, &delete_tunnel_entry, c);
-    GNUNET_CONTAINER_multihashmap_destroy (c->tunnels);
-    if (0 != c->app_counter)
+    GNUNET_SERVER_client_drop (c->handle);
+    if (NULL != c->tunnels)
     {
-      /* deregister clients applications */
-      for (i = 0; i < c->app_counter; i++)
-      {
-        for (j = 0; j < n_apps; j++)
-        {
-          if (c->apps[i] == applications[j] && 0 == --applications_rc[j])
-          {
-            applications[j] = applications[n_apps - 1];
-            GNUNET_array_grow (applications, n_apps, n_apps - 1);
-            n_apps++;
-            applications_rc[j] = applications_rc[n_apps - 1];
-            GNUNET_array_grow (applications_rc, n_apps, n_apps - 1);
-
-          }
-          break;
-        }
-      }
-      GNUNET_free (c->apps);
-      if (0 == n_apps)
-      {
-        GNUNET_SCHEDULER_cancel (announce_applications_task);
-      }
+      GNUNET_CONTAINER_multihashmap_iterate (c->tunnels,
+                                             &tunnel_destroy_iterator, c);
+      GNUNET_CONTAINER_multihashmap_destroy (c->tunnels);
     }
-    if (0 != c->type_counter)
-      GNUNET_free (c->types);
-    GNUNET_CONTAINER_DLL_remove (clients, clients_tail, c);
+
+    /* deregister clients applications */
+    if (NULL != c->apps)
+    {
+      GNUNET_CONTAINER_multihashmap_iterate (c->apps, &deregister_app, NULL);
+      GNUNET_CONTAINER_multihashmap_destroy (c->apps);
+    }
+    if (0 == GNUNET_CONTAINER_multihashmap_size (applications) &&
+        GNUNET_SCHEDULER_NO_TASK != announce_applications_task)
+    {
+      GNUNET_SCHEDULER_cancel (announce_applications_task);
+      announce_applications_task = GNUNET_SCHEDULER_NO_TASK;
+    }
+    if (NULL != c->types)
+      GNUNET_CONTAINER_multihashmap_destroy (c->types);
     next = c->next;
+    GNUNET_CONTAINER_DLL_remove (clients, clients_tail, c);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   CLIENT FREE at %p\n", c);
     GNUNET_free (c);
     c = next;
   }
@@ -2076,21 +3463,19 @@ handle_local_new_client (void *cls, struct GNUNET_SERVER_Client *client,
   struct MeshClient *c;
   GNUNET_MESH_ApplicationType *a;
   unsigned int size;
-  uint16_t types;
+  uint16_t ntypes;
   uint16_t *t;
-  uint16_t apps;
+  uint16_t napps;
   uint16_t i;
-  uint16_t j;
-  int known;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: new client connected\n");
   /* Check data sanity */
   size = ntohs (message->size) - sizeof (struct GNUNET_MESH_ClientConnect);
   cc_msg = (struct GNUNET_MESH_ClientConnect *) message;
-  types = ntohs (cc_msg->types);
-  apps = ntohs (cc_msg->applications);
+  ntypes = ntohs (cc_msg->types);
+  napps = ntohs (cc_msg->applications);
   if (size !=
-      types * sizeof (uint16_t) + apps * sizeof (GNUNET_MESH_ApplicationType))
+      ntypes * sizeof (uint16_t) + napps * sizeof (GNUNET_MESH_ApplicationType))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -2099,63 +3484,68 @@ handle_local_new_client (void *cls, struct GNUNET_SERVER_Client *client,
 
   /* Create new client structure */
   c = GNUNET_malloc (sizeof (struct MeshClient));
+#if MESH_DEBUG
+  c->id = next_client_id++;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   CLIENT NEW %u at %p\n", c->id,
+              c);
+#endif
   c->handle = client;
+  GNUNET_SERVER_client_keep (client);
   a = (GNUNET_MESH_ApplicationType *) &cc_msg[1];
-  if (apps > 0)
+  if (napps > 0)
   {
-    c->app_counter = apps;
-    c->apps = GNUNET_malloc (apps * sizeof(GNUNET_MESH_ApplicationType));
-    for (i = 0; i < apps; i++)
+    GNUNET_MESH_ApplicationType at;
+    GNUNET_HashCode hc;
+
+    c->apps = GNUNET_CONTAINER_multihashmap_create (napps);
+    for (i = 0; i < napps; i++)
     {
-      c->apps[i] = ntohl(a[i]);
-      GNUNET_log(GNUNET_ERROR_TYPE_DEBUG, "MESH:  app %u\n", c->apps[i]);
-      known = GNUNET_NO;
-      for (j = 0; i < n_apps; j++)
-      {
-        if (c->apps[i] == applications[j])
-        {
-          known = GNUNET_YES;
-          applications_rc[j]++;
-          break;
-        }
-      }
-      if (!known)
-      {
-        /* Register previously unknown application */
-        GNUNET_array_append (applications, n_apps, c->apps[i]);
-        n_apps--;
-        GNUNET_array_append (applications_rc, n_apps, 1);
-        if (GNUNET_SCHEDULER_NO_TASK == announce_applications_task)
-        {
-          announce_applications_task =
-              GNUNET_SCHEDULER_add_delayed (APP_ANNOUNCE_TIME,
-                                            &announce_applications, NULL);
-        }
-      /* TODO: if any client was looking for *type*, notify peer found  */
-      }
+      at = ntohl (a[i]);
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   app type: %u\n", at);
+      GNUNET_CRYPTO_hash (&at, sizeof (at), &hc);
+      /* store in clients hashmap */
+      GNUNET_CONTAINER_multihashmap_put (c->apps, &hc, c,
+                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
+      /* store in global hashmap, for announcements */
+      GNUNET_CONTAINER_multihashmap_put (applications, &hc, c,
+                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
     }
+    if (GNUNET_SCHEDULER_NO_TASK == announce_applications_task)
+      announce_applications_task =
+          GNUNET_SCHEDULER_add_now (&announce_applications, NULL);
+
   }
-  if (types > 0)
+  if (ntypes > 0)
   {
-    t = (uint16_t *) &a[apps];
-    c->type_counter = types;
-    c->types = GNUNET_malloc (types * sizeof (uint16_t));
-    for (i =0; i < types; i++)
+    uint16_t u16;
+    GNUNET_HashCode hc;
+
+    t = (uint16_t *) & a[napps];
+    c->types = GNUNET_CONTAINER_multihashmap_create (ntypes);
+    for (i = 0; i < ntypes; i++)
     {
-      c->types[i] = ntohs(t[i]);
-      GNUNET_log(GNUNET_ERROR_TYPE_DEBUG, "MESH:  type %hu\n", c->types[i]);
+      u16 = ntohs (t[i]);
+      GNUNET_CRYPTO_hash (&u16, sizeof (u16), &hc);
+
+      /* store in clients hashmap */
+      GNUNET_CONTAINER_multihashmap_put (c->types, &hc, c,
+                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
+      /* store in global hashmap */
+      GNUNET_CONTAINER_multihashmap_put (types, &hc, c,
+                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
     }
   }
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH:  client has %u+%u subscriptions\n", c->type_counter,
-              c->app_counter);
+              "MESH:  client has %u+%u subscriptions\n", napps, ntypes);
 
   GNUNET_CONTAINER_DLL_insert (clients, clients_tail, c);
   c->tunnels = GNUNET_CONTAINER_multihashmap_create (32);
   GNUNET_SERVER_notification_context_add (nc, client);
 
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
-
+#if MESH_DEBUG
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: new client processed\n");
+#endif
 }
 
 
@@ -2178,12 +3568,15 @@ handle_local_tunnel_create (void *cls, struct GNUNET_SERVER_Client *client,
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: new tunnel requested\n");
 
   /* Sanity check for client registration */
-  if (NULL == (c = retrieve_client (client)))
+  if (NULL == (c = client_get (client)))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
+#if MESH_DEBUG
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   by client %u\n", c->id);
+#endif
 
   /* Message sanity check */
   if (sizeof (struct GNUNET_MESH_TunnelMessage) != ntohs (message->size))
@@ -2202,7 +3595,7 @@ handle_local_tunnel_create (void *cls, struct GNUNET_SERVER_Client *client,
     return;
   }
   /* Sanity check for duplicate tunnel IDs */
-  if (NULL != retrieve_tunnel_by_local_id (c, ntohl (t_msg->tunnel_id)))
+  if (NULL != tunnel_get_by_local_id (c, ntohl (t_msg->tunnel_id)))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -2210,11 +3603,16 @@ handle_local_tunnel_create (void *cls, struct GNUNET_SERVER_Client *client,
   }
 
   t = GNUNET_malloc (sizeof (struct MeshTunnel));
-  while (NULL != retrieve_tunnel_by_pi (myid, next_tid))
+  while (NULL != tunnel_get_by_pi (myid, next_tid))
     next_tid = (next_tid + 1) & ~GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
   t->id.tid = next_tid++;
+  next_tid = next_tid & ~GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
   t->id.oid = myid;
   t->local_tid = ntohl (t_msg->tunnel_id);
+#if MESH_DEBUG
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: CREATED TUNNEL %s [%x] (%x)\n",
+              GNUNET_i2s (&my_full_id), t->id.tid, t->local_tid);
+#endif
   t->client = c;
   t->peers = GNUNET_CONTAINER_multihashmap_create (32);
 
@@ -2237,6 +3635,7 @@ handle_local_tunnel_create (void *cls, struct GNUNET_SERVER_Client *client,
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
+  t->tree = tree_new (myid);
 
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
   return;
@@ -2260,10 +3659,11 @@ handle_local_tunnel_destroy (void *cls, struct GNUNET_SERVER_Client *client,
   MESH_TunnelNumber tid;
   GNUNET_HashCode hash;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: destroying tunnel\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH: Got a DESTROY TUNNEL from client!\n");
 
   /* Sanity check for client registration */
-  if (NULL == (c = retrieve_client (client)))
+  if (NULL == (c = client_get (client)))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -2276,7 +3676,9 @@ handle_local_tunnel_destroy (void *cls, struct GNUNET_SERVER_Client *client,
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
-
+#if MESH_DEBUG
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   by client %u\n", c->id);
+#endif
   tunnel_msg = (struct GNUNET_MESH_TunnelMessage *) message;
 
   /* Retrieve tunnel */
@@ -2285,13 +3687,12 @@ handle_local_tunnel_destroy (void *cls, struct GNUNET_SERVER_Client *client,
   /* Remove from local id hashmap */
   GNUNET_CRYPTO_hash (&tid, sizeof (MESH_TunnelNumber), &hash);
   t = GNUNET_CONTAINER_multihashmap_get (c->tunnels, &hash);
-  GNUNET_CONTAINER_multihashmap_remove (c->tunnels, &hash, t);
-
-  /* Remove from global id hashmap */
-  GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
-  GNUNET_CONTAINER_multihashmap_remove (tunnels, &hash, t);
+  GNUNET_assert (GNUNET_YES ==
+                 GNUNET_CONTAINER_multihashmap_remove (c->tunnels, &hash, t));
 
-//     notify_tunnel_destroy(t);
+  t->client = NULL;
+  tunnel_send_destroy (t);
+  tunnel_destroy (t);
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
   return;
 }
@@ -2309,14 +3710,14 @@ handle_local_connect_add (void *cls, struct GNUNET_SERVER_Client *client,
                           const struct GNUNET_MessageHeader *message)
 {
   struct GNUNET_MESH_PeerControl *peer_msg;
+  struct MeshPeerInfo *peer_info;
   struct MeshClient *c;
   struct MeshTunnel *t;
   MESH_TunnelNumber tid;
-  struct MeshPeerInfo *peer_info;
-
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Got connection request\n");
   /* Sanity check for client registration */
-  if (NULL == (c = retrieve_client (client)))
+  if (NULL == (c = client_get (client)))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -2334,7 +3735,7 @@ handle_local_connect_add (void *cls, struct GNUNET_SERVER_Client *client,
 
   /* Tunnel exists? */
   tid = ntohl (peer_msg->tunnel_id);
-  t = retrieve_tunnel_by_local_id (c, tid);
+  t = tunnel_get_by_local_id (c, tid);
   if (NULL == t)
   {
     GNUNET_break (0);
@@ -2349,21 +3750,12 @@ handle_local_connect_add (void *cls, struct GNUNET_SERVER_Client *client,
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      for %s\n",
+              GNUNET_i2s (&peer_msg->peer));
+  peer_info = peer_info_get (&peer_msg->peer);
 
-  t->peers_total++;
-  peer_info = get_peer_info (&peer_msg->peer);
-
-  /* Start DHT search if needed */
-  if (MESH_PEER_READY != peer_info->state && NULL == peer_info->dhtget)
-  {
-    peer_info->dhtget = GNUNET_DHT_get_start (dht_handle, GNUNET_TIME_UNIT_FOREVER_REL, GNUNET_BLOCK_TYPE_ANY, &peer_msg->peer.hashPubKey, 4,   /* replication level */
-                                              GNUNET_DHT_RO_RECORD_ROUTE, NULL, /* bloom filter */
-                                              0,        /* mutator */
-                                              NULL,     /* xquery */
-                                              0,        /* xquery bits */
-                                              dht_get_id_handler,
-                                              (void *) peer_info);
-  }
+  tunnel_add_peer (t, peer_info);
+  peer_info_connect (peer_info, t);
 
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
   return;
@@ -2382,12 +3774,14 @@ handle_local_connect_del (void *cls, struct GNUNET_SERVER_Client *client,
                           const struct GNUNET_MessageHeader *message)
 {
   struct GNUNET_MESH_PeerControl *peer_msg;
+  struct MeshPeerInfo *peer_info;
   struct MeshClient *c;
   struct MeshTunnel *t;
   MESH_TunnelNumber tid;
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Got a PEER DEL request\n");
   /* Sanity check for client registration */
-  if (NULL == (c = retrieve_client (client)))
+  if (NULL == (c = client_get (client)))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -2404,13 +3798,14 @@ handle_local_connect_del (void *cls, struct GNUNET_SERVER_Client *client,
 
   /* Tunnel exists? */
   tid = ntohl (peer_msg->tunnel_id);
-  t = retrieve_tunnel_by_local_id (c, tid);
+  t = tunnel_get_by_local_id (c, tid);
   if (NULL == t)
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   on tunnel %X\n", t->id.tid);
 
   /* Does client own tunnel? */
   if (t->client->handle != client)
@@ -2420,10 +3815,24 @@ handle_local_connect_del (void *cls, struct GNUNET_SERVER_Client *client,
     return;
   }
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   for peer %s\n",
+              GNUNET_i2s (&peer_msg->peer));
+  /* Is the peer in the tunnel? */
+  peer_info =
+      GNUNET_CONTAINER_multihashmap_get (t->peers, &peer_msg->peer.hashPubKey);
+  if (NULL == peer_info)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
   /* Ok, delete peer from tunnel */
   GNUNET_CONTAINER_multihashmap_remove_all (t->peers,
                                             &peer_msg->peer.hashPubKey);
 
+  send_destroy_path (t, peer_info->id);
+  tunnel_delete_peer (t, peer_info->id);
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
   return;
 }
@@ -2444,15 +3853,11 @@ handle_local_connect_by_type (void *cls, struct GNUNET_SERVER_Client *client,
   struct MeshClient *c;
   struct MeshTunnel *t;
   GNUNET_HashCode hash;
-  GNUNET_MESH_ApplicationType type;
   MESH_TunnelNumber tid;
-  uint8_t buffer[12] = "MESH_APP";
-  uint32_t *p;
-  unsigned int i;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: got connect by type request\n");
   /* Sanity check for client registration */
-  if (NULL == (c = retrieve_client (client)))
+  if (NULL == (c = client_get (client)))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -2471,7 +3876,7 @@ handle_local_connect_by_type (void *cls, struct GNUNET_SERVER_Client *client,
 
   /* Tunnel exists? */
   tid = ntohl (connect_msg->tunnel_id);
-  t = retrieve_tunnel_by_local_id (c, tid);
+  t = tunnel_get_by_local_id (c, tid);
   if (NULL == t)
   {
     GNUNET_break (0);
@@ -2488,46 +3893,56 @@ handle_local_connect_by_type (void *cls, struct GNUNET_SERVER_Client *client,
   }
 
   /* Do WE have the service? */
-  type = ntohl (connect_msg->type);
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  type requested: %u\n", type);
-  for (i = 0; i < n_apps; i++)
+  t->type = ntohl (connect_msg->type);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  type requested: %u\n", t->type);
+  GNUNET_CRYPTO_hash (&t->type, sizeof (GNUNET_MESH_ApplicationType), &hash);
+  if (GNUNET_CONTAINER_multihashmap_contains (applications, &hash) ==
+      GNUNET_YES)
   {
-    if (applications[i] == type)
-    {
-      /* Yes! Fast forward, add ourselves to the tunnel and send the
-       * good news to the client
-       */
-      struct GNUNET_MESH_PeerControl pc;
-
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  available locally\n");
-      pc.peer = my_full_id;
-      GNUNET_CONTAINER_multihashmap_put (t->peers, &pc.peer.hashPubKey,
-                                         get_peer_info (&pc.peer),
-                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
-      pc.header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
-      pc.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD);
-      pc.tunnel_id = htonl (t->local_tid);
-      pc.peer = my_full_id;
-      GNUNET_SERVER_notification_context_unicast (nc,   /* context */
-                                                  client,       /* dest */
-                                                  &pc.header,   /* msg */
-                                                  GNUNET_NO);   /* can drop? */
-      GNUNET_SERVER_receive_done (client, GNUNET_OK);
-      return;
-    }
+    /* Yes! Fast forward, add ourselves to the tunnel and send the
+     * good news to the client, and alert the destination client of
+     * an incoming tunnel.
+     */
+    struct GNUNET_MESH_TunnelNotification cmsg;
+    struct MeshClient *c;
+
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  available locally\n");
+    GNUNET_CONTAINER_multihashmap_put (t->peers, &my_full_id.hashPubKey,
+                                       peer_info_get (&my_full_id),
+                                       GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
+
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  notifying client\n");
+    send_client_peer_connected (t, myid);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  Done\n");
+    GNUNET_SERVER_receive_done (client, GNUNET_OK);
+
+    /* FIXME implement a proper handling of this case,
+       a client differentiation mechanism */
+    cmsg.header.size = htons (sizeof (cmsg));
+    cmsg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
+    cmsg.peer = my_full_id;
+    t->local_tid_dest = next_local_tid++;
+    cmsg.tunnel_id = htonl (t->local_tid_dest);
+    c = (struct MeshClient *) GNUNET_CONTAINER_multihashmap_get(applications,
+                                                                &hash);
+    GNUNET_SERVER_notification_context_unicast (nc, c->handle, &cmsg.header,
+                                                GNUNET_NO);
+    
+
+    return;
   }
   /* Ok, lets find a peer offering the service */
-  p = (uint32_t *) & buffer[8];
-  *p = connect_msg->type;       /* Already in Network Byte Order! */
-  GNUNET_CRYPTO_hash (buffer, 12, &hash);
-  if (c->dht_get_type)
+  if (NULL != t->dht_get_type)
   {
-    GNUNET_DHT_get_stop (c->dht_get_type);
+    GNUNET_DHT_get_stop (t->dht_get_type);
   }
-  c->dht_get_type =
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  looking in DHT for %s\n",
+              GNUNET_h2s (&hash));
+  t->dht_get_type =
       GNUNET_DHT_get_start (dht_handle, GNUNET_TIME_UNIT_FOREVER_REL,
-                            GNUNET_BLOCK_TYPE_ANY, &hash, 10U,
-                            GNUNET_DHT_RO_RECORD_ROUTE, NULL, 0, NULL, 0,
+                            GNUNET_BLOCK_TYPE_TEST, &hash, 10U,
+                            GNUNET_DHT_RO_RECORD_ROUTE |
+                            GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE, NULL, 0,
                             &dht_get_type_handler, t);
 
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
@@ -2550,13 +3965,14 @@ handle_local_unicast (void *cls, struct GNUNET_SERVER_Client *client,
   struct MeshTunnel *t;
   struct MeshPeerInfo *pi;
   struct GNUNET_MESH_Unicast *data_msg;
-  struct GNUNET_PeerIdentity next_hop;
-  struct MeshDataDescriptor *info;
   MESH_TunnelNumber tid;
-  size_t data_size;
+  size_t size;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH: Got a unicast request from a client!\n");
 
   /* Sanity check for client registration */
-  if (NULL == (c = retrieve_client (client)))
+  if (NULL == (c = client_get (client)))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -2564,8 +3980,9 @@ handle_local_unicast (void *cls, struct GNUNET_SERVER_Client *client,
   }
   data_msg = (struct GNUNET_MESH_Unicast *) message;
   /* Sanity check for message size */
+  size = ntohs (message->size);
   if (sizeof (struct GNUNET_MESH_Unicast) +
-      sizeof (struct GNUNET_MessageHeader) > ntohs (data_msg->header.size))
+      sizeof (struct GNUNET_MessageHeader) > size)
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -2574,7 +3991,7 @@ handle_local_unicast (void *cls, struct GNUNET_SERVER_Client *client,
 
   /* Tunnel exists? */
   tid = ntohl (data_msg->tid);
-  t = retrieve_tunnel_by_local_id (c, tid);
+  t = tunnel_get_by_local_id (c, tid);
   if (NULL == t)
   {
     GNUNET_break (0);
@@ -2583,7 +4000,8 @@ handle_local_unicast (void *cls, struct GNUNET_SERVER_Client *client,
   }
 
   /*  Is it a local tunnel? Then, does client own the tunnel? */
-  if (t->client->handle != NULL && t->client->handle != client)
+  if (NULL != t->client && NULL != t->client->handle &&
+      t->client->handle != client)
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -2599,34 +4017,114 @@ handle_local_unicast (void *cls, struct GNUNET_SERVER_Client *client,
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
-  if (pi->id == myid)
+
+  /* Ok, everything is correct, send the message
+   * (pretend we got it from a mesh peer)
+   */
   {
-    struct GNUNET_MESH_Unicast copy;
+    char buf[ntohs (message->size)];
+    struct GNUNET_MESH_Unicast *copy;
 
     /* Work around const limitation */
-    memcpy (&copy, data_msg, sizeof (struct GNUNET_MESH_Unicast));
-    copy.oid = my_full_id;
-    copy.tid = htonl(t->id.tid);
-    handle_mesh_data_unicast (NULL, &my_full_id, &copy.header, NULL);
+    copy = (struct GNUNET_MESH_Unicast *) buf;
+    memcpy (buf, data_msg, size);
+    copy->oid = my_full_id;
+    copy->tid = htonl (t->id.tid);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "MESH:   calling generic handler...\n");
+    handle_mesh_data_unicast (NULL, &my_full_id, &copy->header, NULL, 0);
+  }
+  GNUNET_SERVER_receive_done (client, GNUNET_OK);
+  return;
+}
+
+
+/**
+ * Handler for client traffic directed to the origin
+ *
+ * @param cls closure
+ * @param client identification of the client
+ * @param message the actual message
+ */
+static void
+handle_local_to_origin (void *cls, struct GNUNET_SERVER_Client *client,
+                        const struct GNUNET_MessageHeader *message)
+{
+  struct GNUNET_MESH_ToOrigin *data_msg;
+  struct GNUNET_PeerIdentity id;
+  struct MeshClient *c;
+  struct MeshTunnel *t;
+  MESH_TunnelNumber tid;
+  size_t size;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH: Got a ToOrigin request from a client!\n");
+
+  /* Sanity check for client registration */
+  if (NULL == (c = client_get (client)))
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+  data_msg = (struct GNUNET_MESH_ToOrigin *) message;
+  /* Sanity check for message size */
+  size = ntohs (message->size);
+  if (sizeof (struct GNUNET_MESH_ToOrigin) +
+      sizeof (struct GNUNET_MessageHeader) > size)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  /* Tunnel exists? */
+  tid = ntohl (data_msg->tid);
+  if (tid < GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+  t = tunnel_get_by_local_id (c, tid);
+  if (NULL == t)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  /*  It shouldn't be a local tunnel.  */
+  if (NULL != t->client)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
-  GNUNET_PEER_resolve (get_first_hop (pi->path), &next_hop);
-  data_size = ntohs (message->size) - sizeof (struct GNUNET_MESH_Unicast);
-  info = GNUNET_malloc (sizeof (struct MeshDataDescriptor) + data_size);
-  memcpy (&info[1], &data_msg[1], data_size);
-  info->destination = pi->id;
-  info->origin = &t->id;
-  info->size = data_size;
-  info->client = client;
-  GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
-                                     GNUNET_TIME_UNIT_FOREVER_REL, &next_hop,
-                                     /* FIXME re-check types */
-                                     data_size +
-                                     sizeof (struct GNUNET_MESH_Unicast),
-                                     &send_core_data_unicast, info);
+  GNUNET_PEER_resolve (t->id.oid, &id);
+
+  /* Ok, everything is correct, send the message
+   * (pretend we got it from a mesh peer)
+   */
+  {
+    char buf[ntohs (message->size)];
+    struct GNUNET_MESH_ToOrigin *copy;
+
+    /* Work around const limitation */
+    copy = (struct GNUNET_MESH_ToOrigin *) buf;
+    memcpy (buf, data_msg, size);
+    copy->oid = id;
+    copy->tid = htonl (t->id.tid);
+    copy->sender = my_full_id;
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "MESH:   calling generic handler...\n");
+    handle_mesh_data_to_orig (NULL, &my_full_id, &copy->header, NULL, 0);
+  }
+  GNUNET_SERVER_receive_done (client, GNUNET_OK);
   return;
 }
 
+
 /**
  * Handler for client traffic directed to all peers in a tunnel
  *
@@ -2643,8 +4141,11 @@ handle_local_multicast (void *cls, struct GNUNET_SERVER_Client *client,
   struct GNUNET_MESH_Multicast *data_msg;
   MESH_TunnelNumber tid;
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "MESH: Got a multicast request from a client!\n");
+
   /* Sanity check for client registration */
-  if (NULL == (c = retrieve_client (client)))
+  if (NULL == (c = client_get (client)))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -2652,7 +4153,8 @@ handle_local_multicast (void *cls, struct GNUNET_SERVER_Client *client,
   }
   data_msg = (struct GNUNET_MESH_Multicast *) message;
   /* Sanity check for message size */
-  if (sizeof (struct GNUNET_MESH_PeerControl) != ntohs (data_msg->header.size))
+  if (sizeof (struct GNUNET_MESH_Multicast) +
+      sizeof (struct GNUNET_MessageHeader) > ntohs (data_msg->header.size))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -2661,7 +4163,7 @@ handle_local_multicast (void *cls, struct GNUNET_SERVER_Client *client,
 
   /* Tunnel exists? */
   tid = ntohl (data_msg->tid);
-  t = retrieve_tunnel_by_local_id (c, tid);
+  t = tunnel_get_by_local_id (c, tid);
   if (NULL == t)
   {
     GNUNET_break (0);
@@ -2677,17 +4179,31 @@ handle_local_multicast (void *cls, struct GNUNET_SERVER_Client *client,
     return;
   }
 
-  /*  TODO */
+  {
+    char buf[ntohs (message->size)];
+    struct GNUNET_MESH_Multicast *copy;
+
+    copy = (struct GNUNET_MESH_Multicast *) buf;
+    memcpy (buf, message, ntohs (message->size));
+    copy->oid = my_full_id;
+    copy->tid = htonl (t->id.tid);
+    copy->ttl = htonl (DEFAULT_TTL);
+    copy->mid = htonl (t->mid + 1);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "MESH:   calling generic handler...\n");
+    handle_mesh_data_multicast (client, &my_full_id, &copy->header, NULL, 0);
+  }
 
-  GNUNET_SERVER_receive_done (client, GNUNET_OK);
+  /* receive done gets called when last copy is sent to a neighbor */
   return;
 }
 
 /**
  * Functions to handle messages from clients
  */
-static struct GNUNET_SERVER_MessageHandler plugin_handlers[] = {
-  {&handle_local_new_client, NULL, GNUNET_MESSAGE_TYPE_MESH_LOCAL_CONNECT, 0},
+static struct GNUNET_SERVER_MessageHandler client_handlers[] = {
+  {&handle_local_new_client, NULL,
+   GNUNET_MESSAGE_TYPE_MESH_LOCAL_CONNECT, 0},
   {&handle_local_tunnel_create, NULL,
    GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE,
    sizeof (struct GNUNET_MESH_TunnelMessage)},
@@ -2705,7 +4221,7 @@ static struct GNUNET_SERVER_MessageHandler plugin_handlers[] = {
    sizeof (struct GNUNET_MESH_ConnectPeerByType)},
   {&handle_local_unicast, NULL,
    GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
-  {&handle_local_unicast, NULL,
+  {&handle_local_to_origin, NULL,
    GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
   {&handle_local_multicast, NULL,
    GNUNET_MESSAGE_TYPE_MESH_MULTICAST, 0},
@@ -2719,18 +4235,19 @@ static struct GNUNET_SERVER_MessageHandler plugin_handlers[] = {
  * @param cls service closure
  * @param server handle to the server for this service
  * @param identity the public identity of this peer
- * @param publicKey the public key of this peer
  */
 static void
 core_init (void *cls, struct GNUNET_CORE_Handle *server,
-           const struct GNUNET_PeerIdentity *identity,
-           const struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded *publicKey)
+           const struct GNUNET_PeerIdentity *identity)
 {
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Core init\n");
   core_handle = server;
-  my_full_id = *identity;
-  myid = GNUNET_PEER_intern (identity);
-  announce_id_task = GNUNET_SCHEDULER_add_now (&announce_id, cls);
+  if (0 != memcmp (identity, &my_full_id, sizeof (my_full_id)) ||
+      NULL == server)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR, _("MESH: Wrong CORE service\n"));
+    GNUNET_SCHEDULER_shutdown ();
+  }
   return;
 }
 
@@ -2740,27 +4257,41 @@ core_init (void *cls, struct GNUNET_CORE_Handle *server,
  * @param cls closure
  * @param peer peer identity this notification is about
  * @param atsi performance data for the connection
+ * @param atsi_count number of records in 'atsi'
  */
 static void
 core_connect (void *cls, const struct GNUNET_PeerIdentity *peer,
-              const struct GNUNET_TRANSPORT_ATS_Information *atsi)
+              const struct GNUNET_ATS_Information *atsi,
+              unsigned int atsi_count)
 {
-//     GNUNET_PEER_Id              pid;
   struct MeshPeerInfo *peer_info;
-  struct MeshPath *path;
+  struct MeshPeerPath *path;
 
+#if MESH_DEBUG_CONNECTION
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Peer connected\n");
-  peer_info = get_peer_info (peer);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      %s\n",
+              GNUNET_i2s (&my_full_id));
+#endif
+  peer_info = peer_info_get (peer);
   if (myid == peer_info->id)
   {
+#if MESH_DEBUG_CONNECTION
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      (self)\n");
+#endif
+    return;
   }
-  path = GNUNET_malloc (sizeof (struct MeshPath));
-  path->length = 2;
-  path->peers = GNUNET_malloc (sizeof (GNUNET_PEER_Id) * 2);
+#if MESH_DEBUG_CONNECTION
+  else
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      %s\n", GNUNET_i2s (peer));
+  }
+#endif
+  path = path_new (2);
   path->peers[0] = myid;
   path->peers[1] = peer_info->id;
-  add_path_to_peer (peer_info, path);
+  GNUNET_PEER_change_rc (myid, 1);
+  GNUNET_PEER_change_rc (peer_info->id, 1);
+  peer_info_add_path (peer_info, path, GNUNET_YES);
   return;
 }
 
@@ -2776,26 +4307,27 @@ core_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
   struct MeshPeerInfo *pi;
   unsigned int i;
 
+#if MESH_DEBUG_CONNECTION
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Peer disconnected\n");
+#endif
   pi = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
-  if (!pi)
+  if (NULL == pi)
   {
     GNUNET_break (0);
     return;
   }
   for (i = 0; i < CORE_QUEUE_SIZE; i++)
   {
-    if (pi->core_transmit[i])
-    {
-      GNUNET_CORE_notify_transmit_ready_cancel (pi->core_transmit[i]);
-      /* TODO: notify that tranmission has failed */
-      GNUNET_free (pi->infos[i]);
-    }
+    /* TODO: notify that the transmission failed */
+    peer_info_cancel_transmission (pi, i);
   }
+  peer_info_remove_path (pi, pi->id, myid);
+#if MESH_DEBUG_CONNECTION
   if (myid == pi->id)
   {
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      (self)\n");
   }
+#endif
   return;
 }
 
@@ -2804,6 +4336,42 @@ core_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
 /************************      MAIN FUNCTIONS      ****************************/
 /******************************************************************************/
 
+/**
+ * Iterator over tunnel hash map entries to destroy the tunnel during shutdown.
+ *
+ * @param cls closure
+ * @param key current key code
+ * @param value value in the hash map
+ * @return GNUNET_YES if we should continue to iterate,
+ *         GNUNET_NO if not.
+ */
+static int
+shutdown_tunnel (void *cls, const GNUNET_HashCode * key, void *value)
+{
+  struct MeshTunnel *t = value;
+
+  tunnel_destroy (t);
+  return GNUNET_YES;
+}
+
+/**
+ * Iterator over peer hash map entries to destroy the tunnel during shutdown.
+ *
+ * @param cls closure
+ * @param key current key code
+ * @param value value in the hash map
+ * @return GNUNET_YES if we should continue to iterate,
+ *         GNUNET_NO if not.
+ */
+static int
+shutdown_peer (void *cls, const GNUNET_HashCode * key, void *value)
+{
+  struct MeshPeerInfo *p = value;
+
+  peer_info_destroy (p);
+  return GNUNET_YES;
+}
+
 /**
  * Task run during shutdown.
  *
@@ -2814,11 +4382,14 @@ static void
 shutdown_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: shutting down\n");
+
   if (core_handle != NULL)
   {
     GNUNET_CORE_disconnect (core_handle);
     core_handle = NULL;
   }
+  GNUNET_CONTAINER_multihashmap_iterate (tunnels, &shutdown_tunnel, NULL);
+  GNUNET_CONTAINER_multihashmap_iterate (peers, &shutdown_peer, NULL);
   if (dht_handle != NULL)
   {
     GNUNET_DHT_disconnect (dht_handle);
@@ -2829,10 +4400,10 @@ shutdown_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
     GNUNET_SERVER_notification_context_destroy (nc);
     nc = NULL;
   }
-  if (0 != announce_id_task)
+  if (GNUNET_SCHEDULER_NO_TASK != announce_id_task)
   {
     GNUNET_SCHEDULER_cancel (announce_id_task);
-    announce_id_task = 0;
+    announce_id_task = GNUNET_SCHEDULER_NO_TASK;
   }
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: shut down\n");
 }
@@ -2848,9 +4419,11 @@ static void
 run (void *cls, struct GNUNET_SERVER_Handle *server,
      const struct GNUNET_CONFIGURATION_Handle *c)
 {
+  struct MeshPeerInfo *peer;
+  struct MeshPeerPath *p;
+  char *keyfile;
+
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: starting to run\n");
-  GNUNET_SERVER_add_handlers (server, plugin_handlers);
-  GNUNET_SERVER_disconnect_notify (server, &handle_client_disconnect, NULL);
   server_handle = server;
   core_handle = GNUNET_CORE_connect (c, /* Main configuration */
                                      CORE_QUEUE_SIZE,   /* queue size */
@@ -2858,39 +4431,87 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
                                      &core_init,        /* Call core_init once connected */
                                      &core_connect,     /* Handle connects */
                                      &core_disconnect,  /* remove peers on disconnects */
-                                     NULL,      /* Do we care about "status" updates? */
                                      NULL,      /* Don't notify about all incoming messages */
                                      GNUNET_NO, /* For header only in notification */
                                      NULL,      /* Don't notify about all outbound messages */
                                      GNUNET_NO, /* For header-only out notification */
                                      core_handlers);    /* Register these handlers */
+
   if (core_handle == NULL)
   {
     GNUNET_break (0);
+    GNUNET_SCHEDULER_shutdown ();
+    return;
+  }
+
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_filename (c, "GNUNETD", "HOSTKEY",
+                                               &keyfile))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _
+                ("Mesh service is lacking key configuration settings.  Exiting.\n"));
+    GNUNET_SCHEDULER_shutdown ();
+    return;
   }
+  my_private_key = GNUNET_CRYPTO_rsa_key_create_from_file (keyfile);
+  GNUNET_free (keyfile);
+  if (my_private_key == NULL)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _("Mesh service could not access hostkey.  Exiting.\n"));
+    GNUNET_SCHEDULER_shutdown ();
+    return;
+  }
+  GNUNET_CRYPTO_rsa_key_get_public (my_private_key, &my_public_key);
+  GNUNET_CRYPTO_hash (&my_public_key, sizeof (my_public_key),
+                      &my_full_id.hashPubKey);
+  myid = GNUNET_PEER_intern (&my_full_id);
+
+// //   transport_handle = GNUNET_TRANSPORT_connect(c,
+// //                                               &my_full_id,
+// //                                               NULL,
+// //                                               NULL,
+// //                                               NULL,
+// //                                               NULL);
+
   dht_handle = GNUNET_DHT_connect (c, 64);
   if (dht_handle == NULL)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Error connecting to DHT.\
-                   Running without DHT has a severe\
-                   impact in MESH capabilities.\n\
-                   Plase check your configuretion and enable DHT.\n");
     GNUNET_break (0);
   }
 
   next_tid = 0;
+  next_local_tid = GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
 
   tunnels = GNUNET_CONTAINER_multihashmap_create (32);
+  incoming_tunnels = GNUNET_CONTAINER_multihashmap_create (32);
   peers = GNUNET_CONTAINER_multihashmap_create (32);
+  applications = GNUNET_CONTAINER_multihashmap_create (32);
+  types = GNUNET_CONTAINER_multihashmap_create (32);
+
+  GNUNET_SERVER_add_handlers (server_handle, client_handlers);
   nc = GNUNET_SERVER_notification_context_create (server_handle,
                                                   LOCAL_QUEUE_SIZE);
+  GNUNET_SERVER_disconnect_notify (server_handle,
+                                   &handle_local_client_disconnect, NULL);
+
+
   clients = NULL;
   clients_tail = NULL;
+#if MESH_DEBUG
+  next_client_id = 0;
+#endif
+
+  announce_applications_task = GNUNET_SCHEDULER_NO_TASK;
+  announce_id_task = GNUNET_SCHEDULER_add_now (&announce_id, cls);
 
-  applications = NULL;
-  applications_rc = NULL;
-  n_apps = 0;
-  announce_applications_task = 0;
+  /* Create a peer_info for the local peer */
+  peer = peer_info_get (&my_full_id);
+  p = path_new (1);
+  p->peers[0] = myid;
+  GNUNET_PEER_change_rc (myid, 1);
+  peer_info_add_path (peer, p, GNUNET_YES);
 
   /* Scheduled the task to clean up when shutdown is called */
   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL, &shutdown_task,
@@ -2917,5 +4538,6 @@ main (int argc, char *const *argv)
        GNUNET_SERVICE_run (argc, argv, "mesh", GNUNET_SERVICE_OPTION_NONE, &run,
                            NULL)) ? 0 : 1;
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: main() END\n");
+
   return ret;
 }