- more debug, fixes
[oweals/gnunet.git] / src / mesh / gnunet-service-mesh.c
index 379609c96753cd9c1420aad32e025cdac237488f..d2a1c93fbe49daf4b64b0e82f97cbe6835b63562 100644 (file)
  * - error reporting (CREATE/CHANGE/ADD/DEL?) -- new message!
  * - partial disconnect reporting -- same as error reporting?
  * - add vs create? change vs. keep-alive? same msg or different ones? -- thinking...
- * - speed requirement specification (change?) in mesh API -- API call
  * - add ping message
  * - relay corking down to core
  * - set ttl relative to tree depth
+ * - Add data ACK count in path ACK
+ * TODO END
  */
 
 #include "platform.h"
 #include "mesh.h"
 #include "mesh_protocol.h"
-#include "gnunet_dht_service.h"
 #include "mesh_tunnel_tree.h"
+#include "block_mesh.h"
+#include "mesh_block_lib.h"
+#include "gnunet_dht_service.h"
+#include "gnunet_statistics_service.h"
+#include "gnunet_regex_lib.h"
 
-/* TODO: move into configuration file */
-#define REFRESH_PATH_TIME       GNUNET_TIME_relative_multiply(\
-                                    GNUNET_TIME_UNIT_SECONDS,\
-                                    300)
-#define APP_ANNOUNCE_TIME       GNUNET_TIME_relative_multiply(\
-                                    GNUNET_TIME_UNIT_SECONDS,\
-                                    5)
-
-#define ID_ANNOUNCE_TIME        GNUNET_TIME_relative_multiply(\
-                                    GNUNET_TIME_UNIT_SECONDS,\
-                                    10)
-
-#define GET_RESTART_TIME        GNUNET_TIME_relative_multiply(\
-                                    GNUNET_TIME_UNIT_SECONDS,\
-                                    5)
+#define MESH_BLOOM_SIZE         128
 
-#define UNACKNOWLEDGED_WAIT     GNUNET_TIME_relative_multiply(\
-                                    GNUNET_TIME_UNIT_SECONDS,\
-                                    2)
-#define DEFAULT_TTL     64
+#define MESH_DEBUG_DHT          GNUNET_YES
+#define MESH_DEBUG_CONNECTION   GNUNET_NO
 
-#define MESH_DEBUG_DHT GNUNET_NO
+#define INITIAL_WINDOW_SIZE     2
+#define ACK_THRESHOLD           INITIAL_WINDOW_SIZE / 2
 
+#if MESH_DEBUG_CONNECTION
+#define DEBUG_CONN(...) GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
+#else
+#define DEBUG_CONN(...)
+#endif
 
+#if MESH_DEBUG_DHT
+#define DEBUG_DHT(...) GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
+#else
+#define DEBUG_DHT(...)
+#endif
 
 /******************************************************************************/
 /************************      DATA STRUCTURES     ****************************/
@@ -81,6 +81,7 @@
 
 /** FWD declaration */
 struct MeshPeerInfo;
+struct MeshClient;
 
 
 /**
@@ -106,6 +107,48 @@ struct MeshData
 };
 
 
+/**
+ * Struct containing info about a queued transmission to this peer
+ */
+struct MeshPeerQueue
+{
+    /**
+      * DLL next
+      */
+  struct MeshPeerQueue *next;
+
+    /**
+      * DLL previous
+      */
+  struct MeshPeerQueue *prev;
+
+    /**
+     * Peer this transmission is directed to.
+     */
+  struct MeshPeerInfo *peer;
+
+    /**
+     * Tunnel this message belongs to.
+     */
+  struct MeshTunnel *tunnel;
+
+    /**
+     * Pointer to info stucture used as cls.
+     */
+  void *cls;
+
+    /**
+     * Type of message
+     */
+  uint16_t type;
+
+    /**
+     * Size of the message
+     */
+  size_t size;
+};
+
+
 /**
  * Struct containing all info possibly needed to build a package when called
  * back by core.
@@ -121,9 +164,6 @@ struct MeshTransmissionDescriptor
     /** Ultimate destination of the packet */
   GNUNET_PEER_Id destination;
 
-    /** Which handler was used to request the transmission */
-  unsigned int handler_n;
-
     /** Data descriptor */
   struct MeshData* mesh_data;
 };
@@ -169,21 +209,6 @@ struct MeshPeerInfo
      */
   struct MeshPathInfo *dhtgetcls;
 
-    /**
-     * Handles to stop queued transmissions for this peer
-     */
-  struct GNUNET_CORE_TransmitHandle *core_transmit[CORE_QUEUE_SIZE];
-
-    /**
-     * Pointer to info stuctures used as cls for queued transmissions
-     */
-  void *infos[CORE_QUEUE_SIZE];
-
-    /**
-     * Type of message being in each transmission
-     */
-  uint16_t types[CORE_QUEUE_SIZE];
-
     /**
      * Array of tunnels this peer participates in
      * (most probably a small amount, therefore not a hashmap)
@@ -196,46 +221,29 @@ struct MeshPeerInfo
      * Number of tunnels this peers participates in
      */
   unsigned int ntunnels;
-};
-
-
-/**
- * Data scheduled to transmit (to local client or remote peer)
- */
-struct MeshQueue
-{
-    /**
-     * Double linked list
-     */
-  struct MeshQueue *next;
-  struct MeshQueue *prev;
-
-    /**
-     * Target of the data (NULL if target is client)
-     */
-  struct MeshPeerInfo *peer;
-
-    /**
-     * Client to send the data to (NULL if target is peer)
-     */
-  struct MeshClient *client;
-
-    /**
-     * Size of the message to transmit
-     */
-  unsigned int size;
-
-    /**
-     * How old is the data?
-     */
-  struct GNUNET_TIME_Absolute timestamp;
 
-    /**
-     * Data itself
-     */
-  struct GNUNET_MessageHeader *data;
+   /**
+    * Transmission queue to core DLL head
+    */
+  struct MeshPeerQueue *queue_head;
+
+   /**
+    * Transmission queue to core DLL tail
+    */
+   struct MeshPeerQueue *queue_tail;
+
+   /**
+    * How many messages are in the queue to this peer.
+    */
+   unsigned int queue_n;
+
+   /**
+    * Handle to for queued transmissions
+    */
+  struct GNUNET_CORE_TransmitHandle *core_transmit;
 };
 
+
 /**
  * Globally unique tunnel identification (owner + number)
  * DO NOT USE OVER THE NETWORK
@@ -255,8 +263,6 @@ struct MESH_TunnelID
 };
 
 
-struct MeshClient;              /* FWD declaration */
-
 /**
  * Struct containing all information regarding a tunnel
  * For an intermediate node the improtant info used will be:
@@ -276,15 +282,75 @@ struct MeshTunnel
      */
   MESH_TunnelNumber local_tid;
 
-      /**
-     * Local tunnel number for local destination clients
+    /**
+     * Local tunnel number for local destination clients (incoming number)
+     * ( >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV or 0). All clients share the same
+     * number.
      */
   MESH_TunnelNumber local_tid_dest;
 
     /**
-     * ID of the last multicast packet seen/sent.
+     * Is the speed on the tunnel limited to the slowest peer?
+     */
+  int speed_min;
+
+    /**
+     * Is the tunnel bufferless (minimum latency)?
+     */
+  int nobuffer;
+
+    /**
+     * Packet ID of the last fwd packet seen (sent/retransmitted/received).
+     */
+  uint32_t fwd_pid;
+
+    /**
+     * Packet ID of the last bck packet sent (unique counter per hop).
+     */
+  uint32_t bck_pid;
+
+  /**
+     * SKIP value for this tunnel.
+     */
+  uint32_t skip;
+
+    /**
+     * MeshTunnelChildInfo of all children, indexed by GNUNET_PEER_Id.
+     * Contains the Flow Control info: FWD ACK value received,
+     * last BCK ACK sent, PID and SKIP values.
+     */
+  struct GNUNET_CONTAINER_MultiHashMap *children_fc;
+
+    /**
+     * Last ACK sent towards the origin (for traffic towards leaf node).
+     */
+  uint32_t last_fwd_ack;
+
+  /**
+   * BCK ACK value received from the hop towards the owner of the tunnel,
+   * (previous node / owner): up to what message PID can we sent back to him.
+   */
+  uint32_t bck_ack;
+
+    /**
+     * How many messages are in the forward queue (towards leaves).
+     */
+  unsigned int fwd_queue_n;
+
+    /**
+     * How many messages do we accept in the forward queue.
+     */
+  unsigned int fwd_queue_max;
+
+    /**
+     * How many messages are in the backward queue (towards origin).
      */
-  uint32_t mid;
+  unsigned int bck_queue_n;
+
+    /**
+     * How many messages do we accept in the backward queue.
+    */
+   unsigned int bck_queue_max;
 
     /**
      * Last time the tunnel was used
@@ -310,18 +376,47 @@ struct MeshTunnel
     /**
      * Client owner of the tunnel, if any
      */
-  struct MeshClient *client;
+  struct MeshClient *owner;
+
+    /**
+     * Clients that have been informed about and want to stay in the tunnel.
+     */
+  struct MeshClient **clients;
+
+    /**
+     * Flow control info for each client.
+     */
+  struct MeshTunnelClientInfo *clients_fc;
+
+  /**
+     * Number of elements in clients/clients_fc
+     */
+  unsigned int nclients;
+
+    /**
+     * Clients that have been informed but requested to leave the tunnel.
+     */
+  struct MeshClient **ignore;
+
+    /**
+     * Number of elements in clients
+     */
+  unsigned int nignore;
 
     /**
-     * Client destination of the tunnel, if any
+     * Blacklisted peers
      */
-  struct MeshClient *client_dest;
+  GNUNET_PEER_Id *blacklisted;
 
     /**
-     * Messages ready to transmit
+     * Number of elements in blacklisted
      */
-  struct MeshQueue *queue_head;
-  struct MeshQueue *queue_tail;
+  unsigned int nblacklisted;
+
+  /**
+   * Bloomfilter (for peer identities) to stop circular routes
+   */
+  char bloomfilter[MESH_BLOOM_SIZE];
 
   /**
    * Tunnel paths
@@ -338,18 +433,118 @@ struct MeshTunnel
      */
   struct GNUNET_DHT_GetHandle *dht_get_type;
 
+    /**
+     * Initial context of the regex search for a connect_by_string
+     */
+  struct MeshRegexSearchContext *regex_ctx;
+
+    /**
+     * Task to keep the used paths alive
+     */
+  GNUNET_SCHEDULER_TaskIdentifier path_refresh_task;
+
+    /**
+     * Task to destroy the tunnel after timeout
+     *
+     * FIXME: merge the two? a tunnel will have either
+     * a path refresh OR a timeout, never both!
+     */
+  GNUNET_SCHEDULER_TaskIdentifier timeout_task;
+
+    /**
+     * Flag to signal the destruction of the tunnel.
+     * If this is set GNUNET_YES the tunnel will be destroyed
+     * when the queue is empty.
+     */
+  int destroy;
+};
+
+
+/**
+ * Info about a child node in a tunnel, needed to perform flow control.
+ */
+struct MeshTunnelChildInfo
+{
+    /**
+     * ID of the child node.
+     */
+  GNUNET_PEER_Id id;
+
+    /**
+     * SKIP value.
+     */
+  uint32_t skip;
+
+    /**
+     * Last sent PID.
+     */
+  uint32_t pid;
+
+    /**
+     * Maximum PID allowed (FWD ACK received).
+     */
+  uint32_t fwd_ack;
+
+    /**
+     * Last ACK sent to that child (BCK ACK).
+     */
+  uint32_t bck_ack;
+};
+
+
+/**
+ * Info about a leaf client of a tunnel, needed to perform flow control.
+ */
+struct MeshTunnelClientInfo
+{
   /**
-   * Task to keep the used paths alive
+   * PID of the last packet sent to the client (FWD).
    */
-  GNUNET_SCHEDULER_TaskIdentifier path_refresh_task;
+  uint32_t fwd_pid;
 
   /**
-   * Task to destroy the tunnel after timeout
-   *
-   * FIXME: merge the two? a tunnel will have either
-   * a path refresh OR a timeout, never both!
+   * PID of the last packet received from the client (BCK).
    */
-  GNUNET_SCHEDULER_TaskIdentifier timeout_task;
+  uint32_t bck_pid;
+
+  /**
+   * Maximum PID allowed (FWD ACK received).
+   */
+  uint32_t fwd_ack;
+  
+  /**
+   * Last ACK sent to that child (BCK ACK).
+   */
+  uint32_t bck_ack;
+};
+
+
+
+/**
+ * Info collected during iteration of child nodes in order to get the ACK value
+ * for a tunnel.
+ */
+struct MeshTunnelChildIteratorContext
+{
+    /**
+     * Tunnel whose info is being collected.
+     */
+  struct MeshTunnel *t;
+
+    /**
+     * Is this context initialized? Is the value in max_child_ack valid?
+     */
+  int init;
+
+    /**
+     * Maximum child ACK so far.
+     */
+  uint32_t max_child_ack;
+
+    /**
+     * Number of children nodes
+     */
+  unsigned int nchildren;
 };
 
 
@@ -372,11 +567,6 @@ struct MeshPathInfo
    * Path itself
    */
   struct MeshPeerPath *path;
-
-  /**
-   * Position in peer's transmit queue
-   */
-  unsigned int pos;
 };
 
 
@@ -386,16 +576,29 @@ struct MeshPathInfo
 struct MeshClient
 {
     /**
-     * Linked list
+     * Linked list next
      */
   struct MeshClient *next;
+
+    /**
+     * Linked list prev
+     */
   struct MeshClient *prev;
 
     /**
      * Tunnels that belong to this client, indexed by local id
      */
-  struct GNUNET_CONTAINER_MultiHashMap *tunnels;
+  struct GNUNET_CONTAINER_MultiHashMap *own_tunnels;
+
+   /**
+     * Tunnels this client has accepted, indexed by incoming local id
+     */
+  struct GNUNET_CONTAINER_MultiHashMap *incoming_tunnels;
 
+   /**
+     * Tunnels this client has rejected, indexed by incoming local id
+     */
+  struct GNUNET_CONTAINER_MultiHashMap *ignore_tunnels;
     /**
      * Handle to communicate with the client
      */
@@ -417,103 +620,236 @@ struct MeshClient
      */
   int shutting_down;
 
-#if MESH_DEBUG
     /**
-     * ID of the client, for debug messages
+     * ID of the client, mainly for debug messages
      */
   unsigned int id;
-#endif
+  
+    /**
+     * Regular expressions describing the services offered by this client.
+     */
+  char **regexes; // FIXME add timeout? API to remove a regex?
 
-};
+    /**
+     * Number of regular expressions in regexes.
+     */
+  unsigned int n_regex;
 
+    /**
+     * Task to refresh all regular expresions in the DHT.
+     */
+  GNUNET_SCHEDULER_TaskIdentifier regex_announce_task;
 
+};
 
-/******************************************************************************/
-/************************      DEBUG FUNCTIONS     ****************************/
-/******************************************************************************/
 
-#if MESH_DEBUG
 /**
- * GNUNET_SCHEDULER_Task for printing a message after some operation is done
- * @param cls string to print
- * @param tc task context
+ * Struct to keep information of searches of services described by a regex
+ * using a user-provided string service description.
  */
-static void
-mesh_debug (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+struct MeshRegexSearchInfo
 {
-  char *s = cls;
+    /**
+     * Which tunnel is this for
+     */
+  struct MeshTunnel *t;
 
-  if (GNUNET_SCHEDULER_REASON_SHUTDOWN == tc->reason)
-  {
-    return;
-  }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: %s\n", s);
-}
-#endif
+    /**
+     * User provided description of the searched service.
+     */
+  char *description;
 
-/******************************************************************************/
-/***********************      GLOBAL VARIABLES     ****************************/
-/******************************************************************************/
+    /**
+     * Part of the description already consumed by the search.
+     */
+  size_t position;
 
-/**
- * All the clients
- */
-static struct MeshClient *clients;
-static struct MeshClient *clients_tail;
+    /**
+     * Running DHT GETs.
+     */
+  struct GNUNET_CONTAINER_MultiHashMap *dht_get_handles;
 
-/**
- * Tunnels known, indexed by MESH_TunnelID (MeshTunnel)
- */
-static struct GNUNET_CONTAINER_MultiHashMap *tunnels;
+    /**
+     * Results from running DHT GETs.
    */
+  struct GNUNET_CONTAINER_MultiHashMap *dht_get_results;
 
-/**
- * Tunnels incoming, indexed by MESH_TunnelNumber
- * (which is greater than GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
- */
-static struct GNUNET_CONTAINER_MultiHashMap *incoming_tunnels;
+    /**
+     * Contexts, for each running DHT GET. Free all on end of search.
+     */
+  struct MeshRegexSearchContext **contexts;
 
-/**
- * Peers known, indexed by PeerIdentity (MeshPeerInfo)
- */
-static struct GNUNET_CONTAINER_MultiHashMap *peers;
+    /**
+     * Number of contexts (branches/steps in search).
+     */
+  unsigned int n_contexts;
+
+    /**
+     * Peer that is connecting via connect_by_string. When connected, free ctx.
+     */
+  GNUNET_PEER_Id peer;
+
+    /**
+     * Other peers that are found but not yet being connected to.
+     */
+  GNUNET_PEER_Id *peers;
+
+    /**
+     * Number of elements in peers.
+     */
+  unsigned int n_peers;
+
+    /**
+     * Next peer to try to connect to.
+     */
+  unsigned int i_peer;
+
+    /**
+     * Timeout for a connect attempt.
+     * When reached, try to connect to a different peer, if any. If not,
+     * try the same peer again.
+     */
+  GNUNET_SCHEDULER_TaskIdentifier timeout;
+
+};
 
 /**
- * Handle to communicate with core
+ * Struct to keep state of running searches that have consumed a part of
+ * the inital string.
  */
-static struct GNUNET_CORE_Handle *core_handle;
+struct MeshRegexSearchContext
+{
+    /**
+     * Part of the description already consumed by
+     * this particular search branch.
+     */
+  size_t position;
+
+    /**
+     * Information about the search.
+     */
+  struct MeshRegexSearchInfo *info;
+
+};
+
+/******************************************************************************/
+/************************      DEBUG FUNCTIONS     ****************************/
+/******************************************************************************/
+
+#if MESH_DEBUG
+/**
+ * GNUNET_SCHEDULER_Task for printing a message after some operation is done
+ * @param cls string to print
+ * @param success  GNUNET_OK if the PUT was transmitted,
+ *                GNUNET_NO on timeout,
+ *                GNUNET_SYSERR on disconnect from service
+ *                after the PUT message was transmitted
+ *                (so we don't know if it was received or not)
+ */
+
+#if 0
+static void
+mesh_debug (void *cls, int success)
+{
+  char *s = cls;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "%s (%d)\n", s, success);
+}
+#endif
+
+#endif
+
+/******************************************************************************/
+/***********************      GLOBAL VARIABLES     ****************************/
+/******************************************************************************/
+
 
 /**
+ * Configuration parameters
+ */
+static struct GNUNET_TIME_Relative refresh_path_time;
+static struct GNUNET_TIME_Relative app_announce_time;
+static struct GNUNET_TIME_Relative id_announce_time;
+static struct GNUNET_TIME_Relative unacknowledged_wait_time;
+static struct GNUNET_TIME_Relative connect_timeout;
+static long long unsigned int default_ttl;
+static long long unsigned int dht_replication_level;
+static long long unsigned int max_tunnels;
+static long long unsigned int max_msgs_queue;
+
+/**
+ * DLL with all the clients, head.
+ */
+static struct MeshClient *clients;
+
+/**
+ * DLL with all the clients, tail.
+ */
+static struct MeshClient *clients_tail;
+
+/**
+ * Tunnels known, indexed by MESH_TunnelID (MeshTunnel).
+ */
+static struct GNUNET_CONTAINER_MultiHashMap *tunnels;
+
+/**
+ * Number of tunnels known.
+ */
+static unsigned long long n_tunnels;
+
+/**
+ * Tunnels incoming, indexed by MESH_TunnelNumber
+ * (which is greater than GNUNET_MESH_LOCAL_TUNNEL_ID_SERV).
+ */
+static struct GNUNET_CONTAINER_MultiHashMap *incoming_tunnels;
+
+/**
+ * Peers known, indexed by PeerIdentity (MeshPeerInfo).
+ */
+static struct GNUNET_CONTAINER_MultiHashMap *peers;
+
+/*
  * Handle to communicate with transport
  */
 // static struct GNUNET_TRANSPORT_Handle *transport_handle;
 
 /**
- * Handle to use DHT
+ * Handle to communicate with core.
+ */
+static struct GNUNET_CORE_Handle *core_handle;
+
+/**
+ * Handle to use DHT.
  */
 static struct GNUNET_DHT_Handle *dht_handle;
 
 /**
- * Handle to server
+ * Handle to server.
  */
 static struct GNUNET_SERVER_Handle *server_handle;
 
 /**
- * Notification context, to send messages to local clients
+ * Handle to the statistics service.
+ */
+static struct GNUNET_STATISTICS_Handle *stats;
+
+/**
+ * Notification context, to send messages to local clients.
  */
 static struct GNUNET_SERVER_NotificationContext *nc;
 
 /**
- * Local peer own ID (memory efficient handle)
+ * Local peer own ID (memory efficient handle).
  */
 static GNUNET_PEER_Id myid;
 
 /**
- * Local peer own ID (full value)
+ * Local peer own ID (full value).
  */
 static struct GNUNET_PeerIdentity my_full_id;
 
 /**
- * Own private key
+ * Own private key.
  */
 static struct GNUNET_CRYPTO_RsaPrivateKey *my_private_key;
 
@@ -523,45 +859,698 @@ static struct GNUNET_CRYPTO_RsaPrivateKey *my_private_key;
 static struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded my_public_key;
 
 /**
- * Tunnel ID for the next created tunnel (global tunnel number)
+ * Tunnel ID for the next created tunnel (global tunnel number).
  */
 static MESH_TunnelNumber next_tid;
 
 /**
- * Tunnel ID for the next incoming tunnel (local tunnel number)
+ * Tunnel ID for the next incoming tunnel (local tunnel number).
  */
 static MESH_TunnelNumber next_local_tid;
 
 /**
- * All application types provided by this peer
+ * All application types provided by this peer.
  */
 static struct GNUNET_CONTAINER_MultiHashMap *applications;
 
 /**
- * All message types clients of this peer are interested in
+ * All message types clients of this peer are interested in.
  */
 static struct GNUNET_CONTAINER_MultiHashMap *types;
 
 /**
- * Task to periodically announce provided applications
+ * Task to periodically announce provided applications.
  */
 GNUNET_SCHEDULER_TaskIdentifier announce_applications_task;
 
 /**
- * Task to periodically announce itself in the network
+ * Task to periodically announce itself in the network.
  */
 GNUNET_SCHEDULER_TaskIdentifier announce_id_task;
 
-#if MESH_DEBUG
+/**
+ * Next ID to assign to a client.
+ */
 unsigned int next_client_id;
-#endif
 
 
+/******************************************************************************/
+/***********************         DECLARATIONS        **************************/
+/******************************************************************************/
+
+/* FIXME move declarations here */
+
+/**
+ * Function to process paths received for a new peer addition. The recorded
+ * paths form the initial tunnel, which can be optimized later.
+ * Called on each result obtained for the DHT search.
+ *
+ * @param cls closure
+ * @param exp when will this value expire
+ * @param key key of the result
+ * @param type type of the result
+ * @param size number of bytes in data
+ * @param data pointer to the result data
+ */
+static void
+dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
+                    const struct GNUNET_HashCode * key,
+                    const struct GNUNET_PeerIdentity *get_path,
+                    unsigned int get_path_length,
+                    const struct GNUNET_PeerIdentity *put_path,
+                    unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
+                    size_t size, const void *data);
+
+
+/**
+ * Function to process DHT string to regex matching.
+ * Called on each result obtained for the DHT search.
+ *
+ * @param cls closure (search context)
+ * @param exp when will this value expire
+ * @param key key of the result
+ * @param get_path path of the get request (not used)
+ * @param get_path_length lenght of get_path (not used)
+ * @param put_path path of the put request (not used)
+ * @param put_path_length length of the put_path (not used)
+ * @param type type of the result
+ * @param size number of bytes in data
+ * @param data pointer to the result data
+ *
+ * TODO: re-issue the request after certain time? cancel after X results?
+ */
+static void
+dht_get_string_handler (void *cls, struct GNUNET_TIME_Absolute exp,
+                        const struct GNUNET_HashCode * key,
+                        const struct GNUNET_PeerIdentity *get_path,
+                        unsigned int get_path_length,
+                        const struct GNUNET_PeerIdentity *put_path,
+                        unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
+                        size_t size, const void *data);
+
+
+/**
+ * Function to process DHT string to regex matching.
+ * Called on each result obtained for the DHT search.
+ *
+ * @param cls closure (search context)
+ * @param exp when will this value expire
+ * @param key key of the result
+ * @param get_path path of the get request (not used)
+ * @param get_path_length lenght of get_path (not used)
+ * @param put_path path of the put request (not used)
+ * @param put_path_length length of the put_path (not used)
+ * @param type type of the result
+ * @param size number of bytes in data
+ * @param data pointer to the result data
+ */
+static void
+dht_get_string_accept_handler (void *cls, struct GNUNET_TIME_Absolute exp,
+                               const struct GNUNET_HashCode * key,
+                               const struct GNUNET_PeerIdentity *get_path,
+                               unsigned int get_path_length,
+                               const struct GNUNET_PeerIdentity *put_path,
+                               unsigned int put_path_length,
+                               enum GNUNET_BLOCK_Type type,
+                               size_t size, const void *data);
+
+
+/**
+ * Retrieve the MeshPeerInfo stucture associated with the peer, create one
+ * and insert it in the appropiate structures if the peer is not known yet.
+ *
+ * @param peer Short identity of the peer.
+ *
+ * @return Existing or newly created peer info.
+ */
+static struct MeshPeerInfo *
+peer_info_get_short (const GNUNET_PEER_Id peer);
+
+
+/**
+ * Try to establish a new connection to this peer.
+ * Use the best path for the given tunnel.
+ * If the peer doesn't have any path to it yet, try to get one.
+ * If the peer already has some path, send a CREATE PATH towards it.
+ *
+ * @param peer PeerInfo of the peer.
+ * @param t Tunnel for which to create the path, if possible.
+ */
+static void
+peer_info_connect (struct MeshPeerInfo *peer, struct MeshTunnel *t);
+
+
+/**
+ * Add a peer to a tunnel, accomodating paths accordingly and initializing all
+ * needed rescources.
+ * If peer already exists, reevaluate shortest path and change if different.
+ *
+ * @param t Tunnel we want to add a new peer to
+ * @param peer PeerInfo of the peer being added
+ *
+ */
+static void
+tunnel_add_peer (struct MeshTunnel *t, struct MeshPeerInfo *peer);
+
+
+/**
+ * Removes an explicit path from a tunnel, freeing all intermediate nodes
+ * that are no longer needed, as well as nodes of no longer reachable peers.
+ * The tunnel itself is also destoyed if results in a remote empty tunnel.
+ *
+ * @param t Tunnel from which to remove the path.
+ * @param peer Short id of the peer which should be removed.
+ */
+static void
+tunnel_delete_peer (struct MeshTunnel *t, GNUNET_PEER_Id peer);
+
+
+/**
+ * Search for a tunnel by global ID using full PeerIdentities.
+ *
+ * @param oid owner of the tunnel.
+ * @param tid global tunnel number.
+ *
+ * @return tunnel handler, NULL if doesn't exist.
+ */
+static struct MeshTunnel *
+tunnel_get (struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid);
+
+
+/**
+ * Delete an active client from the tunnel.
+ *
+ * @param t Tunnel.
+ * @param c Client.
+ */
+static void
+tunnel_delete_active_client (struct MeshTunnel *t, const struct MeshClient *c);
+
+/**
+ * Notify a tunnel that a connection has broken that affects at least
+ * some of its peers.
+ *
+ * @param t Tunnel affected.
+ * @param p1 Peer that got disconnected from p2.
+ * @param p2 Peer that got disconnected from p1.
+ *
+ * @return Short ID of the peer disconnected (either p1 or p2).
+ *         0 if the tunnel remained unaffected.
+ */
+static GNUNET_PEER_Id
+tunnel_notify_connection_broken (struct MeshTunnel *t, GNUNET_PEER_Id p1,
+                                 GNUNET_PEER_Id p2);
+
+
+/**
+ * Get the current ack value for a tunnel, for data going from root to leaves,
+ * taking in account the tunnel mode and the status of all children and clients.
+ *
+ * @param t Tunnel.
+ *
+ * @return Maximum PID allowed.
+ */
+static uint32_t
+tunnel_get_fwd_ack (struct MeshTunnel *t);
+
+/**
+ * Get the current ack value for a tunnel, for data going from leaves to root,
+ * taking in account the tunnel mode and the status of all children and clients.
+ *
+ * @param t Tunnel.
+ *
+ * @return Maximum PID allowed.
+ */
+static uint32_t
+tunnel_get_bck_ack (struct MeshTunnel *t);
+
+/**
+ * Add a client to a tunnel, initializing all needed data structures.
+ * 
+ * @param t Tunnel to which add the client.
+ * @param c Client which to add to the tunnel.
+ */
+static void
+tunnel_add_client (struct MeshTunnel *t, struct MeshClient *c);
+
+
+/**
+ * Iterator over edges in a regex block retrieved from the DHT.
+ *
+ * @param cls Closure.
+ * @param token Token that follows to next state.
+ * @param len Lenght of token.
+ * @param key Hash of next state.
+ *
+ * @return GNUNET_YES if should keep iterating, GNUNET_NO otherwise.
+ */
+static int
+regex_edge_iterator (void *cls,
+                     const char *token,
+                     size_t len,
+                     const struct GNUNET_HashCode *key);
+
+
+/**
+ * Find a path to a peer that offers a regex servcie compatible
+ * with a given string.
+ * 
+ * @param key The key of the accepting state.
+ * @param ctx Context containing info about the string, tunnel, etc.
+ */
+static void
+regex_find_path (const struct GNUNET_HashCode *key,
+                 struct MeshRegexSearchContext *ctx);
+
+
+/**
+ * Queue and pass message to core when possible.
+ *
+ * @param cls Closure (type dependant).
+ * @param type Type of the message, 0 for a raw message.
+ * @param size Size of the message.
+ * @param dst Neighbor to send message to.
+ * @param t Tunnel this message belongs to.
+ */
+static void
+queue_add (void *cls, uint16_t type, size_t size,
+           struct MeshPeerInfo *dst, struct MeshTunnel *t);
+
+/**
+ * Free a transmission that was already queued with all resources
+ * associated to the request.
+ *
+ * @param queue Queue handler to cancel.
+ * @param clear_cls Is it necessary to free associated cls?
+ */
+static void
+queue_destroy (struct MeshPeerQueue *queue, int clear_cls);
+
 /******************************************************************************/
 /************************         ITERATORS        ****************************/
 /******************************************************************************/
 
-/* FIXME move iterators here */
+/**
+ * Iterator over found existing mesh regex blocks that match an ongoing search.
+ *
+ * @param cls closure
+ * @param key current key code
+ * @param value value in the hash map
+ * @return GNUNET_YES if we should continue to iterate,
+ *         GNUNET_NO if not.
+ */
+static int
+regex_result_iterator (void *cls,
+                       const struct GNUNET_HashCode * key,
+                       void *value)
+{
+  struct MeshRegexBlock *block = value;
+  struct MeshRegexSearchContext *ctx = cls;
+
+  if (GNUNET_YES == ntohl(block->accepting) &&
+      ctx->position == strlen (ctx->info->description))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "* Found accepting known block\n");
+    regex_find_path (key, ctx);
+    return GNUNET_YES; // We found an accept state!
+  }
+  else
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "* %u, %u, [%u]\n",
+                ctx->position, strlen(ctx->info->description),
+                ntohl(block->accepting));
+
+  }
+  (void) GNUNET_MESH_regex_block_iterate (block, SIZE_MAX,
+                                          &regex_edge_iterator, ctx);
+
+  return GNUNET_YES;
+}
+
+
+/**
+ * Iterator over edges in a regex block retrieved from the DHT.
+ *
+ * @param cls Closure (context of the search).
+ * @param token Token that follows to next state.
+ * @param len Lenght of token.
+ * @param key Hash of next state.
+ *
+ * @return GNUNET_YES if should keep iterating, GNUNET_NO otherwise.
+ */
+static int
+regex_edge_iterator (void *cls,
+                     const char *token,
+                     size_t len,
+                     const struct GNUNET_HashCode *key)
+{
+  struct MeshRegexSearchContext *ctx = cls;
+  struct MeshRegexSearchContext *new_ctx;
+  struct MeshRegexSearchInfo *info = ctx->info;
+  struct GNUNET_DHT_GetHandle *get_h;
+  char *current;
+  size_t current_len;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*    Start of regex edge iterator\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*     descr : %s\n", info->description);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*     posit : %u\n", ctx->position);
+  current = &info->description[ctx->position];
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*     currt : %s\n", current);
+  current_len = strlen (info->description) - ctx->position;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*     ctlen : %u\n", current_len);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*     tklen : %u\n", len);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*     tk[0] : %c\n", token[0]);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*     nextk : %s\n", GNUNET_h2s(key));
+  if (len > current_len)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*     Token too long, END\n");
+    return GNUNET_YES; // Token too long, wont match
+  }
+  if (0 != strncmp (current, token, len))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*     Token doesn't match, END\n");
+    return GNUNET_YES; // Token doesn't match
+  }
+  new_ctx = GNUNET_malloc (sizeof (struct MeshRegexSearchContext));
+  new_ctx->info = info;
+  new_ctx->position = ctx->position + len;
+  GNUNET_array_append (info->contexts, info->n_contexts, new_ctx);
+  if (GNUNET_YES ==
+      GNUNET_CONTAINER_multihashmap_contains(info->dht_get_handles, key))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*     GET running, END\n");
+    GNUNET_CONTAINER_multihashmap_get_multiple (info->dht_get_results, key,
+                                                &regex_result_iterator,
+                                                new_ctx);
+    return GNUNET_YES; // We are already looking for it
+  }
+  /* Start search in DHT */
+  get_h = 
+      GNUNET_DHT_get_start (dht_handle,    /* handle */
+                            GNUNET_BLOCK_TYPE_MESH_REGEX, /* type */
+                            key,     /* key to search */
+                            dht_replication_level, /* replication level */
+                            GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,
+                            NULL,       /* xquery */ // FIXME BLOOMFILTER
+                            0,     /* xquery bits */ // FIXME BLOOMFILTER SIZE
+                            &dht_get_string_handler, new_ctx);
+  if (GNUNET_OK !=
+      GNUNET_CONTAINER_multihashmap_put(info->dht_get_handles, key, get_h,
+                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
+  {
+    GNUNET_break (0);
+    return GNUNET_YES;
+  }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*    End of regex edge iterator\n");
+  return GNUNET_YES;
+}
+
+/**
+ * Iterator over hash map entries to cancel DHT GET requests after a
+ * successful connect_by_string.
+ *
+ * @param cls Closure (unused).
+ * @param key Current key code (unused).
+ * @param value Value in the hash map (get handle).
+ * @return GNUNET_YES if we should continue to iterate,
+ *         GNUNET_NO if not.
+ */
+static int
+regex_cancel_dht_get (void *cls,
+                      const struct GNUNET_HashCode * key,
+                      void *value)
+{
+  struct GNUNET_DHT_GetHandle *h = value;
+
+  GNUNET_DHT_get_stop (h);
+  return GNUNET_YES;
+}
+
+
+/**
+ * Iterator over hash map entries to free MeshRegexBlocks stored during the
+ * search for connect_by_string.
+ *
+ * @param cls Closure (unused).
+ * @param key Current key code (unused).
+ * @param value MeshRegexBlock in the hash map.
+ * @return GNUNET_YES if we should continue to iterate,
+ *         GNUNET_NO if not.
+ */
+static int
+regex_free_result (void *cls,
+                   const struct GNUNET_HashCode * key,
+                   void *value)
+{
+
+  GNUNET_free (value);
+  return GNUNET_YES;
+}
+
+
+/**
+ * Regex callback iterator to store own service description in the DHT.
+ *
+ * @param cls closure.
+ * @param key hash for current state.
+ * @param proof proof for current state.
+ * @param accepting GNUNET_YES if this is an accepting state, GNUNET_NO if not.
+ * @param num_edges number of edges leaving current state.
+ * @param edges edges leaving current state.
+ */
+void
+regex_iterator (void *cls, const struct GNUNET_HashCode *key, const char *proof,
+                int accepting, unsigned int num_edges,
+                const struct GNUNET_REGEX_Edge *edges)
+{
+    struct MeshRegexBlock *block;
+    struct MeshRegexEdge *block_edge;
+    enum GNUNET_DHT_RouteOption opt;
+    size_t size;
+    size_t len;
+    unsigned int i;
+    unsigned int offset;
+    char *aux;
+
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "  regex dht put for state %s\n",
+                GNUNET_h2s(key));
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "   proof: %s\n",
+                proof);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "   num edges: %u\n",
+                num_edges);
+
+    opt = GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE;
+    if (GNUNET_YES == accepting)
+    {
+        struct MeshRegexAccept block;
+
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                    "   state %s is accepting, putting own id\n",
+                    GNUNET_h2s(key));
+        size = sizeof (block);
+        block.key = *key;
+        block.id = my_full_id;
+        (void)
+        GNUNET_DHT_put(dht_handle, key,
+                       dht_replication_level,
+                       opt | GNUNET_DHT_RO_RECORD_ROUTE,
+                       GNUNET_BLOCK_TYPE_MESH_REGEX_ACCEPT,
+                       size,
+                       (char *) &block,
+                       GNUNET_TIME_absolute_add (GNUNET_TIME_absolute_get (),
+                                                 app_announce_time),
+                       app_announce_time,
+                       NULL, NULL);
+    }
+    len = strlen(proof);
+    size = sizeof (struct MeshRegexBlock) + len;
+    block = GNUNET_malloc (size);
+
+    block->key = *key;
+    block->n_proof = htonl (len);
+    block->n_edges = htonl (num_edges);
+    block->accepting = htonl (accepting);
+
+    /* Store the proof at the end of the block. */
+    aux = (char *) &block[1];
+    memcpy (aux, proof, len);
+    aux = &aux[len];
+
+    /* Store each edge in a variable length MeshEdge struct at the
+     * very end of the MeshRegexBlock structure.
+     */
+    for (i = 0; i < num_edges; i++)
+    {
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                    "    edge %s towards %s\n",
+                    edges[i].label,
+                    GNUNET_h2s(&edges[i].destination));
+
+        /* aux points at the end of the last block */
+        len = strlen (edges[i].label);
+        size += sizeof (struct MeshRegexEdge) + len;
+        // Calculate offset FIXME is this ok? use size instead?
+        offset = aux - (char *) block;
+        block = GNUNET_realloc (block, size);
+        aux = &((char *) block)[offset];
+        block_edge = (struct MeshRegexEdge *) aux;
+        block_edge->key = edges[i].destination;
+        block_edge->n_token = htonl (len);
+        aux = (char *) &block_edge[1];
+        memcpy (aux, edges[i].label, len);
+        aux = &aux[len];
+    }
+    (void)
+    GNUNET_DHT_put(dht_handle, key,
+                   dht_replication_level,
+                   opt,
+                   GNUNET_BLOCK_TYPE_MESH_REGEX, size,
+                   (char *) block,
+                   GNUNET_TIME_absolute_add (GNUNET_TIME_absolute_get (),
+                                            app_announce_time),
+                   app_announce_time,
+                   NULL, NULL);
+    GNUNET_free (block);
+}
+
+
+/**
+ * Store the regular expression describing a local service into the DHT.
+ *
+ * @param regex The regular expresion.
+ */
+static void
+regex_put (const char *regex)
+{
+  struct GNUNET_REGEX_Automaton *dfa;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "regex_put (%s) start\n", regex);
+  dfa = GNUNET_REGEX_construct_dfa (regex, strlen(regex));
+  GNUNET_REGEX_iterate_all_edges (dfa, &regex_iterator, NULL);
+  GNUNET_REGEX_automaton_destroy (dfa);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "regex_put (%s) end\n", regex);
+
+}
+
+/**
+ * Find a path to a peer that offers a regex servcie compatible
+ * with a given string.
+ * 
+ * @param key The key of the accepting state.
+ * @param ctx Context containing info about the string, tunnel, etc.
+ */
+static void
+regex_find_path (const struct GNUNET_HashCode *key,
+                 struct MeshRegexSearchContext *ctx)
+{
+  struct GNUNET_DHT_GetHandle *get_h;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Found peer by service\n");
+  get_h = GNUNET_DHT_get_start (dht_handle,    /* handle */
+                                GNUNET_BLOCK_TYPE_MESH_REGEX_ACCEPT, /* type */
+                                key,     /* key to search */
+                                dht_replication_level, /* replication level */
+                                GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE |
+                                GNUNET_DHT_RO_RECORD_ROUTE,
+                                NULL,       /* xquery */ // FIXME BLOOMFILTER
+                                0,     /* xquery bits */ // FIXME BLOOMFILTER SIZE
+                                &dht_get_string_accept_handler, ctx);
+  GNUNET_break (GNUNET_OK ==
+                GNUNET_CONTAINER_multihashmap_put(ctx->info->dht_get_handles,
+                                                  key,
+                                                  get_h,
+                                                  GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE));
+}
+
+
+/**
+ * Function called if the connect attempt to a peer found via
+ * connect_by_string times out. Try to connect to another peer, if any.
+ * Otherwise try to reconnect to the same peer.
+ *
+ * @param cls Closure (info about regex search).
+ * @param tc TaskContext.
+ */
+static void
+regex_connect_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct MeshRegexSearchInfo *info = cls;
+  struct MeshPeerInfo *peer_info;
+  GNUNET_PEER_Id id;
+  GNUNET_PEER_Id old;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Regex connect timeout\n");
+  info->timeout = GNUNET_SCHEDULER_NO_TASK;
+  if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
+  {
+    return;
+  }
+
+  old = info->peer;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  timed out: %u\n", old);
+
+  if (0 < info->n_peers)
+  {
+    // Select next peer, put current in that spot.
+    id = info->peers[info->i_peer];
+    info->peers[info->i_peer] = info->peer;
+    info->i_peer = (info->i_peer + 1) % info->n_peers;
+  }
+  else
+  {
+    // Try to connect to same peer again.
+    id = info->peer;
+  }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  trying: %u\n", id);
+
+  peer_info = peer_info_get_short(id);
+  tunnel_add_peer (info->t, peer_info);
+  if (old != id)
+    tunnel_delete_peer (info->t, old);
+  peer_info_connect (peer_info, info->t);
+  info->timeout = GNUNET_SCHEDULER_add_delayed (connect_timeout,
+                                                &regex_connect_timeout,
+                                                info);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Regex connect timeout END\n");
+}
+
+
+/**
+ * Cancel an ongoing regex search in the DHT and free all resources.
+ *
+ * @param ctx The search context.
+ */
+static void
+regex_cancel_search(struct MeshRegexSearchContext *ctx)
+{
+  struct MeshRegexSearchInfo *info = ctx->info;
+  int i;
+
+  GNUNET_free (info->description);
+  GNUNET_CONTAINER_multihashmap_iterate (info->dht_get_handles,
+                                             &regex_cancel_dht_get, NULL);
+  GNUNET_CONTAINER_multihashmap_iterate (info->dht_get_results,
+                                         &regex_free_result, NULL);
+  GNUNET_CONTAINER_multihashmap_destroy (info->dht_get_results);
+  GNUNET_CONTAINER_multihashmap_destroy (info->dht_get_handles);
+  info->t->regex_ctx = NULL;
+  for (i = 0; i < info->n_contexts; i++)
+  {
+    GNUNET_free (info->contexts[i]);
+  }
+  if (0 < info->n_contexts)
+    GNUNET_free (info->contexts);
+  if (0 < info->n_peers)
+    GNUNET_free (info->peers);
+  if (GNUNET_SCHEDULER_NO_TASK != info->timeout)
+  {
+    GNUNET_SCHEDULER_cancel(info->timeout);
+  }
+  GNUNET_free (info);
+}
 
 
 /******************************************************************************/
@@ -579,28 +1568,72 @@ unsigned int next_client_id;
  *         GNUNET_NO if not.
  */
 static int
-announce_application (void *cls, const GNUNET_HashCode * key, void *value)
+announce_application (void *cls, const struct GNUNET_HashCode * key, void *value)
 {
-  /* FIXME are hashes in multihash map equal on all aquitectures? */
-  GNUNET_DHT_put (dht_handle, key, 10U,
+  struct PBlock block;
+  struct MeshClient *c;
+
+  block.id = my_full_id;
+  c =  GNUNET_CONTAINER_multihashmap_get (applications, key);
+  block.type = (long) GNUNET_CONTAINER_multihashmap_get (c->apps, key);
+  if (0 == block.type)
+  {
+    GNUNET_break(0);
+    return GNUNET_YES;
+  }
+  block.type = htonl (block.type);
+
+  GNUNET_break (NULL != 
+                GNUNET_DHT_put (dht_handle, key,
+                  dht_replication_level,
                   GNUNET_DHT_RO_RECORD_ROUTE |
-                  GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE, GNUNET_BLOCK_TYPE_TEST,
-                  sizeof (struct GNUNET_PeerIdentity),
-                  (const char *) &my_full_id,
-#if MESH_DEBUG
-                  GNUNET_TIME_UNIT_FOREVER_ABS, GNUNET_TIME_UNIT_FOREVER_REL,
-                  &mesh_debug, "DHT_put for app completed");
-#else
+                  GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,
+                  GNUNET_BLOCK_TYPE_MESH_PEER_BY_TYPE,
+                  sizeof (block),
+                  (const char *) &block,
                   GNUNET_TIME_absolute_add (GNUNET_TIME_absolute_get (),
-                                            APP_ANNOUNCE_TIME),
-                  APP_ANNOUNCE_TIME, NULL, NULL);
-#endif
+                                            app_announce_time),
+                  app_announce_time, NULL, NULL));
   return GNUNET_OK;
 }
 
 
 /**
  * Periodically announce what applications are provided by local clients
+ * (by regex)
+ *
+ * @param cls closure
+ * @param tc task context
+ */
+static void
+announce_regex (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct MeshClient *c = cls;
+  unsigned int i;
+
+  if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
+  {
+    c->regex_announce_task = GNUNET_SCHEDULER_NO_TASK;
+    return;
+  }
+
+  DEBUG_DHT ("Starting PUT for regex\n");
+
+  for (i = 0; i < c->n_regex; i++)
+  {
+    regex_put (c->regexes[i]);
+  }
+  c->regex_announce_task =
+      GNUNET_SCHEDULER_add_delayed (app_announce_time, &announce_regex, cls);
+  DEBUG_DHT ("Finished PUT for regex\n");
+
+  return;
+}
+
+
+/**
+ * Periodically announce what applications are provided by local clients
+ * (by type)
  *
  * @param cls closure
  * @param tc task context
@@ -608,22 +1641,21 @@ announce_application (void *cls, const GNUNET_HashCode * key, void *value)
 static void
 announce_applications (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  if (tc->reason == GNUNET_SCHEDULER_REASON_SHUTDOWN)
+  if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
   {
     announce_applications_task = GNUNET_SCHEDULER_NO_TASK;
     return;
   }
-#if MESH_DEBUG_DHT
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Starting PUT for apps\n");
-#endif
+  DEBUG_DHT ("Starting PUT for apps\n");
+
   GNUNET_CONTAINER_multihashmap_iterate (applications, &announce_application,
                                          NULL);
   announce_applications_task =
-      GNUNET_SCHEDULER_add_delayed (APP_ANNOUNCE_TIME, &announce_applications,
+      GNUNET_SCHEDULER_add_delayed (app_announce_time, &announce_applications,
                                     cls);
-#if MESH_DEBUG_DHT
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Finished PUT for apps\n");
-#endif
+  DEBUG_DHT ("Finished PUT for apps\n");
+
   return;
 }
 
@@ -637,7 +1669,9 @@ announce_applications (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 static void
 announce_id (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  if (tc->reason == GNUNET_SCHEDULER_REASON_SHUTDOWN)
+  struct PBlock block;
+
+  if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
   {
     announce_id_task = GNUNET_SCHEDULER_NO_TASK;
     return;
@@ -646,55 +1680,61 @@ announce_id (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
    * - Set data expiration in function of X
    * - Adapt X to churn
    */
-#if MESH_DEBUG_DHT
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: DHT_put for ID %s started.\n",
-              GNUNET_i2s (&my_full_id));
-#endif
+  DEBUG_DHT ("DHT_put for ID %s started.\n", GNUNET_i2s (&my_full_id));
+
+  block.id = my_full_id;
+  block.type = htonl (0);
   GNUNET_DHT_put (dht_handle,   /* DHT handle */
                   &my_full_id.hashPubKey,       /* Key to use */
-                  10U,          /* Replication level */
+                  dht_replication_level,     /* Replication level */
                   GNUNET_DHT_RO_RECORD_ROUTE | GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,    /* DHT options */
-                  GNUNET_BLOCK_TYPE_TEST,       /* Block type */
-                  sizeof (my_full_id),  /* Size of the data */
-                  (char *) &my_full_id, /* Data itself */
-                  GNUNET_TIME_absolute_get_forever (),  /* Data expiration */
+                  GNUNET_BLOCK_TYPE_MESH_PEER,       /* Block type */
+                  sizeof (block),  /* Size of the data */
+                  (const char *) &block, /* Data itself */
+                  GNUNET_TIME_UNIT_FOREVER_ABS,  /* Data expiration */
                   GNUNET_TIME_UNIT_FOREVER_REL, /* Retry time */
-#if MESH_DEBUG_DHT
-                  &mesh_debug, "DHT_put for id completed");
-#else
                   NULL,         /* Continuation */
                   NULL);        /* Continuation closure */
-#endif
   announce_id_task =
-      GNUNET_SCHEDULER_add_delayed (ID_ANNOUNCE_TIME, &announce_id, cls);
+      GNUNET_SCHEDULER_add_delayed (id_announce_time, &announce_id, cls);
 }
 
 
+/******************************************************************************/
+/******************      GENERAL HELPER FUNCTIONS      ************************/
+/******************************************************************************/
+
 /**
- * Function to process paths received for a new peer addition. The recorded
- * paths form the initial tunnel, which can be optimized later.
- * Called on each result obtained for the DHT search.
+ * Decrements the reference counter and frees all resources if needed
  *
- * @param cls closure
- * @param exp when will this value expire
- * @param key key of the result
- * @param type type of the result
- * @param size number of bytes in data
- * @param data pointer to the result data
+ * @param mesh_data Data Descriptor used in a multicast message.
+ *                  Freed no longer needed (last message).
  */
-static void
-dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
-                    const GNUNET_HashCode * key,
-                    const struct GNUNET_PeerIdentity *get_path,
-                    unsigned int get_path_length,
-                    const struct GNUNET_PeerIdentity *put_path,
-                    unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
-                    size_t size, const void *data);
+static void
+data_descriptor_decrement_rc (struct MeshData *mesh_data)
+{
+  /* Make sure it's a multicast packet */
+  GNUNET_assert (NULL != mesh_data->reference_counter);
 
+  if (0 == --(*(mesh_data->reference_counter)))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Last copy!\n");
+    if (NULL != mesh_data->task)
+    {
+      if (GNUNET_SCHEDULER_NO_TASK != *(mesh_data->task))
+      {
+        GNUNET_SCHEDULER_cancel (*(mesh_data->task));
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " notifying client...\n");
+        GNUNET_SERVER_receive_done (mesh_data->t->owner->handle, GNUNET_OK);
+      }
+      GNUNET_free (mesh_data->task);
+    }
+    GNUNET_free (mesh_data->reference_counter);
+    GNUNET_free (mesh_data->data);
+    GNUNET_free (mesh_data);
+  }
+}
 
-/******************************************************************************/
-/******************      GENERAL HELPER FUNCTIONS      ************************/
-/******************************************************************************/
 
 /**
  * Check if client has registered with the service and has not disconnected
@@ -726,14 +1766,14 @@ client_get (struct GNUNET_SERVER_Client *client)
  * @param c Client to check
  *
  * @return GNUNET_YES or GNUNET_NO, depending on subscription status
- *
- * TODO inline?
  */
 static int
 client_is_subscribed (uint16_t message_type, struct MeshClient *c)
 {
-  GNUNET_HashCode hc;
+  struct GNUNET_HashCode hc;
 
+  if (NULL == c->types)
+    return GNUNET_NO;
   GNUNET_CRYPTO_hash (&message_type, sizeof (uint16_t), &hc);
   return GNUNET_CONTAINER_multihashmap_contains (c->types, &hc);
 }
@@ -746,51 +1786,129 @@ client_is_subscribed (uint16_t message_type, struct MeshClient *c)
  *
  * @param cls Closure (DataDescriptor containing the task identifier)
  * @param tc Task Context
+ * 
+ * FIXME reference counter cshould be just int
  */
 static void
 client_allow_send (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct MeshData *mdata = cls;
 
-  if (GNUNET_SCHEDULER_REASON_SHUTDOWN == tc->reason)
+  if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
     return;
-#if MESH_DEBUG
   GNUNET_assert (NULL != mdata->reference_counter);
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH: CLIENT ALLOW SEND DESPITE %u COPIES PENDING\n",
-              mdata->reference_counter);
-#endif
+              "CLIENT ALLOW SEND DESPITE %u COPIES PENDING\n",
+              *(mdata->reference_counter));
   *(mdata->task) = GNUNET_SCHEDULER_NO_TASK;
-  GNUNET_SERVER_receive_done (mdata->t->client->handle, GNUNET_OK);
+  GNUNET_SERVER_receive_done (mdata->t->owner->handle, GNUNET_OK);
 }
 
 
 /**
- * Search for a tunnel by global ID using full PeerIdentities
+ * Check whether client wants traffic from a tunnel.
  *
- * @param oid owner of the tunnel
- * @param tid global tunnel number
+ * @param c Client to check.
+ * @param t Tunnel to be found.
  *
- * @return tunnel handler, NULL if doesn't exist
+ * @return GNUNET_YES if client knows tunnel.
+ * 
+ * TODO look in client hashmap
  */
-static struct MeshTunnel *
-tunnel_get (struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid);
+static int
+client_wants_tunnel (struct MeshClient *c, struct MeshTunnel *t)
+{
+  unsigned int i;
+
+  for (i = 0; i < t->nclients; i++)
+    if (t->clients[i] == c)
+      return GNUNET_YES;
+  return GNUNET_NO;
+}
 
 
 /**
- * Notify a tunnel that a connection has broken that affects at least
- * some of its peers.
+ * Check whether client has been informed about a tunnel.
  *
- * @param t Tunnel affected.
- * @param p1 Peer that got disconnected from p2.
- * @param p2 Peer that got disconnected from p1.
+ * @param c Client to check.
+ * @param t Tunnel to be found.
  *
- * @return Short ID of the peer disconnected (either p1 or p2).
- *         0 if the tunnel remained unaffected.
+ * @return GNUNET_YES if client knows tunnel.
+ * 
+ * TODO look in client hashmap
  */
-static GNUNET_PEER_Id
-tunnel_notify_connection_broken (struct MeshTunnel *t, GNUNET_PEER_Id p1,
-                                 GNUNET_PEER_Id p2);
+static int
+client_knows_tunnel (struct MeshClient *c, struct MeshTunnel *t)
+{
+  unsigned int i;
+
+  for (i = 0; i < t->nignore; i++)
+    if (t->ignore[i] == c)
+      return GNUNET_YES;
+  return client_wants_tunnel(c, t);
+}
+
+
+/**
+ * Marks a client as uninterested in traffic from the tunnel, updating both
+ * client and tunnel to reflect this.
+ *
+ * @param c Client that doesn't want traffic anymore.
+ * @param t Tunnel which should be ignored.
+ *
+ * FIXME when to delete an incoming tunnel?
+ */
+static void
+client_ignore_tunnel (struct MeshClient *c, struct MeshTunnel *t)
+{
+  struct GNUNET_HashCode hash;
+
+  GNUNET_CRYPTO_hash (&t->local_tid_dest, sizeof (MESH_TunnelNumber), &hash);
+  GNUNET_break (GNUNET_YES ==
+                GNUNET_CONTAINER_multihashmap_remove (c->incoming_tunnels,
+                                                      &hash, t));
+  GNUNET_break (GNUNET_YES ==
+                GNUNET_CONTAINER_multihashmap_put (c->ignore_tunnels, &hash, t,
+                                                   GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST));
+  tunnel_delete_active_client (t, c);
+  GNUNET_array_append (t->ignore, t->nignore, c);
+}
+
+
+/**
+ * Deletes a tunnel from a client (either owner or destination). To be used on
+ * tunnel destroy, otherwise, use client_ignore_tunnel.
+ *
+ * @param c Client whose tunnel to delete.
+ * @param t Tunnel which should be deleted.
+ */
+static void
+client_delete_tunnel (struct MeshClient *c, struct MeshTunnel *t)
+{
+  struct GNUNET_HashCode hash;
+
+  if (c == t->owner)
+  {
+    GNUNET_CRYPTO_hash(&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
+    GNUNET_assert (GNUNET_YES ==
+                   GNUNET_CONTAINER_multihashmap_remove (c->own_tunnels,
+                                                         &hash,
+                                                         t));
+  }
+  else
+  {
+    GNUNET_CRYPTO_hash(&t->local_tid_dest, sizeof (MESH_TunnelNumber), &hash);
+    // FIXME XOR?
+    GNUNET_assert (GNUNET_YES ==
+                   GNUNET_CONTAINER_multihashmap_remove (c->incoming_tunnels,
+                                                         &hash,
+                                                         t) ||
+                   GNUNET_YES ==
+                   GNUNET_CONTAINER_multihashmap_remove (c->ignore_tunnels,
+                                                         &hash,
+                                                         t));
+  }
+}
 
 
 /**
@@ -812,11 +1930,10 @@ send_subscribed_clients (const struct GNUNET_MessageHeader *msg,
   uint16_t type;
   char cbuf[htons (msg->size)];
 
-#if MESH_DEBUG
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Sending to clients...\n");
   type = ntohs (payload->type);
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: message of type %u\n", type);
-#endif
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Sending to clients...\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "message of type %s\n",
+              GNUNET_MESH_DEBUG_M2S (type));
 
   memcpy (cbuf, msg, sizeof (cbuf));
   switch (htons (msg->type))
@@ -853,28 +1970,48 @@ send_subscribed_clients (const struct GNUNET_MessageHeader *msg,
 
   for (count = 0, c = clients; c != NULL; c = c->next)
   {
-#if MESH_DEBUG
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    client %u\n", c->id);
-#endif
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   client %u\n", c->id);
     if (client_is_subscribed (type, c))
     {
-      // FIXME proper client differentiation mechanism required
       if (htons (msg->type) == GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN)
+      {
+        if (c != t->owner)
+          continue;
         *tid = htonl (t->local_tid);
-      else if(c == t->client)
-        *tid = htonl (t->local_tid);
-      else if(c == t->client_dest)
-        *tid = htonl (t->local_tid_dest);
+      }
       else
       {
-        GNUNET_break (0);
-        continue;
+        if (GNUNET_NO == client_knows_tunnel (c, t))
+        {
+          /* This client doesn't know the tunnel */
+          struct GNUNET_MESH_TunnelNotification tmsg;
+          struct GNUNET_HashCode hash;
+
+          GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "     sending tunnel create\n");
+          tmsg.header.size = htons (sizeof (tmsg));
+          tmsg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
+          GNUNET_PEER_resolve (t->id.oid, &tmsg.peer);
+          tmsg.tunnel_id = htonl (t->local_tid_dest);
+          GNUNET_SERVER_notification_context_unicast (nc, c->handle,
+                                                      &tmsg.header, GNUNET_NO);
+          tunnel_add_client (t, c);
+          GNUNET_CRYPTO_hash (&t->local_tid_dest, sizeof (MESH_TunnelNumber),
+                              &hash);
+          GNUNET_break (GNUNET_OK == GNUNET_CONTAINER_multihashmap_put (
+                                       c->incoming_tunnels, &hash, t,
+                                       GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST));
+        }
+        *tid = htonl (t->local_tid_dest);
       }
+
+      /* Check if the client wants to get traffic from the tunnel */
+      if (GNUNET_NO == client_wants_tunnel(c, t))
+        continue;
       count++;
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      sending\n");
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "     sending\n");
       GNUNET_SERVER_notification_context_unicast (nc, c->handle,
                                                   (struct GNUNET_MessageHeader
-                                                   *) cbuf, GNUNET_YES);
+                                                   *) cbuf, GNUNET_NO);
     }
   }
   return count;
@@ -897,203 +2034,120 @@ send_client_peer_connected (const struct MeshTunnel *t, const GNUNET_PEER_Id id)
   pc.header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
   pc.tunnel_id = htonl (t->local_tid);
   GNUNET_PEER_resolve (id, &pc.peer);
-  GNUNET_SERVER_notification_context_unicast (nc, t->client->handle, &pc.header,
+  GNUNET_SERVER_notification_context_unicast (nc, t->owner->handle, &pc.header,
                                               GNUNET_NO);
 }
 
 
 /**
- * Notify all clients (not depending on registration status) that the incoming
- * tunnel is no longer valid.
+ * Notify a client of a tunnel about how many more
+ * payload packages will we accept on a given tunnel,
+ * distinguishing between root and leaf clients.
  *
- * @param t Tunnel that was destroyed.
+ * @param c Client whom to send the ACK.
+ * @param t Tunnel on which to send the ACK.
  */
 static void
-send_clients_tunnel_destroy (struct MeshTunnel *t)
+send_client_tunnel_ack (struct MeshClient *c, struct MeshTunnel *t)
 {
-  struct GNUNET_MESH_TunnelMessage msg;
+  struct GNUNET_MESH_LocalAck msg;
+  MESH_TunnelNumber tid;
+  uint32_t ack;
 
-  msg.header.size = htons (sizeof (msg));
-  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY);
-  msg.tunnel_id = htonl (t->local_tid);
-  GNUNET_SERVER_notification_context_broadcast (nc, &msg.header, GNUNET_NO);
-}
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "Sending client ACK on tunnel %X\n",
+              t->local_tid);
+  if (NULL == c)
+    return;
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " to client %u\n", c->id);
 
-/**
- * Notify a client that the other local client disconnected, if needed.
- * In case the origin disconnects, the destination get a tunnel destroy
- * notification. Otherwise, the origin gets a (local ID) peer disconnected.
- *
- * @param t Tunnel that was destroyed.
- * @param c Client that disconnected.
- */
-static void
-send_client_tunnel_disconnect (struct MeshTunnel *t, struct MeshClient *c)
-{
-  if (c == t->client_dest)
+  if (c == t->owner)
   {
-    struct GNUNET_MESH_PeerControl msg;
-
-    msg.header.size = htons (sizeof (msg));
-    msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DEL);
-    msg.tunnel_id = htonl (t->local_tid);
-    msg.peer = my_full_id;
-    GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
-                                                &msg.header, GNUNET_NO);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  (owner, FWD ACK)\n");
+    ack = tunnel_get_fwd_ack (t);
+    tid = t->local_tid;
   }
-  else if (NULL != t->client_dest && c == t->client)
+  else
   {
-    struct GNUNET_MESH_TunnelMessage msg;
-
-    msg.header.size = htons (sizeof (msg));
-    msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY);
-    msg.tunnel_id = htonl (t->local_tid_dest);
-    GNUNET_SERVER_notification_context_unicast (nc, t->client_dest->handle,
-                                                &msg.header, GNUNET_NO);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  (leaf, BCK ACK)\n");
+    ack = tunnel_get_bck_ack (t);
+    tid = t->local_tid_dest;
   }
-}
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " ack %u\n", ack);
+  if (t->last_fwd_ack == ack)
+    return;
 
-/**
- * Function called to notify a client about the socket
- * being ready to queue more data.  "buf" will be
- * NULL and "size" zero if the socket was closed for
- * writing in the meantime.
- *
- * @param cls closure
- * @param size number of bytes available in buf
- * @param buf where the callee should write the message
- * @return number of bytes written to buf
- */
-static size_t
-send_core_create_path (void *cls, size_t size, void *buf);
-
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " sending!\n");
+  t->last_fwd_ack = ack;
+  msg.header.size = htons (sizeof (msg));
+  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK);
+  msg.tunnel_id = htonl (tid);
+  msg.max_pid = htonl (ack);
 
-/**
- * Function called to notify a client about the socket
- * being ready to queue more data.  "buf" will be
- * NULL and "size" zero if the socket was closed for
- * writing in the meantime.
- *
- * @param cls closure (data itself)
- * @param size number of bytes available in buf
- * @param buf where the callee should write the message
- *
- * @return number of bytes written to buf
- */
-static size_t
-send_core_data_multicast (void *cls, size_t size, void *buf);
+  GNUNET_SERVER_notification_context_unicast (nc, c->handle,
+                                              &msg.header, GNUNET_NO);
+}
 
 
 /**
- * Decrements the reference counter and frees all resources if needed
+ * Notify all clients (not depending on registration status) that the incoming
+ * tunnel is no longer valid.
  *
- * @param dd Data Descriptor used in a multicast message. Freed if needed.
+ * @param t Tunnel that was destroyed.
  */
 static void
-data_descriptor_decrement_multicast (struct MeshData *mesh_data)
+send_clients_tunnel_destroy (struct MeshTunnel *t)
 {
-  /* Make sure it's a multicast packet */
-  GNUNET_assert (NULL != mesh_data->reference_counter);
+  struct GNUNET_MESH_TunnelMessage msg;
 
-  if (0 == --(*(mesh_data->reference_counter)))
-  {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Last copy!\n");
-    if (NULL != mesh_data->task)
-    {
-      if (GNUNET_SCHEDULER_NO_TASK != *(mesh_data->task))
-      {
-        GNUNET_SCHEDULER_cancel (*(mesh_data->task));
-        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  notifying client...\n");
-        GNUNET_SERVER_receive_done (mesh_data->t->client->handle, GNUNET_OK);
-      }
-      GNUNET_free (mesh_data->task);
-    }
-    GNUNET_free (mesh_data->reference_counter);
-    GNUNET_free (mesh_data->data);
-    GNUNET_free (mesh_data);
-  }
+  msg.header.size = htons (sizeof (msg));
+  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY);
+  msg.tunnel_id = htonl (t->local_tid_dest);
+  GNUNET_SERVER_notification_context_broadcast (nc, &msg.header, GNUNET_NO);
 }
 
 
 /**
- * Cancel a core transmission that was already requested and free all resources
- * associated to the request.
+ * Notify clients of tunnel disconnections, if needed.
+ * In case the origin disconnects, the destination clients get a tunnel destroy
+ * notification. If the last destination disconnects (only one remaining client
+ * in tunnel), the origin gets a (local ID) peer disconnected.
+ * Note that the function must be called BEFORE removing the client from
+ * the tunnel.
  *
- * @param peer PeeInfo of the peer whose transmission is cancelled.
- * @param i Position of the transmission to be cancelled.
+ * @param t Tunnel that was destroyed.
+ * @param c Client that disconnected.
  */
 static void
-peer_info_cancel_transmission (struct MeshPeerInfo *peer, unsigned int i)
+send_client_tunnel_disconnect (struct MeshTunnel *t, struct MeshClient *c)
 {
-  if (NULL != peer->core_transmit[i])
-  {
-    struct MeshTransmissionDescriptor *dd;
-    struct MeshPathInfo *path_info;
+  unsigned int i;
 
-#if MESH_DEBUG
-    {
-      struct GNUNET_PeerIdentity id;
+  if (c == t->owner)
+  {
+    struct GNUNET_MESH_TunnelMessage msg;
 
-      GNUNET_PEER_resolve (peer->id, &id);
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                  "MESH:   Cancelling data transmission at %s [%u]\n",
-                  GNUNET_i2s (&id), i);
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    message type %u\n",
-                  peer->types[i]);
-    }
-#endif
-    /* TODO: notify that tranmission has failed */
-    switch (peer->types[i])
-    {
-    case GNUNET_MESSAGE_TYPE_MESH_MULTICAST:
-    case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
-    case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    type payload\n");
-      dd = peer->infos[i];
-      data_descriptor_decrement_multicast (dd->mesh_data);
-      break;
-    case GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE:
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    type create path\n");
-      path_info = peer->infos[i];
-      path_destroy (path_info->path);
-      break;
-    default:
-      GNUNET_break (0);
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    type unknown!\n");
-    }
-    GNUNET_CORE_notify_transmit_ready_cancel (peer->core_transmit[i]);
-    peer->core_transmit[i] = NULL;
-    GNUNET_free (peer->infos[i]);
+    msg.header.size = htons (sizeof (msg));
+    msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY);
+    msg.tunnel_id = htonl (t->local_tid_dest);
+    for (i = 0; i < t->nclients; i++)
+      GNUNET_SERVER_notification_context_unicast (nc, t->clients[i]->handle,
+                                                  &msg.header, GNUNET_NO);
   }
-}
-
-
-/**
- * Get a unused CORE slot to transmit a message to a peer. If all the slots
- * are used, cancel one and return it's position.
- *
- * @param peer PeerInfo of the neighbor we want to transmit to.
- *
- * @return The index of an available slot to transmit to the neighbor.
- */
-static unsigned int
-peer_info_transmit_slot (struct MeshPeerInfo *peer)
-{
-  unsigned int i;
-
-  for (i = 0; peer->core_transmit[i]; i++)
+  // FIXME when to disconnect an incoming tunnel?
+  else if (1 == t->nclients && NULL != t->owner)
   {
-    if (i == (CORE_QUEUE_SIZE - 1))
-    {
-      /* All positions are taken! Overwriting! */
-      GNUNET_break (0);
-      peer_info_cancel_transmission (peer, 0);
-      return 0;
-    }
+    struct GNUNET_MESH_PeerControl msg;
+
+    msg.header.size = htons (sizeof (msg));
+    msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DEL);
+    msg.tunnel_id = htonl (t->local_tid);
+    msg.peer = my_full_id;
+    GNUNET_SERVER_notification_context_unicast (nc, t->owner->handle,
+                                                &msg.header, GNUNET_NO);
   }
-  return i;
 }
 
 
@@ -1153,7 +2207,7 @@ peer_info_get_short (const GNUNET_PEER_Id peer)
  * @return always GNUNET_YES, to keep iterating
  */
 static int
-peer_info_delete_tunnel (void *cls, const GNUNET_HashCode * key, void *value)
+peer_info_delete_tunnel (void *cls, const struct GNUNET_HashCode * key, void *value)
 {
   struct MeshTunnel *t = cls;
   struct MeshPeerInfo *peer = value;
@@ -1175,7 +2229,7 @@ peer_info_delete_tunnel (void *cls, const GNUNET_HashCode * key, void *value)
 
 
 /**
-  * Core callback to write a
+  * Core callback to write a pre-constructed data packet to core buffer
   *
   * @param cls Closure (MeshTransmissionDescriptor with data in "data" member).
   * @param size Number of bytes available in buf.
@@ -1197,76 +2251,110 @@ send_core_data_raw (void *cls, size_t size, void *buf)
 
   if (total_size > size)
   {
-    struct GNUNET_PeerIdentity id;
-
-    GNUNET_PEER_resolve (info->peer->id, &id);
-    info->peer->core_transmit[info->handler_n] =
-        GNUNET_CORE_notify_transmit_ready (core_handle, 0, 100,
-                                           GNUNET_TIME_UNIT_FOREVER_REL, &id,
-                                           size, &send_core_data_raw, info);
+    GNUNET_break (0);
     return 0;
   }
-  info->peer->core_transmit[info->handler_n] = NULL;
   memcpy (buf, msg, total_size);
-  GNUNET_free (info->mesh_data);
+  data_descriptor_decrement_rc (info->mesh_data);
   GNUNET_free (info);
   return total_size;
 }
 
 
 /**
- * Sends an already built message to a peer, properly registrating
- * all used resources.
+ * Sends an already built non-multicast message to a peer,
+ * properly registrating all used resources.
  *
- * @param message Message to send. Fucntion makes a copy of it.
+ * @param message Message to send. Function makes a copy of it.
  * @param peer Short ID of the neighbor whom to send the message.
- *
- * FIXME tunnel?
+ * @param t Tunnel on which this message is transmitted.
  */
 static void
 send_message (const struct GNUNET_MessageHeader *message,
-              const struct GNUNET_PeerIdentity *peer)
+              const struct GNUNET_PeerIdentity *peer,
+              struct MeshTunnel *t)
 {
   struct MeshTransmissionDescriptor *info;
   struct MeshPeerInfo *neighbor;
   struct MeshPeerPath *p;
-  unsigned int i;
   size_t size;
+  uint16_t type;
 
-//   GNUNET_TRANSPORT_try_connect();
+//   GNUNET_TRANSPORT_try_connect(); FIXME use?
 
   size = ntohs (message->size);
   info = GNUNET_malloc (sizeof (struct MeshTransmissionDescriptor));
   info->mesh_data = GNUNET_malloc (sizeof (struct MeshData));
   info->mesh_data->data = GNUNET_malloc (size);
   memcpy (info->mesh_data->data, message, size);
+  type = ntohs(message->type);
+  if (GNUNET_MESSAGE_TYPE_MESH_UNICAST == type)
+  {
+    struct GNUNET_MESH_Unicast *m;
+
+    m = (struct GNUNET_MESH_Unicast *) info->mesh_data->data;
+    m->ttl = htonl (ntohl (m->ttl) - 1);
+  }
   info->mesh_data->data_len = size;
+  info->mesh_data->reference_counter = GNUNET_malloc (sizeof (unsigned int));
+  *info->mesh_data->reference_counter = 1;
   neighbor = peer_info_get (peer);
   for (p = neighbor->path_head; NULL != p; p = p->next)
   {
-    if (2 == p->length)
+    if (2 >= p->length)
     {
       break;
     }
   }
   if (NULL == p)
   {
-    GNUNET_break (0);
+#if MESH_DEBUG
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "  %s IS NOT DIRECTLY CONNECTED\n",
+                GNUNET_i2s(peer));
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "  PATHS TO %s:\n",
+                GNUNET_i2s(peer));
+    for (p = neighbor->path_head; NULL != p; p = p->next)
+    {
+      struct GNUNET_PeerIdentity debug_id;
+      unsigned int i;
+
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                  "    path with %u hops through:\n",
+                  p->length);
+      for (i = 0; i < p->length; i++)
+      {
+        GNUNET_PEER_resolve(p->peers[i], &debug_id);
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                    "      hop %u: %s\n",
+                    i, GNUNET_i2s(&debug_id));
+      }
+    }
+#endif
+    GNUNET_break (0); // FIXME sometimes fails (testing disconnect?)
     GNUNET_free (info->mesh_data->data);
     GNUNET_free (info->mesh_data);
     GNUNET_free (info);
     return;
   }
-  i = peer_info_transmit_slot (neighbor);
-  info->handler_n = i;
   info->peer = neighbor;
-  neighbor->types[i] = GNUNET_MESSAGE_TYPE_MESH_UNICAST;
-  neighbor->infos[i] = info;
-  neighbor->core_transmit[i] =
-      GNUNET_CORE_notify_transmit_ready (core_handle, 0, 100,
-                                         GNUNET_TIME_UNIT_FOREVER_REL, peer,
-                                         size, &send_core_data_raw, info);
-
+  if (GNUNET_MESSAGE_TYPE_MESH_PATH_ACK == type)
+  {
+    /*
+     * TODO: in this case we only need the service to retransmit
+     * the message down the path. If we pass the real type to queue_add,
+     * queue_send will try to build the message from scratch. This can
+     * probably be done by some other way instead of deleteing the type
+     * info.
+     */
+    type = 0;
+  }
+  queue_add (info,
+             type,
+             size,
+             neighbor,
+             t);
 }
 
 
@@ -1285,6 +2373,7 @@ send_create_path (struct MeshPeerInfo *peer, struct MeshPeerPath *p,
   struct GNUNET_PeerIdentity id;
   struct MeshPathInfo *path_info;
   struct MeshPeerInfo *neighbor;
+
   unsigned int i;
 
   if (NULL == p)
@@ -1314,17 +2403,12 @@ send_create_path (struct MeshPeerInfo *peer, struct MeshPeerPath *p,
   path_info->t = t;
   neighbor = peer_info_get (&id);
   path_info->peer = neighbor;
-  path_info->pos = peer_info_transmit_slot (neighbor);
-  neighbor->types[path_info->pos] = GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE;
-  neighbor->infos[path_info->pos] = path_info;
-  neighbor->core_transmit[path_info->pos] = GNUNET_CORE_notify_transmit_ready (core_handle,     /* handle */
-                                                                               0,       /* cork */
-                                                                               0,       /* priority */
-                                                                               GNUNET_TIME_UNIT_FOREVER_REL,    /* timeout */
-                                                                               &id,     /* target */
-                                                                               sizeof (struct GNUNET_MESH_ManipulatePath) + (p->length * sizeof (struct GNUNET_PeerIdentity)),  /*size */
-                                                                               &send_core_create_path,  /* callback */
-                                                                               path_info);      /* cls */
+  queue_add (path_info,
+             GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE,
+             sizeof (struct GNUNET_MESH_ManipulatePath) +
+                (p->length * sizeof (struct GNUNET_PeerIdentity)),
+             neighbor,
+             t);
 }
 
 
@@ -1363,7 +2447,7 @@ send_destroy_path (struct MeshTunnel *t, GNUNET_PEER_Id destination)
     {
       GNUNET_PEER_resolve (p->peers[i], &pi[i]);
     }
-    send_message (&msg->header, tree_get_first_hop (t->tree, destination));
+    send_message (&msg->header, tree_get_first_hop (t->tree, destination), t);
   }
   path_destroy (p);
 }
@@ -1393,14 +2477,27 @@ peer_info_connect (struct MeshPeerInfo *peer, struct MeshTunnel *t)
       return;
     }
 
+    // FIXME always send create path to self
     if (p->length > 1)
     {
       send_create_path (peer, p, t);
     }
     else
     {
+      struct GNUNET_HashCode hash;
+
       path_destroy (p);
       send_client_peer_connected (t, myid);
+      t->local_tid_dest = next_local_tid++;
+      GNUNET_CRYPTO_hash (&t->local_tid_dest, sizeof (MESH_TunnelNumber),
+                          &hash);
+      if (GNUNET_OK !=
+          GNUNET_CONTAINER_multihashmap_put (incoming_tunnels, &hash, t,
+                                             GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
+      {
+        GNUNET_break (0);
+        return;
+      }
     }
   }
   else if (NULL == peer->dhtget)
@@ -1412,15 +2509,16 @@ peer_info_connect (struct MeshPeerInfo *peer, struct MeshTunnel *t)
     path_info->peer = peer;
     path_info->t = t;
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "MESH:   Starting DHT GET for peer %s\n", GNUNET_i2s (&id));
+                "  Starting DHT GET for peer %s\n", GNUNET_i2s (&id));
     peer->dhtgetcls = path_info;
     peer->dhtget = GNUNET_DHT_get_start (dht_handle,    /* handle */
-                                         GNUNET_TIME_UNIT_FOREVER_REL,  /* timeout */
-                                         GNUNET_BLOCK_TYPE_TEST,        /* type */
-                                         &id.hashPubKey,        /* key to search */
-                                         4,     /* replication level */
-                                         GNUNET_DHT_RO_RECORD_ROUTE | GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE, NULL,       /* xquery */
-                                         0,     /* xquery bits */
+                                         GNUNET_BLOCK_TYPE_MESH_PEER, /* type */
+                                         &id.hashPubKey,     /* key to search */
+                                         dht_replication_level, /* replication level */
+                                         GNUNET_DHT_RO_RECORD_ROUTE |
+                                         GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,
+                                         NULL,       /* xquery */ // FIXME BLOOMFILTER
+                                         0,     /* xquery bits */ // FIXME BLOOMFILTER SIZE
                                          &dht_get_id_handler, path_info);
   }
   /* Otherwise, there is no path but the DHT get is already started. */
@@ -1463,7 +2561,6 @@ peer_info_destroy (struct MeshPeerInfo *pi)
   struct GNUNET_PeerIdentity id;
   struct MeshPeerPath *p;
   struct MeshPeerPath *nextp;
-  unsigned int i;
 
   GNUNET_PEER_resolve (pi->id, &id);
   GNUNET_PEER_change_rc (pi->id, -1);
@@ -1473,16 +2570,12 @@ peer_info_destroy (struct MeshPeerInfo *pi)
   {
     GNUNET_break (0);
     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                "MESH: removing peer %s, not in hashmap\n", GNUNET_i2s (&id));
+                "removing peer %s, not in hashmap\n", GNUNET_i2s (&id));
   }
   if (NULL != pi->dhtget)
   {
     GNUNET_DHT_get_stop (pi->dhtget);
-    GNUNET_free (pi->dhtgetcls);
-  }
-  for (i = 0; i < CORE_QUEUE_SIZE; i++)
-  {
-    peer_info_cancel_transmission (pi, i);
+    GNUNET_free (pi->dhtgetcls);
   }
   p = pi->path_head;
   while (NULL != p)
@@ -1521,6 +2614,7 @@ peer_info_remove_path (struct MeshPeerInfo *peer, GNUNET_PEER_Id p1,
   unsigned int cost;
   unsigned int i;
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "peer_info_remove_path\n");
   destroyed = 0;
   p = peer->path_head;
   while (NULL != p)
@@ -1581,6 +2675,7 @@ peer_info_remove_path (struct MeshPeerInfo *peer, GNUNET_PEER_Id p1,
       peer_info_connect (peer_d, peer->tunnels[i]);
     }
   }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "peer_info_remove_path END\n");
 }
 
 
@@ -1624,7 +2719,7 @@ peer_info_add_path (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path,
   {
     if (path->peers[l] == myid)
     {
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: shortening path by %u\n", l);
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "shortening path by %u\n", l);
       for (l2 = 0; l2 < path->length - l; l2++)
       {
         path->peers[l2] = path->peers[l + l2];
@@ -1640,7 +2735,7 @@ peer_info_add_path (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path,
     struct GNUNET_PeerIdentity id;
 
     GNUNET_PEER_resolve (peer_info->id, &id);
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: adding path [%u] to peer %s\n",
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "adding path [%u] to peer %s\n",
                 path->length, GNUNET_i2s (&id));
   }
 #endif
@@ -1715,18 +2810,18 @@ path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
   p->peers[0] = myid;
   GNUNET_PEER_change_rc (myid, 1);
   i = get_path_length;
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    GET has %d hops.\n", i);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   GET has %d hops.\n", i);
   for (i--; i >= 0; i--)
   {
     id = GNUNET_PEER_intern (&get_path[i]);
     if (p->length > 0 && id == p->peers[p->length - 1])
     {
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    Optimizing 1 hop out.\n");
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Optimizing 1 hop out.\n");
       GNUNET_PEER_change_rc (id, -1);
     }
     else
     {
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    Adding from GET: %s.\n",
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Adding from GET: %s.\n",
                   GNUNET_i2s (&get_path[i]));
       p->length++;
       p->peers = GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * p->length);
@@ -1734,7 +2829,7 @@ path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
     }
   }
   i = put_path_length;
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    PUT has %d hops.\n", i);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   PUT has %d hops.\n", i);
   for (i--; i >= 0; i--)
   {
     id = GNUNET_PEER_intern (&put_path[i]);
@@ -1748,12 +2843,12 @@ path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
     }
     if (p->length > 0 && id == p->peers[p->length - 1])
     {
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    Optimizing 1 hop out.\n");
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Optimizing 1 hop out.\n");
       GNUNET_PEER_change_rc (id, -1);
     }
     else
     {
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    Adding from PUT: %s.\n",
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Adding from PUT: %s.\n",
                   GNUNET_i2s (&put_path[i]));
       p->length++;
       p->peers = GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * p->length);
@@ -1762,19 +2857,19 @@ path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
   }
 #if MESH_DEBUG
   if (get_path_length > 0)
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    (first of GET: %s)\n",
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   (first of GET: %s)\n",
                 GNUNET_i2s (&get_path[0]));
   if (put_path_length > 0)
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    (first of PUT: %s)\n",
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   (first of PUT: %s)\n",
                 GNUNET_i2s (&put_path[0]));
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    In total: %d hops\n",
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   In total: %d hops\n",
               p->length);
   for (i = 0; i < p->length; i++)
   {
     struct GNUNET_PeerIdentity peer_id;
 
     GNUNET_PEER_resolve (p->peers[i], &peer_id);
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:        %u: %s\n", p->peers[i],
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "       %u: %s\n", p->peers[i],
                 GNUNET_i2s (&peer_id));
   }
 #endif
@@ -1786,7 +2881,7 @@ path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
  * Adds a path to the peer_infos of all the peers in the path
  *
  * @param p Path to process.
- * @param confirmed Whether we know if the path works or not. FIXME use
+ * @param confirmed Whether we know if the path works or not.
  */
 static void
 path_add_to_peers (struct MeshPeerPath *p, int confirmed)
@@ -1830,7 +2925,7 @@ path_refresh (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
 static struct MeshTunnel *
 tunnel_get_incoming (MESH_TunnelNumber tid)
 {
-  GNUNET_HashCode hash;
+  struct GNUNET_HashCode hash;
 
   GNUNET_assert (tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV);
   GNUNET_CRYPTO_hash (&tid, sizeof (MESH_TunnelNumber), &hash);
@@ -1855,10 +2950,10 @@ tunnel_get_by_local_id (struct MeshClient *c, MESH_TunnelNumber tid)
   }
   else
   {
-    GNUNET_HashCode hash;
+    struct GNUNET_HashCode hash;
 
     GNUNET_CRYPTO_hash (&tid, sizeof (MESH_TunnelNumber), &hash);
-    return GNUNET_CONTAINER_multihashmap_get (c->tunnels, &hash);
+    return GNUNET_CONTAINER_multihashmap_get (c->own_tunnels, &hash);
   }
 }
 
@@ -1875,7 +2970,7 @@ static struct MeshTunnel *
 tunnel_get_by_pi (GNUNET_PEER_Id pi, MESH_TunnelNumber tid)
 {
   struct MESH_TunnelID id;
-  GNUNET_HashCode hash;
+  struct GNUNET_HashCode hash;
 
   id.oid = pi;
   id.tid = tid;
@@ -1900,6 +2995,89 @@ tunnel_get (struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid)
 }
 
 
+/**
+ * Delete an active client from the tunnel.
+ * 
+ * @param t Tunnel.
+ * @param c Client.
+ */
+static void
+tunnel_delete_active_client (struct MeshTunnel *t, const struct MeshClient *c)
+{
+  unsigned int i;
+
+  for (i = 0; i < t->nclients; i++)
+  {
+    if (t->clients[i] == c)
+    {
+      t->clients[i] = t->clients[t->nclients - 1];
+      t->clients_fc[i] = t->clients_fc[t->nclients - 1];
+      GNUNET_array_grow (t->clients, t->nclients, t->nclients - 1);
+      t->nclients++;
+      GNUNET_array_grow (t->clients_fc, t->nclients, t->nclients - 1);
+      break;
+    }
+  }
+}
+
+
+/**
+ * Delete an ignored client from the tunnel.
+ * 
+ * @param t Tunnel.
+ * @param c Client.
+ */
+static void
+tunnel_delete_ignored_client (struct MeshTunnel *t, const struct MeshClient *c)
+{
+  unsigned int i;
+
+  for (i = 0; i < t->nignore; i++)
+  {
+    if (t->ignore[i] == c)
+    {
+      t->ignore[i] = t->ignore[t->nignore - 1];
+      GNUNET_array_grow (t->ignore, t->nignore, t->nignore - 1);
+      break;
+    }
+  }
+}
+
+
+/**
+ * Delete a client from the tunnel. It should be only done on
+ * client disconnection, otherwise use client_ignore_tunnel.
+ * 
+ * @param t Tunnel.
+ * @param c Client.
+ */
+static void
+tunnel_delete_client (struct MeshTunnel *t, const struct MeshClient *c)
+{
+  tunnel_delete_ignored_client (t, c);
+  tunnel_delete_active_client (t, c);
+}
+
+
+/**
+ * Iterator to free MeshTunnelChildInfo of tunnel children.
+ *
+ * @param cls Closure (tunnel info).
+ * @param key Hash of GNUNET_PEER_Id (unused).
+ * @param value MeshTunnelChildInfo of the child.
+ *
+ * @return always GNUNET_YES, to keep iterating
+ */
+static int
+tunnel_destroy_child (void *cls,
+                      const struct GNUNET_HashCode * key,
+                      void *value)
+{
+  GNUNET_free (value);
+  return GNUNET_YES;
+}
+
+
 /**
  * Callback used to notify a client owner of a tunnel that a peer has
  * disconnected, most likely because of a path change.
@@ -1908,13 +3086,13 @@ tunnel_get (struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid)
  * @param peer_id Short ID of disconnected peer.
  */
 void
-notify_peer_disconnected (void *cls, GNUNET_PEER_Id peer_id)
+tunnel_notify_client_peer_disconnected (void *cls, GNUNET_PEER_Id peer_id)
 {
   struct MeshTunnel *t = cls;
   struct MeshPeerInfo *peer;
   struct MeshPathInfo *path_info;
 
-  if (NULL != t->client && NULL != nc)
+  if (NULL != t->owner && NULL != nc)
   {
     struct GNUNET_MESH_PeerControl msg;
 
@@ -1922,7 +3100,7 @@ notify_peer_disconnected (void *cls, GNUNET_PEER_Id peer_id)
     msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DEL);
     msg.tunnel_id = htonl (t->local_tid);
     GNUNET_PEER_resolve (peer_id, &msg.peer);
-    GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
+    GNUNET_SERVER_notification_context_unicast (nc, t->owner->handle,
                                                 &msg.header, GNUNET_NO);
   }
   peer = peer_info_get_short (peer_id);
@@ -1951,6 +3129,7 @@ tunnel_add_peer (struct MeshTunnel *t, struct MeshPeerInfo *peer)
   unsigned int best_cost;
   unsigned int cost;
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "tunnel_add_peer\n");
   GNUNET_PEER_resolve (peer->id, &id);
   if (GNUNET_NO ==
       GNUNET_CONTAINER_multihashmap_contains (t->peers, &id.hashPubKey))
@@ -1976,16 +3155,17 @@ tunnel_add_peer (struct MeshTunnel *t, struct MeshPeerInfo *peer)
       }
       p = p->next;
     }
-    tree_add_path (t->tree, best_p, &notify_peer_disconnected, t);
+    tree_add_path (t->tree, best_p, &tunnel_notify_client_peer_disconnected, t);
     if (GNUNET_SCHEDULER_NO_TASK == t->path_refresh_task)
       t->path_refresh_task =
-          GNUNET_SCHEDULER_add_delayed (REFRESH_PATH_TIME, &path_refresh, t);
+          GNUNET_SCHEDULER_add_delayed (refresh_path_time, &path_refresh, t);
   }
   else
   {
     /* Start a DHT get */
     peer_info_connect (peer, t);
   }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "tunnel_add_peer END\n");
 }
 
 /**
@@ -2004,6 +3184,7 @@ tunnel_add_path (struct MeshTunnel *t, struct MeshPeerPath *p,
 {
   struct GNUNET_PeerIdentity id;
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "tunnel_add_path\n");
   GNUNET_assert (0 != own_pos);
   tree_add_path (t->tree, p, NULL, NULL);
   if (own_pos < p->length - 1)
@@ -2011,6 +3192,27 @@ tunnel_add_path (struct MeshTunnel *t, struct MeshPeerPath *p,
     GNUNET_PEER_resolve (p->peers[own_pos + 1], &id);
     tree_update_first_hops (t->tree, myid, &id);
   }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "tunnel_add_path END\n");
+}
+
+/**
+ * Add a client to a tunnel, initializing all needed data structures.
+ * 
+ * @param t Tunnel to which add the client.
+ * @param c Client which to add to the tunnel.
+ */
+static void
+tunnel_add_client (struct MeshTunnel *t, struct MeshClient *c)
+{
+  struct MeshTunnelClientInfo clinfo;
+
+  GNUNET_array_append (t->clients, t->nclients, c);
+  clinfo.fwd_ack = t->fwd_pid + 1;
+  clinfo.bck_ack = t->nobuffer ? 1 : INITIAL_WINDOW_SIZE;
+  clinfo.fwd_pid = t->fwd_pid;
+  clinfo.bck_pid = (uint32_t) -1; // Expected next: 0
+  t->nclients--;
+  GNUNET_array_append (t->clients_fc, t->nclients, clinfo);
 }
 
 
@@ -2034,7 +3236,8 @@ tunnel_notify_connection_broken (struct MeshTunnel *t, GNUNET_PEER_Id p1,
   GNUNET_PEER_Id pid;
 
   pid =
-      tree_notify_connection_broken (t->tree, p1, p2, &notify_peer_disconnected,
+      tree_notify_connection_broken (t->tree, p1, p2,
+                                     &tunnel_notify_client_peer_disconnected,
                                      t);
   if (myid != p1 && myid != p2)
   {
@@ -2055,7 +3258,7 @@ tunnel_notify_connection_broken (struct MeshTunnel *t, GNUNET_PEER_Id p1,
       msg.peer1 = my_full_id;
       GNUNET_PEER_resolve (pid, &msg.peer2);
       GNUNET_PEER_resolve (tree_get_predecessor (t->tree), &neighbor);
-      send_message (&msg.header, &neighbor);
+      send_message (&msg.header, &neighbor, t);
     }
   }
   return pid;
@@ -2074,7 +3277,6 @@ tunnel_send_multicast_iterator (void *cls, GNUNET_PEER_Id neighbor_id)
   struct MeshData *mdata = cls;
   struct MeshTransmissionDescriptor *info;
   struct GNUNET_PeerIdentity neighbor;
-  unsigned int i;
 
   info = GNUNET_malloc (sizeof (struct MeshTransmissionDescriptor));
 
@@ -2082,23 +3284,18 @@ tunnel_send_multicast_iterator (void *cls, GNUNET_PEER_Id neighbor_id)
   (*(mdata->reference_counter)) ++;
   info->destination = neighbor_id;
   GNUNET_PEER_resolve (neighbor_id, &neighbor);
-#if MESH_DEBUG
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    sending to %s...\n",
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   sending to %s...\n",
               GNUNET_i2s (&neighbor));
-#endif
   info->peer = peer_info_get (&neighbor);
   GNUNET_assert (NULL != info->peer);
-  i = peer_info_transmit_slot (info->peer);
-  info->handler_n = i;
-  info->peer->infos[i] = info;
-  info->peer->types[i] = GNUNET_MESSAGE_TYPE_MESH_MULTICAST;
-  info->peer->core_transmit[i] =
-      GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
-                                         GNUNET_TIME_UNIT_FOREVER_REL,
-                                         &neighbor, info->mesh_data->data_len,
-                                         &send_core_data_multicast, info);
+  queue_add(info,
+            GNUNET_MESSAGE_TYPE_MESH_MULTICAST,
+            info->mesh_data->data_len,
+            info->peer,
+            mdata->t);
 }
 
+
 /**
  * Send a message in a tunnel in multicast, sending a copy to each child node
  * down the local one in the tunnel tree.
@@ -2114,10 +3311,8 @@ tunnel_send_multicast (struct MeshTunnel *t,
 {
   struct MeshData *mdata;
 
-#if MESH_DEBUG
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH:  sending a multicast packet...\n");
-#endif
+              " sending a multicast packet...\n");
   mdata = GNUNET_malloc (sizeof (struct MeshData));
   mdata->data_len = ntohs (msg->size);
   mdata->reference_counter = GNUNET_malloc (sizeof (unsigned int));
@@ -2130,45 +3325,549 @@ tunnel_send_multicast (struct MeshTunnel *t,
 
     mcast = (struct GNUNET_MESH_Multicast *) mdata->data;
     mcast->ttl = htonl (ntohl (mcast->ttl) - 1);
-#if MESH_DEBUG
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   data packet, ttl: %u\n",
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  data packet, ttl: %u\n",
                 ntohl (mcast->ttl));
   }
   else
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   not a data packet, no ttl\n");
-#endif
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  not a data packet, no ttl\n");
   }
-  if (NULL != t->client && GNUNET_YES != t->client->shutting_down
+  if (NULL != t->owner && GNUNET_YES != t->owner->shutting_down
       && GNUNET_NO == internal)
   {
     mdata->task = GNUNET_malloc (sizeof (GNUNET_SCHEDULER_TaskIdentifier));
     (*(mdata->task)) =
-        GNUNET_SCHEDULER_add_delayed (UNACKNOWLEDGED_WAIT, &client_allow_send,
+        GNUNET_SCHEDULER_add_delayed (unacknowledged_wait_time, &client_allow_send,
                                       mdata);
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: timeout task %u\n",
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "timeout task %u\n",
                 *(mdata->task));
   }
 
-  tree_iterate_children (t->tree, &tunnel_send_multicast_iterator, mdata);
-  if (*(mdata->reference_counter) == 0)
+  tree_iterate_children (t->tree, &tunnel_send_multicast_iterator, mdata);
+  if (*(mdata->reference_counter) == 0)
+  {
+    GNUNET_free (mdata->data);
+    GNUNET_free (mdata->reference_counter);
+    if (NULL != mdata->task)
+    {
+      GNUNET_SCHEDULER_cancel(*(mdata->task));
+      GNUNET_free (mdata->task);
+      GNUNET_SERVER_receive_done (t->owner->handle, GNUNET_OK);
+    }
+    // FIXME change order?
+    GNUNET_free (mdata);
+  }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              " sending a multicast packet done\n");
+  return;
+}
+
+
+/**
+ * Increase the SKIP value of all peers that
+ * have not received a unicast message.
+ *
+ * @param cls Closure (ID of the peer that HAS received the message).
+ * @param key ID of the neighbor.
+ * @param value Information about the neighbor.
+ *
+ * @return GNUNET_YES to keep iterating.
+ */
+static int
+tunnel_add_skip (void *cls,
+                 const struct GNUNET_HashCode * key,
+                 void *value)
+{
+  struct GNUNET_PeerIdentity *neighbor = cls;
+  struct MeshTunnelChildInfo *cinfo = value;
+
+  /* TODO compare only pointers? key == neighbor? */
+  if (0 == memcmp (&neighbor->hashPubKey, key, sizeof (struct GNUNET_HashCode)))
+  {
+    return GNUNET_YES;
+  }
+  cinfo->skip++;
+  return GNUNET_YES;
+}
+
+
+/**
+ * @brief Get neighbor's Flow Control information.
+ *
+ * Retrieves the MeshTunnelChildInfo containing Flow Control data about a direct
+ * descendant of the local node in a certain tunnel.
+ * If the info is not yet there (recently created path), creates the data struct
+ * and inserts it into the tunnel info, initialized to the current tunnel ACK
+ * values.
+ *
+ * @param t Tunnel related.
+ * @param peer Neighbor whose Flow Control info is needed.
+ *
+ * @return Neighbor's Flow Control info.
+ */
+static struct MeshTunnelChildInfo *
+tunnel_get_neighbor_fc (const struct MeshTunnel *t,
+                        const struct GNUNET_PeerIdentity *peer)
+{
+  struct MeshTunnelChildInfo *cinfo;
+  cinfo = GNUNET_CONTAINER_multihashmap_get (t->children_fc,
+                                             &peer->hashPubKey);
+  if (NULL == cinfo)
+  {
+    uint32_t delta;
+
+    cinfo = GNUNET_malloc (sizeof (struct MeshTunnelChildInfo));
+    cinfo->id = GNUNET_PEER_intern (peer);
+    cinfo->skip = t->fwd_pid;
+
+    delta = t->nobuffer ? 1 : INITIAL_WINDOW_SIZE;
+    cinfo->fwd_ack = t->fwd_pid + delta;
+    cinfo->bck_ack = delta;
+
+    GNUNET_assert (GNUNET_OK ==
+      GNUNET_CONTAINER_multihashmap_put (t->children_fc,
+                                         &peer->hashPubKey,
+                                         cinfo,
+                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST));
+  }
+  return cinfo;
+}
+
+
+/**
+ * Get the Flow Control info of a client.
+ * 
+ * @param t Tunnel on which to look.
+ * @param c Client whose ACK to get.
+ * 
+ * @return ACK value.
+ */
+static struct MeshTunnelClientInfo *
+tunnel_get_client_fc (struct MeshTunnel *t,
+                      struct MeshClient *c)
+{
+  unsigned int i;
+
+  for (i = 0; i < t->nclients; i++)
+  {
+    if (t->clients[i] != c)
+      continue;
+    return &t->clients_fc[i];
+  }
+  GNUNET_assert (0);
+  return NULL; // avoid compiler / coverity complaints
+}
+
+
+/**
+ * Iterator to get the appropiate ACK value from all children nodes.
+ *
+ * @param cls Closue (tunnel).
+ * @param id Id of the child node.
+ */
+static void
+tunnel_get_child_fwd_ack (void *cls,
+                          GNUNET_PEER_Id id)
+{
+  struct GNUNET_PeerIdentity peer_id;
+  struct MeshTunnelChildInfo *cinfo;
+  struct MeshTunnelChildIteratorContext *ctx = cls;
+  struct MeshTunnel *t = ctx->t;
+  uint32_t ack;
+
+  GNUNET_PEER_resolve (id, &peer_id);
+  cinfo = tunnel_get_neighbor_fc (t, &peer_id);
+  ack = cinfo->fwd_ack;
+
+  if (GNUNET_NO == ctx->init)
+  {
+    ctx->max_child_ack = ack;
+    ctx->init = GNUNET_YES;
+  }
+
+  if (GNUNET_YES == t->speed_min)
+  {
+    ctx->max_child_ack = ctx->max_child_ack > ack ? ack : ctx->max_child_ack;
+  }
+  else
+  {
+    ctx->max_child_ack = ctx->max_child_ack > ack ? ctx->max_child_ack : ack;
+  }
+
+}
+
+
+/**
+ * Get the maximum PID allowed to transmit to any
+ * tunnel child of the local peer, depending on the tunnel
+ * buffering/speed settings.
+ *
+ * @param t Tunnel.
+ *
+ * @return Maximum PID allowed (uint32 MAX), -1 if node has no children.
+ */
+static int64_t
+tunnel_get_children_fwd_ack (struct MeshTunnel *t)
+{
+  struct MeshTunnelChildIteratorContext ctx;
+  ctx.t = t;
+  ctx.max_child_ack = 0;
+  ctx.nchildren = 0;
+  tree_iterate_children (t->tree, tunnel_get_child_fwd_ack, &ctx);
+
+  if (0 == ctx.nchildren)
+    return -1LL;
+
+  if (GNUNET_YES == t->nobuffer && GMC_is_pid_bigger(ctx.max_child_ack, t->fwd_pid))
+    ctx.max_child_ack = t->fwd_pid + 1; // Might overflow, it's ok.
+
+  return (int64_t) ctx.max_child_ack;
+}
+
+
+/**
+ * Set the FWD ACK value of a client in a particular tunnel.
+ * 
+ * @param t Tunnel affected.
+ * @param c Client whose ACK to set.
+ * @param ack ACK value.
+ */
+static void
+tunnel_set_client_fwd_ack (struct MeshTunnel *t,
+                           struct MeshClient *c, 
+                           uint32_t ack)
+{
+  unsigned int i;
+
+  for (i = 0; i < t->nclients; i++)
+  {
+    if (t->clients[i] != c)
+      continue;
+    t->clients_fc[i].fwd_ack = ack;
+    return;
+  }
+  GNUNET_break (0);
+}
+
+
+/**
+ * Get the highest ACK value of all clients in a particular tunnel,
+ * according to the buffering/speed settings.
+ * 
+ * @param t Tunnel on which to look.
+ * 
+ * @return Corresponding ACK value (max uint32_t).
+ *         If no clients are suscribed, -1.
+ */
+static int64_t
+tunnel_get_clients_fwd_ack (struct MeshTunnel *t)
+{
+  unsigned int i;
+  int64_t ack;
+
+  if (0 == t->nclients)
+    return -1;
+
+  for (ack = -1, i = 0; i < t->nclients; i++)
+  {
+    if (-1 == ack ||
+        (GNUNET_YES == t->speed_min &&
+         GNUNET_YES == GMC_is_pid_bigger (ack, t->clients_fc[i].fwd_ack)) ||
+        (GNUNET_NO == t->speed_min &&
+         GNUNET_YES == GMC_is_pid_bigger (t->clients_fc[i].fwd_ack, ack)))
+    {
+      ack = t->clients_fc[i].fwd_ack;
+    }
+  }
+
+  if (GNUNET_YES == t->nobuffer && GMC_is_pid_bigger(ack, t->fwd_pid))
+    ack = (uint32_t) t->fwd_pid + 1; // Might overflow, it's ok.
+
+  return (uint32_t) ack;
+}
+
+
+/**
+ * Get the current fwd ack value for a tunnel, taking in account the tunnel
+ * mode and the status of all children nodes.
+ *
+ * @param t Tunnel.
+ *
+ * @return Maximum PID allowed.
+ */
+static uint32_t
+tunnel_get_fwd_ack (struct MeshTunnel *t)
+{
+  uint32_t count;
+  uint32_t buffer_free;
+  int64_t child_ack;
+  int64_t client_ack;
+  uint32_t ack;
+
+  count = t->fwd_pid - t->skip;
+  buffer_free = t->fwd_queue_max - t->fwd_queue_n;
+  ack = count + buffer_free; // Might overflow 32 bits, it's ok!
+  child_ack = tunnel_get_children_fwd_ack (t);
+  client_ack = tunnel_get_clients_fwd_ack (t);
+  if (-1 == child_ack)
+  {
+    // Node has no children, child_ack AND core buffer are irrelevant.
+    GNUNET_break (-1 != client_ack); // No children AND no clients? Not good! // FIXME fc
+    return (uint32_t) client_ack;
+  }
+
+  if (GNUNET_YES == t->speed_min)
+  {
+    ack = GMC_min_pid ((uint32_t) child_ack, ack);
+    ack = GMC_min_pid ((uint32_t) client_ack, ack);
+  }
+  else
+  {
+    ack = GMC_max_pid ((uint32_t) child_ack, ack);
+    ack = GMC_max_pid ((uint32_t) client_ack, ack);
+  }
+  if (GNUNET_YES == t->nobuffer && GMC_is_pid_bigger(ack, t->fwd_pid))
+    ack = t->fwd_pid + 1; // Might overflow 32 bits, it's ok!
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "c %u, bf %u, ch %u, cl %u, ACK: %u\n",
+              count, buffer_free, child_ack, client_ack, ack);
+  return ack;
+}
+
+/**
+ * Get the current bck ack value for a tunnel, taking in account the tunnel
+ * mode and the status of all children nodes.
+ *
+ * @param t Tunnel.
+ *
+ * @return Maximum PID allowed.
+ */
+static uint32_t
+tunnel_get_bck_ack (struct MeshTunnel *t)
+{
+  uint32_t ack;
+
+  if (GNUNET_YES == t->nobuffer)
+  {
+    if (t->bck_ack > t->bck_pid)
+    {
+      return t->bck_pid + 1;
+    }
+    else
+    {
+      return t->bck_pid;
+    }
+  }
+  ack = t->bck_pid + t->bck_queue_max - t->bck_queue_n;
+
+  // FIXME fc
+  return ack;
+}
+
+static void
+send_local_ack (struct MeshClient *c, struct MeshTunnel *t, uint32_t ack)
+{
+  struct GNUNET_MESH_LocalAck msg;
+
+  msg.header.size = htons (sizeof (msg));
+  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK);
+  msg.tunnel_id = htonl (t->local_tid_dest);
+  msg.max_pid = htonl (ack); 
+  GNUNET_SERVER_notification_context_unicast(nc,
+                                              c->handle,
+                                              &msg.header,
+                                              GNUNET_NO);
+}
+
+/**
+ * Build an ACK message and send it to the given peer.
+ */
+static void
+send_ack (struct MeshTunnel *t, struct GNUNET_PeerIdentity *peer,  uint32_t ack)
+{
+  struct GNUNET_MESH_ACK msg;
+
+  GNUNET_PEER_resolve (t->id.oid, &msg.oid);
+  msg.header.size = htons (sizeof (msg));
+  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_ACK);
+  msg.pid = htonl (ack);
+  msg.tid = htonl (t->id.tid);
+
+  send_message (&msg.header, peer, t);
+}
+
+
+/**
+ * Send an ACK informing the predecessor about the available buffer space.
+ * In case there is no predecessor, inform the owning client.
+ * If buffering is off, send only on behalf of children or self if endpoint.
+ * If buffering is on, send when sent to children and buffer space is free.
+ * Note that although the name is fwd_ack, the FWD mean forward *traffic*,
+ * the ACK itself goes "back" (towards root).
+ * 
+ * @param t Tunnel on which to send the ACK.
+ * @param type Type of message that triggered the ACK transmission.
+ */
+static void
+tunnel_send_fwd_ack (struct MeshTunnel *t, uint16_t type)
+{
+  struct GNUNET_PeerIdentity id;
+  uint32_t ack;
+
+  if (NULL != t->owner)
+  {
+    send_client_tunnel_ack (t->owner, t);
+    return;
+  }
+  /* Is it after unicast / multicast retransmission? */
+  switch (type)
+  {
+    case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
+    case GNUNET_MESSAGE_TYPE_MESH_MULTICAST:
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                  "ACK due to FWD DATA retransmission\n");
+      if (GNUNET_YES == t->nobuffer)
+      {
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending ACK, nobuffer\n");
+        return;
+      }
+      if (t->fwd_queue_max > t->fwd_queue_n * 2)
+      {
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending ACK, buffer free\n");
+        return;
+      }
+      break;
+    case GNUNET_MESSAGE_TYPE_MESH_ACK:
+    case GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK:
+      break;
+    default:
+      GNUNET_break (0);
+  }
+
+  /* Ok, ACK might be necessary, what PID to ACK? */
+  ack = tunnel_get_fwd_ack (t);
+
+  /* If speed_min and not all children have ack'd, dont send yet */
+  if (ack == t->last_fwd_ack)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending FWD ACK, not ready\n");
+    return;
+  }
+
+  t->last_fwd_ack = ack;
+  GNUNET_PEER_resolve (tree_get_predecessor (t->tree), &id);
+  send_ack (t, &id, ack);
+}
+
+
+/**
+ * Iterator to send a child node a BCK ACK to allow him to send more
+ * to_origin data.
+ *
+ * @param cls Closure (tunnel).
+ * @param id Id of the child node.
+ */
+static void
+tunnel_send_child_bck_ack (void *cls,
+                           GNUNET_PEER_Id id)
+{
+  struct MeshTunnel *t = cls;
+  struct MeshTunnelChildInfo *cinfo;
+  struct GNUNET_PeerIdentity peer;
+
+  GNUNET_PEER_resolve (id, &peer);
+  cinfo = tunnel_get_neighbor_fc (t, &peer);
+
+  if (cinfo->bck_ack != cinfo->pid &&
+      GNUNET_NO == GMC_is_pid_bigger (cinfo->bck_ack, cinfo->pid))
+    return;
+
+  cinfo->bck_ack++;
+  send_ack (t, &peer, cinfo->bck_ack);
+}
+
+
+/**
+ * @brief Send BCK ACKs to clients to allow them more to_origin traffic
+ * 
+ * Iterates over all clients and sends BCK ACKs to the ones that need it.
+ * 
+ * @param t Tunnel on which to send the BCK ACKs.
+ */
+static void
+tunnel_send_clients_bck_ack (struct MeshTunnel *t)
+{
+  unsigned int i;
+
+  /* Find client whom to allow to send to origin (with lowest buffer space) */
+  for (i = 0; i < t->nclients; i++)
   {
-    GNUNET_free (mdata->data);
-    GNUNET_free (mdata->reference_counter);
-    if (NULL != mdata->task)
+    struct MeshTunnelClientInfo *clinfo;
+    unsigned int delta;
+
+    clinfo = &t->clients_fc[i];
+    delta = clinfo->bck_ack - clinfo->bck_pid;
+
+    if ((GNUNET_NO == t->nobuffer && ACK_THRESHOLD > delta) ||
+        (GNUNET_YES == t->nobuffer && 0 == delta))
     {
-      GNUNET_SCHEDULER_cancel(*(mdata->task));
-      GNUNET_free (mdata->task);
-      GNUNET_SERVER_receive_done(t->client->handle, GNUNET_OK);
+      uint32_t ack;
+
+      ack = clinfo->bck_pid;
+      ack += t->nobuffer ? 1 : INITIAL_WINDOW_SIZE;
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                  "  sending ack to client %u: %u\n",
+                  t->clients[i]->id, ack);
+      send_local_ack(t->clients[i],  t, ack);
+      clinfo->bck_ack = ack;
     }
-    // FIXME change order?
-    GNUNET_free (mdata);
   }
-#if MESH_DEBUG
+}
+
+
+/**
+ * Send an ACK informing the children nodes and destination clients about
+ * the available buffer space.
+ * If buffering is off, send only on behalf of root (can be self).
+ * If buffering is on, send when sent to predecessor and buffer space is free.
+ * Note that although the name is bck_ack, the BCK mean backwards *traffic*,
+ * the ACK itself goes "forward" (towards children/clients).
+ * 
+ * @param t Tunnel on which to send the ACK.
+ * @param type Type of message that triggered the ACK transmission.
+ */
+static void
+tunnel_send_bck_ack (struct MeshTunnel *t, uint16_t type)
+{
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH:  sending a multicast packet done\n");
-#endif
-  return;
+              "Sending BCK ACK on tunnel %u [%u]\n",
+              t->id.oid, t->id.tid);
+  /* Is it after data to_origin retransmission? */
+  switch (type)
+  {
+    case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                  "ACK due to BCK DATA retransmission\n");
+      if (GNUNET_YES == t->nobuffer)
+      {
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending ACK, nobuffer\n");
+        return;
+      }
+      if (t->bck_queue_max > t->bck_queue_n * 2)
+      {
+//         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending ACK, buffer free\n");
+//         return;
+      }
+      break;
+    case GNUNET_MESSAGE_TYPE_MESH_ACK:
+    case GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK:
+      // FIXME fc
+      break;
+    default:
+      GNUNET_break (0);
+  }
+
+  tunnel_send_clients_bck_ack (t);
+  tree_iterate_children (t->tree, &tunnel_send_child_bck_ack, NULL);
 }
 
 
@@ -2191,9 +3890,38 @@ tunnel_send_destroy (struct MeshTunnel *t)
 }
 
 
+/**
+ * Cancel all transmissions towards a neighbor that belong to a certain tunnel.
+ *
+ * @param cls Closure (Tunnel which to cancel).
+ * @param neighbor_id Short ID of the neighbor to whom cancel the transmissions.
+ */
+static void
+tunnel_cancel_queues (void *cls, GNUNET_PEER_Id neighbor_id)
+{
+  struct MeshTunnel *t = cls;
+  struct MeshPeerInfo *peer_info;
+  struct MeshPeerQueue *pq;
+  struct MeshPeerQueue *next;
+
+  peer_info = peer_info_get_short (neighbor_id);
+  for (pq = peer_info->queue_head; NULL != pq; pq = next)
+  {
+    next = pq->next;
+    if (pq->tunnel == t)
+    {
+      queue_destroy (pq, GNUNET_YES);
+    }
+  }
+  if (NULL == peer_info->queue_head && NULL != peer_info->core_transmit)
+  {
+    GNUNET_CORE_notify_transmit_ready_cancel(peer_info->core_transmit);
+    peer_info->core_transmit = NULL;
+  }
+}
 
 /**
- * Destroy the tunnel and free any allocated resources linked to it
+ * Destroy the tunnel and free any allocated resources linked to it.
  *
  * @param t the tunnel to destroy
  *
@@ -2203,25 +3931,26 @@ static int
 tunnel_destroy (struct MeshTunnel *t)
 {
   struct MeshClient *c;
-  struct MeshQueue *q;
-  struct MeshQueue *qn;
-  GNUNET_HashCode hash;
+  struct GNUNET_HashCode hash;
+  unsigned int i;
   int r;
 
   if (NULL == t)
     return GNUNET_OK;
 
+  tree_iterate_children (t->tree, &tunnel_cancel_queues, t);
+
   r = GNUNET_OK;
-  c = t->client;
+  c = t->owner;
 #if MESH_DEBUG
   {
     struct GNUNET_PeerIdentity id;
 
     GNUNET_PEER_resolve (t->id.oid, &id);
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: destroying tunnel %s [%x]\n",
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "destroying tunnel %s [%x]\n",
                 GNUNET_i2s (&id), t->id.tid);
     if (NULL != c)
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   by client %u\n", c->id);
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
   }
 #endif
 
@@ -2230,26 +3959,41 @@ tunnel_destroy (struct MeshTunnel *t)
   {
     r = GNUNET_SYSERR;
   }
-  
+
   GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
   if (NULL != c &&
-      GNUNET_YES != GNUNET_CONTAINER_multihashmap_remove (c->tunnels, &hash, t))
+      GNUNET_YES !=
+      GNUNET_CONTAINER_multihashmap_remove (c->own_tunnels, &hash, t))
   {
     r = GNUNET_SYSERR;
   }
-  c = t->client_dest;
   GNUNET_CRYPTO_hash (&t->local_tid_dest, sizeof (MESH_TunnelNumber), &hash);
-  if (NULL != c &&
-      GNUNET_YES != GNUNET_CONTAINER_multihashmap_remove (c->tunnels, &hash, t))
+  for (i = 0; i < t->nclients; i++)
   {
-    r = GNUNET_SYSERR;
+    c = t->clients[i];
+    if (GNUNET_YES !=
+          GNUNET_CONTAINER_multihashmap_remove (c->incoming_tunnels, &hash, t))
+    {
+      r = GNUNET_SYSERR;
+    }
   }
-  if (t->local_tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
+  for (i = 0; i < t->nignore; i++)
   {
-    GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
-    GNUNET_break (GNUNET_YES ==
-                  GNUNET_CONTAINER_multihashmap_remove (incoming_tunnels, &hash,
-                                                        t));
+    c = t->ignore[i];
+    if (GNUNET_YES !=
+          GNUNET_CONTAINER_multihashmap_remove (c->ignore_tunnels, &hash, t))
+    {
+      r = GNUNET_SYSERR;
+    }
+  }
+  if (t->nclients > 0)
+  {
+    if (GNUNET_YES !=
+        GNUNET_CONTAINER_multihashmap_remove (incoming_tunnels, &hash, t))
+    {
+      r = GNUNET_SYSERR;
+    }
+    GNUNET_free (t->clients);
   }
   if (NULL != t->peers)
   {
@@ -2257,28 +4001,102 @@ tunnel_destroy (struct MeshTunnel *t)
                                            t);
     GNUNET_CONTAINER_multihashmap_destroy (t->peers);
   }
-  q = t->queue_head;
-  while (NULL != q)
-  {
-    if (NULL != q->data)
-      GNUNET_free (q->data);
-    qn = q->next;
-    GNUNET_free (q);
-    q = qn;
-    /* TODO cancel core transmit ready in case it was active */
-  }
+
+  GNUNET_CONTAINER_multihashmap_iterate (t->children_fc,
+                                         &tunnel_destroy_child,
+                                         t);
+  GNUNET_CONTAINER_multihashmap_destroy (t->children_fc);
+
   tree_destroy (t->tree);
+
+  if (NULL != t->regex_ctx)
+    regex_cancel_search (t->regex_ctx);
   if (NULL != t->dht_get_type)
     GNUNET_DHT_get_stop (t->dht_get_type);
   if (GNUNET_SCHEDULER_NO_TASK != t->timeout_task)
     GNUNET_SCHEDULER_cancel (t->timeout_task);
   if (GNUNET_SCHEDULER_NO_TASK != t->path_refresh_task)
     GNUNET_SCHEDULER_cancel (t->path_refresh_task);
+
+  n_tunnels--;
+  GNUNET_STATISTICS_update (stats, "# tunnels", -1, GNUNET_NO);
+  GNUNET_assert (0 <= n_tunnels);
   GNUNET_free (t);
   return r;
 }
 
 
+/**
+ * Create a new tunnel
+ * 
+ * @param owner Who is the owner of the tunnel (short ID).
+ * @param tid Tunnel Number of the tunnel.
+ * @param client Clients that owns the tunnel, NULL for foreign tunnels.
+ * @param local Tunnel Number for the tunnel, for the client point of view.
+ * 
+ * @return A new initialized tunnel. NULL on error.
+ */
+static struct MeshTunnel *
+tunnel_new (GNUNET_PEER_Id owner,
+            MESH_TunnelNumber tid,
+            struct MeshClient *client,
+            MESH_TunnelNumber local)
+{
+  struct MeshTunnel *t;
+  struct GNUNET_HashCode hash;
+
+  if (n_tunnels >= max_tunnels && NULL == client)
+    return NULL;
+
+  t = GNUNET_malloc (sizeof (struct MeshTunnel));
+  t->id.oid = owner;
+  t->id.tid = tid;
+  t->fwd_queue_max = (max_msgs_queue / max_tunnels) + 1;
+  t->bck_queue_max = t->fwd_queue_max;
+  t->tree = tree_new (owner);
+  t->owner = client;
+  t->fwd_pid = (uint32_t) -1; // Next (expected) = 0
+  t->bck_pid = (uint32_t) -1; // Next (expected) = 0
+  t->bck_ack = INITIAL_WINDOW_SIZE - 1;
+  t->last_fwd_ack = INITIAL_WINDOW_SIZE - 1;
+  t->local_tid = local;
+  t->children_fc = GNUNET_CONTAINER_multihashmap_create (8);
+  n_tunnels++;
+  GNUNET_STATISTICS_update (stats, "# tunnels", 1, GNUNET_NO);
+
+  GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
+  if (GNUNET_OK !=
+      GNUNET_CONTAINER_multihashmap_put (tunnels, &hash, t,
+                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
+  {
+    GNUNET_break (0);
+    tunnel_destroy (t);
+    if (NULL != client)
+    {
+      GNUNET_break (0);
+      GNUNET_SERVER_receive_done (client->handle, GNUNET_SYSERR);
+    }
+    return NULL;
+  }
+
+  if (NULL != client)
+  {
+    GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
+    if (GNUNET_OK !=
+        GNUNET_CONTAINER_multihashmap_put (client->own_tunnels, &hash, t,
+                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
+    {
+      tunnel_destroy (t);
+      GNUNET_break (0);
+      GNUNET_SERVER_receive_done (client->handle, GNUNET_SYSERR);
+      return NULL;
+    }
+  }
+
+  return t;
+}
+
+
 /**
  * Removes an explicit path from a tunnel, freeing all intermediate nodes
  * that are no longer needed, as well as nodes of no longer reachable peers.
@@ -2297,7 +4115,9 @@ tunnel_delete_peer (struct MeshTunnel *t, GNUNET_PEER_Id peer)
 
 /**
  * tunnel_destroy_iterator: iterator for deleting each tunnel that belongs to a
- * client when the client disconnects.
+ * client when the client disconnects. If the client is not the owner, the
+ * owner will get notified if no more clients are in the tunnel and the client
+ * get removed from the tunnel's list.
  *
  * @param cls closure (client that is disconnecting)
  * @param key the hash of the local tunnel id (used to access the hashmap)
@@ -2306,21 +4126,19 @@ tunnel_delete_peer (struct MeshTunnel *t, GNUNET_PEER_Id peer)
  * @return GNUNET_OK on success
  */
 static int
-tunnel_destroy_iterator (void *cls, const GNUNET_HashCode * key, void *value)
+tunnel_destroy_iterator (void *cls, const struct GNUNET_HashCode * key, void *value)
 {
   struct MeshTunnel *t = value;
   struct MeshClient *c = cls;
   int r;
 
   send_client_tunnel_disconnect(t, c);
-  if (c == t->client_dest)
+  if (c != t->owner)
   {
-#if MESH_DEBUG
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "Client %u is destination, keeping the tunnel alive.\n", c->id);
-#endif
-    t->client_dest = NULL;
-    t->local_tid_dest = 0;
+    tunnel_delete_client(t, c);
+    client_delete_tunnel(c, t);
     return GNUNET_OK;
   }
   tunnel_send_destroy(t);
@@ -2340,7 +4158,7 @@ tunnel_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct MeshTunnel *t = cls;
 
-  if (GNUNET_SCHEDULER_REASON_SHUTDOWN == tc->reason)
+  if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
     return;
   t->timeout_task = GNUNET_SCHEDULER_NO_TASK;
   tunnel_destroy (t);
@@ -2350,6 +4168,8 @@ tunnel_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
  * Resets the tunnel timeout. Starts it if no timeout was running.
  *
  * @param t Tunnel whose timeout to reset.
+ *
+ * TODO use heap to improve efficiency of scheduler.
  */
 static void
 tunnel_reset_timeout (struct MeshTunnel *t)
@@ -2358,7 +4178,7 @@ tunnel_reset_timeout (struct MeshTunnel *t)
     GNUNET_SCHEDULER_cancel (t->timeout_task);
   t->timeout_task =
       GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_relative_multiply
-                                    (REFRESH_PATH_TIME, 4), &tunnel_timeout, t);
+                                    (refresh_path_time, 4), &tunnel_timeout, t);
 }
 
 
@@ -2367,10 +4187,7 @@ tunnel_reset_timeout (struct MeshTunnel *t)
 /******************************************************************************/
 
 /**
- * Function called to notify a client about the socket
- * being ready to queue more data.  "buf" will be
- * NULL and "size" zero if the socket was closed for
- * writing in the meantime.
+ * Function to send a create path packet to a peer.
  *
  * @param cls closure
  * @param size number of bytes available in buf
@@ -2378,53 +4195,38 @@ tunnel_reset_timeout (struct MeshTunnel *t)
  * @return number of bytes written to buf
  */
 static size_t
-send_core_create_path (void *cls, size_t size, void *buf)
+send_core_path_create (void *cls, size_t size, void *buf)
 {
   struct MeshPathInfo *info = cls;
   struct GNUNET_MESH_ManipulatePath *msg;
   struct GNUNET_PeerIdentity *peer_ptr;
-  struct MeshPeerInfo *peer = info->peer;
   struct MeshTunnel *t = info->t;
   struct MeshPeerPath *p = info->path;
   size_t size_needed;
+  uint32_t opt;
   int i;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: CREATE PATH sending...\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "CREATE PATH sending...\n");
   size_needed =
       sizeof (struct GNUNET_MESH_ManipulatePath) +
       p->length * sizeof (struct GNUNET_PeerIdentity);
 
   if (size < size_needed || NULL == buf)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: create path retransmit!\n");
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   buf:  %p\n", buf);
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   size: (%u/%u)\n", size,
-                size_needed);
-    info->peer->core_transmit[info->pos] =
-        GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
-                                           GNUNET_TIME_UNIT_FOREVER_REL,
-                                           tree_get_first_hop (t->tree,
-                                                               peer->id),
-                                           size_needed, &send_core_create_path,
-                                           info);
+    GNUNET_break (0);
     return 0;
   }
-  info->peer->core_transmit[info->pos] = NULL;
-#if MESH_DEBUG
-  {
-    struct GNUNET_PeerIdentity id;
-
-    GNUNET_PEER_resolve (peer->id, &id);
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "MESH:   setting core_transmit %s [%u] to NULL\n",
-                GNUNET_i2s (&id), info->pos);
-  }
-#endif
   msg = (struct GNUNET_MESH_ManipulatePath *) buf;
   msg->header.size = htons (size_needed);
   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE);
   msg->tid = ntohl (t->id.tid);
 
+  if (GNUNET_YES == t->speed_min)
+    opt = MESH_TUNNEL_OPT_SPEED_MIN;
+  if (GNUNET_YES == t->nobuffer)
+    opt |= MESH_TUNNEL_OPT_NOBUFFER;
+  msg->opt = htonl(opt);
+
   peer_ptr = (struct GNUNET_PeerIdentity *) &msg[1];
   for (i = 0; i < p->length; i++)
   {
@@ -2435,16 +4237,13 @@ send_core_create_path (void *cls, size_t size, void *buf)
   GNUNET_free (info);
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH: CREATE PATH (%u bytes long) sent!\n", size_needed);
+              "CREATE PATH (%u bytes long) sent!\n", size_needed);
   return size_needed;
 }
 
 
 /**
- * Function called to notify a client about the socket
- * being ready to queue more data.  "buf" will be
- * NULL and "size" zero if the socket was closed for
- * writing in the meantime.
+ * Fill the core buffer 
  *
  * @param cls closure (data itself)
  * @param size number of bytes available in buf
@@ -2458,7 +4257,7 @@ send_core_data_multicast (void *cls, size_t size, void *buf)
   struct MeshTransmissionDescriptor *info = cls;
   size_t total_size;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Multicast callback.\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Multicast callback.\n");
   GNUNET_assert (NULL != info);
   GNUNET_assert (NULL != info->peer);
   total_size = info->mesh_data->data_len;
@@ -2466,91 +4265,321 @@ send_core_data_multicast (void *cls, size_t size, void *buf)
 
   if (total_size > size)
   {
-    /* Retry */
-    struct GNUNET_PeerIdentity id;
+    GNUNET_break (0);
+    return 0;
+  }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " copying data...\n");
+  memcpy (buf, info->mesh_data->data, total_size);
+#if MESH_DEBUG
+  {
+    struct GNUNET_MESH_Multicast *mc;
+    struct GNUNET_MessageHeader *mh;
+
+    mh = buf;
+    if (ntohs (mh->type) == GNUNET_MESSAGE_TYPE_MESH_MULTICAST)
+    {
+      mc = (struct GNUNET_MESH_Multicast *) mh;
+      mh = (struct GNUNET_MessageHeader *) &mc[1];
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                  " multicast, payload type %s\n",
+                  GNUNET_MESH_DEBUG_M2S (ntohs (mh->type)));
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                  " multicast, payload size %u\n", ntohs (mh->size));
+    }
+    else
+    {
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " type %s\n",
+                  GNUNET_MESH_DEBUG_M2S (ntohs (mh->type)));
+    }
+  }
+#endif
+  data_descriptor_decrement_rc (info->mesh_data);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "freeing info...\n");
+  GNUNET_free (info);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "return %u\n", total_size);
+  return total_size;
+}
+
+
+/**
+ * Creates a path ack message in buf and frees all unused resources.
+ *
+ * @param cls closure (MeshTransmissionDescriptor)
+ * @param size number of bytes available in buf
+ * @param buf where the callee should write the message
+ * @return number of bytes written to buf
+ */
+static size_t
+send_core_path_ack (void *cls, size_t size, void *buf)
+{
+  struct MeshTransmissionDescriptor *info = cls;
+  struct GNUNET_MESH_PathACK *msg = buf;
+
+  GNUNET_assert (NULL != info);
+  if (sizeof (struct GNUNET_MESH_PathACK) > size)
+  {
+    GNUNET_break (0);
+    return 0;
+  }
+  msg->header.size = htons (sizeof (struct GNUNET_MESH_PathACK));
+  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_ACK);
+  GNUNET_PEER_resolve (info->origin->oid, &msg->oid);
+  msg->tid = htonl (info->origin->tid);
+  msg->peer_id = my_full_id;
+
+  GNUNET_free (info);
+  /* TODO add signature */
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "PATH ACK sent!\n");
+  return sizeof (struct GNUNET_MESH_PathACK);
+}
+
+
+/**
+ * Free a transmission that was already queued with all resources
+ * associated to the request.
+ *
+ * @param queue Queue handler to cancel.
+ * @param clear_cls Is it necessary to free associated cls?
+ */
+static void
+queue_destroy (struct MeshPeerQueue *queue, int clear_cls)
+{
+  struct MeshTransmissionDescriptor *dd;
+  struct MeshPathInfo *path_info;
+
+  if (GNUNET_YES == clear_cls)
+  {
+    switch (queue->type)
+    {
+    case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
+    case GNUNET_MESSAGE_TYPE_MESH_MULTICAST:
+    case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   type payload\n");
+        dd = queue->cls;
+        data_descriptor_decrement_rc (dd->mesh_data);
+        break;
+    case GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE:
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   type create path\n");
+        path_info = queue->cls;
+        path_destroy (path_info->path);
+        break;
+    default:
+        GNUNET_break (0);
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   type unknown!\n");
+    }
+    GNUNET_free_non_null (queue->cls);
+  }
+  GNUNET_CONTAINER_DLL_remove (queue->peer->queue_head,
+                               queue->peer->queue_tail,
+                               queue);
+  GNUNET_free (queue);
+}
+
+
+/**
+  * Core callback to write a queued packet to core buffer
+  *
+  * @param cls Closure (peer info).
+  * @param size Number of bytes available in buf.
+  * @param buf Where the to write the message.
+  *
+  * @return number of bytes written to buf
+  */
+static size_t
+queue_send (void *cls, size_t size, void *buf)
+{
+    struct MeshPeerInfo *peer = cls;
+    struct GNUNET_MessageHeader *msg;
+    struct MeshPeerQueue *queue;
+    struct MeshTunnel *t;
+    size_t data_size;
+
+    peer->core_transmit = NULL;
+    queue = peer->queue_head;
+
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "********* Queue send\n");
+
+    /* If queue is empty, send should have been cancelled */
+    if (NULL == queue)
+    {
+        GNUNET_break(0);
+        return 0;
+    }
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   not empty\n");
+
+    /* Check if buffer size is enough for the message */
+    if (queue->size > size)
+    {
+        struct GNUNET_PeerIdentity id;
+
+        GNUNET_PEER_resolve (peer->id, &id);
+        peer->core_transmit =
+            GNUNET_CORE_notify_transmit_ready(core_handle,
+                                              0,
+                                              0,
+                                              GNUNET_TIME_UNIT_FOREVER_REL,
+                                              &id,
+                                              queue->size,
+                                              &queue_send,
+                                              peer);
+        return 0;
+    }
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   size ok\n");
+
+    t = queue->tunnel;
+    if (GNUNET_MESSAGE_TYPE_MESH_UNICAST == queue->type)
+    {
+      t->fwd_queue_n--;
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   unicast: %u\n");
+    }
+    else if (GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN == queue->type)
+    {
+      t->bck_queue_n--;
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   to origin\n");
+    }
+
+    /* Fill buf */
+    switch (queue->type)
+    {
+      case 0:
+      case GNUNET_MESSAGE_TYPE_MESH_ACK:
+      case GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN:
+      case GNUNET_MESSAGE_TYPE_MESH_PATH_DESTROY:
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                    "*********   raw: %u\n",
+                    queue->type);
+        /* Fall through */
+      case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
+      case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
+        data_size = send_core_data_raw (queue->cls, size, buf);
+        msg = (struct GNUNET_MessageHeader *) buf;
+        switch (ntohs (msg->type)) // Type of preconstructed message
+        {
+          case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
+            tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_UNICAST);
+            break;
+          case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
+            tunnel_send_bck_ack(t, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN);
+            break;
+          default:
+              break;
+        }
+        break;
+      case GNUNET_MESSAGE_TYPE_MESH_MULTICAST:
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   multicast\n");
+        data_size = send_core_data_multicast(queue->cls, size, buf);
+        tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_MULTICAST);
+        break;
+      case GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE:
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   path create\n");
+        data_size = send_core_path_create(queue->cls, size, buf);
+        break;
+      case GNUNET_MESSAGE_TYPE_MESH_PATH_ACK:
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   path ack\n");
+        data_size = send_core_path_ack(queue->cls, size, buf);
+        break;
+      default:
+        GNUNET_break (0);
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                    "*********   type unknown: %u\n",
+                    queue->type);
+        data_size = 0;
+    }
 
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "MESH: Multicast: retransmitting... (%u/%u)\n", size,
-                total_size);
-    GNUNET_PEER_resolve (info->peer->id, &id);
-    info->peer->core_transmit[info->handler_n] =
-        GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
-                                           GNUNET_TIME_UNIT_FOREVER_REL, &id,
-                                           total_size,
-                                           &send_core_data_multicast, info);
-    return 0;
-  }
-  info->peer->core_transmit[info->handler_n] = NULL;
-  info->peer->infos[info->handler_n] = NULL;
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  copying data...\n");
-  memcpy (buf, info->mesh_data->data, total_size);
-#if MESH_DEBUG
-  {
-    struct GNUNET_MESH_Multicast *mc;
-    struct GNUNET_MessageHeader *mh;
+    /* Free queue, but cls was freed by send_core_* */
+    queue_destroy (queue, GNUNET_NO);
 
-    mh = buf;
-    if (ntohs (mh->type) == GNUNET_MESSAGE_TYPE_MESH_MULTICAST)
+    if (GNUNET_YES == t->destroy && 0 == t->fwd_queue_n)
     {
-      mc = (struct GNUNET_MESH_Multicast *) mh;
-      mh = (struct GNUNET_MessageHeader *) &mc[1];
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                  "MESH:  multicast, payload type %u\n", ntohs (mh->type));
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                  "MESH:  multicast, payload size %u\n", ntohs (mh->size));
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********  destroying tunnel!\n");
+      tunnel_destroy (t);
     }
-    else
+
+    /* If more data in queue, send next */
+    if (NULL != peer->queue_head)
     {
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  type %u\n",
-                  ntohs (mh->type));
+        struct GNUNET_PeerIdentity id;
+
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   more data!\n");
+        GNUNET_PEER_resolve (peer->id, &id);
+        peer->core_transmit =
+            GNUNET_CORE_notify_transmit_ready(core_handle,
+                                              0,
+                                              0,
+                                              GNUNET_TIME_UNIT_FOREVER_REL,
+                                              &id,
+                                              peer->queue_head->size,
+                                              &queue_send,
+                                              peer);
     }
-  }
-#endif
-  data_descriptor_decrement_multicast (info->mesh_data);
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: freeing info...\n");
-  GNUNET_free (info);
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: return %u\n", total_size);
-  return total_size;
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*********   return %d\n", data_size);
+    return data_size;
 }
 
 
 /**
- * Function called to notify a client about the socket
- * being ready to queue more data.  "buf" will be
- * NULL and "size" zero if the socket was closed for
- * writing in the meantime.
+ * Queue and pass message to core when possible.
  *
- * @param cls closure (MeshTransmissionDescriptor)
- * @param size number of bytes available in buf
- * @param buf where the callee should write the message
- * @return number of bytes written to buf
+ * @param cls Closure (type dependant).
+ * @param type Type of the message, 0 for a raw message.
+ * @param size Size of the message.
+ * @param dst Neighbor to send message to.
+ * @param t Tunnel this message belongs to.
  */
-static size_t
-send_core_path_ack (void *cls, size_t size, void *buf)
+static void
+queue_add (void *cls, uint16_t type, size_t size,
+           struct MeshPeerInfo *dst, struct MeshTunnel *t)
 {
-  struct MeshTransmissionDescriptor *info = cls;
-  struct GNUNET_MESH_PathACK *msg = buf;
+  struct MeshPeerQueue *queue;
+  unsigned int *max;
+  unsigned int *n;
 
-  GNUNET_assert (NULL != info);
-  if (info->peer)
+  n = NULL;
+  if (GNUNET_MESSAGE_TYPE_MESH_UNICAST == type ||
+      GNUNET_MESSAGE_TYPE_MESH_MULTICAST == type)
   {
-    info->peer->core_transmit[info->handler_n] = NULL;
+    n = &t->fwd_queue_n;
+    max = &t->fwd_queue_max;
   }
-  if (sizeof (struct GNUNET_MESH_PathACK) > size)
+  else if (GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN == type)
   {
-    GNUNET_break (0);
-    return 0;
+    n = &t->bck_queue_n;
+    max = &t->bck_queue_max;
   }
-  msg->header.size = htons (sizeof (struct GNUNET_MESH_PathACK));
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_ACK);
-  GNUNET_PEER_resolve (info->origin->oid, &msg->oid);
-  msg->tid = htonl (info->origin->tid);
-  msg->peer_id = my_full_id;
-  GNUNET_free (info);
-  /* TODO add signature */
+  if (NULL != n) {
+    if (*n >= *max)
+    {
+      if (NULL == t->owner)
+        GNUNET_break_op(0);       // TODO: kill connection?
+      else
+        GNUNET_break(0);
+      return;                       // Drop message
+    }
+    (*n)++;
+  }
+  queue = GNUNET_malloc (sizeof (struct MeshPeerQueue));
+  queue->cls = cls;
+  queue->type = type;
+  queue->size = size;
+  queue->peer = dst;
+  queue->tunnel = t;
+  GNUNET_CONTAINER_DLL_insert_tail (dst->queue_head, dst->queue_tail, queue);
+  if (NULL == dst->core_transmit)
+  {
+      struct GNUNET_PeerIdentity id;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: PATH ACK sent!\n");
-  return sizeof (struct GNUNET_MESH_PathACK);
+      GNUNET_PEER_resolve (dst->id, &id);
+      dst->core_transmit =
+          GNUNET_CORE_notify_transmit_ready(core_handle,
+                                            0,
+                                            0,
+                                            GNUNET_TIME_UNIT_FOREVER_REL,
+                                            &id,
+                                            size,
+                                            &queue_send,
+                                            dst);
+  }
 }
 
 
@@ -2583,14 +4612,14 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
   MESH_TunnelNumber tid;
   struct GNUNET_MESH_ManipulatePath *msg;
   struct GNUNET_PeerIdentity *pi;
-  GNUNET_HashCode hash;
+  struct GNUNET_HashCode hash;
   struct MeshPeerPath *path;
   struct MeshPeerInfo *dest_peer_info;
   struct MeshPeerInfo *orig_peer_info;
   struct MeshTunnel *t;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH: Received a path create msg [%s]\n",
+              "Received a path create msg [%s]\n",
               GNUNET_i2s (&my_full_id));
   size = ntohs (message->size);
   if (size < sizeof (struct GNUNET_MESH_ManipulatePath))
@@ -2611,37 +4640,46 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
     GNUNET_break_op (0);
     return GNUNET_OK;
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:     path has %u hops.\n", size);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "    path has %u hops.\n", size);
   msg = (struct GNUNET_MESH_ManipulatePath *) message;
 
   tid = ntohl (msg->tid);
   pi = (struct GNUNET_PeerIdentity *) &msg[1];
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH:     path is for tunnel %s [%X].\n", GNUNET_i2s (pi), tid);
+              "    path is for tunnel %s [%X].\n", GNUNET_i2s (pi), tid);
   t = tunnel_get (pi, tid);
-  if (NULL == t)
+  if (NULL == t) // FIXME only for INCOMING tunnels?
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Creating tunnel\n");
-    t = GNUNET_malloc (sizeof (struct MeshTunnel));
-    t->id.oid = GNUNET_PEER_intern (pi);
-    t->id.tid = tid;
-    while (NULL != tunnel_get_incoming (next_local_tid))
-      next_local_tid = (next_local_tid + 1) | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
-    t->local_tid = next_local_tid++;
-    next_local_tid = next_local_tid | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
-    t->tree = tree_new (t->id.oid);
+    uint32_t opt;
 
-    GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
-    if (GNUNET_OK !=
-        GNUNET_CONTAINER_multihashmap_put (tunnels, &hash, t,
-                                           GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Creating tunnel\n");
+    t = tunnel_new (GNUNET_PEER_intern (pi), tid, NULL, 0);
+    if (NULL == t)
     {
-      tunnel_destroy (t);
-      GNUNET_break (0);
+      // FIXME notify failure
       return GNUNET_OK;
     }
+    opt = ntohl (msg->opt);
+    t->speed_min = (0 != (opt & MESH_TUNNEL_OPT_SPEED_MIN)) ?
+                   GNUNET_YES : GNUNET_NO;
+    t->nobuffer = (0 != (opt & MESH_TUNNEL_OPT_NOBUFFER)) ?
+                  GNUNET_YES : GNUNET_NO;
+
+    if (GNUNET_YES == t->nobuffer)
+    {
+      t->bck_queue_max = 1;
+      t->fwd_queue_max = 1;
+    }
+
+    // FIXME only assign a local tid if a local client is interested (on demand)
+    while (NULL != tunnel_get_incoming (next_local_tid))
+      next_local_tid = (next_local_tid + 1) | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
+    t->local_tid_dest = next_local_tid++;
+    next_local_tid = next_local_tid | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
+    // FIXME end
+
     tunnel_reset_timeout (t);
-    GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
+    GNUNET_CRYPTO_hash (&t->local_tid_dest, sizeof (MESH_TunnelNumber), &hash);
     if (GNUNET_OK !=
         GNUNET_CONTAINER_multihashmap_put (incoming_tunnels, &hash, t,
                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
@@ -2656,7 +4694,7 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
   if (NULL == dest_peer_info)
   {
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "MESH:   Creating PeerInfo for destination.\n");
+                "  Creating PeerInfo for destination.\n");
     dest_peer_info = GNUNET_malloc (sizeof (struct MeshPeerInfo));
     dest_peer_info->id = GNUNET_PEER_intern (&pi[size - 1]);
     GNUNET_CONTAINER_multihashmap_put (peers, &pi[size - 1].hashPubKey,
@@ -2667,32 +4705,32 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
   if (NULL == orig_peer_info)
   {
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "MESH:   Creating PeerInfo for origin.\n");
+                "  Creating PeerInfo for origin.\n");
     orig_peer_info = GNUNET_malloc (sizeof (struct MeshPeerInfo));
     orig_peer_info->id = GNUNET_PEER_intern (pi);
     GNUNET_CONTAINER_multihashmap_put (peers, &pi->hashPubKey, orig_peer_info,
                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Creating path...\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Creating path...\n");
   path = path_new (size);
   own_pos = 0;
   for (i = 0; i < size; i++)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   ... adding %s\n",
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  ... adding %s\n",
                 GNUNET_i2s (&pi[i]));
     path->peers[i] = GNUNET_PEER_intern (&pi[i]);
     if (path->peers[i] == myid)
       own_pos = i;
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Own position: %u\n", own_pos);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Own position: %u\n", own_pos);
   if (own_pos == 0)
   {
     /* cannot be self, must be 'not found' */
     /* create path: self not found in path through self */
     GNUNET_break_op (0);
     path_destroy (path);
-    /* FIXME error. destroy tunnel? leave for timeout? */
-    return 0;
+    tunnel_destroy (t);
+    return GNUNET_OK;
   }
   path_add_to_peers (path, GNUNET_NO);
   tunnel_add_path (t, path, own_pos);
@@ -2700,44 +4738,29 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
   {
     /* It is for us! Send ack. */
     struct MeshTransmissionDescriptor *info;
-    unsigned int j;
 
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   It's for us!\n");
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  It's for us!\n");
     peer_info_add_path_to_origin (orig_peer_info, path, GNUNET_NO);
     if (NULL == t->peers)
     {
-      /* New tunnel! Notify clients! */
-      struct GNUNET_MESH_TunnelNotification cmsg;
-
-      cmsg.header.size = htons (sizeof (cmsg));
-      cmsg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
-      GNUNET_PEER_resolve (t->id.oid, &cmsg.peer);
-      cmsg.tunnel_id = htonl (t->local_tid);
-      GNUNET_SERVER_notification_context_broadcast (nc, &cmsg.header,
-                                                    GNUNET_NO);
-
+      /* New tunnel! Notify clients on data. */
       t->peers = GNUNET_CONTAINER_multihashmap_create (4);
     }
-    GNUNET_break (GNUNET_OK ==
+    GNUNET_break (GNUNET_SYSERR !=
                   GNUNET_CONTAINER_multihashmap_put (t->peers,
                                                      &my_full_id.hashPubKey,
                                                      peer_info_get
                                                      (&my_full_id),
                                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_REPLACE));
-    /* FIXME use send_message */
     info = GNUNET_malloc (sizeof (struct MeshTransmissionDescriptor));
     info->origin = &t->id;
     info->peer = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
     GNUNET_assert (NULL != info->peer);
-    j = peer_info_transmit_slot (info->peer);
-    info->handler_n = j;
-    info->peer->types[j] = GNUNET_MESSAGE_TYPE_MESH_PATH_ACK;
-    info->peer->infos[j] = info;
-    info->peer->core_transmit[j] =
-        GNUNET_CORE_notify_transmit_ready (core_handle, 0, 100,
-                                           GNUNET_TIME_UNIT_FOREVER_REL, peer,
-                                           sizeof (struct GNUNET_MESH_PathACK),
-                                           &send_core_path_ack, info);
+    queue_add(info,
+              GNUNET_MESSAGE_TYPE_MESH_PATH_ACK,
+              sizeof (struct GNUNET_MESH_PathACK),
+              info->peer,
+              t);
   }
   else
   {
@@ -2745,7 +4768,7 @@ handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
 
     /* It's for somebody else! Retransmit. */
     path2 = path_duplicate (path);
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Retransmitting.\n");
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Retransmitting.\n");
     peer_info_add_path (dest_peer_info, path2, GNUNET_NO);
     path2 = path_duplicate (path);
     peer_info_add_path_to_origin (orig_peer_info, path2, GNUNET_NO);
@@ -2782,7 +4805,7 @@ handle_mesh_path_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
   size_t size;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH: Received a PATH DESTROY msg from %s\n", GNUNET_i2s (peer));
+              "Received a PATH DESTROY msg from %s\n", GNUNET_i2s (peer));
   size = ntohs (message->size);
   if (size < sizeof (struct GNUNET_MESH_ManipulatePath))
   {
@@ -2802,12 +4825,12 @@ handle_mesh_path_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
     GNUNET_break_op (0);
     return GNUNET_OK;
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:     path has %u hops.\n", size);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "    path has %u hops.\n", size);
 
   msg = (struct GNUNET_MESH_ManipulatePath *) message;
   pi = (struct GNUNET_PeerIdentity *) &msg[1];
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH:     path is for tunnel %s [%X].\n", GNUNET_i2s (pi),
+              "    path is for tunnel %s [%X].\n", GNUNET_i2s (pi),
               msg->tid);
   t = tunnel_get (pi, ntohl (msg->tid));
   if (NULL == t)
@@ -2816,20 +4839,23 @@ handle_mesh_path_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
     GNUNET_break_op (0);
     return GNUNET_OK;
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Creating path...\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Creating path...\n");
   path = path_new (size);
   own_pos = 0;
   for (i = 0; i < size; i++)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   ... adding %s\n",
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  ... adding %s\n",
                 GNUNET_i2s (&pi[i]));
     path->peers[i] = GNUNET_PEER_intern (&pi[i]);
     if (path->peers[i] == myid)
       own_pos = i;
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Own position: %u\n", own_pos);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Own position: %u\n", own_pos);
   if (own_pos < path->length - 1)
-    send_message (message, &pi[own_pos + 1]);
+    send_message (message, &pi[own_pos + 1], t);
+  else
+    send_client_tunnel_disconnect(t, NULL);
+
   tunnel_delete_peer (t, path->peers[path->length - 1]);
   path_destroy (path);
   return GNUNET_OK;
@@ -2858,11 +4884,11 @@ handle_mesh_path_broken (void *cls, const struct GNUNET_PeerIdentity *peer,
   struct MeshTunnel *t;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH: Received a PATH BROKEN msg from %s\n", GNUNET_i2s (peer));
+              "Received a PATH BROKEN msg from %s\n", GNUNET_i2s (peer));
   msg = (struct GNUNET_MESH_PathBroken *) message;
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   regarding %s\n",
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  regarding %s\n",
               GNUNET_i2s (&msg->peer1));
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   regarding %s\n",
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  regarding %s\n",
               GNUNET_i2s (&msg->peer2));
   t = tunnel_get (&msg->oid, ntohl (msg->tid));
   if (NULL == t)
@@ -2899,9 +4925,9 @@ handle_mesh_tunnel_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
   struct MeshTunnel *t;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH: Got a TUNNEL DESTROY packet from %s\n", GNUNET_i2s (peer));
+              "Got a TUNNEL DESTROY packet from %s\n", GNUNET_i2s (peer));
   msg = (struct GNUNET_MESH_TunnelDestroy *) message;
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   for tunnel %s [%u]\n",
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  for tunnel %s [%u]\n",
               GNUNET_i2s (&msg->oid), ntohl (msg->tid));
   t = tunnel_get (&msg->oid, ntohl (msg->tid));
   if (NULL == t)
@@ -2910,6 +4936,7 @@ handle_mesh_tunnel_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
      * destroyed the tunnel and retransmitted to children.
      * Safe to ignore.
      */
+    GNUNET_STATISTICS_update (stats, "# control on unknown tunnel", 1, GNUNET_NO);
     return GNUNET_OK;
   }
   if (t->id.oid == myid)
@@ -2917,13 +4944,16 @@ handle_mesh_tunnel_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
     GNUNET_break_op (0);
     return GNUNET_OK;
   }
-  if (t->local_tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
+  if (t->local_tid_dest >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
   {
     /* Tunnel was incoming, notify clients */
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "INCOMING TUNNEL %X %X\n",
+                t->local_tid, t->local_tid_dest);
     send_clients_tunnel_destroy (t);
   }
   tunnel_send_destroy (t);
-  tunnel_destroy (t);
+  t->destroy = GNUNET_YES;
+  // TODO: add timeout to destroy the tunnel anyway
   return GNUNET_OK;
 }
 
@@ -2946,12 +4976,17 @@ handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
                           unsigned int atsi_count)
 {
   struct GNUNET_MESH_Unicast *msg;
+  struct GNUNET_PeerIdentity *neighbor;
+  struct MeshTunnelChildInfo *cinfo;
   struct MeshTunnel *t;
-  GNUNET_PEER_Id pid;
+  GNUNET_PEER_Id dest_id;
+  uint32_t pid;
+  uint32_t ttl;
   size_t size;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: got a unicast packet from %s\n",
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got a unicast packet from %s\n",
               GNUNET_i2s (peer));
+  /* Check size */
   size = ntohs (message->size);
   if (size <
       sizeof (struct GNUNET_MESH_Unicast) +
@@ -2961,27 +4996,76 @@ handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
     return GNUNET_OK;
   }
   msg = (struct GNUNET_MESH_Unicast *) message;
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  of type %u\n",
-              ntohs (msg[1].header.type));
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " of type %s\n",
+              GNUNET_MESH_DEBUG_M2S (ntohs (msg[1].header.type)));
+  /* Check tunnel */
   t = tunnel_get (&msg->oid, ntohl (msg->tid));
   if (NULL == t)
   {
     /* TODO notify back: we don't know this tunnel */
+    GNUNET_STATISTICS_update (stats, "# data on unknown tunnel", 1, GNUNET_NO);
+    GNUNET_break_op (0);
+    return GNUNET_OK;
+  }
+  pid = ntohl (msg->pid);
+  if (t->fwd_pid == pid)
+  {
+    GNUNET_STATISTICS_update (stats, "# duplicate PID drops", 1, GNUNET_NO);
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                " Already seen pid %u, DROPPING!\n", pid);
+    return GNUNET_OK;
+  }
+  else
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                " pid %u not seen yet, forwarding\n", pid);
+  }
+  t->skip += (pid - t->fwd_pid) - 1;
+  t->fwd_pid = pid;
+  if (GMC_is_pid_bigger (pid, t->last_fwd_ack))
+  {
+    GNUNET_STATISTICS_update (stats, "# unsolicited unicast", 1, GNUNET_NO);
     GNUNET_break_op (0);
     return GNUNET_OK;
   }
   tunnel_reset_timeout (t);
-  pid = GNUNET_PEER_search (&msg->destination);
-  if (pid == myid)
+  dest_id = GNUNET_PEER_search (&msg->destination);
+  if (dest_id == myid)
   {
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "MESH:   it's for us! sending to clients...\n");
+                "  it's for us! sending to clients...\n");
+    GNUNET_STATISTICS_update (stats, "# unicast received", 1, GNUNET_NO);
     send_subscribed_clients (message, (struct GNUNET_MessageHeader *) &msg[1]);
+    tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_UNICAST);
+    return GNUNET_OK;
+  }
+  ttl = ntohl (msg->ttl);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   ttl: %u\n", ttl);
+  if (ttl == 0)
+  {
+    GNUNET_STATISTICS_update (stats, "# TTL drops", 1, GNUNET_NO);
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING, " TTL is 0, DROPPING!\n");
+    tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
     return GNUNET_OK;
   }
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH:   not for us, retransmitting...\n");
-  send_message (message, tree_get_first_hop (t->tree, pid));
+              "  not for us, retransmitting...\n");
+
+  neighbor = tree_get_first_hop (t->tree, dest_id);
+  cinfo = tunnel_get_neighbor_fc (t, neighbor);
+  cinfo->pid = pid;
+  GNUNET_CONTAINER_multihashmap_iterate (t->children_fc,
+                                         &tunnel_add_skip,
+                                         &neighbor);
+  if (GMC_is_pid_bigger (pid, cinfo->fwd_ack))
+  {
+    GNUNET_STATISTICS_update (stats, "# unsolicited unicast", 1, GNUNET_NO);
+    GNUNET_break_op (0);
+    return GNUNET_OK;
+  }
+  send_message (message, neighbor, t);
+  GNUNET_STATISTICS_update (stats, "# unicast forwarded", 1, GNUNET_NO);
+
   return GNUNET_OK;
 }
 
@@ -3008,8 +5092,9 @@ handle_mesh_data_multicast (void *cls, const struct GNUNET_PeerIdentity *peer,
   struct GNUNET_MESH_Multicast *msg;
   struct MeshTunnel *t;
   size_t size;
+  uint32_t pid;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: got a multicast packet from %s\n",
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got a multicast packet from %s\n",
               GNUNET_i2s (peer));
   size = ntohs (message->size);
   if (sizeof (struct GNUNET_MESH_Multicast) +
@@ -3024,41 +5109,46 @@ handle_mesh_data_multicast (void *cls, const struct GNUNET_PeerIdentity *peer,
   if (NULL == t)
   {
     /* TODO notify that we dont know that tunnel */
+    GNUNET_STATISTICS_update (stats, "# data on unknown tunnel", 1, GNUNET_NO);
     GNUNET_break_op (0);
     return GNUNET_OK;
   }
-  if (t->mid == ntohl (msg->mid))
+  pid = ntohl (msg->pid);
+  if (t->fwd_pid == pid)
   {
-    /* FIXME: already seen this packet, log dropping */
-    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                "MESH:  Already seen mid %u, DROPPING!\n", t->mid);
+    /* already seen this packet, drop */
+    GNUNET_STATISTICS_update (stats, "# duplicate PID drops", 1, GNUNET_NO);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                " Already seen pid %u, DROPPING!\n", pid);
+    tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
     return GNUNET_OK;
   }
-#if MESH_DEBUG
   else
   {
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "MESH:  mid %u not seen yet, forwarding\n", ntohl (msg->mid));
+                " pid %u not seen yet, forwarding\n", pid);
   }
-#endif
-  t->mid = ntohl (msg->mid);
+  t->skip += (pid - t->fwd_pid) - 1;
+  t->fwd_pid = pid;
   tunnel_reset_timeout (t);
 
   /* Transmit to locally interested clients */
   if (NULL != t->peers &&
       GNUNET_CONTAINER_multihashmap_contains (t->peers, &my_full_id.hashPubKey))
   {
+    GNUNET_STATISTICS_update (stats, "# multicast received", 1, GNUNET_NO);
     send_subscribed_clients (message, &msg[1].header);
+    tunnel_send_fwd_ack(t, GNUNET_MESSAGE_TYPE_MESH_MULTICAST);
   }
-#if MESH_DEBUG
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    ttl: %u\n", ntohl (msg->ttl));
-#endif
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   ttl: %u\n", ntohl (msg->ttl));
   if (ntohl (msg->ttl) == 0)
   {
-    /* FIXME: ttl is 0, log dropping */
-    GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "MESH:  TTL is 0, DROPPING!\n");
+    GNUNET_STATISTICS_update (stats, "# TTL drops", 1, GNUNET_NO);
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING, " TTL is 0, DROPPING!\n");
+    tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
     return GNUNET_OK;
   }
+  GNUNET_STATISTICS_update (stats, "# multicast forwarded", 1, GNUNET_NO);
   tunnel_send_multicast (t, message, GNUNET_NO);
   return GNUNET_OK;
 }
@@ -3088,7 +5178,7 @@ handle_mesh_data_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
   struct MeshTunnel *t;
   size_t size;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: got a ToOrigin packet from %s\n",
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got a ToOrigin packet from %s\n",
               GNUNET_i2s (peer));
   size = ntohs (message->size);
   if (size < sizeof (struct GNUNET_MESH_ToOrigin) +     /* Payload must be */
@@ -3098,41 +5188,37 @@ handle_mesh_data_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
     return GNUNET_OK;
   }
   msg = (struct GNUNET_MESH_ToOrigin *) message;
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  of type %u\n",
-              ntohs (msg[1].header.type));
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " of type %s\n",
+              GNUNET_MESH_DEBUG_M2S (ntohs (msg[1].header.type)));
   t = tunnel_get (&msg->oid, ntohl (msg->tid));
 
   if (NULL == t)
   {
     /* TODO notify that we dont know this tunnel (whom)? */
+    GNUNET_STATISTICS_update (stats, "# data on unknown tunnel", 1, GNUNET_NO);
     GNUNET_break_op (0);
     return GNUNET_OK;
   }
 
-  if (t->id.oid == myid)
+  if (NULL != t->owner)
   {
     char cbuf[size];
     struct GNUNET_MESH_ToOrigin *copy;
 
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "MESH:   it's for us! sending to clients...\n");
-    if (NULL == t->client)
-    {
-      /* got data packet for ownerless tunnel */
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   no clients!\n");
-      GNUNET_break_op (0);
-      return GNUNET_OK;
-    }
+                "  it's for us! sending to clients...\n");
     /* TODO signature verification */
     memcpy (cbuf, message, size);
     copy = (struct GNUNET_MESH_ToOrigin *) cbuf;
     copy->tid = htonl (t->local_tid);
-    GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
-                                                &copy->header, GNUNET_YES);
+    GNUNET_STATISTICS_update (stats, "# to origin received", 1, GNUNET_NO);
+    GNUNET_SERVER_notification_context_unicast (nc, t->owner->handle,
+                                                &copy->header, GNUNET_NO);
+    tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN);
     return GNUNET_OK;
   }
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH:   not for us, retransmitting...\n");
+              "  not for us, retransmitting...\n");
 
   peer_info = peer_info_get (&msg->oid);
   if (NULL == peer_info)
@@ -3142,8 +5228,68 @@ handle_mesh_data_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
     return GNUNET_OK;
   }
   GNUNET_PEER_resolve (tree_get_predecessor (t->tree), &id);
-  send_message (message, &id);
+  send_message (message, &id, t);
+  GNUNET_STATISTICS_update (stats, "# to origin forwarded", 1, GNUNET_NO);
+
+  return GNUNET_OK;
+}
+
+
+/**
+ * Core handler for mesh network traffic point-to-point acks.
+ *
+ * @param cls closure
+ * @param message message
+ * @param peer peer identity this notification is about
+ * @param atsi performance data
+ * @param atsi_count number of records in 'atsi'
+ *
+ * @return GNUNET_OK to keep the connection open,
+ *         GNUNET_SYSERR to close it (signal serious error)
+ */
+static int
+handle_mesh_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
+                 const struct GNUNET_MessageHeader *message,
+                 const struct GNUNET_ATS_Information *atsi,
+                 unsigned int atsi_count)
+{
+  struct GNUNET_MESH_ACK *msg;
+  struct MeshTunnel *t;
+  uint32_t ack;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got an ACK packet from %s!\n",
+              GNUNET_i2s (peer));
+  msg = (struct GNUNET_MESH_ACK *) message;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " of type %s\n",
+              GNUNET_MESH_DEBUG_M2S (ntohs (msg[1].header.type)));
+  t = tunnel_get (&msg->oid, ntohl (msg->tid));
+
+  if (NULL == t)
+  {
+    /* TODO notify that we dont know this tunnel (whom)? */
+    GNUNET_STATISTICS_update (stats, "# ack on unknown tunnel", 1, GNUNET_NO);
+    GNUNET_break_op (0);
+    return GNUNET_OK;
+  }
+  ack = ntohl (msg->pid);
 
+  /* Is this a forward or backward ACK? */
+  if (tree_get_predecessor(t->tree) == GNUNET_PEER_search(peer))
+  {
+    struct MeshTunnelChildInfo *cinfo;
+
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  FWD ACK\n");
+    cinfo = tunnel_get_neighbor_fc (t, peer);
+    cinfo->fwd_ack = ack;
+    tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
+  }
+  else
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  BCK ACK\n");
+    t->bck_ack = ack;
+    tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
+  }
+  // FIXME fc Unlock queues?
   return GNUNET_OK;
 }
 
@@ -3172,17 +5318,34 @@ handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
   struct MeshPeerPath *p;
   struct MeshTunnel *t;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Received a path ACK msg [%s]\n",
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Received a path ACK msg [%s]\n",
               GNUNET_i2s (&my_full_id));
   msg = (struct GNUNET_MESH_PathACK *) message;
-  t = tunnel_get (&msg->oid, msg->tid);
+  t = tunnel_get (&msg->oid, ntohl(msg->tid));
   if (NULL == t)
   {
     /* TODO notify that we don't know the tunnel */
+    GNUNET_STATISTICS_update (stats, "# control on unknown tunnel", 1, GNUNET_NO);
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  don't know the tunnel %s [%X]!\n",
+                GNUNET_i2s (&msg->oid), ntohl(msg->tid));
     return GNUNET_OK;
   }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %s [%X]\n",
+              GNUNET_i2s (&msg->oid), ntohl(msg->tid));
 
   peer_info = peer_info_get (&msg->peer_id);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by peer %s\n",
+              GNUNET_i2s (&msg->peer_id));
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  via peer %s\n",
+              GNUNET_i2s (peer));
+
+  if (NULL != t->regex_ctx && t->regex_ctx->info->peer == peer_info->id)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "connect_by_string completed, stopping search\n");
+    regex_cancel_search (t->regex_ctx);
+    t->regex_ctx = NULL;
+  }
 
   /* Add paths to peers? */
   p = tree_get_path_to_peer (t->tree, peer_info->id);
@@ -3199,8 +5362,8 @@ handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
   /* Message for us? */
   if (0 == memcmp (&msg->oid, &my_full_id, sizeof (struct GNUNET_PeerIdentity)))
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   It's for us!\n");
-    if (NULL == t->client)
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  It's for us!\n");
+    if (NULL == t->owner)
     {
       GNUNET_break_op (0);
       return GNUNET_OK;
@@ -3219,7 +5382,7 @@ handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
   }
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH:   not for us, retransmitting...\n");
+              "  not for us, retransmitting...\n");
   GNUNET_PEER_resolve (tree_get_predecessor (t->tree), &id);
   peer_info = peer_info_get (&msg->oid);
   if (NULL == peer_info)
@@ -3228,7 +5391,7 @@ handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
     GNUNET_break (0);
     return GNUNET_OK;
   }
-  send_message (message, &id);
+  send_message (message, &id, t);
   return GNUNET_OK;
 }
 
@@ -3241,10 +5404,13 @@ static struct GNUNET_CORE_MessageHandler core_handlers[] = {
   {&handle_mesh_path_destroy, GNUNET_MESSAGE_TYPE_MESH_PATH_DESTROY, 0},
   {&handle_mesh_path_broken, GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN,
    sizeof (struct GNUNET_MESH_PathBroken)},
-  {&handle_mesh_tunnel_destroy, GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY, 0},
+  {&handle_mesh_tunnel_destroy, GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY,
+   sizeof (struct GNUNET_MESH_TunnelDestroy)},
   {&handle_mesh_data_unicast, GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
   {&handle_mesh_data_multicast, GNUNET_MESSAGE_TYPE_MESH_MULTICAST, 0},
   {&handle_mesh_data_to_orig, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
+  {&handle_mesh_ack, GNUNET_MESSAGE_TYPE_MESH_ACK,
+    sizeof (struct GNUNET_MESH_ACK)},
   {&handle_mesh_path_ack, GNUNET_MESSAGE_TYPE_MESH_PATH_ACK,
    sizeof (struct GNUNET_MESH_PathACK)},
   {NULL, 0, 0}
@@ -3266,11 +5432,11 @@ static struct GNUNET_CORE_MessageHandler core_handlers[] = {
  * @return GNUNET_OK on success
  */
 static int
-deregister_app (void *cls, const GNUNET_HashCode * key, void *value)
+deregister_app (void *cls, const struct GNUNET_HashCode * key, void *value)
 {
+  struct GNUNET_CONTAINER_MultiHashMap *h = cls;
   GNUNET_break (GNUNET_YES ==
-                GNUNET_CONTAINER_multihashmap_remove (applications, key,
-                                                      value));
+                GNUNET_CONTAINER_multihashmap_remove (h, key, value));
   return GNUNET_OK;
 }
 
@@ -3333,30 +5499,30 @@ path_refresh (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
       sizeof (struct GNUNET_MessageHeader);
   char cbuf[size];
 
-  if (tc->reason == GNUNET_SCHEDULER_REASON_SHUTDOWN)
+  if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
   {
     return;
   }
   t->path_refresh_task = GNUNET_SCHEDULER_NO_TASK;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH: sending keepalive for tunnel %d\n", t->id.tid);
+              "sending keepalive for tunnel %d\n", t->id.tid);
 
   msg = (struct GNUNET_MESH_Multicast *) cbuf;
   msg->header.size = htons (size);
   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_MULTICAST);
   msg->oid = my_full_id;
   msg->tid = htonl (t->id.tid);
-  msg->ttl = htonl (DEFAULT_TTL);
-  msg->mid = htonl (t->mid + 1);
-  t->mid++;
+  msg->ttl = htonl (default_ttl);
+  msg->pid = htonl (t->fwd_pid + 1);
+  t->fwd_pid++;
   payload = (struct GNUNET_MessageHeader *) &msg[1];
   payload->size = htons (sizeof (struct GNUNET_MessageHeader));
   payload->type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_KEEPALIVE);
   tunnel_send_multicast (t, &msg->header, GNUNET_YES);
 
   t->path_refresh_task =
-      GNUNET_SCHEDULER_add_delayed (REFRESH_PATH_TIME, &path_refresh, t);
+      GNUNET_SCHEDULER_add_delayed (refresh_path_time, &path_refresh, t);
   return;
 }
 
@@ -3381,7 +5547,7 @@ path_refresh (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
  */
 static void
 dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
-                    const GNUNET_HashCode * key,
+                    const struct GNUNET_HashCode * key,
                     const struct GNUNET_PeerIdentity *get_path,
                     unsigned int get_path_length,
                     const struct GNUNET_PeerIdentity *put_path,
@@ -3393,9 +5559,9 @@ dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
   struct GNUNET_PeerIdentity pi;
   int i;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Got results from DHT!\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got results from DHT!\n");
   GNUNET_PEER_resolve (path_info->peer->id, &pi);
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   for %s\n", GNUNET_i2s (&pi));
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  for %s\n", GNUNET_i2s (&pi));
 
   p = path_build_from_dht (get_path, get_path_length, put_path,
                            put_path_length);
@@ -3429,24 +5595,31 @@ dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
  */
 static void
 dht_get_type_handler (void *cls, struct GNUNET_TIME_Absolute exp,
-                      const GNUNET_HashCode * key,
+                      const struct GNUNET_HashCode * key,
                       const struct GNUNET_PeerIdentity *get_path,
                       unsigned int get_path_length,
                       const struct GNUNET_PeerIdentity *put_path,
                       unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
                       size_t size, const void *data)
 {
-  const struct GNUNET_PeerIdentity *pi = data;
+  const struct PBlock *pb = data;
+  const struct GNUNET_PeerIdentity *pi = &pb->id;
   struct MeshTunnel *t = cls;
   struct MeshPeerInfo *peer_info;
   struct MeshPeerPath *p;
 
-  if (size != sizeof (struct GNUNET_PeerIdentity))
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got type DHT result!\n");
+  if (size != sizeof (struct PBlock))
+  {
+    GNUNET_break_op (0);
+    return;
+  }
+  if (ntohl(pb->type) != t->type)
   {
     GNUNET_break_op (0);
     return;
   }
-  GNUNET_assert (NULL != t->client);
+  GNUNET_assert (NULL != t->owner);
   peer_info = peer_info_get (pi);
   (void) GNUNET_CONTAINER_multihashmap_put (t->peers, &pi->hashPubKey,
                                             peer_info,
@@ -3461,6 +5634,139 @@ dht_get_type_handler (void *cls, struct GNUNET_TIME_Absolute exp,
 }
 
 
+/**
+ * Function to process DHT string to regex matching.
+ * Called on each result obtained for the DHT search.
+ *
+ * @param cls closure (search context)
+ * @param exp when will this value expire
+ * @param key key of the result
+ * @param get_path path of the get request (not used)
+ * @param get_path_length lenght of get_path (not used)
+ * @param put_path path of the put request (not used)
+ * @param put_path_length length of the put_path (not used)
+ * @param type type of the result
+ * @param size number of bytes in data
+ * @param data pointer to the result data
+ */
+static void
+dht_get_string_accept_handler (void *cls, struct GNUNET_TIME_Absolute exp,
+                               const struct GNUNET_HashCode * key,
+                               const struct GNUNET_PeerIdentity *get_path,
+                               unsigned int get_path_length,
+                               const struct GNUNET_PeerIdentity *put_path,
+                               unsigned int put_path_length,
+                               enum GNUNET_BLOCK_Type type,
+                               size_t size, const void *data)
+{
+  const struct MeshRegexAccept *block = data;
+  struct MeshRegexSearchContext *ctx = cls;
+  struct MeshRegexSearchInfo *info = ctx->info;
+  struct MeshPeerPath *p;
+  struct MeshPeerInfo *peer_info;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got regex results from DHT!\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  for %s\n", info->description);
+
+  peer_info = peer_info_get(&block->id);
+  p = path_build_from_dht (get_path, get_path_length, put_path,
+                           put_path_length);
+  path_add_to_peers (p, GNUNET_NO);
+  path_destroy(p);
+
+  tunnel_add_peer (info->t, peer_info);
+  peer_info_connect (peer_info, info->t);
+  if (0 == info->peer)
+  {
+    info->peer = peer_info->id;
+  }
+  else
+  {
+    GNUNET_array_append (info->peers, info->n_peers, peer_info->id);
+  }
+
+  info->timeout = GNUNET_SCHEDULER_add_delayed (connect_timeout,
+                                                &regex_connect_timeout,
+                                                info);
+
+  return;
+}
+
+
+/**
+ * Function to process DHT string to regex matching.
+ * Called on each result obtained for the DHT search.
+ *
+ * @param cls closure (search context)
+ * @param exp when will this value expire
+ * @param key key of the result
+ * @param get_path path of the get request (not used)
+ * @param get_path_length lenght of get_path (not used)
+ * @param put_path path of the put request (not used)
+ * @param put_path_length length of the put_path (not used)
+ * @param type type of the result
+ * @param size number of bytes in data
+ * @param data pointer to the result data
+ *
+ * TODO: re-issue the request after certain time? cancel after X results?
+ */
+static void
+dht_get_string_handler (void *cls, struct GNUNET_TIME_Absolute exp,
+                        const struct GNUNET_HashCode * key,
+                        const struct GNUNET_PeerIdentity *get_path,
+                        unsigned int get_path_length,
+                        const struct GNUNET_PeerIdentity *put_path,
+                        unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
+                        size_t size, const void *data)
+{
+  const struct MeshRegexBlock *block = data;
+  struct MeshRegexSearchContext *ctx = cls;
+  struct MeshRegexSearchInfo *info = ctx->info;
+  void *copy;
+  size_t len;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "DHT GET STRING RETURNED RESULTS\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "  key: %s\n", GNUNET_h2s (key));
+
+  copy = GNUNET_malloc (size);
+  memcpy (copy, data, size);
+  GNUNET_break (GNUNET_OK ==
+                GNUNET_CONTAINER_multihashmap_put(info->dht_get_results, key, copy,
+                                                  GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE));
+  len = ntohl (block->n_proof);
+  {
+    char proof[len + 1];
+
+    memcpy (proof, &block[1], len);
+    proof[len] = '\0';
+    if (GNUNET_OK != GNUNET_REGEX_check_proof (proof, key))
+    {
+      GNUNET_break_op (0);
+      return;
+    }
+  }
+  len = strlen (info->description);
+  if (len == ctx->position) // String processed
+  {
+    if (GNUNET_YES == ntohl (block->accepting))
+    {
+      regex_find_path(key, ctx);
+    }
+    else
+    {
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  block not accepting!\n");
+      // FIXME REGEX this block not successful, wait for more? start timeout?
+    }
+    return;
+  }
+  GNUNET_break (GNUNET_OK ==
+                GNUNET_MESH_regex_block_iterate (block, size,
+                                                 &regex_edge_iterator, ctx));
+  return;
+}
+
 /******************************************************************************/
 /*********************       MESH LOCAL HANDLES      **************************/
 /******************************************************************************/
@@ -3478,13 +5784,12 @@ handle_local_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
 {
   struct MeshClient *c;
   struct MeshClient *next;
+  unsigned int i;
 
-#if MESH_DEBUG
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: client disconnected\n");
-#endif
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "client disconnected\n");
   if (client == NULL)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    (SERVER DOWN)\n");
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   (SERVER DOWN)\n");
     return;
   }
   c = clients;
@@ -3492,29 +5797,30 @@ handle_local_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
   {
     if (c->handle != client)
     {
-#if MESH_DEBUG
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    ... searching\n");
-#endif
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   ... searching\n");
       c = c->next;
       continue;
     }
-#if MESH_DEBUG
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: matching client found (%u)\n",
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "matching client found (%u)\n",
                 c->id);
-#endif
     GNUNET_SERVER_client_drop (c->handle);
     c->shutting_down = GNUNET_YES;
-    if (NULL != c->tunnels)
-    {
-      GNUNET_CONTAINER_multihashmap_iterate (c->tunnels,
-                                             &tunnel_destroy_iterator, c);
-      GNUNET_CONTAINER_multihashmap_destroy (c->tunnels);
-    }
+    GNUNET_assert (NULL != c->own_tunnels);
+    GNUNET_assert (NULL != c->incoming_tunnels);
+    GNUNET_CONTAINER_multihashmap_iterate (c->own_tunnels,
+                                           &tunnel_destroy_iterator, c);
+    GNUNET_CONTAINER_multihashmap_iterate (c->incoming_tunnels,
+                                           &tunnel_destroy_iterator, c);
+    GNUNET_CONTAINER_multihashmap_iterate (c->ignore_tunnels,
+                                           &tunnel_destroy_iterator, c);
+    GNUNET_CONTAINER_multihashmap_destroy (c->own_tunnels);
+    GNUNET_CONTAINER_multihashmap_destroy (c->incoming_tunnels);
+    GNUNET_CONTAINER_multihashmap_destroy (c->ignore_tunnels);
 
     /* deregister clients applications */
     if (NULL != c->apps)
     {
-      GNUNET_CONTAINER_multihashmap_iterate (c->apps, &deregister_app, NULL);
+      GNUNET_CONTAINER_multihashmap_iterate (c->apps, &deregister_app, c->apps);
       GNUNET_CONTAINER_multihashmap_destroy (c->apps);
     }
     if (0 == GNUNET_CONTAINER_multihashmap_size (applications) &&
@@ -3525,18 +5831,21 @@ handle_local_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
     }
     if (NULL != c->types)
       GNUNET_CONTAINER_multihashmap_destroy (c->types);
+    for (i = 0; i < c->n_regex; i++)
+    {
+      GNUNET_free (c->regexes[i]);
+    }
+    GNUNET_free_non_null (c->regexes);
+    if (GNUNET_SCHEDULER_NO_TASK != c->regex_announce_task)
+      GNUNET_SCHEDULER_cancel (c->regex_announce_task);
     next = c->next;
     GNUNET_CONTAINER_DLL_remove (clients, clients_tail, c);
-#if MESH_DEBUG
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   CLIENT FREE at %p\n", c);
-#endif
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  CLIENT FREE at %p\n", c);
     GNUNET_free (c);
+    GNUNET_STATISTICS_update (stats, "# clients", -1, GNUNET_NO);
     c = next;
   }
-
-#if MESH_DEBUG
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    done!\n");
-#endif
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   done!\n");
   return;
 }
 
@@ -3561,7 +5870,7 @@ handle_local_new_client (void *cls, struct GNUNET_SERVER_Client *client,
   uint16_t napps;
   uint16_t i;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: new client connected\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new client connected\n");
   /* Check data sanity */
   size = ntohs (message->size) - sizeof (struct GNUNET_MESH_ClientConnect);
   cc_msg = (struct GNUNET_MESH_ClientConnect *) message;
@@ -3577,28 +5886,24 @@ handle_local_new_client (void *cls, struct GNUNET_SERVER_Client *client,
 
   /* Create new client structure */
   c = GNUNET_malloc (sizeof (struct MeshClient));
-#if MESH_DEBUG
   c->id = next_client_id++;
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   CLIENT NEW %u\n", c->id);
-#endif
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  CLIENT NEW %u\n", c->id);
   c->handle = client;
   GNUNET_SERVER_client_keep (client);
   a = (GNUNET_MESH_ApplicationType *) &cc_msg[1];
   if (napps > 0)
   {
     GNUNET_MESH_ApplicationType at;
-    GNUNET_HashCode hc;
+    struct GNUNET_HashCode hc;
 
     c->apps = GNUNET_CONTAINER_multihashmap_create (napps);
     for (i = 0; i < napps; i++)
     {
       at = ntohl (a[i]);
-#if MESH_DEBUG
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   app type: %u\n", at);
-#endif
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  app type: %u\n", at);
       GNUNET_CRYPTO_hash (&at, sizeof (at), &hc);
       /* store in clients hashmap */
-      GNUNET_CONTAINER_multihashmap_put (c->apps, &hc, c,
+      GNUNET_CONTAINER_multihashmap_put (c->apps, &hc, (void *) (long) at,
                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
       /* store in global hashmap, for announcements */
       GNUNET_CONTAINER_multihashmap_put (applications, &hc, c,
@@ -3612,16 +5917,14 @@ handle_local_new_client (void *cls, struct GNUNET_SERVER_Client *client,
   if (ntypes > 0)
   {
     uint16_t u16;
-    GNUNET_HashCode hc;
+    struct GNUNET_HashCode hc;
 
     t = (uint16_t *) & a[napps];
     c->types = GNUNET_CONTAINER_multihashmap_create (ntypes);
     for (i = 0; i < ntypes; i++)
     {
       u16 = ntohs (t[i]);
-#if MESH_DEBUG
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   msg type: %u\n", u16);
-#endif
+      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  msg type: %u\n", u16);
       GNUNET_CRYPTO_hash (&u16, sizeof (u16), &hc);
 
       /* store in clients hashmap */
@@ -3633,16 +5936,61 @@ handle_local_new_client (void *cls, struct GNUNET_SERVER_Client *client,
     }
   }
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH:  client has %u+%u subscriptions\n", napps, ntypes);
+              " client has %u+%u subscriptions\n", napps, ntypes);
+
+  GNUNET_CONTAINER_DLL_insert (clients, clients_tail, c);
+  c->own_tunnels = GNUNET_CONTAINER_multihashmap_create (32);
+  c->incoming_tunnels = GNUNET_CONTAINER_multihashmap_create (32);
+  c->ignore_tunnels = GNUNET_CONTAINER_multihashmap_create (32);
+  GNUNET_SERVER_notification_context_add (nc, client);
+  GNUNET_STATISTICS_update (stats, "# clients", 1, GNUNET_NO);
+
+  GNUNET_SERVER_receive_done (client, GNUNET_OK);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new client processed\n");
+}
+
+
+/**
+ * Handler for clients announcing available services by a regular expression.
+ *
+ * @param cls closure
+ * @param client identification of the client
+ * @param message the actual message, which includes messages the client wants
+ */
+static void
+handle_local_announce_regex (void *cls, struct GNUNET_SERVER_Client *client,
+                             const struct GNUNET_MessageHeader *message)
+{
+  struct MeshClient *c;
+  char *regex;
+  size_t len;
 
-  GNUNET_CONTAINER_DLL_insert (clients, clients_tail, c);
-  c->tunnels = GNUNET_CONTAINER_multihashmap_create (32);
-  GNUNET_SERVER_notification_context_add (nc, client);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "announce regex started\n");
+
+  /* Sanity check for client registration */
+  if (NULL == (c = client_get (client)))
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
 
+  len = ntohs (message->size) - sizeof(struct GNUNET_MessageHeader);
+  regex = GNUNET_malloc (len + 1);
+  memcpy (regex, &message[1], len);
+  regex[len] = '\0';
+  GNUNET_array_append (c->regexes, c->n_regex, regex);
+  if (GNUNET_SCHEDULER_NO_TASK == c->regex_announce_task)
+  {
+    c->regex_announce_task = GNUNET_SCHEDULER_add_now(&announce_regex, c);
+  }
+  else
+  {
+    regex_put(regex);
+  }
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
-#if MESH_DEBUG
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: new client processed\n");
-#endif
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "announce regex processed\n");
 }
 
 
@@ -3660,9 +6008,9 @@ handle_local_tunnel_create (void *cls, struct GNUNET_SERVER_Client *client,
   struct GNUNET_MESH_TunnelMessage *t_msg;
   struct MeshTunnel *t;
   struct MeshClient *c;
-  GNUNET_HashCode hash;
+  MESH_TunnelNumber tid;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: new tunnel requested\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new tunnel requested\n");
 
   /* Sanity check for client registration */
   if (NULL == (c = client_get (client)))
@@ -3671,9 +6019,7 @@ handle_local_tunnel_create (void *cls, struct GNUNET_SERVER_Client *client,
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
-#if MESH_DEBUG
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   by client %u\n", c->id);
-#endif
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
 
   /* Message sanity check */
   if (sizeof (struct GNUNET_MESH_TunnelMessage) != ntohs (message->size))
@@ -3685,55 +6031,37 @@ handle_local_tunnel_create (void *cls, struct GNUNET_SERVER_Client *client,
 
   t_msg = (struct GNUNET_MESH_TunnelMessage *) message;
   /* Sanity check for tunnel numbering */
-  if (0 == (ntohl (t_msg->tunnel_id) & GNUNET_MESH_LOCAL_TUNNEL_ID_CLI))
+  tid = ntohl (t_msg->tunnel_id);
+  if (0 == (tid & GNUNET_MESH_LOCAL_TUNNEL_ID_CLI))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
   /* Sanity check for duplicate tunnel IDs */
-  if (NULL != tunnel_get_by_local_id (c, ntohl (t_msg->tunnel_id)))
+  if (NULL != tunnel_get_by_local_id (c, tid))
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
 
-  t = GNUNET_malloc (sizeof (struct MeshTunnel));
   while (NULL != tunnel_get_by_pi (myid, next_tid))
     next_tid = (next_tid + 1) & ~GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
-  t->id.tid = next_tid++;
-  next_tid = next_tid & ~GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
-  t->id.oid = myid;
-  t->local_tid = ntohl (t_msg->tunnel_id);
-#if MESH_DEBUG
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: CREATED TUNNEL %s [%x] (%x)\n",
-              GNUNET_i2s (&my_full_id), t->id.tid, t->local_tid);
-#endif
-  t->client = c;
-  t->peers = GNUNET_CONTAINER_multihashmap_create (32);
-
-  GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
-  if (GNUNET_OK !=
-      GNUNET_CONTAINER_multihashmap_put (c->tunnels, &hash, t,
-                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
-  {
-    GNUNET_break (0);
-    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
-    return;
-  }
-
-  GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
-  if (GNUNET_OK !=
-      GNUNET_CONTAINER_multihashmap_put (tunnels, &hash, t,
-                                         GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
+  t = tunnel_new (myid, next_tid++, c, tid);
+  if (NULL == t)
   {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Tunnel creation failed.\n");
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
-  t->tree = tree_new (myid);
+  next_tid = next_tid & ~GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "CREATED TUNNEL %s [%x] (%x)\n",
+              GNUNET_i2s (&my_full_id), t->id.tid, t->local_tid);
+  t->peers = GNUNET_CONTAINER_multihashmap_create (32);
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new tunnel created\n");
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
   return;
 }
@@ -3754,10 +6082,9 @@ handle_local_tunnel_destroy (void *cls, struct GNUNET_SERVER_Client *client,
   struct MeshClient *c;
   struct MeshTunnel *t;
   MESH_TunnelNumber tid;
-  GNUNET_HashCode hash;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH: Got a DESTROY TUNNEL from client!\n");
+              "Got a DESTROY TUNNEL from client!\n");
 
   /* Sanity check for client registration */
   if (NULL == (c = client_get (client)))
@@ -3773,29 +6100,164 @@ handle_local_tunnel_destroy (void *cls, struct GNUNET_SERVER_Client *client,
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
-#if MESH_DEBUG
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   by client %u\n", c->id);
-#endif
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
   tunnel_msg = (struct GNUNET_MESH_TunnelMessage *) message;
 
   /* Retrieve tunnel */
   tid = ntohl (tunnel_msg->tunnel_id);
-
-  /* Remove from local id hashmap */
-  GNUNET_CRYPTO_hash (&tid, sizeof (MESH_TunnelNumber), &hash);
-  t = GNUNET_CONTAINER_multihashmap_get (c->tunnels, &hash);
+  t = tunnel_get_by_local_id(c, tid);
+  if (NULL == t)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "  tunnel %X not found\n", tid);
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+  if (c != t->owner || tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
+  {
+    client_ignore_tunnel (c, t);
+#if 0
+    // TODO: when to destroy incoming tunnel?
+    if (t->nclients == 0)
+    {
+      GNUNET_assert (GNUNET_YES ==
+                     GNUNET_CONTAINER_multihashmap_remove (incoming_tunnels,
+                                                           &hash, t));
+      GNUNET_assert (GNUNET_YES ==
+                     GNUNET_CONTAINER_multihashmap_remove (t->peers,
+                                                           &my_full_id.hashPubKey,
+                                                           t));
+    }
+#endif
+    GNUNET_SERVER_receive_done (client, GNUNET_OK);
+    return;
+  }
   send_client_tunnel_disconnect(t, c);
-  GNUNET_assert (GNUNET_YES ==
-                 GNUNET_CONTAINER_multihashmap_remove (c->tunnels, &hash, t));
+  client_delete_tunnel(c, t);
 
-  t->client = NULL;
+  /* Don't try to ACK the client about the tunnel_destroy multicast packet */
+  t->owner = NULL;
   tunnel_send_destroy (t);
-  tunnel_destroy (t);
+  t->destroy = GNUNET_YES;
+  // The tunnel will be destroyed when the last message is transmitted.
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
   return;
 }
 
 
+/**
+ * Handler for requests of seeting tunnel's speed.
+ *
+ * @param cls Closure (unused).
+ * @param client Identification of the client.
+ * @param message The actual message.
+ */
+static void
+handle_local_tunnel_speed (void *cls, struct GNUNET_SERVER_Client *client,
+                           const struct GNUNET_MessageHeader *message)
+{
+  struct GNUNET_MESH_TunnelMessage *tunnel_msg;
+  struct MeshClient *c;
+  struct MeshTunnel *t;
+  MESH_TunnelNumber tid;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "Got a SPEED request from client!\n");
+
+  /* Sanity check for client registration */
+  if (NULL == (c = client_get (client)))
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
+  tunnel_msg = (struct GNUNET_MESH_TunnelMessage *) message;
+
+  /* Retrieve tunnel */
+  tid = ntohl (tunnel_msg->tunnel_id);
+  t = tunnel_get_by_local_id(c, tid);
+  if (NULL == t)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "  tunnel %X not found\n", tid);
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  switch (ntohs(message->type))
+  {
+      case GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_MIN:
+          t->speed_min = GNUNET_YES;
+          break;
+      case GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_MAX:
+          t->speed_min = GNUNET_NO;
+          break;
+      default:
+          GNUNET_break (0);
+  }
+  GNUNET_SERVER_receive_done (client, GNUNET_OK);
+}
+
+
+/**
+ * Handler for requests of seeting tunnel's buffering policy.
+ *
+ * @param cls Closure (unused).
+ * @param client Identification of the client.
+ * @param message The actual message.
+ */
+static void
+handle_local_tunnel_buffer (void *cls, struct GNUNET_SERVER_Client *client,
+                            const struct GNUNET_MessageHeader *message)
+{
+  struct GNUNET_MESH_TunnelMessage *tunnel_msg;
+  struct MeshClient *c;
+  struct MeshTunnel *t;
+  MESH_TunnelNumber tid;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "Got a BUFFER request from client!\n");
+
+  /* Sanity check for client registration */
+  if (NULL == (c = client_get (client)))
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
+  tunnel_msg = (struct GNUNET_MESH_TunnelMessage *) message;
+
+  /* Retrieve tunnel */
+  tid = ntohl (tunnel_msg->tunnel_id);
+  t = tunnel_get_by_local_id(c, tid);
+  if (NULL == t)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "  tunnel %X not found\n", tid);
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  switch (ntohs(message->type))
+  {
+      case GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_BUFFER:
+          t->nobuffer = GNUNET_NO;
+          break;
+      case GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_NOBUFFER:
+          t->nobuffer = GNUNET_YES;
+          break;
+      default:
+          GNUNET_break (0);
+  }
+
+  GNUNET_SERVER_receive_done (client, GNUNET_OK);
+}
+
+
 /**
  * Handler for connection requests to new peers
  *
@@ -3813,7 +6275,7 @@ handle_local_connect_add (void *cls, struct GNUNET_SERVER_Client *client,
   struct MeshTunnel *t;
   MESH_TunnelNumber tid;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Got connection request\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got connection request\n");
   /* Sanity check for client registration */
   if (NULL == (c = client_get (client)))
   {
@@ -3842,13 +6304,13 @@ handle_local_connect_add (void *cls, struct GNUNET_SERVER_Client *client,
   }
 
   /* Does client own tunnel? */
-  if (t->client->handle != client)
+  if (t->owner->handle != client)
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      for %s\n",
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "     for %s\n",
               GNUNET_i2s (&peer_msg->peer));
   peer_info = peer_info_get (&peer_msg->peer);
 
@@ -3872,12 +6334,138 @@ handle_local_connect_del (void *cls, struct GNUNET_SERVER_Client *client,
                           const struct GNUNET_MessageHeader *message)
 {
   struct GNUNET_MESH_PeerControl *peer_msg;
-  struct MeshPeerInfo *peer_info;
+  struct MeshPeerInfo *peer_info;
+  struct MeshClient *c;
+  struct MeshTunnel *t;
+  MESH_TunnelNumber tid;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got a PEER DEL request\n");
+  /* Sanity check for client registration */
+  if (NULL == (c = client_get (client)))
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+  peer_msg = (struct GNUNET_MESH_PeerControl *) message;
+  /* Sanity check for message size */
+  if (sizeof (struct GNUNET_MESH_PeerControl) != ntohs (peer_msg->header.size))
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  /* Tunnel exists? */
+  tid = ntohl (peer_msg->tunnel_id);
+  t = tunnel_get_by_local_id (c, tid);
+  if (NULL == t)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %X\n", t->id.tid);
+
+  /* Does client own tunnel? */
+  if (t->owner->handle != client)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  for peer %s\n",
+              GNUNET_i2s (&peer_msg->peer));
+  /* Is the peer in the tunnel? */
+  peer_info =
+      GNUNET_CONTAINER_multihashmap_get (t->peers, &peer_msg->peer.hashPubKey);
+  if (NULL == peer_info)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  /* Ok, delete peer from tunnel */
+  GNUNET_CONTAINER_multihashmap_remove_all (t->peers,
+                                            &peer_msg->peer.hashPubKey);
+
+  send_destroy_path (t, peer_info->id);
+  tunnel_delete_peer (t, peer_info->id);
+  GNUNET_SERVER_receive_done (client, GNUNET_OK);
+  return;
+}
+
+/**
+ * Handler for blacklist requests of peers in a tunnel
+ *
+ * @param cls closure
+ * @param client identification of the client
+ * @param message the actual message (PeerControl)
+ */
+static void
+handle_local_blacklist (void *cls, struct GNUNET_SERVER_Client *client,
+                          const struct GNUNET_MessageHeader *message)
+{
+  struct GNUNET_MESH_PeerControl *peer_msg;
+  struct MeshClient *c;
+  struct MeshTunnel *t;
+  MESH_TunnelNumber tid;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got a PEER BLACKLIST request\n");
+  /* Sanity check for client registration */
+  if (NULL == (c = client_get (client)))
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+  peer_msg = (struct GNUNET_MESH_PeerControl *) message;
+
+  /* Sanity check for message size */
+  if (sizeof (struct GNUNET_MESH_PeerControl) != ntohs (peer_msg->header.size))
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  /* Tunnel exists? */
+  tid = ntohl (peer_msg->tunnel_id);
+  t = tunnel_get_by_local_id (c, tid);
+  if (NULL == t)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %X\n", t->id.tid);
+
+  GNUNET_array_append(t->blacklisted, t->nblacklisted,
+                      GNUNET_PEER_intern(&peer_msg->peer));
+}
+
+
+/**
+ * Handler for unblacklist requests of peers in a tunnel
+ *
+ * @param cls closure
+ * @param client identification of the client
+ * @param message the actual message (PeerControl)
+ */
+static void
+handle_local_unblacklist (void *cls, struct GNUNET_SERVER_Client *client,
+                          const struct GNUNET_MessageHeader *message)
+{
+  struct GNUNET_MESH_PeerControl *peer_msg;
   struct MeshClient *c;
   struct MeshTunnel *t;
   MESH_TunnelNumber tid;
+  GNUNET_PEER_Id pid;
+  unsigned int i;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Got a PEER DEL request\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got a PEER UNBLACKLIST request\n");
   /* Sanity check for client registration */
   if (NULL == (c = client_get (client)))
   {
@@ -3886,6 +6474,7 @@ handle_local_connect_del (void *cls, struct GNUNET_SERVER_Client *client,
     return;
   }
   peer_msg = (struct GNUNET_MESH_PeerControl *) message;
+
   /* Sanity check for message size */
   if (sizeof (struct GNUNET_MESH_PeerControl) != ntohs (peer_msg->header.size))
   {
@@ -3903,36 +6492,29 @@ handle_local_connect_del (void *cls, struct GNUNET_SERVER_Client *client,
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   on tunnel %X\n", t->id.tid);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %X\n", t->id.tid);
 
-  /* Does client own tunnel? */
-  if (t->client->handle != client)
+  /* if peer is not known, complain */
+  pid = GNUNET_PEER_search (&peer_msg->peer);
+  if (0 == pid)
   {
     GNUNET_break (0);
-    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   for peer %s\n",
-              GNUNET_i2s (&peer_msg->peer));
-  /* Is the peer in the tunnel? */
-  peer_info =
-      GNUNET_CONTAINER_multihashmap_get (t->peers, &peer_msg->peer.hashPubKey);
-  if (NULL == peer_info)
+  /* search and remove from list */
+  for (i = 0; i < t->nblacklisted; i++)
   {
-    GNUNET_break (0);
-    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
-    return;
+    if (t->blacklisted[i] == pid)
+    {
+      t->blacklisted[i] = t->blacklisted[t->nblacklisted - 1];
+      GNUNET_array_grow (t->blacklisted, t->nblacklisted, t->nblacklisted - 1);
+      return;
+    }
   }
 
-  /* Ok, delete peer from tunnel */
-  GNUNET_CONTAINER_multihashmap_remove_all (t->peers,
-                                            &peer_msg->peer.hashPubKey);
-
-  send_destroy_path (t, peer_info->id);
-  tunnel_delete_peer (t, peer_info->id);
-  GNUNET_SERVER_receive_done (client, GNUNET_OK);
-  return;
+  /* if peer hasn't been blacklisted, complain */
+  GNUNET_break (0);
 }
 
 
@@ -3950,10 +6532,10 @@ handle_local_connect_by_type (void *cls, struct GNUNET_SERVER_Client *client,
   struct GNUNET_MESH_ConnectPeerByType *connect_msg;
   struct MeshClient *c;
   struct MeshTunnel *t;
-  GNUNET_HashCode hash;
+  struct GNUNET_HashCode hash;
   MESH_TunnelNumber tid;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: got connect by type request\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got connect by type request\n");
   /* Sanity check for client registration */
   if (NULL == (c = client_get (client)))
   {
@@ -3983,7 +6565,7 @@ handle_local_connect_by_type (void *cls, struct GNUNET_SERVER_Client *client,
   }
 
   /* Does client own tunnel? */
-  if (t->client->handle != client)
+  if (t->owner->handle != client)
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -3992,7 +6574,7 @@ handle_local_connect_by_type (void *cls, struct GNUNET_SERVER_Client *client,
 
   /* Do WE have the service? */
   t->type = ntohl (connect_msg->type);
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  type requested: %u\n", t->type);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " type requested: %u\n", t->type);
   GNUNET_CRYPTO_hash (&t->type, sizeof (GNUNET_MESH_ApplicationType), &hash);
   if (GNUNET_CONTAINER_multihashmap_contains (applications, &hash) ==
       GNUNET_YES)
@@ -4000,36 +6582,23 @@ handle_local_connect_by_type (void *cls, struct GNUNET_SERVER_Client *client,
     /* Yes! Fast forward, add ourselves to the tunnel and send the
      * good news to the client, and alert the destination client of
      * an incoming tunnel.
+     *
+     * FIXME send a path create to self, avoid code duplication
      */
-    struct GNUNET_MESH_TunnelNotification cmsg;
-    struct MeshClient *c;
-
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  available locally\n");
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " available locally\n");
     GNUNET_CONTAINER_multihashmap_put (t->peers, &my_full_id.hashPubKey,
                                        peer_info_get (&my_full_id),
-                                       GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
+                                       GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
 
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  notifying client\n");
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " notifying client\n");
     send_client_peer_connected (t, myid);
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  Done\n");
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " Done\n");
     GNUNET_SERVER_receive_done (client, GNUNET_OK);
 
-    /* FIXME implement a proper handling of this case,
-       a client differentiation mechanism */
-    cmsg.header.size = htons (sizeof (cmsg));
-    cmsg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
-    cmsg.peer = my_full_id;
     t->local_tid_dest = next_local_tid++;
-    cmsg.tunnel_id = htonl (t->local_tid_dest);
-    c = (struct MeshClient *) GNUNET_CONTAINER_multihashmap_get(applications,
-                                                                &hash);
-    t->client_dest = c;
     GNUNET_CRYPTO_hash (&t->local_tid_dest, sizeof (MESH_TunnelNumber), &hash);
-    GNUNET_CONTAINER_multihashmap_put (c->tunnels, &hash, t,
+    GNUNET_CONTAINER_multihashmap_put (incoming_tunnels, &hash, t,
                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
-    GNUNET_SERVER_notification_context_unicast (nc, c->handle, &cmsg.header,
-                                                GNUNET_NO);
-    
 
     return;
   }
@@ -4038,13 +6607,16 @@ handle_local_connect_by_type (void *cls, struct GNUNET_SERVER_Client *client,
   {
     GNUNET_DHT_get_stop (t->dht_get_type);
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  looking in DHT for %s\n",
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " looking in DHT for %s\n",
               GNUNET_h2s (&hash));
   t->dht_get_type =
-      GNUNET_DHT_get_start (dht_handle, GNUNET_TIME_UNIT_FOREVER_REL,
-                            GNUNET_BLOCK_TYPE_TEST, &hash, 10U,
+      GNUNET_DHT_get_start (dht_handle, 
+                            GNUNET_BLOCK_TYPE_MESH_PEER_BY_TYPE,
+                            &hash,
+                            dht_replication_level,
                             GNUNET_DHT_RO_RECORD_ROUTE |
-                            GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE, NULL, 0,
+                            GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,
+                            NULL, 0,
                             &dht_get_type_handler, t);
 
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
@@ -4052,6 +6624,129 @@ handle_local_connect_by_type (void *cls, struct GNUNET_SERVER_Client *client,
 }
 
 
+/**
+ * Handler for connection requests to new peers by a string service description.
+ *
+ * @param cls closure
+ * @param client identification of the client
+ * @param message the actual message, which includes messages the client wants
+ */
+static void
+handle_local_connect_by_string (void *cls, struct GNUNET_SERVER_Client *client,
+                                const struct GNUNET_MessageHeader *message)
+{
+  struct GNUNET_MESH_ConnectPeerByString *msg;
+  struct MeshRegexSearchContext *ctx;
+  struct MeshRegexSearchInfo *info;
+  struct GNUNET_DHT_GetHandle *get_h;
+  struct GNUNET_HashCode key;
+  struct MeshTunnel *t;
+  struct MeshClient *c;
+  MESH_TunnelNumber tid;
+  const char *string;
+  size_t size;
+  size_t len;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "Connect by string started\n");
+  msg = (struct GNUNET_MESH_ConnectPeerByString *) message;
+  size = htons (message->size);
+
+  /* Sanity check for client registration */
+  if (NULL == (c = client_get (client)))
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  /* Message size sanity check */
+  if (sizeof(struct GNUNET_MESH_ConnectPeerByString) >= size)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  /* Tunnel exists? */
+  tid = ntohl (msg->tunnel_id);
+  t = tunnel_get_by_local_id (c, tid);
+  if (NULL == t)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  /* Does client own tunnel? */
+  if (t->owner->handle != client)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "  on tunnel %s [%u]\n",
+              GNUNET_i2s(&my_full_id),
+              t->id.tid);
+
+  /* Only one connect_by_string allowed at the same time! */
+  /* FIXME: allow more, return handle at api level to cancel, document */
+  if (NULL != t->regex_ctx)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  /* Find string itself */
+  len = size - sizeof(struct GNUNET_MESH_ConnectPeerByString);
+  string = (const char *) &msg[1];
+
+  /* Initialize context */
+  size = GNUNET_REGEX_get_first_key(string, len, &key);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "  consumed %u bits out of %u\n", size, len);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "  looking for %s\n", GNUNET_h2s (&key));
+
+  info = GNUNET_malloc (sizeof (struct MeshRegexSearchInfo));
+  info->t = t;
+  info->description = GNUNET_malloc (len + 1);
+  memcpy (info->description, string, len);
+  info->description[len] = '\0';
+  info->dht_get_handles = GNUNET_CONTAINER_multihashmap_create(32);
+  info->dht_get_results = GNUNET_CONTAINER_multihashmap_create(32);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   string: %s\n", info->description);
+
+  ctx = GNUNET_malloc (sizeof (struct MeshRegexSearchContext));
+  ctx->position = size;
+  ctx->info = info;
+  t->regex_ctx = ctx;
+
+  GNUNET_array_append (info->contexts, info->n_contexts, ctx);
+
+  /* Start search in DHT */
+  get_h = GNUNET_DHT_get_start (dht_handle,    /* handle */
+                                GNUNET_BLOCK_TYPE_MESH_REGEX, /* type */
+                                &key,     /* key to search */
+                                dht_replication_level, /* replication level */
+                                GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,
+                                NULL,       /* xquery */ // FIXME BLOOMFILTER
+                                0,     /* xquery bits */ // FIXME BLOOMFILTER SIZE
+                                &dht_get_string_handler, ctx);
+
+  GNUNET_break (GNUNET_OK ==
+                GNUNET_CONTAINER_multihashmap_put(info->dht_get_handles,
+                                                  &key,
+                                                  get_h,
+                                                  GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST));
+
+  GNUNET_SERVER_receive_done (client, GNUNET_OK);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "connect by string processed\n");
+}
+
+
 /**
  * Handler for client traffic directed to one peer
  *
@@ -4071,7 +6766,7 @@ handle_local_unicast (void *cls, struct GNUNET_SERVER_Client *client,
   size_t size;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH: Got a unicast request from a client!\n");
+              "Got a unicast request from a client!\n");
 
   /* Sanity check for client registration */
   if (NULL == (c = client_get (client)))
@@ -4102,8 +6797,7 @@ handle_local_unicast (void *cls, struct GNUNET_SERVER_Client *client,
   }
 
   /*  Is it a local tunnel? Then, does client own the tunnel? */
-  if (NULL != t->client && NULL != t->client->handle &&
-      t->client->handle != client)
+  if (t->owner->handle != client)
   {
     GNUNET_break (0);
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
@@ -4120,22 +6814,35 @@ handle_local_unicast (void *cls, struct GNUNET_SERVER_Client *client,
     return;
   }
 
+  /* PID should be as expected */
+  if (ntohl (data_msg->pid) != t->fwd_pid + 1)
+  {
+    GNUNET_break (0);
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+              "Unicast PID, expected %u, got %u\n",
+              t->fwd_pid + 1, ntohl (data_msg->pid));
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
   /* Ok, everything is correct, send the message
    * (pretend we got it from a mesh peer)
    */
   {
-    char buf[ntohs (message->size)];
+    /* Work around const limitation */
+    char buf[ntohs (message->size)] GNUNET_ALIGN;
     struct GNUNET_MESH_Unicast *copy;
 
-    /* Work around const limitation */
     copy = (struct GNUNET_MESH_Unicast *) buf;
     memcpy (buf, data_msg, size);
     copy->oid = my_full_id;
     copy->tid = htonl (t->id.tid);
+    copy->ttl = htonl (default_ttl);
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "MESH:   calling generic handler...\n");
+                "  calling generic handler...\n");
     handle_mesh_data_unicast (NULL, &my_full_id, &copy->header, NULL, 0);
   }
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "receive done OK\n");
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
   return;
 }
@@ -4153,15 +6860,12 @@ handle_local_to_origin (void *cls, struct GNUNET_SERVER_Client *client,
                         const struct GNUNET_MessageHeader *message)
 {
   struct GNUNET_MESH_ToOrigin *data_msg;
-  struct GNUNET_PeerIdentity id;
+  struct MeshTunnelClientInfo *clinfo;
   struct MeshClient *c;
   struct MeshTunnel *t;
   MESH_TunnelNumber tid;
   size_t size;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH: Got a ToOrigin request from a client!\n");
-
   /* Sanity check for client registration */
   if (NULL == (c = client_get (client)))
   {
@@ -4182,6 +6886,8 @@ handle_local_to_origin (void *cls, struct GNUNET_SERVER_Client *client,
 
   /* Tunnel exists? */
   tid = ntohl (data_msg->tid);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "Got a ToOrigin request from a client! Tunnel %X\n", tid);
   if (tid < GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
   {
     GNUNET_break (0);
@@ -4196,30 +6902,43 @@ handle_local_to_origin (void *cls, struct GNUNET_SERVER_Client *client,
     return;
   }
 
-  /*  It shouldn't be a local tunnel.  */
-  if (NULL != t->client)
+  /*  It should be sent by someone who has this as incoming tunnel. */
+  if (GNUNET_NO == client_knows_tunnel (c, t))
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  /* PID should be as expected */
+  clinfo = tunnel_get_client_fc (t, c);
+  if (ntohl (data_msg->pid) != clinfo->bck_pid + 1)
   {
     GNUNET_break (0);
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                "To Origin PID, expected %u, got %u\n",
+                clinfo->bck_pid + 1, ntohl (data_msg->pid));
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
-  GNUNET_PEER_resolve (t->id.oid, &id);
 
   /* Ok, everything is correct, send the message
    * (pretend we got it from a mesh peer)
    */
   {
-    char buf[ntohs (message->size)];
+    char buf[ntohs (message->size)] GNUNET_ALIGN;
     struct GNUNET_MESH_ToOrigin *copy;
 
     /* Work around const limitation */
     copy = (struct GNUNET_MESH_ToOrigin *) buf;
     memcpy (buf, data_msg, size);
-    copy->oid = id;
+    GNUNET_PEER_resolve (t->id.oid, &copy->oid);
     copy->tid = htonl (t->id.tid);
+    copy->ttl = htonl (default_ttl);
+    GNUNET_assert (ntohl (copy->pid) == (t->bck_pid + 1));
     copy->sender = my_full_id;
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "MESH:   calling generic handler...\n");
+                "  calling generic handler...\n");
     handle_mesh_data_to_orig (NULL, &my_full_id, &copy->header, NULL, 0);
   }
   GNUNET_SERVER_receive_done (client, GNUNET_OK);
@@ -4244,7 +6963,7 @@ handle_local_multicast (void *cls, struct GNUNET_SERVER_Client *client,
   MESH_TunnelNumber tid;
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "MESH: Got a multicast request from a client!\n");
+              "Got a multicast request from a client!\n");
 
   /* Sanity check for client registration */
   if (NULL == (c = client_get (client)))
@@ -4274,25 +6993,36 @@ handle_local_multicast (void *cls, struct GNUNET_SERVER_Client *client,
   }
 
   /* Does client own tunnel? */
-  if (t->client->handle != client)
+  if (t->owner->handle != client)
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  /* PID should be as expected */
+  if (ntohl (data_msg->pid) != t->fwd_pid + 1)
   {
     GNUNET_break (0);
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+              "Multicast PID, expected %u, got %u\n",
+              t->fwd_pid + 1, ntohl (data_msg->pid));
     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
     return;
   }
 
   {
-    char buf[ntohs (message->size)];
+    char buf[ntohs (message->size)] GNUNET_ALIGN;
     struct GNUNET_MESH_Multicast *copy;
 
     copy = (struct GNUNET_MESH_Multicast *) buf;
     memcpy (buf, message, ntohs (message->size));
     copy->oid = my_full_id;
     copy->tid = htonl (t->id.tid);
-    copy->ttl = htonl (DEFAULT_TTL);
-    copy->mid = htonl (t->mid + 1);
+    copy->ttl = htonl (default_ttl);
+    GNUNET_assert (ntohl (copy->pid) == (t->fwd_pid + 1));
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "MESH:   calling generic handler...\n");
+                "  calling generic handler...\n");
     handle_mesh_data_multicast (client, &my_full_id, &copy->header, NULL, 0);
   }
 
@@ -4300,33 +7030,115 @@ handle_local_multicast (void *cls, struct GNUNET_SERVER_Client *client,
   return;
 }
 
+
+/**
+ * Handler for client's ACKs for payload traffic.
+ *
+ * @param cls Closure (unused).
+ * @param client Identification of the client.
+ * @param message The actual message.
+ */
+static void
+handle_local_ack (void *cls, struct GNUNET_SERVER_Client *client,
+                  const struct GNUNET_MessageHeader *message)
+{
+  struct GNUNET_MESH_LocalAck *msg;
+  struct MeshTunnel *t;
+  struct MeshClient *c;
+  MESH_TunnelNumber tid;
+
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got a local ACK\n");
+  /* Sanity check for client registration */
+  if (NULL == (c = client_get (client)))
+  {
+    GNUNET_break (0);
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  msg = (struct GNUNET_MESH_LocalAck *) message;
+  /* Tunnel exists? */
+  tid = ntohl (msg->tunnel_id);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %X\n", tid);
+  t = tunnel_get_by_local_id (c, tid);
+  if (NULL == t)
+  {
+    GNUNET_break (0); // FIXME fc
+    GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
+    return;
+  }
+
+  /* Does client own tunnel? I.E: Is this and ACK for BCK traffic? */
+  if (NULL != t->owner && t->owner->handle == client)
+  {
+    /* The client owns the tunnel, ACK is for data to_origin, send BCK ACK. */
+    t->bck_ack = ntohl(msg->max_pid);
+    tunnel_send_bck_ack(t, GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK);
+  }
+  else
+  {
+    /* The client doesn't own the tunnel, this ACK is for FWD traffic. */
+    tunnel_set_client_fwd_ack (t, c, ntohl (msg->max_pid));
+    tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK);
+  }
+
+  GNUNET_SERVER_receive_done (client, GNUNET_OK);
+  return;
+}
+
+
 /**
  * Functions to handle messages from clients
  */
 static struct GNUNET_SERVER_MessageHandler client_handlers[] = {
   {&handle_local_new_client, NULL,
    GNUNET_MESSAGE_TYPE_MESH_LOCAL_CONNECT, 0},
+  {&handle_local_announce_regex, NULL,
+   GNUNET_MESSAGE_TYPE_MESH_LOCAL_ANNOUNCE_REGEX, 0},
   {&handle_local_tunnel_create, NULL,
    GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE,
    sizeof (struct GNUNET_MESH_TunnelMessage)},
   {&handle_local_tunnel_destroy, NULL,
    GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY,
    sizeof (struct GNUNET_MESH_TunnelMessage)},
+  {&handle_local_tunnel_speed, NULL,
+   GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_MIN,
+   sizeof (struct GNUNET_MESH_TunnelMessage)},
+  {&handle_local_tunnel_speed, NULL,
+   GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_MAX,
+   sizeof (struct GNUNET_MESH_TunnelMessage)},
+  {&handle_local_tunnel_buffer, NULL,
+   GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_BUFFER,
+   sizeof (struct GNUNET_MESH_TunnelMessage)},
+  {&handle_local_tunnel_buffer, NULL,
+   GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_NOBUFFER,
+   sizeof (struct GNUNET_MESH_TunnelMessage)},
   {&handle_local_connect_add, NULL,
    GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD,
    sizeof (struct GNUNET_MESH_PeerControl)},
   {&handle_local_connect_del, NULL,
    GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DEL,
    sizeof (struct GNUNET_MESH_PeerControl)},
+  {&handle_local_blacklist, NULL,
+   GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_BLACKLIST,
+   sizeof (struct GNUNET_MESH_PeerControl)},
+  {&handle_local_unblacklist, NULL,
+   GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_UNBLACKLIST,
+   sizeof (struct GNUNET_MESH_PeerControl)},
   {&handle_local_connect_by_type, NULL,
    GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD_BY_TYPE,
    sizeof (struct GNUNET_MESH_ConnectPeerByType)},
+  {&handle_local_connect_by_string, NULL,
+   GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD_BY_STRING, 0},
   {&handle_local_unicast, NULL,
    GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
   {&handle_local_to_origin, NULL,
    GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
   {&handle_local_multicast, NULL,
    GNUNET_MESSAGE_TYPE_MESH_MULTICAST, 0},
+  {&handle_local_ack, NULL,
+   GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK,
+   sizeof (struct GNUNET_MESH_LocalAck)},
   {NULL, NULL, 0, 0}
 };
 
@@ -4342,17 +7154,21 @@ static void
 core_init (void *cls, struct GNUNET_CORE_Handle *server,
            const struct GNUNET_PeerIdentity *identity)
 {
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Core init\n");
+  static int i = 0;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Core init\n");
   core_handle = server;
   if (0 != memcmp (identity, &my_full_id, sizeof (my_full_id)) ||
       NULL == server)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_ERROR, _("MESH: Wrong CORE service\n"));
-    GNUNET_SCHEDULER_shutdown ();
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR, _("Wrong CORE service\n"));
+    GNUNET_SCHEDULER_shutdown (); // Try gracefully
+    if (10 < i++)
+      GNUNET_abort(); // Try harder
   }
   return;
 }
 
+
 /**
  * Method called whenever a given peer connects.
  *
@@ -4369,34 +7185,29 @@ core_connect (void *cls, const struct GNUNET_PeerIdentity *peer,
   struct MeshPeerInfo *peer_info;
   struct MeshPeerPath *path;
 
-#if MESH_DEBUG_CONNECTION
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Peer connected\n");
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      %s\n",
-              GNUNET_i2s (&my_full_id));
-#endif
+  DEBUG_CONN ("Peer connected\n");
+  DEBUG_CONN ("     %s\n", GNUNET_i2s (&my_full_id));
   peer_info = peer_info_get (peer);
   if (myid == peer_info->id)
   {
-#if MESH_DEBUG_CONNECTION
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      (self)\n");
-#endif
+    DEBUG_CONN ("     (self)\n");
     return;
   }
-#if MESH_DEBUG_CONNECTION
   else
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      %s\n", GNUNET_i2s (peer));
+    DEBUG_CONN ("     %s\n", GNUNET_i2s (peer));
   }
-#endif
   path = path_new (2);
   path->peers[0] = myid;
   path->peers[1] = peer_info->id;
   GNUNET_PEER_change_rc (myid, 1);
   GNUNET_PEER_change_rc (peer_info->id, 1);
   peer_info_add_path (peer_info, path, GNUNET_YES);
+  GNUNET_STATISTICS_update (stats, "# peers", 1, GNUNET_NO);
   return;
 }
 
+
 /**
  * Method called whenever a peer disconnects.
  *
@@ -4407,29 +7218,33 @@ static void
 core_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
 {
   struct MeshPeerInfo *pi;
-  unsigned int i;
+  struct MeshPeerQueue *q;
+  struct MeshPeerQueue *n;
 
-#if MESH_DEBUG_CONNECTION
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Peer disconnected\n");
-#endif
+  DEBUG_CONN ("Peer disconnected\n");
   pi = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
   if (NULL == pi)
   {
     GNUNET_break (0);
     return;
   }
-  for (i = 0; i < CORE_QUEUE_SIZE; i++)
+  q = pi->queue_head;
+  while (NULL != q)
   {
-    /* TODO: notify that the transmission failed */
-    peer_info_cancel_transmission (pi, i);
+      n = q->next;
+      if (q->peer == pi)
+      {
+        /* try to reroute this traffic instead */
+        queue_destroy(q, GNUNET_YES);
+      }
+      q = n;
   }
   peer_info_remove_path (pi, pi->id, myid);
-#if MESH_DEBUG_CONNECTION
   if (myid == pi->id)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      (self)\n");
+    DEBUG_CONN ("     (self)\n");
   }
-#endif
+  GNUNET_STATISTICS_update (stats, "# peers", -1, GNUNET_NO);
   return;
 }
 
@@ -4448,7 +7263,7 @@ core_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
  *         GNUNET_NO if not.
  */
 static int
-shutdown_tunnel (void *cls, const GNUNET_HashCode * key, void *value)
+shutdown_tunnel (void *cls, const struct GNUNET_HashCode * key, void *value)
 {
   struct MeshTunnel *t = value;
 
@@ -4466,10 +7281,22 @@ shutdown_tunnel (void *cls, const GNUNET_HashCode * key, void *value)
  *         GNUNET_NO if not.
  */
 static int
-shutdown_peer (void *cls, const GNUNET_HashCode * key, void *value)
+shutdown_peer (void *cls, const struct GNUNET_HashCode * key, void *value)
 {
   struct MeshPeerInfo *p = value;
+  struct MeshPeerQueue *q;
+  struct MeshPeerQueue *n;
 
+  q = p->queue_head;
+  while (NULL != q)
+  {
+      n = q->next;
+      if (q->peer == p)
+      {
+        queue_destroy(q, GNUNET_YES);
+      }
+      q = n;
+  }
   peer_info_destroy (p);
   return GNUNET_YES;
 }
@@ -4483,7 +7310,7 @@ shutdown_peer (void *cls, const GNUNET_HashCode * key, void *value)
 static void
 shutdown_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: shutting down\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "shutting down\n");
 
   if (core_handle != NULL)
   {
@@ -4507,7 +7334,7 @@ shutdown_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
     GNUNET_SCHEDULER_cancel (announce_id_task);
     announce_id_task = GNUNET_SCHEDULER_NO_TASK;
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: shut down\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "shut down\n");
 }
 
 /**
@@ -4525,10 +7352,9 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
   struct MeshPeerPath *p;
   char *keyfile;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: starting to run\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "starting to run\n");
   server_handle = server;
   core_handle = GNUNET_CORE_connect (c, /* Main configuration */
-                                     CORE_QUEUE_SIZE,   /* queue size */
                                      NULL,      /* Closure passed to MESH functions */
                                      &core_init,        /* Call core_init once connected */
                                      &core_connect,     /* Handle connects */
@@ -4552,10 +7378,119 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
   {
     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
                 _
-                ("Mesh service is lacking key configuration settings.  Exiting.\n"));
+                ("Mesh service is lacking key configuration settings (%s).  Exiting.\n"),
+                "hostkey");
+    GNUNET_SCHEDULER_shutdown ();
+    return;
+  }
+
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_time (c, "MESH", "REFRESH_PATH_TIME",
+                                           &refresh_path_time))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _
+                ("Mesh service is lacking key configuration settings (%s).  Exiting.\n"),
+                "refresh path time");
+    GNUNET_SCHEDULER_shutdown ();
+    return;
+  }
+
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_time (c, "MESH", "APP_ANNOUNCE_TIME",
+                                           &app_announce_time))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _
+                ("Mesh service is lacking key configuration settings (%s).  Exiting.\n"),
+                "app announce time");
+    GNUNET_SCHEDULER_shutdown ();
+    return;
+  }
+
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_time (c, "MESH", "ID_ANNOUNCE_TIME",
+                                           &id_announce_time))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _
+                ("Mesh service is lacking key configuration settings (%s).  Exiting.\n"),
+                "id announce time");
+    GNUNET_SCHEDULER_shutdown ();
+    return;
+  }
+
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_time (c, "MESH", "UNACKNOWLEDGED_WAIT",
+                                           &unacknowledged_wait_time))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _
+                ("Mesh service is lacking key configuration settings (%s).  Exiting.\n"),
+                "unacknowledged wait time");
+    GNUNET_SCHEDULER_shutdown ();
+    return;
+  }
+
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_time (c, "MESH", "CONNECT_TIMEOUT",
+                                           &connect_timeout))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _
+                ("Mesh service is lacking key configuration settings (%s).  Exiting.\n"),
+                "connect timeout");
+    GNUNET_SCHEDULER_shutdown ();
+    return;
+  }
+
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_MSGS_QUEUE",
+                                             &max_msgs_queue))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _
+                ("Mesh service is lacking key configuration settings (%s).  Exiting.\n"),
+                "max msgs queue");
+    GNUNET_SCHEDULER_shutdown ();
+    return;
+  }
+
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_TUNNELS",
+                                             &max_tunnels))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _
+                ("Mesh service is lacking key configuration settings (%s).  Exiting.\n"),
+                "max tunnels");
     GNUNET_SCHEDULER_shutdown ();
     return;
   }
+
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_number (c, "MESH", "DEFAULT_TTL",
+                                             &default_ttl))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                _
+                ("Mesh service is lacking key configuration settings (%s). Using default (%u).\n"),
+                "default ttl", 64);
+    default_ttl = 64;
+  }
+
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_number (c, "MESH", "DHT_REPLICATION_LEVEL",
+                                             &dht_replication_level))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                _
+                ("Mesh service is lacking key configuration settings (%s). Using default (%u).\n"),
+                "dht replication level", 10);
+    dht_replication_level = 10;
+  }
+
+  
   my_private_key = GNUNET_CRYPTO_rsa_key_create_from_file (keyfile);
   GNUNET_free (keyfile);
   if (my_private_key == NULL)
@@ -4570,12 +7505,12 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
                       &my_full_id.hashPubKey);
   myid = GNUNET_PEER_intern (&my_full_id);
 
-// //   transport_handle = GNUNET_TRANSPORT_connect(c,
-// //                                               &my_full_id,
-// //                                               NULL,
-// //                                               NULL,
-// //                                               NULL,
-// //                                               NULL);
+//   transport_handle = GNUNET_TRANSPORT_connect(c,
+//                                               &my_full_id,
+//                                               NULL,
+//                                               NULL,
+//                                               NULL,
+//                                               NULL);
 
   dht_handle = GNUNET_DHT_connect (c, 64);
   if (dht_handle == NULL)
@@ -4583,6 +7518,9 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
     GNUNET_break (0);
   }
 
+  stats = GNUNET_STATISTICS_create ("mesh", c);
+
+
   next_tid = 0;
   next_local_tid = GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
 
@@ -4593,17 +7531,14 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
   types = GNUNET_CONTAINER_multihashmap_create (32);
 
   GNUNET_SERVER_add_handlers (server_handle, client_handlers);
-  nc = GNUNET_SERVER_notification_context_create (server_handle,
-                                                  LOCAL_QUEUE_SIZE);
+  nc = GNUNET_SERVER_notification_context_create (server_handle, 1);
   GNUNET_SERVER_disconnect_notify (server_handle,
                                    &handle_local_client_disconnect, NULL);
 
 
   clients = NULL;
   clients_tail = NULL;
-#if MESH_DEBUG
   next_client_id = 0;
-#endif
 
   announce_applications_task = GNUNET_SCHEDULER_NO_TASK;
   announce_id_task = GNUNET_SCHEDULER_add_now (&announce_id, cls);
@@ -4619,7 +7554,7 @@ run (void *cls, struct GNUNET_SERVER_Handle *server,
   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL, &shutdown_task,
                                 NULL);
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: end of run()\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "end of run()\n");
 }
 
 /**
@@ -4634,12 +7569,12 @@ main (int argc, char *const *argv)
 {
   int ret;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: main()\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "main()\n");
   ret =
       (GNUNET_OK ==
        GNUNET_SERVICE_run (argc, argv, "mesh", GNUNET_SERVICE_OPTION_NONE, &run,
                            NULL)) ? 0 : 1;
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: main() END\n");
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "main() END\n");
 
   return ret;
 }