Added transition code for new MESH API
[oweals/gnunet.git] / src / mesh / mesh_api_new.c
index 74357e44abfb94aebc09dcac72a693aed794e28a..1d25868255317b70bd62aaed6b53888d980b380a 100644 (file)
@@ -1,17 +1,14 @@
 /*
      This file is part of GNUnet.
      (C) 2011 Christian Grothoff (and other contributing authors)
-
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
      by the Free Software Foundation; either version 3, or (at your
      option) any later version.
-
      GNUnet is distributed in the hope that it will be useful, but
      WITHOUT ANY WARRANTY; without even the implied warranty of
      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
      General Public License for more details.
-
      You should have received a copy of the GNU General Public License
      along with GNUnet; see the file COPYING.  If not, write to the
      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
@@ -31,9 +28,7 @@
  * - SEND FUNCTIONS
  * - API CALL DEFINITIONS
  */
-
 #ifdef __cplusplus
-
 extern "C"
 {
 #if 0                           /* keep Emacsens' auto-indent happy */
@@ -41,7 +36,6 @@ extern "C"
 #endif
 #endif
 
-
 #include "platform.h"
 #include "gnunet_common.h"
 #include "gnunet_client_lib.h"
@@ -51,7 +45,9 @@ extern "C"
 #include "mesh.h"
 #include "mesh_protocol.h"
 
-#define MESH_API_MAX_QUEUE 10
+#define MESH_API_DEBUG GNUNET_YES
+
+#define LOG(kind,...) GNUNET_log_from (kind, "mesh-api",__VA_ARGS__)
 
 /******************************************************************************/
 /************************      DATA STRUCTURES     ****************************/
@@ -60,24 +56,66 @@ extern "C"
 /**
  * Transmission queue to the service
  */
-struct GNUNET_MESH_queue
+struct GNUNET_MESH_TransmitHandle
 {
+
     /**
      * Double Linked list
      */
-  struct GNUNET_MESH_queue *next;
-  struct GNUNET_MESH_queue *prev;
+  struct GNUNET_MESH_TransmitHandle *next;
 
     /**
-     * Data itself
+     * Double Linked list
      */
-  void *data;
+  struct GNUNET_MESH_TransmitHandle *prev;
 
     /**
-     * Size of the data to follow
+     * Tunnel this message is sent over (may be NULL for control messages).
      */
-  uint16_t size;
+  struct GNUNET_MESH_Tunnel *tunnel;
+
+    /**
+     * Callback to obtain the message to transmit, or NULL if we
+     * got the message in 'data'.  Notice that messages built
+     * by 'notify' need to be encapsulated with information about
+     * the 'target'.
+     */
+  GNUNET_CONNECTION_TransmitReadyNotify notify;
 
+    /**
+     * Closure for 'notify'
+     */
+  void *notify_cls;
+
+    /**
+     * How long is this message valid.  Once the timeout has been
+     * reached, the message must no longer be sent.  If this
+     * is a message with a 'notify' callback set, the 'notify'
+     * function should be called with 'buf' NULL and size 0.
+     */
+  struct GNUNET_TIME_Absolute timeout;
+
+    /**
+     * Task triggering a timeout, can be NO_TASK if the timeout is FOREVER.
+     */
+  GNUNET_SCHEDULER_TaskIdentifier timeout_task;
+
+    /**
+     * Priority of the message.  The queue is sorted by priority,
+     * control messages have the maximum priority (UINT32_MAX).
+     */
+  uint32_t priority;
+
+    /**
+     * Target of the message, 0 for multicast.  This field
+     * is only valid if 'notify' is non-NULL.
+     */
+  GNUNET_PEER_Id target;
+
+    /**
+     * Size of 'data' -- or the desired size of 'notify' if 'data' is NULL.
+     */
+  size_t size;
 };
 
 
@@ -86,6 +124,7 @@ struct GNUNET_MESH_queue
  */
 struct GNUNET_MESH_Handle
 {
+
     /**
      * Handle to the server connection, to send messages later
      */
@@ -102,7 +141,7 @@ struct GNUNET_MESH_Handle
      * registered independently and the mapping is up to the developer of the
      * client application.
      */
-  const GNUNET_MESH_ApplicationType *applications; 
+  const GNUNET_MESH_ApplicationType *applications;
 
     /**
      * Double linked list of the tunnels this client is connected to.
@@ -111,7 +150,12 @@ struct GNUNET_MESH_Handle
   struct GNUNET_MESH_Tunnel *tunnels_tail;
 
     /**
-     * Callback for tunnel disconnection
+     * Callback for inbound tunnel creation
+     */
+  GNUNET_MESH_InboundTunnelNotificationHandler *new_tunnel;
+
+    /**
+     * Callback for inbound tunnel disconnection
      */
   GNUNET_MESH_TunnelEndHandler *cleaner;
 
@@ -128,25 +172,63 @@ struct GNUNET_MESH_Handle
     /**
      * Messages to send to the service
      */
-  struct GNUNET_MESH_queue *queue_head;
-  struct GNUNET_MESH_queue *queue_tail;
+  struct GNUNET_MESH_TransmitHandle *th_head;
+  struct GNUNET_MESH_TransmitHandle *th_tail;
 
     /**
      * tid of the next tunnel to create (to avoid reusing IDs often)
      */
   MESH_TunnelNumber next_tid;
-
   unsigned int n_handlers;
-
   unsigned int n_applications;
+  unsigned int max_queue_size;
+
+    /**
+     * Have we started the task to receive messages from the service
+     * yet? We do this after we send the 'MESH_LOCAL_CONNECT' message.
+     */
+  int in_receive;
+
+    /**
+     * Number of packets queued
+     */
+  unsigned int npackets;
 
   /**
-   * Have we started the task to receive messages from the service
-   * yet? We do this after we send the 'MESH_LOCAL_CONNECT' message.
+   * Configuration given by the client, in case of reconnection
    */
-  int in_receive;
+  const struct GNUNET_CONFIGURATION_Handle *cfg;
+
+  /**
+   * Time to the next reconnect in case one reconnect fails
+   */
+  struct GNUNET_TIME_Relative reconnect_time;
+};
+
+
+/**
+ * Description of a peer
+ */
+struct GNUNET_MESH_Peer
+{
+    /**
+     * ID of the peer in short form
+     */
+  GNUNET_PEER_Id id;
+
+  /**
+   * Tunnel this peer belongs to
+   */
+  struct GNUNET_MESH_Tunnel *t;
+
+  /**
+   * Flag indicating whether service has informed about its connection
+   */
+  int connected;
+
 };
 
+
 /**
  * Opaque handle to a tunnel.
  */
@@ -162,17 +244,12 @@ struct GNUNET_MESH_Tunnel
     /**
      * Callback to execute when peers connect to the tunnel
      */
-  GNUNET_MESH_TunnelConnectHandler connect_handler;
+  GNUNET_MESH_PeerConnectHandler connect_handler;
 
     /**
-     * Callback to execute when peers disconnect to the tunnel
+     * Callback to execute when peers disconnect from the tunnel
      */
-  GNUNET_MESH_TunnelDisconnectHandler disconnect_handler;
-
-    /**
-     * All peers added to the tunnel
-     */
-  GNUNET_PEER_Id *peers;
+  GNUNET_MESH_PeerDisconnectHandler disconnect_handler;
 
     /**
      * Closure for the connect/disconnect handlers
@@ -195,17 +272,38 @@ struct GNUNET_MESH_Tunnel
   GNUNET_PEER_Id owner;
 
     /**
-     * Number of peer added to the tunnel
+     * All peers added to the tunnel
+     */
+  struct GNUNET_MESH_Peer **peers;
+
+  /**
+   * List of application types that have been requested for this tunnel
+   */
+  GNUNET_MESH_ApplicationType *apps;
+
+  /**
+   * Any data the caller wants to put in here
+   */
+  void *ctx;
+
+  /**
+     * Number of peers added to the tunnel
      */
   unsigned int npeers;
-};
 
-struct GNUNET_MESH_TransmitHandle
-{
-  struct GNUNET_MESH_Tunnel *t;
-  struct GNUNET_MESH_queue *q;
+    /**
+     * Number of packets queued in this tunnel
+     */
+  unsigned int npackets;
+
+    /**
+     * Number of applications requested this tunnel
+     */
+  unsigned int napps;
+
 };
 
+
 /******************************************************************************/
 /***********************     AUXILIARY FUNCTIONS      *************************/
 /******************************************************************************/
@@ -231,20 +329,416 @@ retrieve_tunnel (struct GNUNET_MESH_Handle *h, MESH_TunnelNumber tid)
   return NULL;
 }
 
+
+/**
+ * Create a new tunnel and insert it in the tunnel list of the mesh handle
+ * @param h Mesh handle
+ * @param tid desired tid of the tunnel, 0 to assign one automatically
+ * @return handle to the created tunnel
+ */
+static struct GNUNET_MESH_Tunnel *
+create_tunnel (struct GNUNET_MESH_Handle *h, MESH_TunnelNumber tid)
+{
+  struct GNUNET_MESH_Tunnel *t;
+
+  t = GNUNET_malloc (sizeof (struct GNUNET_MESH_Tunnel));
+  GNUNET_CONTAINER_DLL_insert (h->tunnels_head, h->tunnels_tail, t);
+  t->mesh = h;
+  if (0 == tid)
+  {
+    t->tid = h->next_tid;
+    while (NULL != retrieve_tunnel (h, h->next_tid))
+    {
+      h->next_tid++;
+      h->next_tid &= ~GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
+      h->next_tid |= GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
+    }
+  }
+  else
+  {
+    t->tid = tid;
+  }
+  return t;
+}
+
+
+/**
+ * Destroy the specified tunnel.
+ * - Destroys all peers, calling the disconnect callback on each if needed
+ * - Cancels all outgoing traffic for that tunnel, calling respective notifys
+ * - Calls cleaner if tunnel was inbound
+ * - Frees all memory used
+ * @param tid ID of the wanted tunnel
+ * @return handle to the required tunnel or NULL if not found
+ */
+static void
+destroy_tunnel (struct GNUNET_MESH_Tunnel *t)
+{
+  struct GNUNET_MESH_Handle *h;
+  struct GNUNET_PeerIdentity pi;
+  struct GNUNET_MESH_TransmitHandle *th;
+  struct GNUNET_MESH_TransmitHandle *aux;
+  unsigned int i;
+
+  if (NULL == t)
+  {
+    GNUNET_break (0);
+    return;
+  }
+  h = t->mesh;
+  th = h->th_head;
+  while (NULL != th)
+  {
+    if (th->tunnel == t)
+    {
+      aux = th->next;
+      GNUNET_CONTAINER_DLL_remove (h->th_head, h->th_tail, th);
+      if (NULL == h->th_head && NULL != h->th)
+      {
+        GNUNET_CLIENT_notify_transmit_ready_cancel (h->th);
+        h->th = NULL;
+      }
+      if (NULL != th->notify)
+        th->notify (th->notify_cls, 0, NULL);
+      if (GNUNET_SCHEDULER_NO_TASK != th->timeout_task)
+        GNUNET_SCHEDULER_cancel (th->timeout_task);
+      GNUNET_free (th);
+      th = aux;
+    }
+    else
+    {
+      th = th->next;
+    }
+  }
+  GNUNET_CONTAINER_DLL_remove (h->tunnels_head, h->tunnels_tail, t);
+  for (i = 0; i < t->npeers; i++)
+  {
+    if (NULL != t->disconnect_handler && t->peers[i]->connected)
+    {
+      GNUNET_PEER_resolve (t->peers[i]->id, &pi);
+      t->disconnect_handler (t->cls, &pi);
+    }
+    GNUNET_PEER_change_rc (t->peers[i]->id, -1);
+    GNUNET_free (t->peers[i]);
+  }
+  if (t->npeers > 0)
+    GNUNET_free (t->peers);
+  if (NULL != h->cleaner && 0 != t->owner)
+    h->cleaner (h->cls, t, t->ctx);
+  if (0 != t->owner)
+    GNUNET_PEER_change_rc (t->owner, -1);
+  if (0 != t->napps && t->apps)
+    GNUNET_free (t->apps);
+  GNUNET_free (t);
+  return;
+}
+
+
+/**
+ * Get the peer descriptor for the peer with id from the given tunnel
+ * @param t Tunnel handle
+ * @param id Short form ID of the wanted peer
+ * @return handle to the requested peer or NULL if not found
+ */
+static struct GNUNET_MESH_Peer *
+retrieve_peer (struct GNUNET_MESH_Tunnel *t, GNUNET_PEER_Id id)
+{
+  unsigned int i;
+
+  for (i = 0; i < t->npeers; i++)
+    if (t->peers[i]->id == id)
+      return t->peers[i];
+  return NULL;
+}
+
+
+/**
+ * Add a peer into a tunnel
+ * @param t Tunnel handle
+ * @param pi Full ID of the new peer
+ * @return handle to the newly created peer
+ */
+static struct GNUNET_MESH_Peer *
+add_peer_to_tunnel (struct GNUNET_MESH_Tunnel *t,
+                    const struct GNUNET_PeerIdentity *pi)
+{
+  struct GNUNET_MESH_Peer *p;
+  GNUNET_PEER_Id id;
+
+  if (0 != t->owner)
+  {
+    GNUNET_break (0);
+    return NULL;
+  }
+  id = GNUNET_PEER_intern (pi);
+
+  p = GNUNET_malloc (sizeof (struct GNUNET_MESH_Peer));
+  p->id = id;
+  p->t = t;
+  GNUNET_array_append (t->peers, t->npeers, p);
+  return p;
+}
+
+
 /**
- * Get the length of the transmission queue
- * @param h mesh handle whose queue is to be measured
+ * Remove a peer from a tunnel
+ * @param p Peer handle
  */
-static uint32_t
-get_queue_length (struct GNUNET_MESH_Handle *h)
+static void
+remove_peer_from_tunnel (struct GNUNET_MESH_Peer *p)
 {
-  struct GNUNET_MESH_queue *q;
-  uint32_t i;
+  unsigned int i;
 
-  /* count */
-  for (q = h->queue_head, i = 0; NULL != q; q = q->next, i++) ;
+  for (i = 0; i < p->t->npeers; i++)
+  {
+    if (p->t->peers[i] == p)
+      break;
+  }
+  if (i == p->t->npeers)
+  {
+    GNUNET_break (0);
+    return;
+  }
+  p->t->peers[i] = p->t->peers[p->t->npeers - 1];
+  GNUNET_array_grow (p->t->peers, p->t->npeers, p->t->npeers - 1);
+}
 
-  return i;
+
+/**
+ * Notify client that the transmission has timed out
+ * @param cls closure
+ * @param tc task context
+ */
+static void
+timeout_transmission (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct GNUNET_MESH_TransmitHandle *th = cls;
+  struct GNUNET_MESH_Handle *mesh;
+
+  mesh = th->tunnel->mesh;
+  GNUNET_CONTAINER_DLL_remove (mesh->th_head, mesh->th_tail, th);
+  if (th->notify != NULL)
+    th->notify (th->notify_cls, 0, NULL);
+  GNUNET_free (th);
+  if ((NULL == mesh->th_head) && (NULL != mesh->th))
+  {
+    /* queue empty, no point in asking for transmission */
+    GNUNET_CLIENT_notify_transmit_ready_cancel (mesh->th);
+    mesh->th = NULL;
+  }
+}
+
+
+/**
+ * Add a transmit handle to the transmission queue by priority and set the
+ * timeout if needed.
+ *
+ * @param h mesh handle with the queue head and tail
+ * @param th handle to the packet to be transmitted
+ */
+static void
+add_to_queue (struct GNUNET_MESH_Handle *h,
+              struct GNUNET_MESH_TransmitHandle *th)
+{
+  struct GNUNET_MESH_TransmitHandle *p;
+
+  p = h->th_head;
+  while ((NULL != p) && (th->priority <= p->priority))
+    p = p->next;
+  if (NULL == p)
+    p = h->th_tail;
+  else
+    p = p->prev;
+  GNUNET_CONTAINER_DLL_insert_after (h->th_head, h->th_tail, p, th);
+  if (GNUNET_TIME_UNIT_FOREVER_ABS.abs_value == th->timeout.abs_value)
+    return;
+  th->timeout_task =
+      GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_absolute_get_remaining
+                                    (th->timeout), &timeout_transmission, th);
+}
+
+
+/**
+ * Auxiliary function to send an already constructed packet to the service.
+ * Takes care of creating a new queue element, copying the message and
+ * calling the tmt_rdy function if necessary.
+ * @param h mesh handle
+ * @param msg message to transmit
+ */
+static void
+send_packet (struct GNUNET_MESH_Handle *h,
+             const struct GNUNET_MessageHeader *msg);
+
+
+/**
+ * Reconnect callback: tries to reconnect again after a failer previous
+ * reconnecttion
+ * @param cls closure (mesh handle)
+ * @param tc task context
+ */
+static void
+reconnect_cbk (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
+
+
+/**
+ * Send a connect packet to the service with the applications and types
+ * requested by the user.
+ *
+ * @param h The mesh handle.
+ *
+ */
+static void
+send_connect (struct GNUNET_MESH_Handle *h)
+{
+  size_t size;
+
+  size = sizeof (struct GNUNET_MESH_ClientConnect);
+  size += h->n_applications * sizeof (GNUNET_MESH_ApplicationType);
+  size += h->n_handlers * sizeof (uint16_t);
+  {
+    char buf[size];
+    struct GNUNET_MESH_ClientConnect *msg;
+    GNUNET_MESH_ApplicationType *apps;
+    uint16_t napps;
+    uint16_t *types;
+    uint16_t ntypes;
+
+    /* build connection packet */
+    msg = (struct GNUNET_MESH_ClientConnect *) buf;
+    msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_CONNECT);
+    msg->header.size = htons (size);
+    apps = (GNUNET_MESH_ApplicationType *) &msg[1];
+    for (napps = 0; napps < h->n_applications; napps++)
+    {
+      apps[napps] = htonl (h->applications[napps]);
+      LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh:  app %u\n", h->applications[napps]);
+    }
+    types = (uint16_t *) & apps[napps];
+    for (ntypes = 0; ntypes < h->n_handlers; ntypes++)
+      types[ntypes] = htons (h->message_handlers[ntypes].type);
+    msg->applications = htons (napps);
+    msg->types = htons (ntypes);
+#if MESH_API_DEBUG
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
+         "mesh: Sending %lu bytes long message %d types and %d apps\n",
+         ntohs (msg->header.size), ntypes, napps);
+#endif
+    send_packet (h, &msg->header);
+  }
+}
+
+
+/**
+ * Reconnect to the service, retransmit all infomation to try to restore the
+ * original state.
+ *
+ * @param h handle to the mesh
+ *
+ * @return GNUNET_YES in case of sucess, GNUNET_NO otherwise (service down...)
+ */
+static int
+reconnect (struct GNUNET_MESH_Handle *h)
+{
+  struct GNUNET_MESH_Tunnel *t;
+  unsigned int i;
+
+#if MESH_API_DEBUG
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: *****************************\n");
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: *******   RECONNECT   *******\n");
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: *****************************\n");
+#endif
+  h->in_receive = GNUNET_NO;
+  /* disconnect */
+  if (NULL != h->th)
+  {
+    GNUNET_CLIENT_notify_transmit_ready_cancel (h->th);
+  }
+  if (NULL != h->client)
+  {
+    GNUNET_CLIENT_disconnect (h->client, GNUNET_NO);
+  }
+
+  /* connect again */
+  h->client = GNUNET_CLIENT_connect ("mesh", h->cfg);
+  if (h->client == NULL)
+  {
+    GNUNET_SCHEDULER_add_delayed (h->reconnect_time, &reconnect_cbk, h);
+    h->reconnect_time =
+        GNUNET_TIME_relative_min (GNUNET_TIME_UNIT_HOURS,
+                                  GNUNET_TIME_relative_multiply
+                                  (h->reconnect_time, 2));
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh:   Next retry in %sms\n",
+         GNUNET_TIME_relative_to_string (h->reconnect_time));
+    GNUNET_break (0);
+    return GNUNET_NO;
+  }
+  else
+  {
+    h->reconnect_time = GNUNET_TIME_UNIT_MILLISECONDS;
+  }
+  send_connect (h);
+  /* Rebuild all tunnels */
+  for (t = h->tunnels_head; NULL != t; t = t->next)
+  {
+    struct GNUNET_MESH_TunnelMessage tmsg;
+    struct GNUNET_MESH_PeerControl pmsg;
+
+    if (t->tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
+    {
+      /* Tunnel was created by service (incoming tunnel) */
+      /* TODO: Notify service of missing tunnel, to request
+       * creator to recreate path (find a path to him via DHT?)
+       */
+      continue;
+    }
+    tmsg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
+    tmsg.header.size = htons (sizeof (struct GNUNET_MESH_TunnelMessage));
+    tmsg.tunnel_id = htonl (t->tid);
+    send_packet (h, &tmsg.header);
+
+    pmsg.header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
+    pmsg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD);
+    pmsg.tunnel_id = htonl (t->tid);
+
+    /* Reconnect all peers */
+    for (i = 0; i < t->npeers; i++)
+    {
+      GNUNET_PEER_resolve (t->peers[i]->id, &pmsg.peer);
+      if (NULL != t->disconnect_handler && t->peers[i]->connected)
+        t->disconnect_handler (t->cls, &pmsg.peer);
+      /* If the tunnel was "by type", dont connect individual peers */
+      if (0 == t->napps)
+        send_packet (t->mesh, &pmsg.header);
+    }
+    /* Reconnect all types, if any  */
+    for (i = 0; i < t->napps; i++)
+    {
+      struct GNUNET_MESH_ConnectPeerByType msg;
+
+      msg.header.size = htons (sizeof (struct GNUNET_MESH_ConnectPeerByType));
+      msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD_BY_TYPE);
+      msg.tunnel_id = htonl (t->tid);
+      msg.type = htonl (t->apps[i]);
+      send_packet (t->mesh, &msg.header);
+    }
+  }
+  return GNUNET_YES;
+}
+
+/**
+ * Reconnect callback: tries to reconnect again after a failer previous
+ * reconnecttion
+ * @param cls closure (mesh handle)
+ * @param tc task context
+ */
+static void
+reconnect_cbk (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct GNUNET_MESH_Handle *h = cls;
+
+  if (tc->reason == GNUNET_SCHEDULER_REASON_SHUTDOWN)
+    return;
+  reconnect (h);
 }
 
 
@@ -259,26 +753,65 @@ get_queue_length (struct GNUNET_MESH_Handle *h)
  * @param msg   A message with the details of the new incoming tunnel
  */
 static void
-process_tunnel_create (struct GNUNET_MESH_Handle *h,
-                       const struct GNUNET_MESH_TunnelMessage *msg)
+process_tunnel_created (struct GNUNET_MESH_Handle *h,
+                        const struct GNUNET_MESH_TunnelNotification *msg)
 {
   struct GNUNET_MESH_Tunnel *t;
+  struct GNUNET_ATS_Information atsi;
   MESH_TunnelNumber tid;
 
   tid = ntohl (msg->tunnel_id);
-  if (tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_MARK)
+  if (tid < GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "MESH: received an incoming tunnel with tid in local range (%X)\n",
-                tid);
-    GNUNET_break_op (0);
-    return;                     //FIXME abort? reconnect?
+    GNUNET_break (0);
+    return;
   }
-  t = GNUNET_malloc (sizeof (struct GNUNET_MESH_Tunnel));
-  t->cls = h->cls;
+  t = create_tunnel (h, tid);
+  t->owner = GNUNET_PEER_intern (&msg->peer);
+  t->npeers = 1;
+  t->peers = GNUNET_malloc (sizeof (struct GNUNET_MESH_Peer *));
+  t->peers[0] = GNUNET_malloc (sizeof (struct GNUNET_MESH_Peer));
+  t->peers[0]->t = t;
+  t->peers[0]->connected = 1;
+  t->peers[0]->id = t->owner;
   t->mesh = h;
   t->tid = tid;
+  if (NULL != h->new_tunnel)
+  {
+    atsi.type = 0;
+    atsi.value = 0;
+    t->ctx = h->new_tunnel (h->cls, t, &msg->peer, &atsi);
+  }
+  return;
+}
 
+
+/**
+ * Process the tunnel destroy notification and free associated resources
+ *
+ * @param h     The mesh handle
+ * @param msg   A message with the details of the tunnel being destroyed
+ */
+static void
+process_tunnel_destroy (struct GNUNET_MESH_Handle *h,
+                        const struct GNUNET_MESH_TunnelMessage *msg)
+{
+  struct GNUNET_MESH_Tunnel *t;
+  MESH_TunnelNumber tid;
+
+  tid = ntohl (msg->tunnel_id);
+  t = retrieve_tunnel (h, tid);
+
+  if (NULL == t)
+  {
+    return;
+  }
+  if (0 == t->owner)
+  {
+    GNUNET_break (0);
+  }
+
+  destroy_tunnel (t);
   return;
 }
 
@@ -294,42 +827,57 @@ process_peer_event (struct GNUNET_MESH_Handle *h,
                     const struct GNUNET_MESH_PeerControl *msg)
 {
   struct GNUNET_MESH_Tunnel *t;
+  struct GNUNET_MESH_Peer *p;
+  struct GNUNET_ATS_Information atsi;
+  GNUNET_PEER_Id id;
   uint16_t size;
 
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: processig peer event\n");
   size = ntohs (msg->header.size);
   if (size != sizeof (struct GNUNET_MESH_PeerControl))
   {
-    GNUNET_break_op (0);
+    GNUNET_break (0);
     return;
   }
   t = retrieve_tunnel (h, ntohl (msg->tunnel_id));
   if (NULL == t)
   {
-    GNUNET_break_op (0);
+    GNUNET_break (0);
     return;
   }
-  if (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_CONNECTED == msg->header.type)
+  id = GNUNET_PEER_search (&msg->peer);
+  if ((p = retrieve_peer (t, id)) == NULL)
+    p = add_peer_to_tunnel (t, &msg->peer);
+  if (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD == ntohs (msg->header.type))
   {
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: adding peer\n");
     if (NULL != t->connect_handler)
     {
-      t->connect_handler (t->cls, &msg->peer, NULL);    /* FIXME atsi */
+      atsi.type = 0;
+      atsi.value = 0;
+      t->connect_handler (t->cls, &msg->peer, &atsi);
     }
+    p->connected = 1;
   }
   else
   {
-    if (NULL != t->disconnect_handler)
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: removing peer\n");
+    if (NULL != t->disconnect_handler && p->connected)
     {
       t->disconnect_handler (t->cls, &msg->peer);
     }
+    remove_peer_from_tunnel (p);
+    GNUNET_free (p);
   }
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: processing peer event END\n");
 }
 
 
 /**
  * Process the incoming data packets
  *
- * @param h     The mesh handle
- * @param msh   A message encapsulating the data
+ * @param h         The mesh handle
+ * @param message   A message encapsulating the data
  */
 static void
 process_incoming_data (struct GNUNET_MESH_Handle *h,
@@ -342,17 +890,23 @@ process_incoming_data (struct GNUNET_MESH_Handle *h,
   struct GNUNET_MESH_Multicast *mcast;
   struct GNUNET_MESH_ToOrigin *to_orig;
   struct GNUNET_MESH_Tunnel *t;
+  unsigned int i;
   uint16_t type;
-  int i;
 
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: Got a data message!\n");
   type = ntohs (message->type);
   switch (type)
   {
   case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
     ucast = (struct GNUNET_MESH_Unicast *) message;
+
     t = retrieve_tunnel (h, ntohl (ucast->tid));
     payload = (struct GNUNET_MessageHeader *) &ucast[1];
     peer = &ucast->oid;
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "mesh:   on tunnel %s [%x]\n",
+                GNUNET_i2s (peer),
+                ntohl (ucast->tid));
     break;
   case GNUNET_MESSAGE_TYPE_MESH_MULTICAST:
     mcast = (struct GNUNET_MESH_Multicast *) message;
@@ -367,31 +921,39 @@ process_incoming_data (struct GNUNET_MESH_Handle *h,
     peer = &to_orig->sender;
     break;
   default:
-    GNUNET_break_op (0);
+    GNUNET_break (0);
     return;
   }
   if (NULL == t)
   {
-    GNUNET_break_op (0);
+    GNUNET_break (0);
     return;
   }
+  type = ntohs (payload->type);
   for (i = 0; i < h->n_handlers; i++)
   {
     handler = &h->message_handlers[i];
     if (handler->type == type)
     {
-      if (GNUNET_OK == handler->callback (h->cls, t, NULL,      /* FIXME ctx */
-                                          peer, payload, NULL)) /* FIXME atsi */
+      struct GNUNET_ATS_Information atsi;
+
+      atsi.type = 0;
+      atsi.value = 0;
+      if (GNUNET_OK !=
+          handler->callback (h->cls, t, &t->ctx, peer, payload, &atsi))
       {
-        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                    "MESH: callback completed successfully\n");
+        LOG (GNUNET_ERROR_TYPE_DEBUG, "MESH: callback caused disconnection\n");
+        GNUNET_MESH_disconnect (h);
+        return;
       }
+#if MESH_API_DEBUG
       else
       {
-        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                    "MESH: callback caused disconnection\n");
-        GNUNET_MESH_disconnect (h);
+        LOG (GNUNET_ERROR_TYPE_DEBUG,
+             "MESH: callback completed successfully\n");
+
       }
+#endif
     }
   }
 }
@@ -408,25 +970,26 @@ msg_received (void *cls, const struct GNUNET_MessageHeader *msg)
 {
   struct GNUNET_MESH_Handle *h = cls;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: received a message from MESH\n");
   if (msg == NULL)
   {
-    GNUNET_break (0);
-    h->in_receive = GNUNET_NO;
-    // rather: do_reconnect () -- and set 'in_receive' to NO there...
-    // FIXME: service disconnect, handle!
+    reconnect (h);
     return;
   }
-
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: received a message type %hu from MESH\n",
+       ntohs (msg->type));
   switch (ntohs (msg->type))
   {
     /* Notify of a new incoming tunnel */
   case GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE:
-    process_tunnel_create (h, (struct GNUNET_MESH_TunnelMessage *) msg);
+    process_tunnel_created (h, (struct GNUNET_MESH_TunnelNotification *) msg);
+    break;
+    /* Notify of a tunnel disconnection */
+  case GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY:
+    process_tunnel_destroy (h, (struct GNUNET_MESH_TunnelMessage *) msg);
     break;
     /* Notify of a new peer or a peer disconnect in the tunnel */
-  case GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_CONNECTED:
-  case GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DISCONNECTED:
+  case GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD:
+  case GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DEL:
     process_peer_event (h, (struct GNUNET_MESH_PeerControl *) msg);
     break;
     /* Notify of a new data packet in the tunnel */
@@ -437,12 +1000,11 @@ msg_received (void *cls, const struct GNUNET_MessageHeader *msg)
     break;
     /* We shouldn't get any other packages, log and ignore */
   default:
-    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                "MESH: unsolicited message form service (type %d)\n",
-                ntohs (msg->type));
+    LOG (GNUNET_ERROR_TYPE_WARNING,
+         "MESH: unsolicited message form service (type %d)\n",
+         ntohs (msg->type));
   }
-
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: message processed\n");
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: message processed\n");
   GNUNET_CLIENT_receive (h->client, &msg_received, h,
                          GNUNET_TIME_UNIT_FOREVER_REL);
 }
@@ -463,83 +1025,164 @@ msg_received (void *cls, const struct GNUNET_MessageHeader *msg)
  * @return number of bytes written to buf
  */
 static size_t
-send_raw (void *cls, size_t size, void *buf)
+send_callback (void *cls, size_t size, void *buf)
 {
   struct GNUNET_MESH_Handle *h = cls;
-  struct GNUNET_MESH_queue *q;
+  struct GNUNET_MESH_TransmitHandle *th;
+  char *cbuf = buf;
+  size_t tsize;
+  size_t psize;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: Send packet() Buffer %u\n", size);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: Send packet() Buffer %u\n", size);
   h->th = NULL;
-  if (0 == size || NULL == buf)
+  if ((0 == size) || (NULL == buf))
   {
-    // FIXME: disconnect, reconnect, retry?
-    // do_reconnect ();
+    reconnect (h);
     return 0;
   }
-  q = h->queue_head;
-  if (sizeof (struct GNUNET_MessageHeader) > size)
+  tsize = 0;
+  while ((NULL != (th = h->th_head)) && (size >= th->size))
   {
-    GNUNET_break (0);
-    GNUNET_assert (sizeof (struct GNUNET_MessageHeader) > q->size);
-    h->th =
-        GNUNET_CLIENT_notify_transmit_ready (h->client, q->size,
-                                             GNUNET_TIME_UNIT_FOREVER_REL,
-                                             GNUNET_YES, &send_raw, h);
-    return 0;
+    if (NULL != th->notify)
+    {
+      if (th->tunnel->tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
+      {
+        /* traffic to origin */
+        struct GNUNET_MESH_ToOrigin to;
+        struct GNUNET_MessageHeader *mh;
+
+        GNUNET_assert (size >= th->size);
+        mh = (struct GNUNET_MessageHeader *) &cbuf[sizeof (to)];
+        psize =
+            th->notify (th->notify_cls, size - sizeof (to), mh);
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "mesh:   to origin, type %u\n",
+              ntohs (mh->type));
+        if (psize > 0)
+        {
+          psize += sizeof (to);
+          GNUNET_assert (size >= psize);
+          to.header.size = htons (psize);
+          to.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN);
+          to.tid = htonl (th->tunnel->tid);
+          memset (&to.oid, 0, sizeof (struct GNUNET_PeerIdentity));
+          memset (&to.sender, 0, sizeof (struct GNUNET_PeerIdentity));
+          memcpy (cbuf, &to, sizeof (to));
+        }
+      }
+      else if (th->target == 0)
+      {
+        /* multicast */
+        struct GNUNET_MESH_Multicast mc;
+        struct GNUNET_MessageHeader *mh;
+
+        GNUNET_assert (size >= th->size);
+        mh = (struct GNUNET_MessageHeader *) &cbuf[sizeof (mc)];
+        psize =
+            th->notify (th->notify_cls, size - sizeof (mc), mh);
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                    "mesh:   multicast, type %u\n",
+                    ntohs (mh->type));
+        if (psize > 0)
+        {
+          psize += sizeof (mc);
+          GNUNET_assert (size >= psize);
+          mc.header.size = htons (psize);
+          mc.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_MULTICAST);
+          mc.tid = htonl (th->tunnel->tid);
+          memset (&mc.oid, 0, sizeof (struct GNUNET_PeerIdentity));
+          memcpy (cbuf, &mc, sizeof (mc));
+        }
+      }
+      else
+      {
+        /* unicast */
+        struct GNUNET_MESH_Unicast uc;
+        struct GNUNET_MessageHeader *mh;
+
+        GNUNET_assert (size >= th->size);
+        mh = (struct GNUNET_MessageHeader *) &cbuf[sizeof (uc)];
+        psize =
+            th->notify (th->notify_cls, size - sizeof (uc), mh);
+        GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "mesh:   unicast, type %u\n",
+              ntohs (mh->type));
+        if (psize > 0)
+        {
+          psize += sizeof (uc);
+          GNUNET_assert (size >= psize);
+          uc.header.size = htons (psize);
+          uc.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_UNICAST);
+          uc.tid = htonl (th->tunnel->tid);
+          memset (&uc.oid, 0, sizeof (struct GNUNET_PeerIdentity));
+          GNUNET_PEER_resolve (th->target, &uc.destination);
+          memcpy (cbuf, &uc, sizeof (uc));
+        }
+      }
+    }
+    else
+    {
+      memcpy (cbuf, &th[1], th->size);
+      psize = th->size;
+    }
+    if (th->timeout_task != GNUNET_SCHEDULER_NO_TASK)
+      GNUNET_SCHEDULER_cancel (th->timeout_task);
+    GNUNET_CONTAINER_DLL_remove (h->th_head, h->th_tail, th);
+    GNUNET_free (th);
+    cbuf += psize;
+    size -= psize;
+    tsize += psize;
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh:   type: %i\n",
-              ntohs (((struct GNUNET_MessageHeader *) q->data)->type));
-  memcpy (buf, q->data, q->size);
-  GNUNET_free (q->data);
-  size = q->size;
-  GNUNET_CONTAINER_DLL_remove (h->queue_head, h->queue_tail, q);
-  GNUNET_free (q);
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh:   size: %u\n", size);
-
-  if (NULL != h->queue_head)
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh:   total size: %u\n", tsize);
+  if (NULL != (th = h->th_head))
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh:   next size: %u\n",
-                h->queue_head->size);
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh:   next size: %u\n", th->size);
     h->th =
-        GNUNET_CLIENT_notify_transmit_ready (h->client, h->queue_head->size,
+        GNUNET_CLIENT_notify_transmit_ready (h->client, th->size,
                                              GNUNET_TIME_UNIT_FOREVER_REL,
-                                             GNUNET_YES, &send_raw, h);
+                                             GNUNET_YES, &send_callback, h);
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: Send packet() END\n");
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: Send packet() END\n");
   if (GNUNET_NO == h->in_receive)
-    {
-      h->in_receive = GNUNET_YES;
-      GNUNET_CLIENT_receive (h->client, &msg_received, h,
-                            GNUNET_TIME_UNIT_FOREVER_REL);
-    }
-  return size;
+  {
+    h->in_receive = GNUNET_YES;
+    GNUNET_CLIENT_receive (h->client, &msg_received, h,
+                           GNUNET_TIME_UNIT_FOREVER_REL);
+  }
+  return tsize;
 }
 
+
 /**
- * Auxiliary function to send a packet to the service
- * Takes care of creating a new queue element and calling the tmt_rdy function
- * if necessary.
+ * Auxiliary function to send an already constructed packet to the service.
+ * Takes care of creating a new queue element, copying the message and
+ * calling the tmt_rdy function if necessary.
  * @param h mesh handle
- * @param size size of the packet to transmit
- * @param data packet itself
+ * @param msg message to transmit
  */
 static void
-send_packet (struct GNUNET_MESH_Handle *h, size_t size, void *data)
+send_packet (struct GNUNET_MESH_Handle *h,
+             const struct GNUNET_MessageHeader *msg)
 {
-  struct GNUNET_MESH_queue *q;
-
-  q = GNUNET_malloc (sizeof (struct GNUNET_MESH_queue));
-  q->size = size;
-  q->data = data;
-  GNUNET_CONTAINER_DLL_insert_tail (h->queue_head, h->queue_tail, q);
+  struct GNUNET_MESH_TransmitHandle *th;
+  size_t msize;
+
+  msize = ntohs (msg->size);
+  th = GNUNET_malloc (sizeof (struct GNUNET_MESH_TransmitHandle) + msize);
+  th->priority = UINT32_MAX;
+  th->timeout = GNUNET_TIME_UNIT_FOREVER_ABS;
+  th->size = msize;
+  memcpy (&th[1], msg, msize);
+  add_to_queue (h, th);
   if (NULL != h->th)
     return;
   h->th =
-    GNUNET_CLIENT_notify_transmit_ready (h->client, size,
-                                        GNUNET_TIME_UNIT_FOREVER_REL,
-                                        GNUNET_YES, &send_raw, h);
+      GNUNET_CLIENT_notify_transmit_ready (h->client, msize,
+                                           GNUNET_TIME_UNIT_FOREVER_REL,
+                                           GNUNET_YES, &send_callback, h);
 }
 
+
 /******************************************************************************/
 /**********************      API CALL DEFINITIONS     *************************/
 /******************************************************************************/
@@ -548,34 +1191,36 @@ send_packet (struct GNUNET_MESH_Handle *h, size_t size, void *data)
  * Connect to the mesh service.
  *
  * @param cfg configuration to use
+ * @param queue_size size of the data message queue, shared among all tunnels
+ *                   (each tunnel is guaranteed to accept at least one message,
+ *                    no matter what is the status of other tunnels)
  * @param cls closure for the various callbacks that follow
  *            (including handlers in the handlers array)
+ * @param new_tunnel function called when an *inbound* tunnel is created
  * @param cleaner function called when an *inbound* tunnel is destroyed
  * @param handlers callbacks for messages we care about, NULL-terminated
- *                 note that the mesh is allowed to drop notifications about
- *                 inbound messages if the client does not process them fast
- *                 enough (for this notification type, a bounded queue is used)
- * @param stypes Application Types the client claims to offer
- * @return handle to the mesh service
- *         NULL on error (in this case, init is never called)
+ *                note that the mesh is allowed to drop notifications about
+ *                inbound messages if the client does not process them fast
+ *                enough (for this notification type, a bounded queue is used)
+ * @param stypes list of the applications that this client claims to provide
+ * @return handle to the mesh service NULL on error
+ *         (in this case, init is never called)
  */
 struct GNUNET_MESH_Handle *
-GNUNET_MESH_connect (const struct GNUNET_CONFIGURATION_Handle *cfg, void *cls,
+GNUNET_MESH_connect (const struct GNUNET_CONFIGURATION_Handle *cfg,
+                     unsigned int queue_size, void *cls,
+                     GNUNET_MESH_InboundTunnelNotificationHandler new_tunnel,
                      GNUNET_MESH_TunnelEndHandler cleaner,
                      const struct GNUNET_MESH_MessageHandler *handlers,
                      const GNUNET_MESH_ApplicationType *stypes)
 {
   struct GNUNET_MESH_Handle *h;
-  struct GNUNET_MESH_ClientConnect *msg;
-  GNUNET_MESH_ApplicationType *apps;
-  uint16_t napps;
-  uint16_t *types;
-  uint16_t ntypes;
-  size_t size;
 
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: GNUNET_MESH_connect()\n");
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: GNUNET_MESH_connect()\n");
   h = GNUNET_malloc (sizeof (struct GNUNET_MESH_Handle));
-
+  h->cfg = cfg;
+  h->max_queue_size = queue_size;
+  h->new_tunnel = new_tunnel;
   h->cleaner = cleaner;
   h->client = GNUNET_CLIENT_connect ("mesh", cfg);
   if (h->client == NULL)
@@ -584,45 +1229,18 @@ GNUNET_MESH_connect (const struct GNUNET_CONFIGURATION_Handle *cfg, void *cls,
     GNUNET_free (h);
     return NULL;
   }
-
   h->cls = cls;
-  h->message_handlers = handlers;
+  /* FIXME memdup? */
   h->applications = stypes;
-  h->next_tid = 0x80000000;
+  h->message_handlers = handlers;
+  h->next_tid = GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
+  h->reconnect_time = GNUNET_TIME_UNIT_MILLISECONDS;
 
   /* count handlers and apps, calculate size */
-  for (h->n_handlers = 0; handlers[h->n_handlers].type; h->n_handlers++) ;
   for (h->n_applications = 0; stypes[h->n_applications]; h->n_applications++) ;
-  size = sizeof (struct GNUNET_MESH_ClientConnect);
-  size += h->n_handlers * sizeof (uint16_t);
-  size += h->n_applications * sizeof (GNUNET_MESH_ApplicationType);
-
-  /* build connection packet */
-  msg = GNUNET_malloc (size);
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_CONNECT);
-  msg->header.size = htons (size);
-  types = (uint16_t *) & msg[1];
-  for (ntypes = 0; ntypes < h->n_handlers; ntypes++)
-  {
-    types[ntypes] = h->message_handlers[ntypes].type;
-  }
-  apps = (GNUNET_MESH_ApplicationType *) &types[ntypes];
-  for (napps = 0; napps < h->n_applications; napps++)
-  {
-    apps[napps] = h->applications[napps];
-  }
-  msg->applications = htons (napps);
-  msg->types = htons (ntypes);
-
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-              "mesh: Sending %lu bytes long message %d types and %d apps\n",
-              ntohs (msg->header.size), ntypes, napps);
-
-  send_packet (h, size, msg);
-
-
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: GNUNET_MESH_connect() END\n");
-
+  for (h->n_handlers = 0; handlers[h->n_handlers].type; h->n_handlers++) ;
+  send_connect (h);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: GNUNET_MESH_connect() END\n");
   return h;
 }
 
@@ -635,6 +1253,16 @@ GNUNET_MESH_connect (const struct GNUNET_CONFIGURATION_Handle *cfg, void *cls,
 void
 GNUNET_MESH_disconnect (struct GNUNET_MESH_Handle *handle)
 {
+  struct GNUNET_MESH_Tunnel *t;
+  struct GNUNET_MESH_Tunnel *aux;
+
+  t = handle->tunnels_head;
+  while (NULL != t)
+  {
+    aux = t->next;
+    destroy_tunnel (t);
+    t = aux;
+  }
   if (NULL != handle->th)
   {
     GNUNET_CLIENT_notify_transmit_ready_cancel (handle->th);
@@ -652,36 +1280,30 @@ GNUNET_MESH_disconnect (struct GNUNET_MESH_Handle *handle)
  * and to broadcast).
  *
  * @param h mesh handle
+ * @param tunnel_ctx client's tunnel context to associate with the tunnel
  * @param connect_handler function to call when peers are actually connected
  * @param disconnect_handler function to call when peers are disconnected
  * @param handler_cls closure for connect/disconnect handlers
  */
 struct GNUNET_MESH_Tunnel *
-GNUNET_MESH_tunnel_create (struct GNUNET_MESH_Handle *h,
-                           GNUNET_MESH_TunnelConnectHandler connect_handler,
-                           GNUNET_MESH_TunnelDisconnectHandler
-                           disconnect_handler, void *handler_cls)
+GNUNET_MESH_tunnel_create (struct GNUNET_MESH_Handle *h, void *tunnel_ctx,
+                           GNUNET_MESH_PeerConnectHandler connect_handler,
+                           GNUNET_MESH_PeerDisconnectHandler disconnect_handler,
+                           void *handler_cls)
 {
   struct GNUNET_MESH_Tunnel *t;
-  struct GNUNET_MESH_TunnelMessage *msg;
-
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: Creating new tunnel\n");
-  t = GNUNET_malloc (sizeof (struct GNUNET_MESH_Tunnel));
+  struct GNUNET_MESH_TunnelMessage msg;
 
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: Creating new tunnel\n");
+  t = create_tunnel (h, 0);
   t->connect_handler = connect_handler;
   t->disconnect_handler = disconnect_handler;
   t->cls = handler_cls;
-  t->mesh = h;
-  t->tid = h->next_tid++;
-  h->next_tid |= GNUNET_MESH_LOCAL_TUNNEL_ID_MARK;      // keep in range
-
-  msg = GNUNET_malloc (sizeof (struct GNUNET_MESH_TunnelMessage));
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
-  msg->header.size = htons (sizeof (struct GNUNET_MESH_TunnelMessage));
-  msg->tunnel_id = htonl (t->tid);
-
-  send_packet (h, sizeof (struct GNUNET_MESH_TunnelMessage), msg);
-
+  t->ctx = tunnel_ctx;
+  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
+  msg.header.size = htons (sizeof (struct GNUNET_MESH_TunnelMessage));
+  msg.tunnel_id = htonl (t->tid);
+  send_packet (h, &msg.header);
   return t;
 }
 
@@ -692,66 +1314,62 @@ GNUNET_MESH_tunnel_create (struct GNUNET_MESH_Handle *h,
  * @param tun tunnel handle
  */
 void
-GNUNET_MESH_tunnel_destroy (struct GNUNET_MESH_Tunnel *tun)
+GNUNET_MESH_tunnel_destroy (struct GNUNET_MESH_Tunnel *tunnel)
 {
   struct GNUNET_MESH_Handle *h;
-  struct GNUNET_MESH_TunnelMessage *msg;
-
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: Destroying tunnel\n");
+  struct GNUNET_MESH_TunnelMessage msg;
 
-  h = tun->mesh;
-  msg = GNUNET_malloc (sizeof (struct GNUNET_MESH_TunnelMessage));
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY);
-  msg->header.size = htons (sizeof (struct GNUNET_MESH_TunnelMessage));
-  msg->tunnel_id = htonl (tun->tid);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "mesh: Destroying tunnel\n");
+  h = tunnel->mesh;
 
-  GNUNET_free (tun);
+  if (0 != tunnel->owner)
+    GNUNET_PEER_change_rc (tunnel->owner, -1);
 
-  send_packet (h, sizeof (struct GNUNET_MESH_TunnelMessage), msg);
+  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY);
+  msg.header.size = htons (sizeof (struct GNUNET_MESH_TunnelMessage));
+  msg.tunnel_id = htonl (tunnel->tid);
+  destroy_tunnel (tunnel);
+  send_packet (h, &msg.header);
 }
 
 
 /**
  * Request that a peer should be added to the tunnel.  The existing
  * connect handler will be called ONCE with either success or failure.
+ * This function should NOT be called again with the same peer before the
+ * connect handler is called.
  *
  * @param tunnel handle to existing tunnel
- * @param timeout how long to try to establish a connection
  * @param peer peer to add
  */
 void
 GNUNET_MESH_peer_request_connect_add (struct GNUNET_MESH_Tunnel *tunnel,
-                                      struct GNUNET_TIME_Relative timeout,
                                       const struct GNUNET_PeerIdentity *peer)
 {
-  struct GNUNET_MESH_PeerControl *msg;
+  struct GNUNET_MESH_PeerControl msg;
   GNUNET_PEER_Id peer_id;
   unsigned int i;
-  
+
   peer_id = GNUNET_PEER_intern (peer);
   for (i = 0; i < tunnel->npeers; i++)
   {
-    if (tunnel->peers[i] == peer_id)
+    if (tunnel->peers[i]->id == peer_id)
     {
+      /* Peer already exists in tunnel */
       GNUNET_PEER_change_rc (peer_id, -1);
+      GNUNET_break (0);
       return;
     }
   }
-  tunnel->npeers++;
-  tunnel->peers =
-      GNUNET_realloc (tunnel->peers, tunnel->npeers * sizeof (GNUNET_PEER_Id));
-  tunnel->peers[tunnel->npeers - 1] = peer_id;
-
-  msg = GNUNET_malloc (sizeof (struct GNUNET_MESH_PeerControl));
-  msg->header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
-  msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_CONNECT_PEER_ADD);
-  msg->tunnel_id = htonl (tunnel->tid);
-  memcpy (&msg->peer, peer, sizeof (struct GNUNET_PeerIdentity));
+  if (NULL == add_peer_to_tunnel (tunnel, peer))
+    return;
 
-  send_packet (tunnel->mesh, sizeof (struct GNUNET_MESH_PeerControl), msg);
+  msg.header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
+  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD);
+  msg.tunnel_id = htonl (tunnel->tid);
+  msg.peer = *peer;
+  send_packet (tunnel->mesh, &msg.header);
 
-//   tunnel->connect_handler (tunnel->cls, peer, NULL); FIXME call this later
-//   TODO: remember timeout
   return;
 }
 
@@ -767,41 +1385,36 @@ void
 GNUNET_MESH_peer_request_connect_del (struct GNUNET_MESH_Tunnel *tunnel,
                                       const struct GNUNET_PeerIdentity *peer)
 {
-  struct GNUNET_MESH_PeerControl *msg;
+  struct GNUNET_MESH_PeerControl msg;
   GNUNET_PEER_Id peer_id;
   unsigned int i;
 
   peer_id = GNUNET_PEER_search (peer);
   if (0 == peer_id)
+  {
+    GNUNET_break (0);
     return;
+  }
   for (i = 0; i < tunnel->npeers; i++)
+    if (tunnel->peers[i]->id == peer_id)
+      break;
+  if (i == tunnel->npeers)
   {
-    if (tunnel->peers[i] == peer_id)
-    {
-      GNUNET_PEER_change_rc (peer_id, -1);
-      tunnel->npeers--;
-      while (i < tunnel->npeers)
-      {
-        tunnel->peers[i] = tunnel->peers[i + 1];
-        i++;
-      }
-      tunnel->peers =
-          GNUNET_realloc (tunnel->peers,
-                          tunnel->npeers * sizeof (GNUNET_PEER_Id));
-      msg = GNUNET_malloc (sizeof (struct GNUNET_MESH_PeerControl));
-      msg->header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
-      msg->header.type =
-          htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_CONNECT_PEER_DEL);
-      msg->tunnel_id = htonl (tunnel->tid);
-      memcpy (&msg->peer, peer, sizeof (struct GNUNET_PeerIdentity));
-
-      send_packet (tunnel->mesh, sizeof (struct GNUNET_MESH_PeerControl), msg);
-
-      return;
-    }
+    GNUNET_break (0);
+    return;
   }
-  //   TODO: remember timeout
-  return;
+  if (NULL != tunnel->disconnect_handler && tunnel->peers[i]->connected == 1)
+    tunnel->disconnect_handler (tunnel->cls, peer);
+  GNUNET_PEER_change_rc (peer_id, -1);
+  GNUNET_free (tunnel->peers[i]);
+  tunnel->peers[i] = tunnel->peers[tunnel->npeers - 1];
+  GNUNET_array_grow (tunnel->peers, tunnel->npeers, tunnel->npeers - 1);
+
+  msg.header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
+  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DEL);
+  msg.tunnel_id = htonl (tunnel->tid);
+  memcpy (&msg.peer, peer, sizeof (struct GNUNET_PeerIdentity));
+  send_packet (tunnel->mesh, &msg.header);
 }
 
 
@@ -810,28 +1423,22 @@ GNUNET_MESH_peer_request_connect_del (struct GNUNET_MESH_Tunnel *tunnel,
  * message type.
  *
  * @param tunnel handle to existing tunnel
- * @param timeout how long to try to establish a connection
  * @param app_type application type that must be supported by the peer (MESH
  *                 should discover peer in proximity handling this type)
  */
 void
 GNUNET_MESH_peer_request_connect_by_type (struct GNUNET_MESH_Tunnel *tunnel,
-                                          struct GNUNET_TIME_Relative timeout,
                                           GNUNET_MESH_ApplicationType app_type)
 {
-  struct GNUNET_MESH_ConnectPeerByType *msg;
+  struct GNUNET_MESH_ConnectPeerByType msg;
 
-  msg = GNUNET_malloc (sizeof (struct GNUNET_MESH_ConnectPeerByType));
-  msg->header.size = htons (sizeof (struct GNUNET_MESH_ConnectPeerByType));
-  msg->header.type =
-      htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_CONNECT_PEER_BY_TYPE);
-  msg->tunnel_id = htonl (tunnel->tid);
-  msg->type = htonl (app_type);
+  GNUNET_array_append (tunnel->apps, tunnel->napps, app_type);
 
-  send_packet (tunnel->mesh, sizeof (struct GNUNET_MESH_ConnectPeerByType),
-               msg);
-  //   TODO: remember timeout
-  return;
+  msg.header.size = htons (sizeof (struct GNUNET_MESH_ConnectPeerByType));
+  msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD_BY_TYPE);
+  msg.tunnel_id = htonl (tunnel->tid);
+  msg.type = htonl (app_type);
+  send_packet (tunnel->mesh, &msg.header);
 }
 
 
@@ -866,26 +1473,81 @@ GNUNET_MESH_notify_transmit_ready (struct GNUNET_MESH_Tunnel *tunnel, int cork,
                                    GNUNET_CONNECTION_TransmitReadyNotify notify,
                                    void *notify_cls)
 {
-  struct GNUNET_MESH_TransmitHandle *handle;
+  struct GNUNET_MESH_TransmitHandle *th;
+  struct GNUNET_MESH_TransmitHandle *least_priority_th;
+  uint32_t least_priority;
+  size_t overhead;
 
-  handle = GNUNET_malloc (sizeof (struct GNUNET_MESH_TransmitHandle));
-  handle->t = tunnel;
-  handle->q = GNUNET_malloc (sizeof (struct GNUNET_MESH_queue));
-  handle->q->size = notify_size;
-  handle->q->data = GNUNET_malloc (notify_size);
-
-  if (get_queue_length (tunnel->mesh) < MESH_API_MAX_QUEUE)
-  {
-    notify (notify_cls, notify_size, handle->q->data);
-    GNUNET_CONTAINER_DLL_insert_tail (tunnel->mesh->queue_head,
-                                      tunnel->mesh->queue_tail, handle->q);
-  }
+#if MESH_API_DEBUG
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "mesh: mesh notify transmit ready called\n");
+  if (NULL != target)
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "mesh:     target %s\n",
+                GNUNET_i2s (target));
   else
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "mesh:     target multicast\n");
+#endif
+  GNUNET_assert (NULL != notify);
+  if (tunnel->mesh->npackets >= tunnel->mesh->max_queue_size &&
+      tunnel->npackets > 0)
   {
-    // TODO dataless - queue
+    /* queue full */
+    if (0 == priority)
+      return NULL;
+    th = tunnel->mesh->th_tail;
+    least_priority = priority;
+    least_priority_th = NULL;
+    while (NULL != th)
+    {
+      if (th->priority < least_priority && th->tunnel->npackets > 1)
+      {
+        least_priority_th = th;
+        least_priority = th->priority;
+      }
+      th = th->prev;
+    }
+    if (NULL == least_priority_th)
+      return NULL;
+    /* Can't be a control message */
+    GNUNET_assert (NULL != least_priority_th->notify);
+    least_priority_th->notify (notify_cls, 0, NULL);
+    least_priority_th->tunnel->npackets--;
+    tunnel->mesh->npackets--;
+    GNUNET_CONTAINER_DLL_remove (tunnel->mesh->th_head, tunnel->mesh->th_tail,
+                                 least_priority_th);
+    if (GNUNET_SCHEDULER_NO_TASK != least_priority_th->timeout_task)
+      GNUNET_SCHEDULER_cancel (least_priority_th->timeout_task);
+    GNUNET_free (least_priority_th);
   }
-
-  return handle;
+  tunnel->npackets++;
+  tunnel->mesh->npackets++;
+  th = GNUNET_malloc (sizeof (struct GNUNET_MESH_TransmitHandle));
+  th->tunnel = tunnel;
+  th->priority = priority;
+  th->timeout = GNUNET_TIME_relative_to_absolute (maxdelay);
+  th->target = GNUNET_PEER_intern (target);
+  if (tunnel->tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
+    overhead = sizeof (struct GNUNET_MESH_ToOrigin);
+  else if (NULL == target)
+    overhead = sizeof (struct GNUNET_MESH_Multicast);
+  else
+    overhead = sizeof (struct GNUNET_MESH_Unicast);
+  th->size = notify_size + overhead;
+  th->notify = notify;
+  th->notify_cls = notify_cls;
+  add_to_queue (tunnel->mesh, th);
+  if (NULL != tunnel->mesh->th)
+    return th;
+  tunnel->mesh->th =
+      GNUNET_CLIENT_notify_transmit_ready (tunnel->mesh->client,
+                                           th->size,
+                                           GNUNET_TIME_UNIT_FOREVER_REL,
+                                           GNUNET_YES,
+                                           &send_callback,
+                                           tunnel->mesh);
+  return th;
 }
 
 
@@ -897,12 +1559,38 @@ GNUNET_MESH_notify_transmit_ready (struct GNUNET_MESH_Tunnel *tunnel, int cork,
 void
 GNUNET_MESH_notify_transmit_ready_cancel (struct GNUNET_MESH_TransmitHandle *th)
 {
-  GNUNET_CONTAINER_DLL_remove (th->t->mesh->queue_head, th->t->mesh->queue_tail,
-                               th->q);
-  // TODO remove from dataless queue
-  GNUNET_free (th->q->data);
-  GNUNET_free (th->q);
+  struct GNUNET_MESH_Handle *mesh;
+
+  mesh = th->tunnel->mesh;
+  if (th->timeout_task != GNUNET_SCHEDULER_NO_TASK)
+    GNUNET_SCHEDULER_cancel (th->timeout_task);
+  GNUNET_CONTAINER_DLL_remove (mesh->th_head, mesh->th_tail, th);
   GNUNET_free (th);
+  if ((NULL == mesh->th_head) && (NULL != mesh->th))
+  {
+    /* queue empty, no point in asking for transmission */
+    GNUNET_CLIENT_notify_transmit_ready_cancel (mesh->th);
+    mesh->th = NULL;
+  }
+}
+
+
+/**
+ * Transition API for tunnel ctx management
+ */
+void
+GNUNET_MESH_tunnel_set_data (struct GNUNET_MESH_Tunnel *tunnel, void *data)
+{
+  tunnel->ctx = data;
+}
+
+/**
+ * Transition API for tunnel ctx management
+ */
+void *
+GNUNET_MESH_tunnel_get_data (struct GNUNET_MESH_Tunnel *tunnel)
+{
+  return tunnel->ctx;
 }