(no commit message)
[oweals/gnunet.git] / src / mesh / mesh_api_new.c
1 /*
2      This file is part of GNUnet.
3      (C) 2011 Christian Grothoff (and other contributing authors)
4      GNUnet is free software; you can redistribute it and/or modify
5      it under the terms of the GNU General Public License as published
6      by the Free Software Foundation; either version 3, or (at your
7      option) any later version.
8      GNUnet is distributed in the hope that it will be useful, but
9      WITHOUT ANY WARRANTY; without even the implied warranty of
10      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
11      General Public License for more details.
12      You should have received a copy of the GNU General Public License
13      along with GNUnet; see the file COPYING.  If not, write to the
14      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
15      Boston, MA 02111-1307, USA.
16 */
17
18 /**
19  * @file mesh/mesh_api_new.c
20  * @brief mesh api: client implementation of mesh service
21  * @author Bartlomiej Polot
22  *
23  * TODO:
24  * - callbacks to client missing on certain events
25  * - processing messages from service is incomplete
26  *
27  * STRUCTURE:
28  * - CONSTANTS
29  * - DATA STRUCTURES
30  * - AUXILIARY FUNCTIONS
31  * - RECEIVE HANDLERS
32  * - SEND FUNCTIONS
33  * - API CALL DEFINITIONS
34  */
35 #ifdef __cplusplus
36 extern "C"
37 {
38 #if 0                           /* keep Emacsens' auto-indent happy */
39 }
40 #endif
41 #endif
42
43 #include "platform.h"
44 #include "gnunet_common.h"
45 #include "gnunet_client_lib.h"
46 #include "gnunet_util_lib.h"
47 #include "gnunet_peer_lib.h"
48 #include "gnunet_mesh_service_new.h"
49 #include "mesh.h"
50 #include "mesh_protocol.h"
51
52
53 /******************************************************************************/
54 /************************      DATA STRUCTURES     ****************************/
55 /******************************************************************************/
56
57 /**
58  * Transmission queue to the service
59  */
60 struct GNUNET_MESH_TransmitHandle
61 {
62
63     /**
64      * Double Linked list
65      */
66   struct GNUNET_MESH_TransmitHandle *next;
67
68     /**
69      * Double Linked list
70      */
71   struct GNUNET_MESH_TransmitHandle *prev;
72
73     /**
74      * Tunnel this message is sent over (may be NULL for control messages).
75      */
76   struct GNUNET_MESH_Tunnel *tunnel;
77
78     /**
79      * Data itself, currently points to the end of this struct if
80      * we have a message already, NULL if the message is to be
81      * obtained from the callback.
82      */
83   const struct GNUNET_MessageHeader *data;
84
85     /**
86      * Callback to obtain the message to transmit, or NULL if we
87      * got the message in 'data'.  Notice that messages built
88      * by 'notify' need to be encapsulated with information about
89      * the 'target'.
90      */
91   GNUNET_CONNECTION_TransmitReadyNotify notify;
92
93     /**
94      * Closure for 'notify'
95      */
96   void *notify_cls;
97
98     /**
99      * How long is this message valid.  Once the timeout has been
100      * reached, the message must no longer be sent.  If this
101      * is a message with a 'notify' callback set, the 'notify'
102      * function should be called with 'buf' NULL and size 0.
103      */
104   struct GNUNET_TIME_Absolute timeout;
105
106     /**
107      * Task triggering a timeout, can be NO_TASK if the timeout is FOREVER.
108      */
109   GNUNET_SCHEDULER_TaskIdentifier timeout_task;
110
111     /**
112      * Priority of the message.  The queue is sorted by priority,
113      * control messages have the maximum priority (UINT32_MAX).
114      */
115   uint32_t priority;
116
117     /**
118      * Target of the message, 0 for broadcast.  This field
119      * is only valid if 'notify' is non-NULL.
120      */
121   GNUNET_PEER_Id target;
122
123     /**
124      * Size of 'data' -- or the desired size of 'notify' if 'data' is NULL.
125      */
126   size_t size;
127 };
128
129
130 /**
131  * Opaque handle to the service.
132  */
133 struct GNUNET_MESH_Handle
134 {
135
136     /**
137      * Handle to the server connection, to send messages later
138      */
139   struct GNUNET_CLIENT_Connection *client;
140
141     /**
142      * Set of handlers used for processing incoming messages in the tunnels
143      */
144   const struct GNUNET_MESH_MessageHandler *message_handlers;
145
146     /**
147      * Set of applications that should be claimed to be offered at this node.
148      * Note that this is just informative, the appropiate handlers must be
149      * registered independently and the mapping is up to the developer of the
150      * client application.
151      */
152   const GNUNET_MESH_ApplicationType *applications;
153
154     /**
155      * Double linked list of the tunnels this client is connected to.
156      */
157   struct GNUNET_MESH_Tunnel *tunnels_head;
158   struct GNUNET_MESH_Tunnel *tunnels_tail;
159
160     /**
161      * Callback for inbound tunnel creation
162      */
163   GNUNET_MESH_InboundTunnelNotificationHandler *new_tunnel;
164
165     /**
166      * Callback for inbound tunnel disconnection
167      */
168   GNUNET_MESH_TunnelEndHandler *cleaner;
169
170     /**
171      * Handle to cancel pending transmissions in case of disconnection
172      */
173   struct GNUNET_CLIENT_TransmitHandle *th;
174
175     /**
176      * Closure for all the handlers given by the client
177      */
178   void *cls;
179
180     /**
181      * Messages to send to the service
182      */
183   struct GNUNET_MESH_TransmitHandle *th_head;
184   struct GNUNET_MESH_TransmitHandle *th_tail;
185
186     /**
187      * tid of the next tunnel to create (to avoid reusing IDs often)
188      */
189   MESH_TunnelNumber next_tid;
190   unsigned int n_handlers;
191   unsigned int n_applications;
192   unsigned int max_queue_size;
193
194     /**
195      * Have we started the task to receive messages from the service
196      * yet? We do this after we send the 'MESH_LOCAL_CONNECT' message.
197      */
198   int in_receive;
199
200     /**
201      * Number of packets queued
202      */
203   unsigned int npackets;
204
205   /**
206    * Configuration given by the client, in case of reconnection
207    */
208   const struct GNUNET_CONFIGURATION_Handle *cfg;
209 };
210
211
212 /**
213  * Description of a peer
214  */
215 struct GNUNET_MESH_Peer
216 {
217     /**
218      * ID of the peer in short form
219      */
220   GNUNET_PEER_Id id;
221
222   /**
223    * Tunnel this peer belongs to
224    */
225   struct GNUNET_MESH_Tunnel *t;
226
227   /**
228    * Flag indicating whether service has informed about its connection
229    */
230   int connected;
231
232 };
233
234
235 /**
236  * Opaque handle to a tunnel.
237  */
238 struct GNUNET_MESH_Tunnel
239 {
240
241     /**
242      * DLL
243      */
244   struct GNUNET_MESH_Tunnel *next;
245   struct GNUNET_MESH_Tunnel *prev;
246
247     /**
248      * Callback to execute when peers connect to the tunnel
249      */
250   GNUNET_MESH_TunnelConnectHandler connect_handler;
251
252     /**
253      * Callback to execute when peers disconnect from the tunnel
254      */
255   GNUNET_MESH_TunnelDisconnectHandler disconnect_handler;
256
257     /**
258      * Closure for the connect/disconnect handlers
259      */
260   void *cls;
261
262     /**
263      * Handle to the mesh this tunnel belongs to
264      */
265   struct GNUNET_MESH_Handle *mesh;
266
267     /**
268      * Local ID of the tunnel
269      */
270   MESH_TunnelNumber tid;
271
272     /**
273      * Owner of the tunnel
274      */
275   GNUNET_PEER_Id owner;
276
277     /**
278      * All peers added to the tunnel
279      */
280   struct GNUNET_MESH_Peer **peers;
281
282   /**
283    * List of application types that have been requested for this tunnel
284    */
285   GNUNET_MESH_ApplicationType *apps;
286
287   /**
288    * Any data the caller wants to put in here
289    */
290   void *ctx;
291
292   /**
293      * Number of peers added to the tunnel
294      */
295   unsigned int npeers;
296
297     /**
298      * Number of packets queued in this tunnel
299      */
300   unsigned int npackets;
301
302     /**
303      * Number of applications requested this tunnel
304      */
305   unsigned int napps;
306
307 };
308
309
310 /******************************************************************************/
311 /***********************     AUXILIARY FUNCTIONS      *************************/
312 /******************************************************************************/
313
314 /**
315  * Get the tunnel handler for the tunnel specified by id from the given handle
316  * @param h Mesh handle
317  * @param tid ID of the wanted tunnel
318  * @return handle to the required tunnel or NULL if not found
319  */
320 static struct GNUNET_MESH_Tunnel *
321 retrieve_tunnel (struct GNUNET_MESH_Handle *h, MESH_TunnelNumber tid)
322 {
323   struct GNUNET_MESH_Tunnel *t;
324
325   t = h->tunnels_head;
326   while (t != NULL)
327   {
328     if (t->tid == tid)
329       return t;
330     t = t->next;
331   }
332   return NULL;
333 }
334
335
336 /**
337  * Create a new tunnel and insert it in the tunnel list of the mesh handle
338  * @param h Mesh handle
339  * @param tid desired tid of the tunnel, 0 to assign one automatically
340  * @return handle to the created tunnel
341  */
342 static struct GNUNET_MESH_Tunnel *
343 create_tunnel (struct GNUNET_MESH_Handle *h, MESH_TunnelNumber tid)
344 {
345   struct GNUNET_MESH_Tunnel *t;
346
347   t = GNUNET_malloc (sizeof (struct GNUNET_MESH_Tunnel));
348   GNUNET_CONTAINER_DLL_insert (h->tunnels_head, h->tunnels_tail, t);
349   t->mesh = h;
350   if (0 == tid)
351   {
352     t->tid = h->next_tid;
353     while (NULL != retrieve_tunnel (h, h->next_tid))
354     {
355       h->next_tid++;
356       h->next_tid &= ~GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
357       h->next_tid |= GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
358     }
359   }
360   else
361   {
362     t->tid = tid;
363   }
364   return t;
365 }
366
367
368 /**
369  * Get the tunnel handler for the tunnel specified by id from the given handle
370  * @param h Mesh handle
371  * @param tid ID of the wanted tunnel
372  * @return handle to the required tunnel or NULL if not found
373  */
374 static void
375 destroy_tunnel (struct GNUNET_MESH_Tunnel *t)
376 {
377   struct GNUNET_MESH_Handle *h;
378   struct GNUNET_PeerIdentity pi;
379   unsigned int i;
380
381   if (NULL == t)
382   {
383     GNUNET_break (0);
384     return;
385   }
386   h = t->mesh;
387   /* TODO remove data packets from queue */
388   GNUNET_CONTAINER_DLL_remove (h->tunnels_head, h->tunnels_tail, t);
389   for (i = 0; i < t->npeers; i++)
390   {
391     if (NULL != t->disconnect_handler && t->peers[i]->connected)
392     {
393       GNUNET_PEER_resolve (t->peers[i]->id, &pi);
394       t->disconnect_handler (t->cls, &pi);
395     }
396     GNUNET_PEER_change_rc (t->peers[i]->id, -1);
397     GNUNET_free (t->peers[i]);
398   }
399   if (NULL != h->cleaner && 0 != t->owner)
400     h->cleaner (h->cls, t, t->ctx);
401   if (0 != t->owner)
402     GNUNET_PEER_change_rc (t->owner, -1);
403   if (0 != t->napps && t->apps)
404     GNUNET_free (t->apps);
405   if (t->npeers > 0)
406     GNUNET_free (t->peers);
407   GNUNET_free (t);
408   return;
409 }
410
411 /**
412  * Get the peer descriptor for the peer with id from the given tunnel
413  * @param t Tunnel handle
414  * @param id Short form ID of the wanted peer
415  * @return handle to the requested peer or NULL if not found
416  */
417 static struct GNUNET_MESH_Peer *
418 retrieve_peer (struct GNUNET_MESH_Tunnel *t, GNUNET_PEER_Id id)
419 {
420   unsigned int i;
421
422   for (i = 0; i < t->npeers; i++)
423     if (t->peers[i]->id == id)
424       return t->peers[i];
425   return NULL;
426 }
427
428
429 /**
430  * Add a peer into a tunnel
431  * @param t Tunnel handle
432  * @param pi Full ID of the new peer
433  * @return handle to the newly created peer
434  */
435 static struct GNUNET_MESH_Peer *
436 add_peer_to_tunnel (struct GNUNET_MESH_Tunnel *t,
437                     const struct GNUNET_PeerIdentity *pi)
438 {
439   struct GNUNET_MESH_Peer *p;
440   GNUNET_PEER_Id id;
441
442   if (0 != t->owner)
443   {
444     GNUNET_break (0);
445     return NULL;
446   }
447   id = GNUNET_PEER_intern (pi);
448
449   p = GNUNET_malloc (sizeof (struct GNUNET_MESH_Peer));
450   p->id = id;
451   p->t = t;
452   GNUNET_array_append (t->peers, t->npeers, p);
453   return p;
454 }
455
456
457 /**
458  * Remove a peer from a tunnel
459  * @param t Tunnel handle
460  * @param p Peer handle
461  */
462 static void
463 remove_peer_from_tunnel (struct GNUNET_MESH_Peer *p)
464 {
465   unsigned int i;
466
467   for (i = 0; i < p->t->npeers; i++)
468   {
469     if (p->t->peers[i] == p)
470       break;
471   }
472   if (i == p->t->npeers)
473   {
474     GNUNET_break (0);
475     return;
476   }
477   p->t->peers[i] = p->t->peers[p->t->npeers - 1];
478   GNUNET_array_grow (p->t->peers, p->t->npeers, p->t->npeers - 1);
479 }
480
481
482 /**
483  * Notify client that the transmission has timed out
484  * @param cls closure
485  * @param tc task context
486  */
487 static void
488 timeout_transmission (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
489 {
490   struct GNUNET_MESH_TransmitHandle *th = cls;
491   struct GNUNET_MESH_Handle *mesh;
492
493   mesh = th->tunnel->mesh;
494   GNUNET_CONTAINER_DLL_remove (mesh->th_head, mesh->th_tail, th);
495   if (th->notify != NULL)
496     th->notify (th->notify_cls, 0, NULL);
497   GNUNET_free (th);
498   if ((NULL == mesh->th_head) && (NULL != mesh->th))
499   {
500     /* queue empty, no point in asking for transmission */
501     GNUNET_CLIENT_notify_transmit_ready_cancel (mesh->th);
502     mesh->th = NULL;
503   }
504 }
505
506
507 /**
508  * Add a transmit handle to the transmission queue by priority and set the
509  * timeout if needed.
510  *
511  * @param h mesh handle with the queue head and tail
512  * @param q handle to the packet to be transmitted
513  */
514 static void
515 add_to_queue (struct GNUNET_MESH_Handle *h,
516               struct GNUNET_MESH_TransmitHandle *th)
517 {
518   struct GNUNET_MESH_TransmitHandle *p;
519
520   p = h->th_head;
521   while ((NULL != p) && (th->priority <= p->priority))
522     p = p->next;
523   if (NULL == p)
524     p = h->th_tail;
525   else
526     p = p->prev;
527   GNUNET_CONTAINER_DLL_insert_after (h->th_head, h->th_tail, p, th);
528   if (GNUNET_TIME_UNIT_FOREVER_ABS.abs_value == th->timeout.abs_value)
529     return;
530   th->timeout_task =
531       GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_absolute_get_remaining
532                                     (th->timeout), &timeout_transmission, th);
533 }
534
535
536 static void
537 send_packet (struct GNUNET_MESH_Handle *h,
538              const struct GNUNET_MessageHeader *msg);
539
540
541 /**
542  * Reconnect to the service, retransmit all infomation to try to restore the
543  * original state.
544  *
545  * @param h handle to the mesh
546  *
547  * @return GNUNET_YES in case of sucess, GNUNET_NO otherwise (service down...)
548  */
549 static int
550 reconnect (struct GNUNET_MESH_Handle *h)
551 {
552   struct GNUNET_MESH_Tunnel *t;
553   unsigned int i;
554
555   h->in_receive = GNUNET_NO;
556   /* disconnect */
557   if (NULL != h->th)
558   {
559     GNUNET_CLIENT_notify_transmit_ready_cancel (h->th);
560   }
561   if (NULL != h->client)
562   {
563     GNUNET_CLIENT_disconnect (h->client, GNUNET_NO);
564   }
565
566   /* connect again */
567   h->client = GNUNET_CLIENT_connect ("mesh", h->cfg);
568   if (h->client == NULL)
569   {
570     /* FIXME: panic? exponential backoff retry? */
571     GNUNET_break (0);
572     return GNUNET_NO;
573   }
574   /* Rebuild all tunnels */
575   for (t = h->tunnels_head; NULL != t; t = t->next)
576   {
577     struct GNUNET_MESH_TunnelMessage tmsg;
578     struct GNUNET_MESH_PeerControl pmsg;
579
580     tmsg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
581     tmsg.header.size = htons (sizeof (struct GNUNET_MESH_TunnelMessage));
582     tmsg.tunnel_id = htonl (t->tid);
583     send_packet (h, &tmsg.header);
584
585     pmsg.header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
586     pmsg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD);
587     pmsg.tunnel_id = htonl (t->tid);
588
589     /* Reconnect all peers */
590     for (i = 0; i < t->npeers; i++)
591     {
592       GNUNET_PEER_resolve (t->peers[i]->id, &pmsg.peer);
593       if (NULL != t->disconnect_handler && t->peers[i]->connected)
594         t->disconnect_handler (t->cls, &pmsg.peer);
595       /* If the tunnel was "by type", dont connect individual peers */
596       if (0 == t->napps)
597         send_packet (t->mesh, &pmsg.header);
598     }
599     /* Reconnect all types, if any  */
600     for (i = 0; i < t->napps; i++)
601     {
602       struct GNUNET_MESH_ConnectPeerByType msg;
603
604       msg.header.size = htons (sizeof (struct GNUNET_MESH_ConnectPeerByType));
605       msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD_BY_TYPE);
606       msg.tunnel_id = htonl (t->tid);
607       msg.type = htonl (t->apps[i]);
608       send_packet (t->mesh, &msg.header);
609     }
610   }
611   return GNUNET_YES;
612 }
613
614
615 /******************************************************************************/
616 /***********************      RECEIVE HANDLERS     ****************************/
617 /******************************************************************************/
618
619 /**
620  * Process the new tunnel notification and add it to the tunnels in the handle
621  *
622  * @param h     The mesh handle
623  * @param msg   A message with the details of the new incoming tunnel
624  */
625 static void
626 process_tunnel_create (struct GNUNET_MESH_Handle *h,
627                        const struct GNUNET_MESH_TunnelMessage *msg)
628 {
629   struct GNUNET_MESH_Tunnel *t;
630   struct GNUNET_TRANSPORT_ATS_Information atsi;
631   MESH_TunnelNumber tid;
632
633   tid = ntohl (msg->tunnel_id);
634   if (tid <= GNUNET_MESH_LOCAL_TUNNEL_ID_CLI)
635   {
636     GNUNET_break (0);
637     return;
638   }
639   t = create_tunnel (h, tid);
640   t->owner = GNUNET_PEER_intern (&msg->peer);
641   t->npeers = 1;
642   t->peers = GNUNET_malloc (sizeof (struct GNUNET_MESH_Peer *));
643   t->peers[0] = GNUNET_malloc (sizeof (struct GNUNET_MESH_Peer));
644   t->peers[0]->t = t;
645   t->peers[0]->connected = 1;
646   t->peers[0]->id = t->owner;
647   t->mesh = h;
648   t->tid = tid;
649   if (NULL != h->new_tunnel)
650   {
651     atsi.type = 0;
652     atsi.value = 0;
653     t->ctx = h->new_tunnel(h->cls, t, &msg->peer, &atsi);
654   }
655   GNUNET_CONTAINER_DLL_insert (h->tunnels_head, h->tunnels_tail, t);
656   return;
657 }
658
659
660 /**
661  * Process the tunnel destroy notification and free associated resources
662  *
663  * @param h     The mesh handle
664  * @param msg   A message with the details of the tunnel being destroyed
665  */
666 static void
667 process_tunnel_destroy (struct GNUNET_MESH_Handle *h,
668                         const struct GNUNET_MESH_TunnelMessage *msg)
669 {
670   struct GNUNET_MESH_Tunnel *t;
671   MESH_TunnelNumber tid;
672
673   tid = ntohl (msg->tunnel_id);
674   t = retrieve_tunnel (h, tid);
675
676   if (NULL == t)
677   {
678     GNUNET_break(0);
679     return;
680   }
681   if (0 == t->owner)
682   {
683     GNUNET_break(0);
684   }
685
686   destroy_tunnel(t);
687   return;
688 }
689
690
691 /**
692  * Process the new peer event and notify the upper level of it
693  *
694  * @param h     The mesh handle
695  * @param msg   A message with the details of the peer event
696  */
697 static void
698 process_peer_event (struct GNUNET_MESH_Handle *h,
699                     const struct GNUNET_MESH_PeerControl *msg)
700 {
701   struct GNUNET_MESH_Tunnel *t;
702   struct GNUNET_MESH_Peer *p;
703   struct GNUNET_TRANSPORT_ATS_Information atsi;
704   GNUNET_PEER_Id id;
705   uint16_t size;
706
707   size = ntohs (msg->header.size);
708   if (size != sizeof (struct GNUNET_MESH_PeerControl))
709   {
710     GNUNET_break (0);
711     return;
712   }
713   t = retrieve_tunnel (h, ntohl (msg->tunnel_id));
714   if (NULL == t)
715   {
716     GNUNET_break(0);
717     return;
718   }
719   id = GNUNET_PEER_search (&msg->peer);
720   if ((p = retrieve_peer (t, id)) == NULL)
721     p = add_peer_to_tunnel (t, &msg->peer);
722   if (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD == msg->header.type)
723   {
724     if (NULL != t->connect_handler)
725     {
726       atsi.type = 0;
727       atsi.value = 0;
728       t->connect_handler (t->cls, &msg->peer, &atsi);
729     }
730     p->connected = 1;
731   }
732   else
733   {
734     if (NULL != t->disconnect_handler && p->connected)
735     {
736       t->disconnect_handler (t->cls, &msg->peer);
737     }
738     remove_peer_from_tunnel (p);
739     GNUNET_free (p);
740   }
741 }
742
743
744 /**
745  * Process the incoming data packets
746  *
747  * @param h     The mesh handle
748  * @param msh   A message encapsulating the data
749  */
750 static void
751 process_incoming_data (struct GNUNET_MESH_Handle *h,
752                        const struct GNUNET_MessageHeader *message)
753 {
754   const struct GNUNET_MessageHeader *payload;
755   const struct GNUNET_MESH_MessageHandler *handler;
756   const struct GNUNET_PeerIdentity *peer;
757   struct GNUNET_MESH_Unicast *ucast;
758   struct GNUNET_MESH_Multicast *mcast;
759   struct GNUNET_MESH_ToOrigin *to_orig;
760   struct GNUNET_MESH_Tunnel *t;
761   uint16_t type;
762   int i;
763
764   type = ntohs (message->type);
765   switch (type)
766   {
767   case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
768     ucast = (struct GNUNET_MESH_Unicast *) message;
769     t = retrieve_tunnel (h, ntohl (ucast->tid));
770     payload = (struct GNUNET_MessageHeader *) &ucast[1];
771     peer = &ucast->oid;
772     break;
773   case GNUNET_MESSAGE_TYPE_MESH_MULTICAST:
774     mcast = (struct GNUNET_MESH_Multicast *) message;
775     t = retrieve_tunnel (h, ntohl (mcast->tid));
776     payload = (struct GNUNET_MessageHeader *) &mcast[1];
777     peer = &mcast->oid;
778     break;
779   case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
780     to_orig = (struct GNUNET_MESH_ToOrigin *) message;
781     t = retrieve_tunnel (h, ntohl (to_orig->tid));
782     payload = (struct GNUNET_MessageHeader *) &to_orig[1];
783     peer = &to_orig->sender;
784     break;
785   default:
786     GNUNET_break (0);
787     return;
788   }
789   if (NULL == t)
790   {
791     GNUNET_break (0);
792     return;
793   }
794   for (i = 0; i < h->n_handlers; i++)
795   {
796     handler = &h->message_handlers[i];
797     if (handler->type == type)
798     {
799       struct GNUNET_TRANSPORT_ATS_Information atsi;
800
801       atsi.type = 0;
802       atsi.value = 0;
803       if (GNUNET_OK ==
804           handler->callback (h->cls, t, &t->ctx, peer, payload, &atsi))
805       {
806         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
807                     "MESH: callback completed successfully\n");
808       }
809       else
810       {
811         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
812                     "MESH: callback caused disconnection\n");
813         GNUNET_MESH_disconnect (h);
814       }
815     }
816   }
817 }
818
819
820 /**
821  * Function to process all messages received from the service
822  *
823  * @param cls closure
824  * @param msg message received, NULL on timeout or fatal error
825  */
826 static void
827 msg_received (void *cls, const struct GNUNET_MessageHeader *msg)
828 {
829   struct GNUNET_MESH_Handle *h = cls;
830
831   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: received a message from MESH\n");
832   if (msg == NULL)
833   {
834     reconnect (h);
835     return;
836   }
837   switch (ntohs (msg->type))
838   {
839     /* Notify of a new incoming tunnel */
840   case GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE:
841     process_tunnel_create (h, (struct GNUNET_MESH_TunnelMessage *) msg);
842     break;
843     /* Notify of a tunnel disconnection */
844   case GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY:
845     process_tunnel_destroy (h, (struct GNUNET_MESH_TunnelMessage *) msg);
846     break;
847     /* Notify of a new peer or a peer disconnect in the tunnel */
848   case GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD:
849   case GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DEL:
850     process_peer_event (h, (struct GNUNET_MESH_PeerControl *) msg);
851     break;
852     /* Notify of a new data packet in the tunnel */
853   case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
854   case GNUNET_MESSAGE_TYPE_MESH_MULTICAST:
855   case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
856     process_incoming_data (h, msg);
857     break;
858     /* We shouldn't get any other packages, log and ignore */
859   default:
860     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
861                 "MESH: unsolicited message form service (type %d)\n",
862                 ntohs (msg->type));
863   }
864   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: message processed\n");
865   GNUNET_CLIENT_receive (h->client, &msg_received, h,
866                          GNUNET_TIME_UNIT_FOREVER_REL);
867 }
868
869
870 /******************************************************************************/
871 /************************       SEND FUNCTIONS     ****************************/
872 /******************************************************************************/
873
874 /**
875  * Function called to send a message to the service.
876  * "buf" will be NULL and "size" zero if the socket was closed for writing in
877  * the meantime.
878  *
879  * @param cls closure, the mesh handle
880  * @param size number of bytes available in buf
881  * @param buf where the callee should write the connect message
882  * @return number of bytes written to buf
883  */
884 static size_t
885 send_callback (void *cls, size_t size, void *buf)
886 {
887   struct GNUNET_MESH_Handle *h = cls;
888   struct GNUNET_MESH_TransmitHandle *th;
889   char *cbuf = buf;
890   size_t tsize;
891   size_t psize;
892
893   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: Send packet() Buffer %u\n", size);
894   h->th = NULL;
895   if ((0 == size) || (NULL == buf))
896   {
897     reconnect (h);
898     return 0;
899   }
900   tsize = 0;
901   while ((NULL != (th = h->th_head)) && (size >= th->size))
902   {
903     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh:     type: %u\n",
904                 ntohs (th->data->type));
905     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh:     size: %u\n",
906                 ntohs (th->data->size));
907     if (NULL == th->data)
908     {
909       GNUNET_assert (NULL != th->notify);
910       if (th->target == 0)
911       {
912         /* multicast */
913         struct GNUNET_MESH_Multicast mc;
914
915         GNUNET_assert (size >= sizeof (mc) + th->size);
916         psize =
917             th->notify (th->notify_cls, size - sizeof (mc), &cbuf[sizeof (mc)]);
918         if (psize > 0)
919         {
920           mc.header.size = htons (sizeof (mc) + th->size);
921           mc.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_MULTICAST);
922           mc.tid = htonl (th->tunnel->tid);
923           memset (&mc.oid, 0, sizeof (struct GNUNET_PeerIdentity));     /* myself */
924           memcpy (cbuf, &mc, sizeof (mc));
925           psize = th->size + sizeof (mc);
926         }
927       }
928       else
929       {
930         /* unicast */
931         struct GNUNET_MESH_Unicast uc;
932
933         GNUNET_assert (size >= sizeof (uc) + th->size);
934         psize =
935             th->notify (th->notify_cls, size - sizeof (uc), &cbuf[sizeof (uc)]);
936         if (psize > 0)
937         {
938           uc.header.size = htons (sizeof (uc) + th->size);
939           uc.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_UNICAST);
940           uc.tid = htonl (th->tunnel->tid);
941           memset (&uc.oid, 0, sizeof (struct GNUNET_PeerIdentity));     /* myself */
942           GNUNET_PEER_resolve (th->target, &uc.destination);
943           memcpy (cbuf, &uc, sizeof (uc));
944           psize = th->size + sizeof (uc);
945         }
946       }
947     }
948     else
949     {
950       memcpy (cbuf, th->data, th->size);
951       psize = th->size;
952     }
953     if (th->timeout_task != GNUNET_SCHEDULER_NO_TASK)
954       GNUNET_SCHEDULER_cancel (th->timeout_task);
955     GNUNET_CONTAINER_DLL_remove (h->th_head, h->th_tail, th);
956     GNUNET_free (th);
957     cbuf += psize;
958     size -= psize;
959     tsize += psize;
960   }
961   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh:   total size: %u\n", tsize);
962   if (NULL != (th = h->th_head))
963   {
964     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh:   next size: %u\n", th->size);
965     h->th =
966         GNUNET_CLIENT_notify_transmit_ready (h->client, th->size,
967                                              GNUNET_TIME_UNIT_FOREVER_REL,
968                                              GNUNET_YES, &send_callback, h);
969   }
970   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: Send packet() END\n");
971   if (GNUNET_NO == h->in_receive)
972   {
973     h->in_receive = GNUNET_YES;
974     GNUNET_CLIENT_receive (h->client, &msg_received, h,
975                            GNUNET_TIME_UNIT_FOREVER_REL);
976   }
977   return tsize;
978 }
979
980
981 /**
982  * Auxiliary function to send an already constructed packet to the service.
983  * Takes care of creating a new queue element, copying the message and
984  * calling the tmt_rdy function if necessary.
985  * @param h mesh handle
986  * @param msg message to transmit
987  */
988 static void
989 send_packet (struct GNUNET_MESH_Handle *h,
990              const struct GNUNET_MessageHeader *msg)
991 {
992   struct GNUNET_MESH_TransmitHandle *th;
993   size_t msize;
994
995   msize = ntohs (msg->size);
996   th = GNUNET_malloc (sizeof (struct GNUNET_MESH_TransmitHandle) + msize);
997   th->priority = UINT32_MAX;
998   th->timeout = GNUNET_TIME_UNIT_FOREVER_ABS;
999   th->size = msize;
1000   th->data = (void *) &th[1];
1001   memcpy (&th[1], msg, msize);
1002   add_to_queue (h, th);
1003   if (NULL != h->th)
1004     return;
1005   h->th =
1006       GNUNET_CLIENT_notify_transmit_ready (h->client, msize,
1007                                            GNUNET_TIME_UNIT_FOREVER_REL,
1008                                            GNUNET_YES, &send_callback, h);
1009 }
1010
1011
1012 /******************************************************************************/
1013 /**********************      API CALL DEFINITIONS     *************************/
1014 /******************************************************************************/
1015
1016 /**
1017  * Connect to the mesh service.
1018  *
1019  * @param cfg configuration to use
1020  * @param queue_size size of the data message queue, shared among all tunnels
1021  *                   (each tunnel is guaranteed to accept at least one message,
1022  *                    no matter what is the status of other tunnels)
1023  * @param cls closure for the various callbacks that follow
1024  *            (including handlers in the handlers array)
1025  * @param new_tunnel function called when an *inbound* tunnel is created
1026  * @param cleaner function called when an *inbound* tunnel is destroyed
1027  * @param handlers callbacks for messages we care about, NULL-terminated
1028  *                note that the mesh is allowed to drop notifications about
1029  *                inbound messages if the client does not process them fast
1030  *                enough (for this notification type, a bounded queue is used)
1031  * @param stypes list of the applications that this client claims to provide
1032  * @return handle to the mesh service NULL on error
1033  *         (in this case, init is never called)
1034  */
1035 struct GNUNET_MESH_Handle *
1036 GNUNET_MESH_connect (const struct GNUNET_CONFIGURATION_Handle *cfg,
1037                      unsigned int queue_size, void *cls,
1038                      GNUNET_MESH_InboundTunnelNotificationHandler new_tunnel,
1039                      GNUNET_MESH_TunnelEndHandler cleaner,
1040                      const struct GNUNET_MESH_MessageHandler *handlers,
1041                      const GNUNET_MESH_ApplicationType *stypes)
1042 {
1043   struct GNUNET_MESH_Handle *h;
1044   struct GNUNET_MESH_ClientConnect *msg;
1045   GNUNET_MESH_ApplicationType *apps;
1046   uint16_t napps;
1047   uint16_t *types;
1048   uint16_t ntypes;
1049   size_t size;
1050
1051   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: GNUNET_MESH_connect()\n");
1052   h = GNUNET_malloc (sizeof (struct GNUNET_MESH_Handle));
1053   h->cfg = cfg;
1054   h->max_queue_size = queue_size;
1055   h->new_tunnel = new_tunnel;
1056   h->cleaner = cleaner;
1057   h->client = GNUNET_CLIENT_connect ("mesh", cfg);
1058   if (h->client == NULL)
1059   {
1060     GNUNET_break (0);
1061     GNUNET_free (h);
1062     return NULL;
1063   }
1064   h->cls = cls;
1065   h->message_handlers = handlers;
1066   h->applications = stypes;
1067   h->next_tid = GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
1068
1069   /* count handlers and apps, calculate size */
1070   for (h->n_handlers = 0; handlers[h->n_handlers].type; h->n_handlers++) ;
1071   for (h->n_applications = 0; stypes[h->n_applications]; h->n_applications++) ;
1072   size = sizeof (struct GNUNET_MESH_ClientConnect);
1073   size += h->n_handlers * sizeof (uint16_t);
1074   size += h->n_applications * sizeof (GNUNET_MESH_ApplicationType);
1075
1076   {
1077     char buf[size];
1078
1079     /* build connection packet */
1080     msg = (struct GNUNET_MESH_ClientConnect *) buf;
1081     msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_CONNECT);
1082     msg->header.size = htons (size);
1083     types = (uint16_t *) & msg[1];
1084     for (ntypes = 0; ntypes < h->n_handlers; ntypes++)
1085       types[ntypes] = h->message_handlers[ntypes].type;
1086     apps = (GNUNET_MESH_ApplicationType *) &types[ntypes];
1087     for (napps = 0; napps < h->n_applications; napps++)
1088       apps[napps] = h->applications[napps];
1089     msg->applications = htons (napps);
1090     msg->types = htons (ntypes);
1091     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1092                 "mesh: Sending %lu bytes long message %d types and %d apps\n",
1093                 ntohs (msg->header.size), ntypes, napps);
1094     send_packet (h, &msg->header);
1095   }
1096   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: GNUNET_MESH_connect() END\n");
1097   return h;
1098 }
1099
1100
1101 /**
1102  * Disconnect from the mesh service.
1103  *
1104  * @param handle connection to mesh to disconnect
1105  */
1106 void
1107 GNUNET_MESH_disconnect (struct GNUNET_MESH_Handle *handle)
1108 {
1109   struct GNUNET_MESH_Tunnel *t;
1110
1111   for (t = handle->tunnels_head; NULL != t; t = t->next)
1112   {
1113     destroy_tunnel (t);
1114   }
1115   if (NULL != handle->th)
1116   {
1117     GNUNET_CLIENT_notify_transmit_ready_cancel (handle->th);
1118   }
1119   if (NULL != handle->client)
1120   {
1121     GNUNET_CLIENT_disconnect (handle->client, GNUNET_NO);
1122   }
1123   GNUNET_free (handle);
1124 }
1125
1126
1127 /**
1128  * Create a new tunnel (we're initiator and will be allowed to add/remove peers
1129  * and to broadcast).
1130  *
1131  * @param h mesh handle
1132  * @param tunnel_ctx client's tunnel context to associate with the tunnel
1133  * @param connect_handler function to call when peers are actually connected
1134  * @param disconnect_handler function to call when peers are disconnected
1135  * @param handler_cls closure for connect/disconnect handlers
1136  */
1137 struct GNUNET_MESH_Tunnel *
1138 GNUNET_MESH_tunnel_create (struct GNUNET_MESH_Handle *h, void *tunnel_ctx,
1139                            GNUNET_MESH_TunnelConnectHandler connect_handler,
1140                            GNUNET_MESH_TunnelDisconnectHandler
1141                            disconnect_handler, void *handler_cls)
1142 {
1143   struct GNUNET_MESH_Tunnel *t;
1144   struct GNUNET_MESH_TunnelMessage msg;
1145
1146   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: Creating new tunnel\n");
1147   t = create_tunnel (h, 0);
1148   t->connect_handler = connect_handler;
1149   t->disconnect_handler = disconnect_handler;
1150   t->cls = handler_cls;
1151   t->ctx = tunnel_ctx;
1152   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
1153   msg.header.size = htons (sizeof (struct GNUNET_MESH_TunnelMessage));
1154   msg.tunnel_id = htonl (t->tid);
1155   send_packet (h, &msg.header);
1156   return t;
1157 }
1158
1159
1160 /**
1161  * Destroy an existing tunnel.
1162  *
1163  * @param tun tunnel handle
1164  */
1165 void
1166 GNUNET_MESH_tunnel_destroy (struct GNUNET_MESH_Tunnel *t)
1167 {
1168   struct GNUNET_MESH_Handle *h;
1169   struct GNUNET_MESH_TunnelMessage msg;
1170
1171   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "mesh: Destroying tunnel\n");
1172   h = t->mesh;
1173
1174   if (0 != t->owner)
1175     GNUNET_PEER_change_rc (t->owner, -1);
1176
1177   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY);
1178   msg.header.size = htons (sizeof (struct GNUNET_MESH_TunnelMessage));
1179   msg.tunnel_id = htonl (t->tid);
1180   destroy_tunnel (t);
1181   send_packet (h, &msg.header);
1182 }
1183
1184
1185 /**
1186  * Request that a peer should be added to the tunnel.  The existing
1187  * connect handler will be called ONCE with either success or failure.
1188  * This function should NOT be called again with the same peer before the
1189  * connect handler is called.
1190  *
1191  * @param tunnel handle to existing tunnel
1192  * @param timeout how long to try to establish a connection
1193  * @param peer peer to add
1194  */
1195 void
1196 GNUNET_MESH_peer_request_connect_add (struct GNUNET_MESH_Tunnel *tunnel,
1197                                       const struct GNUNET_PeerIdentity *peer)
1198 {
1199   struct GNUNET_MESH_PeerControl msg;
1200   GNUNET_PEER_Id peer_id;
1201   unsigned int i;
1202
1203   peer_id = GNUNET_PEER_intern (peer);
1204   for (i = 0; i < tunnel->npeers; i++)
1205   {
1206     if (tunnel->peers[i]->id == peer_id)
1207     {
1208       GNUNET_PEER_change_rc (peer_id, -1);
1209       GNUNET_break (0);
1210       return;
1211     }
1212   }
1213   if (NULL == add_peer_to_tunnel (tunnel, peer))
1214     return;
1215
1216   msg.header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
1217   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD);
1218   msg.tunnel_id = htonl (tunnel->tid);
1219   msg.peer = *peer;
1220   send_packet (tunnel->mesh, &msg.header);
1221
1222   return;
1223 }
1224
1225
1226 /**
1227  * Request that a peer should be removed from the tunnel.  The existing
1228  * disconnect handler will be called ONCE if we were connected.
1229  *
1230  * @param tunnel handle to existing tunnel
1231  * @param peer peer to remove
1232  */
1233 void
1234 GNUNET_MESH_peer_request_connect_del (struct GNUNET_MESH_Tunnel *tunnel,
1235                                       const struct GNUNET_PeerIdentity *peer)
1236 {
1237   struct GNUNET_MESH_PeerControl msg;
1238   GNUNET_PEER_Id peer_id;
1239   unsigned int i;
1240
1241   peer_id = GNUNET_PEER_search (peer);
1242   if (0 == peer_id)
1243   {
1244     GNUNET_break (0);
1245     return;
1246   }
1247   for (i = 0; i < tunnel->npeers; i++)
1248     if (tunnel->peers[i]->id == peer_id)
1249       break;
1250   if (i == tunnel->npeers)
1251   {
1252     GNUNET_break (0);
1253     return;
1254   }
1255   if (NULL != tunnel->disconnect_handler && tunnel->peers[i]->connected == 1)
1256     tunnel->disconnect_handler (tunnel->cls, peer);
1257   GNUNET_PEER_change_rc (peer_id, -1);
1258   GNUNET_free (tunnel->peers[i]);
1259   tunnel->peers[i] = tunnel->peers[tunnel->npeers - 1];
1260   GNUNET_array_grow (tunnel->peers, tunnel->npeers, tunnel->npeers - 1);
1261
1262   msg.header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
1263   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DEL);
1264   msg.tunnel_id = htonl (tunnel->tid);
1265   memcpy (&msg.peer, peer, sizeof (struct GNUNET_PeerIdentity));
1266   send_packet (tunnel->mesh, &msg.header);
1267 }
1268
1269
1270 /**
1271  * Request that the mesh should try to connect to a peer supporting the given
1272  * message type.
1273  *
1274  * @param tunnel handle to existing tunnel
1275  * @param app_type application type that must be supported by the peer (MESH
1276  *                 should discover peer in proximity handling this type)
1277  */
1278 void
1279 GNUNET_MESH_peer_request_connect_by_type (struct GNUNET_MESH_Tunnel *tunnel,
1280                                           GNUNET_MESH_ApplicationType app_type)
1281 {
1282   struct GNUNET_MESH_ConnectPeerByType msg;
1283
1284   GNUNET_array_append (tunnel->apps, tunnel->napps, app_type);
1285
1286   msg.header.size = htons (sizeof (struct GNUNET_MESH_ConnectPeerByType));
1287   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD_BY_TYPE);
1288   msg.tunnel_id = htonl (tunnel->tid);
1289   msg.type = htonl (app_type);
1290   send_packet (tunnel->mesh, &msg.header);
1291 }
1292
1293
1294 /**
1295  * Ask the mesh to call "notify" once it is ready to transmit the
1296  * given number of bytes to the specified "target".  If we are not yet
1297  * connected to the specified peer, a call to this function will cause
1298  * us to try to establish a connection.
1299  *
1300  * @param tunnel tunnel to use for transmission
1301  * @param cork is corking allowed for this transmission?
1302  * @param priority how important is the message?
1303  * @param maxdelay how long can the message wait?
1304  * @param target destination for the message,
1305  *               NULL for multicast to all tunnel targets
1306  * @param notify_size how many bytes of buffer space does notify want?
1307  * @param notify function to call when buffer space is available;
1308  *        will be called with NULL on timeout or if the overall queue
1309  *        for this peer is larger than queue_size and this is currently
1310  *        the message with the lowest priority
1311  * @param notify_cls closure for notify
1312  * @return non-NULL if the notify callback was queued,
1313  *         NULL if we can not even queue the request (insufficient
1314  *         memory); if NULL is returned, "notify" will NOT be called.
1315  */
1316 struct GNUNET_MESH_TransmitHandle *
1317 GNUNET_MESH_notify_transmit_ready (struct GNUNET_MESH_Tunnel *tunnel, int cork,
1318                                    uint32_t priority,
1319                                    struct GNUNET_TIME_Relative maxdelay,
1320                                    const struct GNUNET_PeerIdentity *target,
1321                                    size_t notify_size,
1322                                    GNUNET_CONNECTION_TransmitReadyNotify notify,
1323                                    void *notify_cls)
1324 {
1325   struct GNUNET_MESH_TransmitHandle *th;
1326   size_t overhead;
1327
1328   if (tunnel->mesh->npackets >= tunnel->mesh->max_queue_size &&
1329       tunnel->npackets > 0)
1330     return NULL;                /* queue full */
1331   tunnel->npackets++;
1332   tunnel->mesh->npackets++;
1333   th = GNUNET_malloc (sizeof (struct GNUNET_MESH_TransmitHandle));
1334   th->tunnel = tunnel;
1335   th->priority = priority;
1336   th->timeout = GNUNET_TIME_relative_to_absolute (maxdelay);
1337   th->target = GNUNET_PEER_intern (target);
1338   overhead =
1339       (NULL ==
1340        target) ? sizeof (struct GNUNET_MESH_Multicast) : sizeof (struct
1341                                                                  GNUNET_MESH_Unicast);
1342   th->size = notify_size + overhead;
1343   th->notify = notify;
1344   th->notify_cls = notify_cls;
1345   add_to_queue (tunnel->mesh, th);
1346   return th;
1347 }
1348
1349
1350 /**
1351  * Cancel the specified transmission-ready notification.
1352  *
1353  * @param th handle that was returned by "notify_transmit_ready".
1354  */
1355 void
1356 GNUNET_MESH_notify_transmit_ready_cancel (struct GNUNET_MESH_TransmitHandle *th)
1357 {
1358   struct GNUNET_MESH_Handle *mesh;
1359
1360   mesh = th->tunnel->mesh;
1361   if (th->timeout_task != GNUNET_SCHEDULER_NO_TASK)
1362     GNUNET_SCHEDULER_cancel (th->timeout_task);
1363   GNUNET_CONTAINER_DLL_remove (mesh->th_head, mesh->th_tail, th);
1364   GNUNET_free (th);
1365   if ((NULL == mesh->th_head) && (NULL != mesh->th))
1366   {
1367     /* queue empty, no point in asking for transmission */
1368     GNUNET_CLIENT_notify_transmit_ready_cancel (mesh->th);
1369     mesh->th = NULL;
1370   }
1371 }
1372
1373
1374 #if 0                           /* keep Emacsens' auto-indent happy */
1375 {
1376 #endif
1377 #ifdef __cplusplus
1378 }
1379 #endif