Fixed issue related to mantis #1896, when a path ack of an already connected peer...
[oweals/gnunet.git] / src / mesh / gnunet-service-mesh.c
1 /*
2      This file is part of GNUnet.
3      (C) 2001 - 2011 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file mesh/gnunet-service-mesh.c
23  * @brief GNUnet MESH service
24  * @author Bartlomiej Polot
25  *
26  * STRUCTURE:
27  * - DATA STRUCTURES
28  * - GLOBAL VARIABLES
29  * - GENERAL HELPERS
30  * - PERIODIC FUNCTIONS
31  * - MESH NETWORK HANDLER HELPERS
32  * - MESH NETWORK HANDLES
33  * - MESH LOCAL HANDLER HELPERS
34  * - MESH LOCAL HANDLES
35  * - MAIN FUNCTIONS (main & run)
36  *
37  * TODO:
38  * - error reporting (CREATE/CHANGE/ADD/DEL?) -- new message!
39  * - partial disconnect reporting -- same as error reporting?
40  * - add vs create? change vs. keep-alive? same msg or different ones? -- thinking...
41  * - speed requirement specification (change?) in mesh API -- API call
42  * - add ping message
43  * - relay corking down to core
44  * - set ttl relative to tree depth
45  */
46
47 #include "platform.h"
48 #include "mesh.h"
49 #include "mesh_protocol.h"
50 #include "gnunet_dht_service.h"
51 #include "mesh_tunnel_tree.h"
52
53 /* TODO: move into configuration file */
54 #define REFRESH_PATH_TIME       GNUNET_TIME_relative_multiply(\
55                                     GNUNET_TIME_UNIT_SECONDS,\
56                                     300)
57 #define APP_ANNOUNCE_TIME       GNUNET_TIME_relative_multiply(\
58                                     GNUNET_TIME_UNIT_SECONDS,\
59                                     5)
60
61 #define ID_ANNOUNCE_TIME        GNUNET_TIME_relative_multiply(\
62                                     GNUNET_TIME_UNIT_SECONDS,\
63                                     10)
64
65 #define GET_RESTART_TIME        GNUNET_TIME_relative_multiply(\
66                                     GNUNET_TIME_UNIT_SECONDS,\
67                                     5)
68
69 #define UNACKNOWLEDGED_WAIT     GNUNET_TIME_relative_multiply(\
70                                     GNUNET_TIME_UNIT_SECONDS,\
71                                     2)
72 #define DEFAULT_TTL     64
73
74 #define MESH_DEBUG_DHT GNUNET_NO
75
76
77
78 /******************************************************************************/
79 /************************      DATA STRUCTURES     ****************************/
80 /******************************************************************************/
81
82 /** FWD declaration */
83 struct MeshPeerInfo;
84
85 /**
86  * Struct containing all info possibly needed to build a package when called
87  * back by core.
88  */
89 struct MeshDataDescriptor
90 {
91     /** ID of the tunnel this packet travels in */
92   struct MESH_TunnelID *origin;
93
94     /** Data itself */
95   void *data;
96
97     /** Client that asked for the transmission, if any */
98   struct GNUNET_SERVER_Client *client;
99
100     /** Who was this message being sent to */
101   struct MeshPeerInfo *peer;
102
103     /** Ultimate destination of the packet */
104   GNUNET_PEER_Id destination;
105
106     /** Number of identical messages sent to different hops (multicast) */
107   unsigned int *copies;
108
109     /** Which handler was used to request the transmission */
110   unsigned int handler_n;
111
112     /** Size of the data */
113   size_t size;
114
115     /** Used to allow a client send more traffic to the service after a
116      * previous packet was tried to be sent to a neighbor and couldn't */
117   GNUNET_SCHEDULER_TaskIdentifier *timeout_task;
118 };
119
120
121 /**
122  * Struct containing all information regarding a given peer
123  */
124 struct MeshPeerInfo
125 {
126     /**
127      * ID of the peer
128      */
129   GNUNET_PEER_Id id;
130
131     /**
132      * Last time we heard from this peer
133      */
134   struct GNUNET_TIME_Absolute last_contact;
135
136     /**
137      * Number of attempts to reconnect so far
138      */
139   int n_reconnect_attempts;
140
141     /**
142      * Paths to reach the peer, ordered by ascending hop count
143      */
144   struct MeshPeerPath *path_head;
145
146     /**
147      * Paths to reach the peer, ordered by ascending hop count
148      */
149   struct MeshPeerPath *path_tail;
150
151     /**
152      * Handle to stop the DHT search for a path to this peer
153      */
154   struct GNUNET_DHT_GetHandle *dhtget;
155
156     /**
157      * Closure given to the DHT GET
158      */
159   struct MeshPathInfo *dhtgetcls;
160
161     /**
162      * Handles to stop queued transmissions for this peer
163      */
164   struct GNUNET_CORE_TransmitHandle *core_transmit[CORE_QUEUE_SIZE];
165
166     /**
167      * Pointer to info stuctures used as cls for queued transmissions
168      */
169   void *infos[CORE_QUEUE_SIZE];
170
171     /**
172      * Type of message being in each transmission
173      */
174   uint16_t types[CORE_QUEUE_SIZE];
175
176     /**
177      * Array of tunnels this peer participates in
178      * (most probably a small amount, therefore not a hashmap)
179      * When the path to the peer changes, notify these tunnels to let them
180      * re-adjust their path trees.
181      */
182   struct MeshTunnel **tunnels;
183
184     /**
185      * Number of tunnels this peers participates in
186      */
187   unsigned int ntunnels;
188 };
189
190
191 /**
192  * Data scheduled to transmit (to local client or remote peer)
193  */
194 struct MeshQueue
195 {
196     /**
197      * Double linked list
198      */
199   struct MeshQueue *next;
200   struct MeshQueue *prev;
201
202     /**
203      * Target of the data (NULL if target is client)
204      */
205   struct MeshPeerInfo *peer;
206
207     /**
208      * Client to send the data to (NULL if target is peer)
209      */
210   struct MeshClient *client;
211
212     /**
213      * Size of the message to transmit
214      */
215   unsigned int size;
216
217     /**
218      * How old is the data?
219      */
220   struct GNUNET_TIME_Absolute timestamp;
221
222     /**
223      * Data itself
224      */
225   struct GNUNET_MessageHeader *data;
226 };
227
228 /**
229  * Globally unique tunnel identification (owner + number)
230  * DO NOT USE OVER THE NETWORK
231  */
232 struct MESH_TunnelID
233 {
234     /**
235      * Node that owns the tunnel
236      */
237   GNUNET_PEER_Id oid;
238
239     /**
240      * Tunnel number to differentiate all the tunnels owned by the node oid
241      * ( tid < GNUNET_MESH_LOCAL_TUNNEL_ID_CLI )
242      */
243   MESH_TunnelNumber tid;
244 };
245
246
247 struct MeshClient;              /* FWD declaration */
248
249 /**
250  * Struct containing all information regarding a tunnel
251  * For an intermediate node the improtant info used will be:
252  * - id        Tunnel unique identification
253  * - paths[0]  To know where to send it next
254  * - metainfo: ready, speeds, accounting
255  */
256 struct MeshTunnel
257 {
258     /**
259      * Tunnel ID
260      */
261   struct MESH_TunnelID id;
262
263     /**
264      * Local tunnel number ( >= GNUNET_MESH_LOCAL_TUNNEL_ID_CLI or 0 )
265      */
266   MESH_TunnelNumber local_tid;
267
268     /**
269      * ID of the last multicast packet seen/sent.
270      */
271   uint32_t mid;
272
273     /**
274      * Last time the tunnel was used
275      */
276   struct GNUNET_TIME_Absolute timestamp;
277
278     /**
279      * Peers in the tunnel, indexed by PeerIdentity -> (MeshPeerInfo)
280      * containing peers added by id or by type, not intermediate peers.
281      */
282   struct GNUNET_CONTAINER_MultiHashMap *peers;
283
284     /**
285      * Number of peers that are connected and potentially ready to receive data
286      */
287   unsigned int peers_ready;
288
289     /**
290      * Number of peers that have been added to the tunnel
291      */
292   unsigned int peers_total;
293
294     /**
295      * Client owner of the tunnel, if any
296      */
297   struct MeshClient *client;
298
299     /**
300      * Messages ready to transmit
301      */
302   struct MeshQueue *queue_head;
303   struct MeshQueue *queue_tail;
304
305   /**
306    * Tunnel paths
307    */
308   struct MeshTunnelTree *tree;
309
310   /**
311    * Application type we are looking for in this tunnel
312    */
313   GNUNET_MESH_ApplicationType type;
314
315     /**
316      * Used to search peers offering a service
317      */
318   struct GNUNET_DHT_GetHandle *dht_get_type;
319
320   /**
321    * Task to keep the used paths alive
322    */
323   GNUNET_SCHEDULER_TaskIdentifier path_refresh_task;
324
325   /**
326    * Task to destroy the tunnel after timeout
327    *
328    * FIXME: merge the two? a tunnel will have either
329    * a path refresh OR a timeout, never both!
330    */
331   GNUNET_SCHEDULER_TaskIdentifier timeout_task;
332 };
333
334
335 /**
336  * Info needed to work with tunnel paths and peers
337  */
338 struct MeshPathInfo
339 {
340   /**
341    * Tunnel
342    */
343   struct MeshTunnel *t;
344
345   /**
346    * Neighbouring peer to whom we send the packet to
347    */
348   struct MeshPeerInfo *peer;
349
350   /**
351    * Path itself
352    */
353   struct MeshPeerPath *path;
354
355   /**
356    * Position in peer's transmit queue
357    */
358   unsigned int pos;
359 };
360
361
362 /**
363  * Struct containing information about a client of the service
364  */
365 struct MeshClient
366 {
367     /**
368      * Linked list
369      */
370   struct MeshClient *next;
371   struct MeshClient *prev;
372
373     /**
374      * Tunnels that belong to this client, indexed by local id
375      */
376   struct GNUNET_CONTAINER_MultiHashMap *tunnels;
377
378     /**
379      * Handle to communicate with the client
380      */
381   struct GNUNET_SERVER_Client *handle;
382
383     /**
384      * Applications that this client has claimed to provide
385      */
386   struct GNUNET_CONTAINER_MultiHashMap *apps;
387
388     /**
389      * Messages that this client has declared interest in
390      */
391   struct GNUNET_CONTAINER_MultiHashMap *types;
392
393 #if MESH_DEBUG
394     /**
395      * ID of the client, for debug messages
396      */
397   unsigned int id;
398 #endif
399
400 };
401
402
403
404 /******************************************************************************/
405 /************************      DEBUG FUNCTIONS     ****************************/
406 /******************************************************************************/
407
408 #if MESH_DEBUG
409 /**
410  * GNUNET_SCHEDULER_Task for printing a message after some operation is done
411  * @param cls string to print
412  * @param tc task context
413  */
414 static void
415 mesh_debug (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
416 {
417   char *s = cls;
418
419   if (GNUNET_SCHEDULER_REASON_SHUTDOWN == tc->reason)
420   {
421     return;
422   }
423   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: %s\n", s);
424 }
425 #endif
426
427 /******************************************************************************/
428 /***********************      GLOBAL VARIABLES     ****************************/
429 /******************************************************************************/
430
431 /**
432  * All the clients
433  */
434 static struct MeshClient *clients;
435 static struct MeshClient *clients_tail;
436
437 /**
438  * Tunnels known, indexed by MESH_TunnelID (MeshTunnel)
439  */
440 static struct GNUNET_CONTAINER_MultiHashMap *tunnels;
441
442 /**
443  * Tunnels incoming, indexed by MESH_TunnelNumber
444  * (which is greater than GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
445  */
446 static struct GNUNET_CONTAINER_MultiHashMap *incoming_tunnels;
447
448 /**
449  * Peers known, indexed by PeerIdentity (MeshPeerInfo)
450  */
451 static struct GNUNET_CONTAINER_MultiHashMap *peers;
452
453 /**
454  * Handle to communicate with core
455  */
456 static struct GNUNET_CORE_Handle *core_handle;
457
458 /**
459  * Handle to communicate with transport
460  */
461 // static struct GNUNET_TRANSPORT_Handle *transport_handle;
462
463 /**
464  * Handle to use DHT
465  */
466 static struct GNUNET_DHT_Handle *dht_handle;
467
468 /**
469  * Handle to server
470  */
471 static struct GNUNET_SERVER_Handle *server_handle;
472
473 /**
474  * Notification context, to send messages to local clients
475  */
476 static struct GNUNET_SERVER_NotificationContext *nc;
477
478 /**
479  * Local peer own ID (memory efficient handle)
480  */
481 static GNUNET_PEER_Id myid;
482
483 /**
484  * Local peer own ID (full value)
485  */
486 static struct GNUNET_PeerIdentity my_full_id;
487
488 /**
489  * Own private key
490  */
491 static struct GNUNET_CRYPTO_RsaPrivateKey *my_private_key;
492
493 /**
494  * Own public key.
495  */
496 static struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded my_public_key;
497
498 /**
499  * Tunnel ID for the next created tunnel (global tunnel number)
500  */
501 static MESH_TunnelNumber next_tid;
502
503 /**
504  * Tunnel ID for the next incoming tunnel (local tunnel number)
505  */
506 static MESH_TunnelNumber next_local_tid;
507
508 /**
509  * All application types provided by this peer
510  */
511 static struct GNUNET_CONTAINER_MultiHashMap *applications;
512
513 /**
514  * All message types clients of this peer are interested in
515  */
516 static struct GNUNET_CONTAINER_MultiHashMap *types;
517
518 /**
519  * Task to periodically announce provided applications
520  */
521 GNUNET_SCHEDULER_TaskIdentifier announce_applications_task;
522
523 /**
524  * Task to periodically announce itself in the network
525  */
526 GNUNET_SCHEDULER_TaskIdentifier announce_id_task;
527
528 #if MESH_DEBUG
529 unsigned int next_client_id;
530 #endif
531
532
533 /******************************************************************************/
534 /************************         ITERATORS        ****************************/
535 /******************************************************************************/
536
537 /* FIXME move iterators here */
538
539
540 /******************************************************************************/
541 /************************    PERIODIC FUNCTIONS    ****************************/
542 /******************************************************************************/
543
544 /**
545  * Announce iterator over for each application provided by the peer
546  *
547  * @param cls closure
548  * @param key current key code
549  * @param value value in the hash map
550  * @return GNUNET_YES if we should continue to
551  *         iterate,
552  *         GNUNET_NO if not.
553  */
554 static int
555 announce_application (void *cls, const GNUNET_HashCode * key, void *value)
556 {
557   /* FIXME are hashes in multihash map equal on all aquitectures? */
558   GNUNET_DHT_put (dht_handle, key, 10U,
559                   GNUNET_DHT_RO_RECORD_ROUTE |
560                   GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE, GNUNET_BLOCK_TYPE_TEST,
561                   sizeof (struct GNUNET_PeerIdentity),
562                   (const char *) &my_full_id,
563 #if MESH_DEBUG
564                   GNUNET_TIME_UNIT_FOREVER_ABS, GNUNET_TIME_UNIT_FOREVER_REL,
565                   &mesh_debug, "DHT_put for app completed");
566 #else
567                   GNUNET_TIME_absolute_add (GNUNET_TIME_absolute_get (),
568                                             APP_ANNOUNCE_TIME),
569                   APP_ANNOUNCE_TIME, NULL, NULL);
570 #endif
571   return GNUNET_OK;
572 }
573
574
575 /**
576  * Periodically announce what applications are provided by local clients
577  *
578  * @param cls closure
579  * @param tc task context
580  */
581 static void
582 announce_applications (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
583 {
584   if (tc->reason == GNUNET_SCHEDULER_REASON_SHUTDOWN)
585   {
586     announce_applications_task = GNUNET_SCHEDULER_NO_TASK;
587     return;
588   }
589 #if MESH_DEBUG_DHT
590   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Starting PUT for apps\n");
591 #endif
592   GNUNET_CONTAINER_multihashmap_iterate (applications, &announce_application,
593                                          NULL);
594   announce_applications_task =
595       GNUNET_SCHEDULER_add_delayed (APP_ANNOUNCE_TIME, &announce_applications,
596                                     cls);
597 #if MESH_DEBUG_DHT
598   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Finished PUT for apps\n");
599 #endif
600   return;
601 }
602
603
604 /**
605  * Periodically announce self id in the DHT
606  *
607  * @param cls closure
608  * @param tc task context
609  */
610 static void
611 announce_id (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
612 {
613   if (tc->reason == GNUNET_SCHEDULER_REASON_SHUTDOWN)
614   {
615     announce_id_task = GNUNET_SCHEDULER_NO_TASK;
616     return;
617   }
618   /* TODO
619    * - Set data expiration in function of X
620    * - Adapt X to churn
621    */
622 #if MESH_DEBUG_DHT
623   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: DHT_put for ID %s started.\n",
624               GNUNET_i2s (&my_full_id));
625 #endif
626   GNUNET_DHT_put (dht_handle,   /* DHT handle */
627                   &my_full_id.hashPubKey,       /* Key to use */
628                   10U,          /* Replication level */
629                   GNUNET_DHT_RO_RECORD_ROUTE | GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,    /* DHT options */
630                   GNUNET_BLOCK_TYPE_TEST,       /* Block type */
631                   sizeof (my_full_id),  /* Size of the data */
632                   (char *) &my_full_id, /* Data itself */
633                   GNUNET_TIME_absolute_get_forever (),  /* Data expiration */
634                   GNUNET_TIME_UNIT_FOREVER_REL, /* Retry time */
635 #if MESH_DEBUG_DHT
636                   &mesh_debug, "DHT_put for id completed");
637 #else
638                   NULL,         /* Continuation */
639                   NULL);        /* Continuation closure */
640 #endif
641   announce_id_task =
642       GNUNET_SCHEDULER_add_delayed (ID_ANNOUNCE_TIME, &announce_id, cls);
643 }
644
645
646 /**
647  * Function to process paths received for a new peer addition. The recorded
648  * paths form the initial tunnel, which can be optimized later.
649  * Called on each result obtained for the DHT search.
650  *
651  * @param cls closure
652  * @param exp when will this value expire
653  * @param key key of the result
654  * @param type type of the result
655  * @param size number of bytes in data
656  * @param data pointer to the result data
657  */
658 static void
659 dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
660                     const GNUNET_HashCode * key,
661                     const struct GNUNET_PeerIdentity *get_path,
662                     unsigned int get_path_length,
663                     const struct GNUNET_PeerIdentity *put_path,
664                     unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
665                     size_t size, const void *data);
666
667
668 /******************************************************************************/
669 /******************      GENERAL HELPER FUNCTIONS      ************************/
670 /******************************************************************************/
671
672 /**
673  * Check if client has registered with the service and has not disconnected
674  *
675  * @param client the client to check
676  *
677  * @return non-NULL if client exists in the global DLL
678  */
679 static struct MeshClient *
680 client_get (struct GNUNET_SERVER_Client *client)
681 {
682   struct MeshClient *c;
683
684   c = clients;
685   while (NULL != c)
686   {
687     if (c->handle == client)
688       return c;
689     c = c->next;
690   }
691   return NULL;
692 }
693
694
695 /**
696  * Checks if a given client has subscribed to certain message type
697  *
698  * @param message_type Type of message to check
699  * @param c Client to check
700  *
701  * @return GNUNET_YES or GNUNET_NO, depending on subscription status
702  *
703  * TODO inline?
704  */
705 static int
706 client_is_subscribed (uint16_t message_type, struct MeshClient *c)
707 {
708   GNUNET_HashCode hc;
709
710   GNUNET_CRYPTO_hash (&message_type, sizeof (uint16_t), &hc);
711   return GNUNET_CONTAINER_multihashmap_contains (c->types, &hc);
712 }
713
714
715 /**
716  * Allow a client to send more data after transmitting a multicast message
717  * which some neighbor has not yet accepted altough a reasonable time has
718  * passed.
719  *
720  * @param cls Closure (DataDescriptor containing the task identifier)
721  * @param tc Task Context
722  */
723 static void
724 client_allow_send (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
725 {
726   struct MeshDataDescriptor *info = cls;
727
728   if (GNUNET_SCHEDULER_REASON_SHUTDOWN == tc->reason)
729     return;
730 #if MESH_DEBUG
731   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
732               "MESH: CLIENT ALLOW SEND DESPITE %u COPIES PENDING\n",
733               *(info->copies));
734 #endif
735   *(info->timeout_task) = GNUNET_SCHEDULER_NO_TASK;
736   GNUNET_SERVER_receive_done (info->client, GNUNET_OK);
737 }
738
739
740 /**
741  * Search for a tunnel by global ID using full PeerIdentities
742  *
743  * @param oid owner of the tunnel
744  * @param tid global tunnel number
745  *
746  * @return tunnel handler, NULL if doesn't exist
747  */
748 static struct MeshTunnel *
749 tunnel_get (struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid);
750
751
752 /**
753  * Notify a tunnel that a connection has broken that affects at least
754  * some of its peers.
755  *
756  * @param t Tunnel affected.
757  * @param p1 Peer that got disconnected from p2.
758  * @param p2 Peer that got disconnected from p1.
759  *
760  * @return Short ID of the peer disconnected (either p1 or p2).
761  *         0 if the tunnel remained unaffected.
762  */
763 static GNUNET_PEER_Id
764 tunnel_notify_connection_broken (struct MeshTunnel *t, GNUNET_PEER_Id p1,
765                                  GNUNET_PEER_Id p2);
766
767
768 /**
769  * Send the message to all clients that have subscribed to its type
770  *
771  * @param msg Pointer to the message itself
772  * @return number of clients this message was sent to
773  */
774 static unsigned int
775 send_subscribed_clients (const struct GNUNET_MessageHeader *msg,
776                          const struct GNUNET_MessageHeader *payload)
777 {
778   struct GNUNET_PeerIdentity *oid;
779   struct MeshClient *c;
780   struct MeshTunnel *t;
781   MESH_TunnelNumber *tid;
782   unsigned int count;
783   uint16_t type;
784   char cbuf[htons (msg->size)];
785
786   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Sending to clients...\n");
787   type = ntohs (payload->type);
788   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: message of type %u\n", type);
789
790   memcpy (cbuf, msg, sizeof (cbuf));
791   switch (htons (msg->type))
792   {
793     struct GNUNET_MESH_Unicast *uc;
794     struct GNUNET_MESH_Multicast *mc;
795     struct GNUNET_MESH_ToOrigin *to;
796
797   case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
798     uc = (struct GNUNET_MESH_Unicast *) cbuf;
799     tid = &uc->tid;
800     oid = &uc->oid;
801     break;
802   case GNUNET_MESSAGE_TYPE_MESH_MULTICAST:
803     mc = (struct GNUNET_MESH_Multicast *) cbuf;
804     tid = &mc->tid;
805     oid = &mc->oid;
806     break;
807   case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
808     to = (struct GNUNET_MESH_ToOrigin *) cbuf;
809     tid = &to->tid;
810     oid = &to->oid;
811     break;
812   default:
813     GNUNET_break (0);
814     return 0;
815   }
816   t = tunnel_get (oid, ntohl (*tid));
817   if (NULL == t)
818   {
819     GNUNET_break (0);
820     return 0;
821   }
822   *tid = htonl (t->local_tid);
823   for (count = 0, c = clients; c != NULL; c = c->next)
824   {
825 #if MESH_DEBUG
826     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    client %u\n", c->id);
827 #endif
828     if (client_is_subscribed (type, c))
829     {
830       count++;
831       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      sending\n");
832       GNUNET_SERVER_notification_context_unicast (nc, c->handle,
833                                                   (struct GNUNET_MessageHeader
834                                                    *) cbuf, GNUNET_YES);
835     }
836   }
837   return count;
838 }
839
840
841 /**
842  * Notify the client that owns the tunnel that a peer has connected to it
843  * (the requested path to it has been confirmed).
844  *
845  * @param t Tunnel whose owner to notify
846  * @param id Short id of the peer that has connected
847  */
848 static void
849 send_client_peer_connected (const struct MeshTunnel *t, const GNUNET_PEER_Id id)
850 {
851   struct GNUNET_MESH_PeerControl pc;
852
853   pc.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD);
854   pc.header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
855   pc.tunnel_id = htonl (t->local_tid);
856   GNUNET_PEER_resolve (id, &pc.peer);
857   GNUNET_SERVER_notification_context_unicast (nc, t->client->handle, &pc.header,
858                                               GNUNET_NO);
859 }
860
861
862 /**
863  * Notify all clients (not depending on registration status) that the incoming
864  * tunnel is no longer valid.
865  *
866  * @param t Tunnel that was destroyed.
867  */
868 static void
869 send_clients_tunnel_destroy (struct MeshTunnel *t)
870 {
871   struct GNUNET_MESH_TunnelMessage msg;
872
873   msg.header.size = htons (sizeof (msg));
874   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY);
875   msg.tunnel_id = htonl (t->local_tid);
876   GNUNET_SERVER_notification_context_broadcast (nc, &msg.header, GNUNET_NO);
877 }
878
879
880 /**
881  * Function called to notify a client about the socket
882  * being ready to queue more data.  "buf" will be
883  * NULL and "size" zero if the socket was closed for
884  * writing in the meantime.
885  *
886  * @param cls closure
887  * @param size number of bytes available in buf
888  * @param buf where the callee should write the message
889  * @return number of bytes written to buf
890  */
891 static size_t
892 send_core_create_path (void *cls, size_t size, void *buf);
893
894
895 /**
896  * Function called to notify a client about the socket
897  * being ready to queue more data.  "buf" will be
898  * NULL and "size" zero if the socket was closed for
899  * writing in the meantime.
900  *
901  * @param cls closure (data itself)
902  * @param size number of bytes available in buf
903  * @param buf where the callee should write the message
904  *
905  * @return number of bytes written to buf
906  */
907 static size_t
908 send_core_data_multicast (void *cls, size_t size, void *buf);
909
910
911 /**
912  * Decrements the reference counter and frees all resources if needed
913  *
914  * @param dd Data Descriptor used in a multicast message
915  */
916 static void
917 data_descriptor_decrement_multicast (struct MeshDataDescriptor *dd)
918 {
919   if (0 == --(*(dd->copies)))
920   {
921     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Last copy!\n");
922     if (NULL != dd->client)
923     {
924       if (GNUNET_SCHEDULER_NO_TASK != *(dd->timeout_task))
925       {
926         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
927                     "MESH:  cancelling client timeout (%u)...\n",
928                     *(dd->timeout_task));
929         GNUNET_SCHEDULER_cancel (*(dd->timeout_task));
930         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  notifying client...\n");
931         GNUNET_SERVER_receive_done (dd->client, GNUNET_OK);
932       }
933       GNUNET_free (dd->timeout_task);
934     }
935     GNUNET_free (dd->copies);
936     GNUNET_free (dd->data);
937   }
938 }
939
940
941 /**
942  * Cancel a core transmission that was already requested and free all resources
943  * associated to the request.
944  *
945  * @param peer PeeInfo of the peer whose transmission is cancelled.
946  * @param i Position of the transmission to be cancelled.
947  */
948 static void
949 peer_info_cancel_transmission (struct MeshPeerInfo *peer, unsigned int i)
950 {
951   if (NULL != peer->core_transmit[i])
952   {
953     struct MeshDataDescriptor *dd;
954     struct MeshPathInfo *path_info;
955
956 #if MESH_DEBUG
957     {
958       struct GNUNET_PeerIdentity id;
959
960       GNUNET_PEER_resolve (peer->id, &id);
961       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
962                   "MESH:   Cancelling data transmission at %s [%u]\n",
963                   GNUNET_i2s (&id), i);
964       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    message type %u\n",
965                   peer->types[i]);
966     }
967 #endif
968     /* TODO: notify that tranmission has failed */
969     switch (peer->types[i])
970     {
971     case GNUNET_MESSAGE_TYPE_MESH_MULTICAST:
972     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
973     case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
974       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    type payload\n");
975       dd = peer->infos[i];
976       data_descriptor_decrement_multicast (dd);
977       break;
978     case GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE:
979       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    type create path\n");
980       path_info = peer->infos[i];
981       path_destroy (path_info->path);
982       break;
983     default:
984       GNUNET_break (0);
985       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    type unknown!\n");
986     }
987     GNUNET_CORE_notify_transmit_ready_cancel (peer->core_transmit[i]);
988     peer->core_transmit[i] = NULL;
989     GNUNET_free (peer->infos[i]);
990   }
991 }
992
993
994 /**
995  * Get a unused CORE slot to transmit a message to a peer. If all the slots
996  * are used, cancel one and return it's position.
997  *
998  * @param peer PeerInfo of the neighbor we want to transmit to.
999  *
1000  * @return The index of an available slot to transmit to the neighbor.
1001  */
1002 static unsigned int
1003 peer_info_transmit_slot (struct MeshPeerInfo *peer)
1004 {
1005   unsigned int i;
1006
1007   for (i = 0; peer->core_transmit[i]; i++)
1008   {
1009     if (i == (CORE_QUEUE_SIZE - 1))
1010     {
1011       /* All positions are taken! Overwriting! */
1012       GNUNET_break (0);
1013       peer_info_cancel_transmission (peer, 0);
1014       return 0;
1015     }
1016   }
1017   return i;
1018 }
1019
1020
1021 /**
1022  * Retrieve the MeshPeerInfo stucture associated with the peer, create one
1023  * and insert it in the appropiate structures if the peer is not known yet.
1024  *
1025  * @param peer Full identity of the peer.
1026  *
1027  * @return Existing or newly created peer info.
1028  */
1029 static struct MeshPeerInfo *
1030 peer_info_get (const struct GNUNET_PeerIdentity *peer)
1031 {
1032   struct MeshPeerInfo *peer_info;
1033
1034   peer_info = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
1035   if (NULL == peer_info)
1036   {
1037     peer_info =
1038         (struct MeshPeerInfo *) GNUNET_malloc (sizeof (struct MeshPeerInfo));
1039     GNUNET_CONTAINER_multihashmap_put (peers, &peer->hashPubKey, peer_info,
1040                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
1041     peer_info->id = GNUNET_PEER_intern (peer);
1042   }
1043
1044   return peer_info;
1045 }
1046
1047
1048 /**
1049  * Retrieve the MeshPeerInfo stucture associated with the peer, create one
1050  * and insert it in the appropiate structures if the peer is not known yet.
1051  *
1052  * @param peer Short identity of the peer.
1053  *
1054  * @return Existing or newly created peer info.
1055  */
1056 static struct MeshPeerInfo *
1057 peer_info_get_short (const GNUNET_PEER_Id peer)
1058 {
1059   struct GNUNET_PeerIdentity id;
1060
1061   GNUNET_PEER_resolve (peer, &id);
1062   return peer_info_get (&id);
1063 }
1064
1065
1066 /**
1067  * Iterator to remove the tunnel from the list of tunnels a peer participates
1068  * in.
1069  *
1070  * @param cls Closure (tunnel info)
1071  * @param key GNUNET_PeerIdentity of the peer (unused)
1072  * @param value PeerInfo of the peer
1073  *
1074  * @return always GNUNET_YES, to keep iterating
1075  */
1076 static int
1077 peer_info_delete_tunnel (void *cls, const GNUNET_HashCode * key, void *value)
1078 {
1079   struct MeshTunnel *t = cls;
1080   struct MeshPeerInfo *peer = value;
1081   unsigned int i;
1082
1083   for (i = 0; i < peer->ntunnels; i++)
1084   {
1085     if (0 ==
1086         memcmp (&peer->tunnels[i]->id, &t->id, sizeof (struct MESH_TunnelID)))
1087     {
1088       peer->ntunnels--;
1089       peer->tunnels[i] = peer->tunnels[peer->ntunnels];
1090       peer->tunnels = GNUNET_realloc (peer->tunnels, peer->ntunnels);
1091       return GNUNET_YES;
1092     }
1093   }
1094   return GNUNET_YES;
1095 }
1096
1097
1098 /**
1099   * Core callback to write a
1100   *
1101   * @param cls Closure (MeshDataDescriptor with data in "data" member).
1102   * @param size Number of bytes available in buf.
1103   * @param buf Where the to write the message.
1104   *
1105   * @return number of bytes written to buf
1106   */
1107 static size_t
1108 send_core_data_raw (void *cls, size_t size, void *buf)
1109 {
1110   struct MeshDataDescriptor *info = cls;
1111   struct GNUNET_MessageHeader *msg;
1112   size_t total_size;
1113
1114   GNUNET_assert (NULL != info);
1115   GNUNET_assert (NULL != info->data);
1116   msg = (struct GNUNET_MessageHeader *) info->data;
1117   total_size = ntohs (msg->size);
1118
1119   if (total_size > size)
1120   {
1121     struct GNUNET_PeerIdentity id;
1122
1123     GNUNET_PEER_resolve (info->peer->id, &id);
1124     info->peer->core_transmit[info->handler_n] =
1125         GNUNET_CORE_notify_transmit_ready (core_handle, 0, 100,
1126                                            GNUNET_TIME_UNIT_FOREVER_REL, &id,
1127                                            size, &send_core_data_raw, info);
1128     return 0;
1129   }
1130   info->peer->core_transmit[info->handler_n] = NULL;
1131   memcpy (buf, msg, total_size);
1132   GNUNET_free (info->data);
1133   GNUNET_free (info);
1134   return total_size;
1135 }
1136
1137
1138 /**
1139  * Sends an already built message to a peer, properly registrating
1140  * all used resources.
1141  *
1142  * @param message Message to send. Fucntion makes a copy of it.
1143  * @param peer Short ID of the neighbor whom to send the message.
1144  */
1145 static void
1146 send_message (const struct GNUNET_MessageHeader *message,
1147               const struct GNUNET_PeerIdentity *peer)
1148 {
1149   struct MeshDataDescriptor *info;
1150   struct MeshPeerInfo *neighbor;
1151   struct MeshPeerPath *p;
1152   unsigned int i;
1153   size_t size;
1154
1155 //   GNUNET_TRANSPORT_try_connect();
1156
1157   size = ntohs (message->size);
1158   info = GNUNET_malloc (sizeof (struct MeshDataDescriptor));
1159   info->data = GNUNET_malloc (size);
1160   memcpy (info->data, message, size);
1161   neighbor = peer_info_get (peer);
1162   for (p = neighbor->path_head; NULL != p; p = p->next)
1163   {
1164     if (2 == p->length)
1165     {
1166       break;
1167     }
1168   }
1169   if (NULL == p)
1170   {
1171     GNUNET_break (0);
1172     GNUNET_free (info);
1173     return;
1174   }
1175   i = peer_info_transmit_slot (neighbor);
1176   info->handler_n = i;
1177   info->peer = neighbor;
1178   neighbor->types[i] = GNUNET_MESSAGE_TYPE_MESH_UNICAST;
1179   neighbor->infos[i] = info;
1180   neighbor->core_transmit[i] =
1181       GNUNET_CORE_notify_transmit_ready (core_handle, 0, 100,
1182                                          GNUNET_TIME_UNIT_FOREVER_REL, peer,
1183                                          size, &send_core_data_raw, info);
1184
1185 }
1186
1187
1188 /**
1189  * Sends a CREATE PATH message for a path to a peer, properly registrating
1190  * all used resources.
1191  *
1192  * @param peer PeerInfo of the final peer for whom this path is being created.
1193  * @param p Path itself.
1194  * @param t Tunnel for which the path is created.
1195  */
1196 static void
1197 send_create_path (struct MeshPeerInfo *peer, struct MeshPeerPath *p,
1198                   struct MeshTunnel *t)
1199 {
1200   struct GNUNET_PeerIdentity id;
1201   struct MeshPathInfo *path_info;
1202   struct MeshPeerInfo *neighbor;
1203   unsigned int i;
1204
1205   if (NULL == p)
1206   {
1207     p = tree_get_path_to_peer (t->tree, peer->id);
1208     if (NULL == p)
1209     {
1210       GNUNET_break (0);
1211       return;
1212     }
1213   }
1214   for (i = 0; i < p->length; i++)
1215   {
1216     if (p->peers[i] == myid)
1217       break;
1218   }
1219   if (i >= p->length - 1)
1220   {
1221     path_destroy (p);
1222     GNUNET_break (0);
1223     return;
1224   }
1225   GNUNET_PEER_resolve (p->peers[i + 1], &id);
1226
1227   path_info = GNUNET_malloc (sizeof (struct MeshPathInfo));
1228   path_info->path = p;
1229   path_info->t = t;
1230   neighbor = peer_info_get (&id);
1231   path_info->peer = neighbor;
1232   path_info->pos = peer_info_transmit_slot (neighbor);
1233   neighbor->types[path_info->pos] = GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE;
1234   neighbor->infos[path_info->pos] = path_info;
1235   neighbor->core_transmit[path_info->pos] = GNUNET_CORE_notify_transmit_ready (core_handle,     /* handle */
1236                                                                                0,       /* cork */
1237                                                                                0,       /* priority */
1238                                                                                GNUNET_TIME_UNIT_FOREVER_REL,    /* timeout */
1239                                                                                &id,     /* target */
1240                                                                                sizeof (struct GNUNET_MESH_ManipulatePath) + (p->length * sizeof (struct GNUNET_PeerIdentity)),  /*size */
1241                                                                                &send_core_create_path,  /* callback */
1242                                                                                path_info);      /* cls */
1243 }
1244
1245
1246 /**
1247  * Sends a DESTROY PATH message to free resources for a path in a tunnel
1248  *
1249  * @param t Tunnel whose path to destroy.
1250  * @param destination Short ID of the peer to whom the path to destroy.
1251  */
1252 static void
1253 send_destroy_path (struct MeshTunnel *t, GNUNET_PEER_Id destination)
1254 {
1255   struct MeshPeerPath *p;
1256   size_t size;
1257
1258   p = tree_get_path_to_peer (t->tree, destination);
1259   if (NULL == p)
1260   {
1261     GNUNET_break (0);
1262     return;
1263   }
1264   size = sizeof (struct GNUNET_MESH_ManipulatePath);
1265   size += p->length * sizeof (struct GNUNET_PeerIdentity);
1266   {
1267     struct GNUNET_MESH_ManipulatePath *msg;
1268     struct GNUNET_PeerIdentity *pi;
1269     char cbuf[size];
1270     unsigned int i;
1271
1272     msg = (struct GNUNET_MESH_ManipulatePath *) cbuf;
1273     msg->header.size = htons (size);
1274     msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_DESTROY);
1275     msg->tid = htonl (t->id.tid);
1276     pi = (struct GNUNET_PeerIdentity *) &msg[1];
1277     for (i = 0; i < p->length; i++)
1278     {
1279       GNUNET_PEER_resolve (p->peers[i], &pi[i]);
1280     }
1281     send_message (&msg->header, tree_get_first_hop (t->tree, destination));
1282   }
1283   path_destroy (p);
1284 }
1285
1286
1287 /**
1288  * Try to establish a new connection to this peer.
1289  * Use the best path for the given tunnel.
1290  * If the peer doesn't have any path to it yet, try to get one.
1291  * If the peer already has some path, send a CREATE PATH towards it.
1292  *
1293  * @param peer PeerInfo of the peer.
1294  * @param t Tunnel for which to create the path, if possible.
1295  */
1296 static void
1297 peer_info_connect (struct MeshPeerInfo *peer, struct MeshTunnel *t)
1298 {
1299   struct MeshPeerPath *p;
1300   struct MeshPathInfo *path_info;
1301
1302   if (NULL != peer->path_head)
1303   {
1304     p = tree_get_path_to_peer (t->tree, peer->id);
1305     if (NULL == p)
1306     {
1307       GNUNET_break (0);
1308       return;
1309     }
1310
1311     if (p->length > 1)
1312     {
1313       send_create_path (peer, p, t);
1314     }
1315     else
1316     {
1317       path_destroy (p);
1318       send_client_peer_connected (t, myid);
1319     }
1320   }
1321   else if (NULL == peer->dhtget)
1322   {
1323     struct GNUNET_PeerIdentity id;
1324
1325     GNUNET_PEER_resolve (peer->id, &id);
1326     path_info = GNUNET_malloc (sizeof (struct MeshPathInfo));
1327     path_info->peer = peer;
1328     path_info->t = t;
1329     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1330                 "MESH:   Starting DHT GET for peer %s\n", GNUNET_i2s (&id));
1331     peer->dhtgetcls = path_info;
1332     peer->dhtget = GNUNET_DHT_get_start (dht_handle,    /* handle */
1333                                          GNUNET_TIME_UNIT_FOREVER_REL,  /* timeout */
1334                                          GNUNET_BLOCK_TYPE_TEST,        /* type */
1335                                          &id.hashPubKey,        /* key to search */
1336                                          4,     /* replication level */
1337                                          GNUNET_DHT_RO_RECORD_ROUTE | GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE, NULL,       /* xquery */
1338                                          0,     /* xquery bits */
1339                                          &dht_get_id_handler, path_info);
1340   }
1341   /* Otherwise, there is no path but the DHT get is already started. */
1342 }
1343
1344
1345 /**
1346  * Task to delay the connection of a peer
1347  *
1348  * @param cls Closure (path info with tunnel and peer to connect).
1349  *            Will be free'd on exection.
1350  * @param tc TaskContext
1351  */
1352 static void
1353 peer_info_connect_task (void *cls,
1354                         const struct GNUNET_SCHEDULER_TaskContext *tc)
1355 {
1356   struct MeshPathInfo *path_info = cls;
1357
1358   if (0 != (GNUNET_SCHEDULER_REASON_SHUTDOWN & tc->reason))
1359   {
1360     GNUNET_free (cls);
1361     return;
1362   }
1363   peer_info_connect (path_info->peer, path_info->t);
1364   GNUNET_free (cls);
1365 }
1366
1367
1368 /**
1369  * Destroy the peer_info and free any allocated resources linked to it
1370  *
1371  * @param pi The peer_info to destroy.
1372  *
1373  * @return GNUNET_OK on success
1374  */
1375 static int
1376 peer_info_destroy (struct MeshPeerInfo *pi)
1377 {
1378   struct GNUNET_PeerIdentity id;
1379   struct MeshPeerPath *p;
1380   struct MeshPeerPath *nextp;
1381   unsigned int i;
1382
1383   GNUNET_PEER_resolve (pi->id, &id);
1384   GNUNET_PEER_change_rc (pi->id, -1);
1385
1386   if (GNUNET_YES !=
1387       GNUNET_CONTAINER_multihashmap_remove (peers, &id.hashPubKey, pi))
1388   {
1389     GNUNET_break (0);
1390     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
1391                 "MESH: removing peer %s, not in hashmap\n", GNUNET_i2s (&id));
1392   }
1393   if (NULL != pi->dhtget)
1394   {
1395     GNUNET_DHT_get_stop (pi->dhtget);
1396     GNUNET_free (pi->dhtgetcls);
1397   }
1398   for (i = 0; i < CORE_QUEUE_SIZE; i++)
1399   {
1400     peer_info_cancel_transmission (pi, i);
1401   }
1402   p = pi->path_head;
1403   while (NULL != p)
1404   {
1405     nextp = p->next;
1406     GNUNET_CONTAINER_DLL_remove (pi->path_head, pi->path_tail, p);
1407     path_destroy (p);
1408     p = nextp;
1409   }
1410   GNUNET_free (pi);
1411   return GNUNET_OK;
1412 }
1413
1414
1415 /**
1416  * Remove all paths that rely on a direct connection between p1 and p2
1417  * from the peer itself and notify all tunnels about it.
1418  *
1419  * @param peer PeerInfo of affected peer.
1420  * @param p1 GNUNET_PEER_Id of one peer.
1421  * @param p2 GNUNET_PEER_Id of another peer that was connected to the first and
1422  *           no longer is.
1423  *
1424  * TODO: optimize (see below)
1425  */
1426 static void
1427 peer_info_remove_path (struct MeshPeerInfo *peer, GNUNET_PEER_Id p1,
1428                        GNUNET_PEER_Id p2)
1429 {
1430   struct MeshPeerPath *p;
1431   struct MeshPeerPath *aux;
1432   struct MeshPeerInfo *peer_d;
1433   GNUNET_PEER_Id d;
1434   unsigned int destroyed;
1435   unsigned int best;
1436   unsigned int cost;
1437   unsigned int i;
1438
1439   destroyed = 0;
1440   p = peer->path_head;
1441   while (NULL != p)
1442   {
1443     aux = p->next;
1444     for (i = 0; i < (p->length - 1); i++)
1445     {
1446       if ((p->peers[i] == p1 && p->peers[i + 1] == p2) ||
1447           (p->peers[i] == p2 && p->peers[i + 1] == p1))
1448       {
1449         GNUNET_CONTAINER_DLL_remove (peer->path_head, peer->path_tail, p);
1450         path_destroy (p);
1451         destroyed++;
1452         break;
1453       }
1454     }
1455     p = aux;
1456   }
1457   if (0 == destroyed)
1458     return;
1459
1460   for (i = 0; i < peer->ntunnels; i++)
1461   {
1462     d = tunnel_notify_connection_broken (peer->tunnels[i], p1, p2);
1463     if (0 == d) continue;
1464     /* TODO
1465      * Problem: one or more peers have been deleted from the tunnel tree.
1466      * We don't know who they are to try to add them again.
1467      * We need to try to find a new path for each of the disconnected peers.
1468      * Some of them might already have a path to reach them that does not
1469      * involve p1 and p2. Adding all anew might render in a better tree than
1470      * the trivial immediate fix.
1471      *
1472      * Trivial immiediate fix: try to reconnect to the disconnected node. All
1473      * its children will be reachable trough him.
1474      */
1475     peer_d = peer_info_get_short (d);
1476     best = UINT_MAX;
1477     aux = NULL;
1478     for (p = peer_d->path_head; NULL != p; p = p->next)
1479     {
1480       if ((cost = path_get_cost (peer->tunnels[i]->tree, p)) < best)
1481       {
1482         best = cost;
1483         aux = p;
1484       }
1485     }
1486     if (NULL != aux)
1487     {
1488       /* No callback, as peer will be already disconnected and a connection
1489        * scheduled by tunnel_notify_connection_broken.
1490        */
1491       tree_add_path (peer->tunnels[i]->tree, aux, NULL, NULL);
1492     }
1493     else
1494     {
1495       peer_info_connect (peer_d, peer->tunnels[i]);
1496     }
1497   }
1498 }
1499
1500
1501 /**
1502  * Add the path to the peer and update the path used to reach it in case this
1503  * is the shortest.
1504  *
1505  * @param peer_info Destination peer to add the path to.
1506  * @param path New path to add. Last peer must be the peer in arg 1.
1507  *             Path will be either used of freed if already known.
1508  * @param trusted Do we trust that this path is real?
1509  */
1510 void
1511 peer_info_add_path (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path,
1512                     int trusted)
1513 {
1514   struct MeshPeerPath *aux;
1515   unsigned int l;
1516   unsigned int l2;
1517
1518   if ((NULL == peer_info) || (NULL == path))
1519   {
1520     GNUNET_break (0);
1521     path_destroy (path);
1522     return;
1523   }
1524   if (path->length <= 2 && GNUNET_NO == trusted)
1525   {
1526     /* Only allow CORE to tell us about direct paths */
1527     path_destroy (path);
1528     return;
1529   }
1530   GNUNET_assert (peer_info->id == path->peers[path->length - 1]);
1531   for (l = 1; l < path->length; l++)
1532   {
1533     if (path->peers[l] == myid)
1534     {
1535       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: shortening path by %u\n", l);
1536       for (l2 = 0; l2 < path->length - l; l2++)
1537       {
1538         path->peers[l2] = path->peers[l + l2];
1539       }
1540       path->length -= l;
1541       l = 1;
1542       path->peers =
1543           GNUNET_realloc (path->peers, path->length * sizeof (GNUNET_PEER_Id));
1544     }
1545   }
1546 #if MESH_DEBUG
1547   {
1548     struct GNUNET_PeerIdentity id;
1549
1550     GNUNET_PEER_resolve (peer_info->id, &id);
1551     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: adding path [%u] to peer %s\n",
1552                 path->length, GNUNET_i2s (&id));
1553   }
1554 #endif
1555   l = path_get_length (path);
1556   if (0 == l)
1557   {
1558     GNUNET_free (path);
1559     return;
1560   }
1561
1562   GNUNET_assert (peer_info->id == path->peers[path->length - 1]);
1563   for (aux = peer_info->path_head; aux != NULL; aux = aux->next)
1564   {
1565     l2 = path_get_length (aux);
1566     if (l2 > l)
1567     {
1568       GNUNET_CONTAINER_DLL_insert_before (peer_info->path_head,
1569                                           peer_info->path_tail, aux, path);
1570       return;
1571     }
1572     else
1573     {
1574       if (l2 == l && memcmp (path->peers, aux->peers, l) == 0)
1575       {
1576         path_destroy (path);
1577         return;
1578       }
1579     }
1580   }
1581   GNUNET_CONTAINER_DLL_insert_tail (peer_info->path_head, peer_info->path_tail,
1582                                     path);
1583   return;
1584 }
1585
1586
1587 /**
1588  * Add the path to the origin peer and update the path used to reach it in case
1589  * this is the shortest.
1590  * The path is given in peer_info -> destination, therefore we turn the path
1591  * upside down first.
1592  *
1593  * @param peer_info Peer to add the path to, being the origin of the path.
1594  * @param path New path to add after being inversed.
1595  * @param trusted Do we trust that this path is real?
1596  */
1597 static void
1598 peer_info_add_path_to_origin (struct MeshPeerInfo *peer_info,
1599                               struct MeshPeerPath *path, int trusted)
1600 {
1601   path_invert (path);
1602   peer_info_add_path (peer_info, path, trusted);
1603 }
1604
1605
1606 /**
1607  * Build a PeerPath from the paths returned from the DHT, reversing the paths
1608  * to obtain a local peer -> destination path and interning the peer ids.
1609  *
1610  * @return Newly allocated and created path
1611  */
1612 static struct MeshPeerPath *
1613 path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
1614                      unsigned int get_path_length,
1615                      const struct GNUNET_PeerIdentity *put_path,
1616                      unsigned int put_path_length)
1617 {
1618   struct MeshPeerPath *p;
1619   GNUNET_PEER_Id id;
1620   int i;
1621
1622   p = path_new (1);
1623   p->peers[0] = myid;
1624   GNUNET_PEER_change_rc (myid, 1);
1625   i = get_path_length;
1626   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    GET has %d hops.\n", i);
1627   for (i--; i >= 0; i--)
1628   {
1629     id = GNUNET_PEER_intern (&get_path[i]);
1630     if (p->length > 0 && id == p->peers[p->length - 1])
1631     {
1632       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    Optimizing 1 hop out.\n");
1633       GNUNET_PEER_change_rc (id, -1);
1634     }
1635     else
1636     {
1637       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    Adding from GET: %s.\n",
1638                   GNUNET_i2s (&get_path[i]));
1639       p->length++;
1640       p->peers = GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * p->length);
1641       p->peers[p->length - 1] = id;
1642     }
1643   }
1644   i = put_path_length;
1645   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    PUT has %d hops.\n", i);
1646   for (i--; i >= 0; i--)
1647   {
1648     id = GNUNET_PEER_intern (&put_path[i]);
1649     if (id == myid)
1650     {
1651       /* PUT path went through us, so discard the path up until now and start
1652        * from here to get a much shorter (and loop-free) path.
1653        */
1654       path_destroy (p);
1655       p = path_new (0);
1656     }
1657     if (p->length > 0 && id == p->peers[p->length - 1])
1658     {
1659       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    Optimizing 1 hop out.\n");
1660       GNUNET_PEER_change_rc (id, -1);
1661     }
1662     else
1663     {
1664       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    Adding from PUT: %s.\n",
1665                   GNUNET_i2s (&put_path[i]));
1666       p->length++;
1667       p->peers = GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * p->length);
1668       p->peers[p->length - 1] = id;
1669     }
1670   }
1671 #if MESH_DEBUG
1672   if (get_path_length > 0)
1673     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    (first of GET: %s)\n",
1674                 GNUNET_i2s (&get_path[0]));
1675   if (put_path_length > 0)
1676     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    (first of PUT: %s)\n",
1677                 GNUNET_i2s (&put_path[0]));
1678   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    In total: %d hops\n",
1679               p->length);
1680   for (i = 0; i < p->length; i++)
1681   {
1682     struct GNUNET_PeerIdentity peer_id;
1683
1684     GNUNET_PEER_resolve (p->peers[i], &peer_id);
1685     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:        %u: %s\n", p->peers[i],
1686                 GNUNET_i2s (&peer_id));
1687   }
1688 #endif
1689   return p;
1690 }
1691
1692
1693 /**
1694  * Send keepalive packets for a peer
1695  *
1696  * @param cls Closure (tunnel for which to send the keepalive).
1697  * @param tc Notification context.
1698  *
1699  * TODO: implement explicit multicast keepalive?
1700  */
1701 static void
1702 path_refresh (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
1703
1704
1705 /**
1706  * Search for a tunnel among the incoming tunnels
1707  *
1708  * @param tid the local id of the tunnel
1709  *
1710  * @return tunnel handler, NULL if doesn't exist
1711  */
1712 static struct MeshTunnel *
1713 tunnel_get_incoming (MESH_TunnelNumber tid)
1714 {
1715   GNUNET_HashCode hash;
1716
1717   GNUNET_assert (tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV);
1718   GNUNET_CRYPTO_hash (&tid, sizeof (MESH_TunnelNumber), &hash);
1719   return GNUNET_CONTAINER_multihashmap_get (incoming_tunnels, &hash);
1720 }
1721
1722
1723 /**
1724  * Search for a tunnel among the tunnels for a client
1725  *
1726  * @param c the client whose tunnels to search in
1727  * @param tid the local id of the tunnel
1728  *
1729  * @return tunnel handler, NULL if doesn't exist
1730  */
1731 static struct MeshTunnel *
1732 tunnel_get_by_local_id (struct MeshClient *c, MESH_TunnelNumber tid)
1733 {
1734   if (tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
1735   {
1736     return tunnel_get_incoming (tid);
1737   }
1738   else
1739   {
1740     GNUNET_HashCode hash;
1741
1742     GNUNET_CRYPTO_hash (&tid, sizeof (MESH_TunnelNumber), &hash);
1743     return GNUNET_CONTAINER_multihashmap_get (c->tunnels, &hash);
1744   }
1745 }
1746
1747
1748 /**
1749  * Search for a tunnel by global ID using PEER_ID
1750  *
1751  * @param pi owner of the tunnel
1752  * @param tid global tunnel number
1753  *
1754  * @return tunnel handler, NULL if doesn't exist
1755  */
1756 static struct MeshTunnel *
1757 tunnel_get_by_pi (GNUNET_PEER_Id pi, MESH_TunnelNumber tid)
1758 {
1759   struct MESH_TunnelID id;
1760   GNUNET_HashCode hash;
1761
1762   id.oid = pi;
1763   id.tid = tid;
1764
1765   GNUNET_CRYPTO_hash (&id, sizeof (struct MESH_TunnelID), &hash);
1766   return GNUNET_CONTAINER_multihashmap_get (tunnels, &hash);
1767 }
1768
1769
1770 /**
1771  * Search for a tunnel by global ID using full PeerIdentities
1772  *
1773  * @param oid owner of the tunnel
1774  * @param tid global tunnel number
1775  *
1776  * @return tunnel handler, NULL if doesn't exist
1777  */
1778 static struct MeshTunnel *
1779 tunnel_get (struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid)
1780 {
1781   return tunnel_get_by_pi (GNUNET_PEER_search (oid), tid);
1782 }
1783
1784
1785 /**
1786  * Callback used to notify a client owner of a tunnel that a peer has
1787  * disconnected, most likely because of a path change.
1788  *
1789  * @param cls Closure (tunnel this notification is about).
1790  * @param peer_id Short ID of disconnected peer.
1791  */
1792 void
1793 notify_peer_disconnected (void *cls, GNUNET_PEER_Id peer_id)
1794 {
1795   struct MeshTunnel *t = cls;
1796   struct MeshPeerInfo *peer;
1797   struct MeshPathInfo *path_info;
1798
1799   if (NULL != t->client && NULL != nc)
1800   {
1801     struct GNUNET_MESH_PeerControl msg;
1802
1803     msg.header.size = htons (sizeof (msg));
1804     msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DEL);
1805     msg.tunnel_id = htonl (t->local_tid);
1806     GNUNET_PEER_resolve (peer_id, &msg.peer);
1807     GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
1808                                                 &msg.header, GNUNET_NO);
1809   }
1810   peer = peer_info_get_short (peer_id);
1811   path_info = GNUNET_malloc (sizeof (struct MeshPathInfo));
1812   path_info->peer = peer;
1813   path_info->t = t;
1814   GNUNET_SCHEDULER_add_now (&peer_info_connect_task, path_info);
1815 }
1816
1817
1818 /**
1819  * Add a peer to a tunnel, accomodating paths accordingly and initializing all
1820  * needed rescources.
1821  * If peer already exists, reevaluate shortest path and change if different.
1822  *
1823  * @param t Tunnel we want to add a new peer to
1824  * @param peer PeerInfo of the peer being added
1825  *
1826  */
1827 static void
1828 tunnel_add_peer (struct MeshTunnel *t, struct MeshPeerInfo *peer)
1829 {
1830   struct GNUNET_PeerIdentity id;
1831   struct MeshPeerPath *best_p;
1832   struct MeshPeerPath *p;
1833   unsigned int best_cost;
1834   unsigned int cost;
1835
1836   GNUNET_PEER_resolve (peer->id, &id);
1837   if (GNUNET_NO ==
1838       GNUNET_CONTAINER_multihashmap_contains (t->peers, &id.hashPubKey))
1839   {
1840     t->peers_total++;
1841     GNUNET_array_append (peer->tunnels, peer->ntunnels, t);
1842     GNUNET_assert (GNUNET_OK ==
1843                    GNUNET_CONTAINER_multihashmap_put (t->peers, &id.hashPubKey,
1844                                                       peer,
1845                                                       GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST));
1846   }
1847
1848   if (NULL != (p = peer->path_head))
1849   {
1850     best_p = p;
1851     best_cost = path_get_cost (t->tree, p);
1852     while (NULL != p)
1853     {
1854       if ((cost = path_get_cost (t->tree, p)) < best_cost)
1855       {
1856         best_cost = cost;
1857         best_p = p;
1858       }
1859       p = p->next;
1860     }
1861     tree_add_path (t->tree, best_p, &notify_peer_disconnected, t);
1862     if (GNUNET_SCHEDULER_NO_TASK == t->path_refresh_task)
1863       t->path_refresh_task =
1864           GNUNET_SCHEDULER_add_delayed (REFRESH_PATH_TIME, &path_refresh, t);
1865   }
1866   else
1867   {
1868     /* Start a DHT get if necessary */
1869     peer_info_connect (peer, t);
1870   }
1871 }
1872
1873 /**
1874  * Add a path to a tunnel which we don't own, just to remember the next hop.
1875  * If destination node was already in the tunnel, the first hop information
1876  * will be replaced with the new path.
1877  *
1878  * @param t Tunnel we want to add a new peer to
1879  * @param p Path to add
1880  * @param own_pos Position of local node in path.
1881  *
1882  */
1883 static void
1884 tunnel_add_path (struct MeshTunnel *t, struct MeshPeerPath *p,
1885                  unsigned int own_pos)
1886 {
1887   struct GNUNET_PeerIdentity id;
1888
1889   GNUNET_assert (0 != own_pos);
1890   tree_add_path (t->tree, p, NULL, NULL);
1891   if (own_pos < p->length - 1)
1892   {
1893     GNUNET_PEER_resolve (p->peers[own_pos + 1], &id);
1894     tree_update_first_hops (t->tree, myid, &id);
1895   }
1896 }
1897
1898
1899 /**
1900  * Notifies a tunnel that a connection has broken that affects at least
1901  * some of its peers. Sends a notification towards the root of the tree.
1902  * In case the peer is the owner of the tree, notifies the client that owns
1903  * the tunnel and tries to reconnect.
1904  *
1905  * @param t Tunnel affected.
1906  * @param p1 Peer that got disconnected from p2.
1907  * @param p2 Peer that got disconnected from p1.
1908  *
1909  * @return Short ID of the peer disconnected (either p1 or p2).
1910  *         0 if the tunnel remained unaffected.
1911  */
1912 static GNUNET_PEER_Id
1913 tunnel_notify_connection_broken (struct MeshTunnel *t, GNUNET_PEER_Id p1,
1914                                  GNUNET_PEER_Id p2)
1915 {
1916   GNUNET_PEER_Id pid;
1917
1918   pid =
1919       tree_notify_connection_broken (t->tree, p1, p2, &notify_peer_disconnected,
1920                                      t);
1921   if (myid != p1 && myid != p2)
1922   {
1923     return pid;
1924   }
1925   if (pid != myid)
1926   {
1927     if (tree_get_predecessor (t->tree) != 0)
1928     {
1929       /* We are the peer still connected, notify owner of the disconnection. */
1930       struct GNUNET_MESH_PathBroken msg;
1931       struct GNUNET_PeerIdentity neighbor;
1932
1933       msg.header.size = htons (sizeof (msg));
1934       msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN);
1935       GNUNET_PEER_resolve (t->id.oid, &msg.oid);
1936       msg.tid = htonl (t->id.tid);
1937       msg.peer1 = my_full_id;
1938       GNUNET_PEER_resolve (pid, &msg.peer2);
1939       GNUNET_PEER_resolve (tree_get_predecessor (t->tree), &neighbor);
1940       send_message (&msg.header, &neighbor);
1941     }
1942   }
1943   return pid;
1944 }
1945
1946
1947 struct MeshMulticastData
1948 {
1949   struct MeshTunnel *t;
1950
1951   GNUNET_SCHEDULER_TaskIdentifier *task;
1952
1953   unsigned int *reference_counter;
1954
1955   size_t data_len;
1956
1957   void *data;
1958 };
1959
1960
1961 /**
1962  * Send a multicast packet to a neighbor.
1963  */
1964 static void
1965 tunnel_send_multicast_iterator (void *cls, GNUNET_PEER_Id neighbor_id)
1966 {
1967   struct MeshMulticastData *mdata = cls;
1968   struct MeshDataDescriptor *info;
1969   struct GNUNET_PeerIdentity neighbor;
1970   unsigned int i;
1971
1972   info = GNUNET_malloc (sizeof (struct MeshDataDescriptor));
1973
1974   info->data = mdata->data;
1975   info->size = mdata->data_len;
1976   info->copies = mdata->reference_counter;
1977   (*(mdata->reference_counter))++;
1978
1979   if (NULL != mdata->t->client)
1980   {
1981     info->client = mdata->t->client->handle;
1982     info->timeout_task = mdata->task;
1983   }
1984   info->destination = neighbor_id;
1985   GNUNET_PEER_resolve (neighbor_id, &neighbor);
1986 #if MESH_DEBUG
1987   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    sending to %s...\n",
1988               GNUNET_i2s (&neighbor));
1989 #endif
1990   info->peer = peer_info_get (&neighbor);
1991   GNUNET_assert (NULL != info->peer);
1992   i = peer_info_transmit_slot (info->peer);
1993   info->handler_n = i;
1994   info->peer->infos[i] = info;
1995   info->peer->types[i] = GNUNET_MESSAGE_TYPE_MESH_MULTICAST;
1996   info->peer->core_transmit[i] =
1997       GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
1998                                          GNUNET_TIME_UNIT_FOREVER_REL,
1999                                          &neighbor, info->size,
2000                                          &send_core_data_multicast, info);
2001 }
2002
2003 /**
2004  * Send a message in a tunnel in multicast, sending a copy to each child node
2005  * down the local one in the tunnel tree.
2006  *
2007  * @param t Tunnel in which to send the data.
2008  * @param msg Message to be sent
2009  */
2010 static void
2011 tunnel_send_multicast (struct MeshTunnel *t,
2012                        const struct GNUNET_MessageHeader *msg)
2013 {
2014   struct MeshMulticastData *mdata;
2015
2016 #if MESH_DEBUG
2017   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2018               "MESH:  sending a multicast packet...\n");
2019 #endif
2020   mdata = GNUNET_malloc (sizeof (struct MeshMulticastData));
2021   mdata->data_len = ntohs (msg->size);
2022   mdata->reference_counter = GNUNET_malloc (sizeof (unsigned int));
2023   mdata->t = t;
2024   mdata->data = GNUNET_malloc (mdata->data_len);
2025   memcpy (mdata->data, msg, mdata->data_len);
2026   if (ntohs (msg->type) == GNUNET_MESSAGE_TYPE_MESH_MULTICAST)
2027   {
2028     struct GNUNET_MESH_Multicast *mcast;
2029
2030     mcast = (struct GNUNET_MESH_Multicast *) mdata->data;
2031     mcast->ttl = htonl (ntohl (mcast->ttl) - 1);
2032 #if MESH_DEBUG
2033     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2034                 "MESH:   data packet, ttl: %u\n",
2035                 ntohl (mcast->ttl));
2036   }
2037   else
2038   {
2039     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2040                 "MESH:   not a data packet, no ttl\n");
2041 #endif
2042   }
2043   if (NULL != t->client)
2044   {
2045     mdata->task = GNUNET_malloc (sizeof (GNUNET_SCHEDULER_TaskIdentifier));
2046     *(mdata->task) =
2047         GNUNET_SCHEDULER_add_delayed (UNACKNOWLEDGED_WAIT, &client_allow_send,
2048                                       t->client->handle);
2049   }
2050
2051   tree_iterate_children (t->tree, &tunnel_send_multicast_iterator, mdata);
2052   if (*(mdata->reference_counter) == 0)
2053   {
2054     GNUNET_free (mdata->data);
2055     GNUNET_free (mdata->reference_counter);
2056     if (NULL != mdata->task)
2057     {
2058       GNUNET_free (mdata->task);
2059     }
2060   }
2061   GNUNET_free (mdata);
2062 #if MESH_DEBUG
2063   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2064               "MESH:  sending a multicast packet done\n");
2065 #endif
2066   return;
2067 }
2068
2069
2070 /**
2071  * Send a message to all peers in this tunnel that the tunnel is no longer
2072  * valid.
2073  *
2074  * @param t The tunnel whose peers to notify.
2075  */
2076 static void
2077 tunnel_send_destroy (struct MeshTunnel *t)
2078 {
2079   struct GNUNET_MESH_TunnelDestroy msg;
2080
2081   msg.header.size = htons (sizeof (msg));
2082   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY);
2083   GNUNET_PEER_resolve (t->id.oid, &msg.oid);
2084   msg.tid = htonl (t->id.tid);
2085   tunnel_send_multicast (t, &msg.header);
2086 }
2087
2088
2089
2090 /**
2091  * Destroy the tunnel and free any allocated resources linked to it
2092  *
2093  * @param t the tunnel to destroy
2094  *
2095  * @return GNUNET_OK on success
2096  */
2097 static int
2098 tunnel_destroy (struct MeshTunnel *t)
2099 {
2100   struct MeshClient *c;
2101   struct MeshQueue *q;
2102   struct MeshQueue *qn;
2103   GNUNET_HashCode hash;
2104   int r;
2105
2106   if (NULL == t)
2107     return GNUNET_OK;
2108
2109   c = t->client;
2110 #if MESH_DEBUG
2111   {
2112     struct GNUNET_PeerIdentity id;
2113
2114     GNUNET_PEER_resolve (t->id.oid, &id);
2115     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: destroying tunnel %s [%x]\n",
2116                 GNUNET_i2s (&id), t->id.tid);
2117     if (NULL != c)
2118       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   by client %u\n", c->id);
2119   }
2120 #endif
2121
2122   GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
2123   if (GNUNET_YES != GNUNET_CONTAINER_multihashmap_remove (tunnels, &hash, t))
2124   {
2125     r = GNUNET_SYSERR;
2126   }
2127
2128   GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
2129   if (NULL != c &&
2130       GNUNET_YES != GNUNET_CONTAINER_multihashmap_remove (c->tunnels, &hash, t))
2131   {
2132     r = GNUNET_SYSERR;
2133   }
2134   if (t->local_tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
2135   {
2136     GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
2137     GNUNET_break (GNUNET_YES ==
2138                   GNUNET_CONTAINER_multihashmap_remove (incoming_tunnels, &hash,
2139                                                         t));
2140   }
2141   if (NULL != t->peers)
2142   {
2143     GNUNET_CONTAINER_multihashmap_iterate (t->peers, &peer_info_delete_tunnel,
2144                                            t);
2145     GNUNET_CONTAINER_multihashmap_destroy (t->peers);
2146   }
2147   q = t->queue_head;
2148   while (NULL != q)
2149   {
2150     if (NULL != q->data)
2151       GNUNET_free (q->data);
2152     qn = q->next;
2153     GNUNET_free (q);
2154     q = qn;
2155     /* TODO cancel core transmit ready in case it was active */
2156   }
2157   tree_destroy (t->tree);
2158   if (NULL != t->dht_get_type)
2159     GNUNET_DHT_get_stop (t->dht_get_type);
2160   if (GNUNET_SCHEDULER_NO_TASK != t->timeout_task)
2161     GNUNET_SCHEDULER_cancel (t->timeout_task);
2162   if (GNUNET_SCHEDULER_NO_TASK != t->path_refresh_task)
2163     GNUNET_SCHEDULER_cancel (t->path_refresh_task);
2164   GNUNET_free (t);
2165   return r;
2166 }
2167
2168
2169 /**
2170  * Removes an explicit path from a tunnel, freeing all intermediate nodes
2171  * that are no longer needed, as well as nodes of no longer reachable peers.
2172  * The tunnel itself is also destoyed if results in a remote empty tunnel.
2173  *
2174  * @param t Tunnel from which to remove the path.
2175  * @param p Peer which should be removed.
2176  */
2177 static void
2178 tunnel_delete_peer (struct MeshTunnel *t, GNUNET_PEER_Id peer)
2179 {
2180   if (GNUNET_NO == tree_del_peer (t->tree, peer, NULL, NULL))
2181     tunnel_destroy (t);
2182 }
2183
2184
2185 /**
2186  * tunnel_destroy_iterator: iterator for deleting each tunnel that belongs to a
2187  * client when the client disconnects.
2188  *
2189  * @param cls closure (client that is disconnecting)
2190  * @param key the hash of the local tunnel id (used to access the hashmap)
2191  * @param value the value stored at the key (tunnel to destroy)
2192  *
2193  * @return GNUNET_OK on success
2194  */
2195 static int
2196 tunnel_destroy_iterator (void *cls, const GNUNET_HashCode * key, void *value)
2197 {
2198   struct MeshTunnel *t = value;
2199   int r;
2200
2201   r = tunnel_destroy (t);
2202   return r;
2203 }
2204
2205
2206 /**
2207  * Timeout function, destroys tunnel if called
2208  *
2209  * @param cls Closure (tunnel to destroy).
2210  * @param tc TaskContext
2211  */
2212 static void
2213 tunnel_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
2214 {
2215   struct MeshTunnel *t = cls;
2216
2217   if (GNUNET_SCHEDULER_REASON_SHUTDOWN == tc->reason)
2218     return;
2219   t->timeout_task = GNUNET_SCHEDULER_NO_TASK;
2220   tunnel_destroy (t);
2221 }
2222
2223 /**
2224  * Resets the tunnel timeout. Starts it if no timeout was running.
2225  *
2226  * @param t Tunnel whose timeout to reset.
2227  */
2228 static void
2229 tunnel_reset_timeout (struct MeshTunnel *t)
2230 {
2231   if (GNUNET_SCHEDULER_NO_TASK != t->timeout_task)
2232     GNUNET_SCHEDULER_cancel (t->timeout_task);
2233   t->timeout_task =
2234       GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_relative_multiply
2235                                     (REFRESH_PATH_TIME, 4), &tunnel_timeout, t);
2236 }
2237
2238
2239 /******************************************************************************/
2240 /****************      MESH NETWORK HANDLER HELPERS     ***********************/
2241 /******************************************************************************/
2242
2243 /**
2244  * Function called to notify a client about the socket
2245  * being ready to queue more data.  "buf" will be
2246  * NULL and "size" zero if the socket was closed for
2247  * writing in the meantime.
2248  *
2249  * @param cls closure
2250  * @param size number of bytes available in buf
2251  * @param buf where the callee should write the message
2252  * @return number of bytes written to buf
2253  */
2254 static size_t
2255 send_core_create_path (void *cls, size_t size, void *buf)
2256 {
2257   struct MeshPathInfo *info = cls;
2258   struct GNUNET_MESH_ManipulatePath *msg;
2259   struct GNUNET_PeerIdentity *peer_ptr;
2260   struct MeshPeerInfo *peer = info->peer;
2261   struct MeshTunnel *t = info->t;
2262   struct MeshPeerPath *p = info->path;
2263   size_t size_needed;
2264   int i;
2265
2266   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: CREATE PATH sending...\n");
2267   size_needed =
2268       sizeof (struct GNUNET_MESH_ManipulatePath) +
2269       p->length * sizeof (struct GNUNET_PeerIdentity);
2270
2271   if (size < size_needed || NULL == buf)
2272   {
2273     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: create path retransmit!\n");
2274     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   buf:  %p\n", buf);
2275     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   size: (%u/%u)\n", size,
2276                 size_needed);
2277     info->peer->core_transmit[info->pos] =
2278         GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
2279                                            GNUNET_TIME_UNIT_FOREVER_REL,
2280                                            tree_get_first_hop (t->tree,
2281                                                                peer->id),
2282                                            size_needed, &send_core_create_path,
2283                                            info);
2284     return 0;
2285   }
2286   info->peer->core_transmit[info->pos] = NULL;
2287 #if MESH_DEBUG
2288   {
2289     struct GNUNET_PeerIdentity id;
2290
2291     GNUNET_PEER_resolve (peer->id, &id);
2292     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2293                 "MESH:   setting core_transmit %s [%u] to NULL\n",
2294                 GNUNET_i2s (&id), info->pos);
2295   }
2296 #endif
2297   msg = (struct GNUNET_MESH_ManipulatePath *) buf;
2298   msg->header.size = htons (size_needed);
2299   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE);
2300   msg->tid = ntohl (t->id.tid);
2301
2302   peer_ptr = (struct GNUNET_PeerIdentity *) &msg[1];
2303   for (i = 0; i < p->length; i++)
2304   {
2305     GNUNET_PEER_resolve (p->peers[i], peer_ptr++);
2306   }
2307
2308   path_destroy (p);
2309   GNUNET_free (info);
2310
2311   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2312               "MESH: CREATE PATH (%u bytes long) sent!\n", size_needed);
2313   return size_needed;
2314 }
2315
2316
2317 /**
2318  * Function called to notify a client about the socket
2319  * being ready to queue more data.  "buf" will be
2320  * NULL and "size" zero if the socket was closed for
2321  * writing in the meantime.
2322  *
2323  * @param cls closure (data itself)
2324  * @param size number of bytes available in buf
2325  * @param buf where the callee should write the message
2326  *
2327  * @return number of bytes written to buf
2328  */
2329 static size_t
2330 send_core_data_multicast (void *cls, size_t size, void *buf)
2331 {
2332   struct MeshDataDescriptor *info = cls;
2333   size_t total_size;
2334
2335   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Multicast callback.\n");
2336   GNUNET_assert (NULL != info);
2337   GNUNET_assert (NULL != info->peer);
2338   total_size = info->size;
2339   GNUNET_assert (total_size < GNUNET_SERVER_MAX_MESSAGE_SIZE);
2340
2341   if (total_size > size)
2342   {
2343     /* Retry */
2344     struct GNUNET_PeerIdentity id;
2345
2346     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2347                 "MESH: Multicast: retransmitting... (%u/%u)\n", size,
2348                 total_size);
2349     GNUNET_PEER_resolve (info->peer->id, &id);
2350     info->peer->core_transmit[info->handler_n] =
2351         GNUNET_CORE_notify_transmit_ready (core_handle, 0, 0,
2352                                            GNUNET_TIME_UNIT_FOREVER_REL, &id,
2353                                            total_size,
2354                                            &send_core_data_multicast, info);
2355     return 0;
2356   }
2357   info->peer->core_transmit[info->handler_n] = NULL;
2358   info->peer->infos[info->handler_n] = NULL;
2359   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  copying data...\n");
2360   memcpy (buf, info->data, total_size);
2361 #if MESH_DEBUG
2362   {
2363     struct GNUNET_MESH_Multicast *mc;
2364     struct GNUNET_MessageHeader *mh;
2365
2366     mh = buf;
2367     if (ntohs (mh->type) == GNUNET_MESSAGE_TYPE_MESH_MULTICAST)
2368     {
2369       mc = (struct GNUNET_MESH_Multicast *) mh;
2370       mh = (struct GNUNET_MessageHeader *) &mc[1];
2371       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2372                   "MESH:  multicast, payload type %u\n", ntohs (mh->type));
2373       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2374                   "MESH:  multicast, payload size %u\n", ntohs (mh->size));
2375     }
2376     else
2377     {
2378       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  type %u\n",
2379                   ntohs (mh->type));
2380     }
2381   }
2382 #endif
2383   data_descriptor_decrement_multicast (info);
2384   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: freeing info...\n");
2385   GNUNET_free (info);
2386   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: return %u\n", total_size);
2387   return total_size;
2388 }
2389
2390
2391 /**
2392  * Function called to notify a client about the socket
2393  * being ready to queue more data.  "buf" will be
2394  * NULL and "size" zero if the socket was closed for
2395  * writing in the meantime.
2396  *
2397  * @param cls closure (MeshDataDescriptor)
2398  * @param size number of bytes available in buf
2399  * @param buf where the callee should write the message
2400  * @return number of bytes written to buf
2401  */
2402 static size_t
2403 send_core_path_ack (void *cls, size_t size, void *buf)
2404 {
2405   struct MeshDataDescriptor *info = cls;
2406   struct GNUNET_MESH_PathACK *msg = buf;
2407
2408   GNUNET_assert (NULL != info);
2409   if (info->peer)
2410   {
2411     info->peer->core_transmit[info->handler_n] = NULL;
2412   }
2413   if (sizeof (struct GNUNET_MESH_PathACK) > size)
2414   {
2415     GNUNET_break (0);
2416     return 0;
2417   }
2418   msg->header.size = htons (sizeof (struct GNUNET_MESH_PathACK));
2419   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_ACK);
2420   GNUNET_PEER_resolve (info->origin->oid, &msg->oid);
2421   msg->tid = htonl (info->origin->tid);
2422   msg->peer_id = my_full_id;
2423   GNUNET_free (info);
2424   /* TODO add signature */
2425
2426   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: PATH ACK sent!\n");
2427   return sizeof (struct GNUNET_MESH_PathACK);
2428 }
2429
2430
2431 /******************************************************************************/
2432 /********************      MESH NETWORK HANDLERS     **************************/
2433 /******************************************************************************/
2434
2435
2436 /**
2437  * Core handler for path creation
2438  *
2439  * @param cls closure
2440  * @param message message
2441  * @param peer peer identity this notification is about
2442  * @param atsi performance data
2443  * @param atsi_count number of records in 'atsi'
2444  *
2445  * @return GNUNET_OK to keep the connection open,
2446  *         GNUNET_SYSERR to close it (signal serious error)
2447  */
2448 static int
2449 handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
2450                          const struct GNUNET_MessageHeader *message,
2451                          const struct GNUNET_ATS_Information *atsi,
2452                          unsigned int atsi_count)
2453 {
2454   unsigned int own_pos;
2455   uint16_t size;
2456   uint16_t i;
2457   MESH_TunnelNumber tid;
2458   struct GNUNET_MESH_ManipulatePath *msg;
2459   struct GNUNET_PeerIdentity *pi;
2460   GNUNET_HashCode hash;
2461   struct MeshPeerPath *path;
2462   struct MeshPeerInfo *dest_peer_info;
2463   struct MeshPeerInfo *orig_peer_info;
2464   struct MeshTunnel *t;
2465
2466   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2467               "MESH: Received a path create msg [%s]\n",
2468               GNUNET_i2s (&my_full_id));
2469   size = ntohs (message->size);
2470   if (size < sizeof (struct GNUNET_MESH_ManipulatePath))
2471   {
2472     GNUNET_break_op (0);
2473     return GNUNET_OK;
2474   }
2475
2476   size -= sizeof (struct GNUNET_MESH_ManipulatePath);
2477   if (size % sizeof (struct GNUNET_PeerIdentity))
2478   {
2479     GNUNET_break_op (0);
2480     return GNUNET_OK;
2481   }
2482   size /= sizeof (struct GNUNET_PeerIdentity);
2483   if (size < 2)
2484   {
2485     GNUNET_break_op (0);
2486     return GNUNET_OK;
2487   }
2488   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:     path has %u hops.\n", size);
2489   msg = (struct GNUNET_MESH_ManipulatePath *) message;
2490
2491   tid = ntohl (msg->tid);
2492   pi = (struct GNUNET_PeerIdentity *) &msg[1];
2493   t = tunnel_get (pi, tid);
2494   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2495               "MESH:     path is for tunnel %s [%X].\n", GNUNET_i2s (pi), tid);
2496   if (NULL == t)
2497   {
2498     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Creating tunnel\n");
2499     t = GNUNET_malloc (sizeof (struct MeshTunnel));
2500     t->id.oid = GNUNET_PEER_intern (pi);
2501     t->id.tid = tid;
2502     while (NULL != tunnel_get_incoming (next_local_tid))
2503       next_local_tid = (next_local_tid + 1) | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
2504     t->local_tid = next_local_tid++;
2505     next_local_tid = next_local_tid | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
2506     t->tree = tree_new (t->id.oid);
2507
2508     GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
2509     if (GNUNET_OK !=
2510         GNUNET_CONTAINER_multihashmap_put (tunnels, &hash, t,
2511                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
2512     {
2513       tunnel_destroy (t);
2514       GNUNET_break (0);
2515       return GNUNET_OK;
2516     }
2517     tunnel_reset_timeout (t);
2518     GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
2519     if (GNUNET_OK !=
2520         GNUNET_CONTAINER_multihashmap_put (incoming_tunnels, &hash, t,
2521                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
2522     {
2523       tunnel_destroy (t);
2524       GNUNET_break (0);
2525       return GNUNET_OK;
2526     }
2527   }
2528   dest_peer_info =
2529       GNUNET_CONTAINER_multihashmap_get (peers, &pi[size - 1].hashPubKey);
2530   if (NULL == dest_peer_info)
2531   {
2532     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2533                 "MESH:   Creating PeerInfo for destination.\n");
2534     dest_peer_info = GNUNET_malloc (sizeof (struct MeshPeerInfo));
2535     dest_peer_info->id = GNUNET_PEER_intern (&pi[size - 1]);
2536     GNUNET_CONTAINER_multihashmap_put (peers, &pi[size - 1].hashPubKey,
2537                                        dest_peer_info,
2538                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
2539   }
2540   orig_peer_info = GNUNET_CONTAINER_multihashmap_get (peers, &pi->hashPubKey);
2541   if (NULL == orig_peer_info)
2542   {
2543     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2544                 "MESH:   Creating PeerInfo for origin.\n");
2545     orig_peer_info = GNUNET_malloc (sizeof (struct MeshPeerInfo));
2546     orig_peer_info->id = GNUNET_PEER_intern (pi);
2547     GNUNET_CONTAINER_multihashmap_put (peers, &pi->hashPubKey, orig_peer_info,
2548                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
2549   }
2550   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Creating path...\n");
2551   path = path_new (size);
2552   own_pos = 0;
2553   for (i = 0; i < size; i++)
2554   {
2555     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   ... adding %s\n",
2556                 GNUNET_i2s (&pi[i]));
2557     path->peers[i] = GNUNET_PEER_intern (&pi[i]);
2558     if (path->peers[i] == myid)
2559       own_pos = i;
2560   }
2561   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Own position: %u\n", own_pos);
2562   if (own_pos == 0)
2563   {
2564     /* cannot be self, must be 'not found' */
2565     /* create path: self not found in path through self */
2566     GNUNET_break_op (0);
2567     path_destroy (path);
2568     /* FIXME error. destroy tunnel? leave for timeout? */
2569     return 0;
2570   }
2571   tunnel_add_path (t, path, own_pos);
2572   if (own_pos == size - 1)
2573   {
2574     /* It is for us! Send ack. */
2575     struct MeshDataDescriptor *info;
2576     unsigned int j;
2577
2578     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   It's for us!\n");
2579     peer_info_add_path_to_origin (orig_peer_info, path, GNUNET_NO);
2580     if (NULL == t->peers)
2581     {
2582       /* New tunnel! Notify clients! */
2583       struct GNUNET_MESH_TunnelNotification cmsg;
2584
2585       cmsg.header.size = htons (sizeof (cmsg));
2586       cmsg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
2587       GNUNET_PEER_resolve (t->id.oid, &cmsg.peer);
2588       cmsg.tunnel_id = htonl (t->local_tid);
2589       GNUNET_SERVER_notification_context_broadcast (nc, &cmsg.header,
2590                                                     GNUNET_NO);
2591
2592       t->peers = GNUNET_CONTAINER_multihashmap_create (4);
2593     }
2594     GNUNET_break (GNUNET_OK ==
2595                   GNUNET_CONTAINER_multihashmap_put (t->peers,
2596                                                      &my_full_id.hashPubKey,
2597                                                      peer_info_get
2598                                                      (&my_full_id),
2599                                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_REPLACE));
2600     /* FIXME use send_message */
2601     info = GNUNET_malloc (sizeof (struct MeshDataDescriptor));
2602     info->origin = &t->id;
2603     info->peer = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
2604     GNUNET_assert (NULL != info->peer);
2605     j = peer_info_transmit_slot (info->peer);
2606     info->handler_n = j;
2607     info->peer->types[j] = GNUNET_MESSAGE_TYPE_MESH_PATH_ACK;
2608     info->peer->infos[j] = info;
2609     info->peer->core_transmit[j] =
2610         GNUNET_CORE_notify_transmit_ready (core_handle, 0, 100,
2611                                            GNUNET_TIME_UNIT_FOREVER_REL, peer,
2612                                            sizeof (struct GNUNET_MESH_PathACK),
2613                                            &send_core_path_ack, info);
2614   }
2615   else
2616   {
2617     struct MeshPeerPath *path2;
2618
2619     /* It's for somebody else! Retransmit. */
2620     path2 = path_duplicate (path);
2621     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Retransmitting.\n");
2622     peer_info_add_path (dest_peer_info, path2, GNUNET_NO);
2623     path2 = path_duplicate (path);
2624     peer_info_add_path_to_origin (orig_peer_info, path2, GNUNET_NO);
2625     send_create_path (dest_peer_info, path, t);
2626   }
2627   return GNUNET_OK;
2628 }
2629
2630
2631 /**
2632  * Core handler for path destruction
2633  *
2634  * @param cls closure
2635  * @param message message
2636  * @param peer peer identity this notification is about
2637  * @param atsi performance data
2638  * @param atsi_count number of records in 'atsi'
2639  *
2640  * @return GNUNET_OK to keep the connection open,
2641  *         GNUNET_SYSERR to close it (signal serious error)
2642  */
2643 static int
2644 handle_mesh_path_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
2645                           const struct GNUNET_MessageHeader *message,
2646                           const struct GNUNET_ATS_Information *atsi,
2647                           unsigned int atsi_count)
2648 {
2649   struct GNUNET_MESH_ManipulatePath *msg;
2650   struct GNUNET_PeerIdentity *pi;
2651   struct MeshPeerPath *path;
2652   struct MeshTunnel *t;
2653   unsigned int own_pos;
2654   unsigned int i;
2655   size_t size;
2656
2657   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2658               "MESH: Received a PATH DESTROY msg from %s\n", GNUNET_i2s (peer));
2659   size = ntohs (message->size);
2660   if (size < sizeof (struct GNUNET_MESH_ManipulatePath))
2661   {
2662     GNUNET_break_op (0);
2663     return GNUNET_OK;
2664   }
2665
2666   size -= sizeof (struct GNUNET_MESH_ManipulatePath);
2667   if (size % sizeof (struct GNUNET_PeerIdentity))
2668   {
2669     GNUNET_break_op (0);
2670     return GNUNET_OK;
2671   }
2672   size /= sizeof (struct GNUNET_PeerIdentity);
2673   if (size < 2)
2674   {
2675     GNUNET_break_op (0);
2676     return GNUNET_OK;
2677   }
2678   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:     path has %u hops.\n", size);
2679
2680   msg = (struct GNUNET_MESH_ManipulatePath *) message;
2681   pi = (struct GNUNET_PeerIdentity *) &msg[1];
2682   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2683               "MESH:     path is for tunnel %s [%X].\n", GNUNET_i2s (pi),
2684               msg->tid);
2685   t = tunnel_get (pi, ntohl (msg->tid));
2686   if (NULL == t)
2687   {
2688     /* TODO notify back: we don't know this tunnel */
2689     GNUNET_break_op (0);
2690     return GNUNET_OK;
2691   }
2692   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Creating path...\n");
2693   path = path_new (size);
2694   own_pos = 0;
2695   for (i = 0; i < size; i++)
2696   {
2697     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   ... adding %s\n",
2698                 GNUNET_i2s (&pi[i]));
2699     path->peers[i] = GNUNET_PEER_intern (&pi[i]);
2700     if (path->peers[i] == myid)
2701       own_pos = i;
2702   }
2703   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   Own position: %u\n", own_pos);
2704   if (own_pos < path->length - 1)
2705     send_message (message, &pi[own_pos + 1]);
2706   tunnel_delete_peer (t, path->peers[path->length - 1]);
2707   path_destroy (path);
2708   return GNUNET_OK;
2709 }
2710
2711
2712 /**
2713  * Core handler for notifications of broken paths
2714  *
2715  * @param cls closure
2716  * @param message message
2717  * @param peer peer identity this notification is about
2718  * @param atsi performance data
2719  * @param atsi_count number of records in 'atsi'
2720  *
2721  * @return GNUNET_OK to keep the connection open,
2722  *         GNUNET_SYSERR to close it (signal serious error)
2723  */
2724 static int
2725 handle_mesh_path_broken (void *cls, const struct GNUNET_PeerIdentity *peer,
2726                          const struct GNUNET_MessageHeader *message,
2727                          const struct GNUNET_ATS_Information *atsi,
2728                          unsigned int atsi_count)
2729 {
2730   struct GNUNET_MESH_PathBroken *msg;
2731   struct MeshTunnel *t;
2732
2733   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2734               "MESH: Received a PATH BROKEN msg from %s\n", GNUNET_i2s (peer));
2735   msg = (struct GNUNET_MESH_PathBroken *) message;
2736   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   regarding %s\n",
2737               GNUNET_i2s (&msg->peer1));
2738   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   regarding %s\n",
2739               GNUNET_i2s (&msg->peer2));
2740   t = tunnel_get (&msg->oid, ntohl (msg->tid));
2741   if (NULL == t)
2742   {
2743     GNUNET_break_op (0);
2744     return GNUNET_OK;
2745   }
2746   tunnel_notify_connection_broken (t, GNUNET_PEER_search (&msg->peer1),
2747                                    GNUNET_PEER_search (&msg->peer2));
2748   return GNUNET_OK;
2749
2750 }
2751
2752
2753 /**
2754  * Core handler for tunnel destruction
2755  *
2756  * @param cls closure
2757  * @param message message
2758  * @param peer peer identity this notification is about
2759  * @param atsi performance data
2760  * @param atsi_count number of records in 'atsi'
2761  *
2762  * @return GNUNET_OK to keep the connection open,
2763  *         GNUNET_SYSERR to close it (signal serious error)
2764  */
2765 static int
2766 handle_mesh_tunnel_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
2767                             const struct GNUNET_MessageHeader *message,
2768                             const struct GNUNET_ATS_Information *atsi,
2769                             unsigned int atsi_count)
2770 {
2771   struct GNUNET_MESH_TunnelDestroy *msg;
2772   struct MeshTunnel *t;
2773
2774   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2775               "MESH: Got a TUNNEL DESTROY packet from %s\n", GNUNET_i2s (peer));
2776   msg = (struct GNUNET_MESH_TunnelDestroy *) message;
2777   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   for tunnel %s [%u]\n",
2778               GNUNET_i2s (&msg->oid), ntohl (msg->tid));
2779   t = tunnel_get (&msg->oid, ntohl (msg->tid));
2780   if (NULL == t)
2781   {
2782     /* Probably already got the message from another path,
2783      * destroyed the tunnel and retransmitted to children.
2784      * Safe to ignore.
2785      */
2786     return GNUNET_OK;
2787   }
2788   if (t->id.oid == myid)
2789   {
2790     GNUNET_break_op (0);
2791     return GNUNET_OK;
2792   }
2793   if (t->local_tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
2794   {
2795     /* Tunnel was incoming, notify clients */
2796     send_clients_tunnel_destroy (t);
2797   }
2798   tunnel_send_destroy (t);
2799   tunnel_destroy (t);
2800   return GNUNET_OK;
2801 }
2802
2803
2804 /**
2805  * Core handler for mesh network traffic going from the origin to a peer
2806  *
2807  * @param cls closure
2808  * @param peer peer identity this notification is about
2809  * @param message message
2810  * @param atsi performance data
2811  * @param atsi_count number of records in 'atsi'
2812  * @return GNUNET_OK to keep the connection open,
2813  *         GNUNET_SYSERR to close it (signal serious error)
2814  */
2815 static int
2816 handle_mesh_data_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
2817                           const struct GNUNET_MessageHeader *message,
2818                           const struct GNUNET_ATS_Information *atsi,
2819                           unsigned int atsi_count)
2820 {
2821   struct GNUNET_MESH_Unicast *msg;
2822   struct MeshTunnel *t;
2823   GNUNET_PEER_Id pid;
2824   size_t size;
2825
2826   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: got a unicast packet from %s\n",
2827               GNUNET_i2s (peer));
2828   size = ntohs (message->size);
2829   if (size <
2830       sizeof (struct GNUNET_MESH_Unicast) +
2831       sizeof (struct GNUNET_MessageHeader))
2832   {
2833     GNUNET_break (0);
2834     return GNUNET_OK;
2835   }
2836   msg = (struct GNUNET_MESH_Unicast *) message;
2837   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  of type %u\n",
2838               ntohs (msg[1].header.type));
2839   t = tunnel_get (&msg->oid, ntohl (msg->tid));
2840   if (NULL == t)
2841   {
2842     /* TODO notify back: we don't know this tunnel */
2843     GNUNET_break_op (0);
2844     return GNUNET_OK;
2845   }
2846   tunnel_reset_timeout (t);
2847   pid = GNUNET_PEER_search (&msg->destination);
2848   if (pid == myid)
2849   {
2850     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2851                 "MESH:   it's for us! sending to clients...\n");
2852     send_subscribed_clients (message, (struct GNUNET_MessageHeader *) &msg[1]);
2853     return GNUNET_OK;
2854   }
2855   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2856               "MESH:   not for us, retransmitting...\n");
2857   send_message (message, tree_get_first_hop (t->tree, pid));
2858   return GNUNET_OK;
2859 }
2860
2861
2862 /**
2863  * Core handler for mesh network traffic going from the origin to all peers
2864  *
2865  * @param cls closure
2866  * @param message message
2867  * @param peer peer identity this notification is about
2868  * @param atsi performance data
2869  * @param atsi_count number of records in 'atsi'
2870  * @return GNUNET_OK to keep the connection open,
2871  *         GNUNET_SYSERR to close it (signal serious error)
2872  *
2873  * TODO: Check who we got this from, to validate route.
2874  */
2875 static int
2876 handle_mesh_data_multicast (void *cls, const struct GNUNET_PeerIdentity *peer,
2877                             const struct GNUNET_MessageHeader *message,
2878                             const struct GNUNET_ATS_Information *atsi,
2879                             unsigned int atsi_count)
2880 {
2881   struct GNUNET_MESH_Multicast *msg;
2882   struct MeshTunnel *t;
2883   size_t size;
2884
2885   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: got a multicast packet from %s\n",
2886               GNUNET_i2s (peer));
2887   size = ntohs (message->size);
2888   if (sizeof (struct GNUNET_MESH_Multicast) +
2889       sizeof (struct GNUNET_MessageHeader) > size)
2890   {
2891     GNUNET_break_op (0);
2892     return GNUNET_OK;
2893   }
2894   msg = (struct GNUNET_MESH_Multicast *) message;
2895   t = tunnel_get (&msg->oid, ntohl (msg->tid));
2896
2897   if (NULL == t)
2898   {
2899     /* TODO notify that we dont know that tunnel */
2900     GNUNET_break_op (0);
2901     return GNUNET_OK;
2902   }
2903   if (t->mid == ntohl (msg->mid))
2904   {
2905     /* FIXME: already seen this packet, log dropping */
2906     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
2907                 "MESH:  Already seen mid %u, DROPPING!\n",
2908                 t->mid);
2909     return GNUNET_OK;
2910   }
2911 #if MESH_DEBUG
2912   else
2913   {
2914     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2915                 "MESH:  mid %u not seen yet, forwarding\n",
2916                 ntohl (msg->mid));
2917   }
2918 #endif
2919   t->mid = ntohl (msg->mid);
2920   tunnel_reset_timeout (t);
2921
2922   /* Transmit to locally interested clients */
2923   if (NULL != t->peers &&
2924       GNUNET_CONTAINER_multihashmap_contains (t->peers, &my_full_id.hashPubKey))
2925   {
2926     send_subscribed_clients (message, &msg[1].header);
2927   }
2928 #if MESH_DEBUG
2929   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2930               "MESH:    ttl: %u\n",
2931               ntohl (msg->ttl));
2932 #endif
2933   if (ntohl (msg->ttl) == 0)
2934   {
2935     /* FIXME: ttl is 0, log dropping */
2936     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
2937                 "MESH:  TTL is 0, DROPPING!\n");
2938     return GNUNET_OK;
2939   }
2940   tunnel_send_multicast (t, message);
2941   return GNUNET_OK;
2942 }
2943
2944
2945 /**
2946  * Core handler for mesh network traffic toward the owner of a tunnel
2947  *
2948  * @param cls closure
2949  * @param message message
2950  * @param peer peer identity this notification is about
2951  * @param atsi performance data
2952  * @param atsi_count number of records in 'atsi'
2953  *
2954  * @return GNUNET_OK to keep the connection open,
2955  *         GNUNET_SYSERR to close it (signal serious error)
2956  */
2957 static int
2958 handle_mesh_data_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
2959                           const struct GNUNET_MessageHeader *message,
2960                           const struct GNUNET_ATS_Information *atsi,
2961                           unsigned int atsi_count)
2962 {
2963   struct GNUNET_MESH_ToOrigin *msg;
2964   struct GNUNET_PeerIdentity id;
2965   struct MeshPeerInfo *peer_info;
2966   struct MeshTunnel *t;
2967   size_t size;
2968
2969   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: got a ToOrigin packet from %s\n",
2970               GNUNET_i2s (peer));
2971   size = ntohs (message->size);
2972   if (size < sizeof (struct GNUNET_MESH_ToOrigin) +     /* Payload must be */
2973       sizeof (struct GNUNET_MessageHeader))     /* at least a header */
2974   {
2975     GNUNET_break_op (0);
2976     return GNUNET_OK;
2977   }
2978   msg = (struct GNUNET_MESH_ToOrigin *) message;
2979   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  of type %u\n",
2980               ntohs (msg[1].header.type));
2981   t = tunnel_get (&msg->oid, ntohl (msg->tid));
2982
2983   if (NULL == t)
2984   {
2985     /* TODO notify that we dont know this tunnel (whom)? */
2986     GNUNET_break_op (0);
2987     return GNUNET_OK;
2988   }
2989
2990   if (t->id.oid == myid)
2991   {
2992     char cbuf[size];
2993     struct GNUNET_MESH_ToOrigin *copy;
2994
2995     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2996                 "MESH:   it's for us! sending to clients...\n");
2997     if (NULL == t->client)
2998     {
2999       /* got data packet for ownerless tunnel */
3000       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   no clients!\n");
3001       GNUNET_break_op (0);
3002       return GNUNET_OK;
3003     }
3004     /* TODO signature verification */
3005     memcpy (cbuf, message, size);
3006     copy = (struct GNUNET_MESH_ToOrigin *) cbuf;
3007     copy->tid = htonl (t->local_tid);
3008     GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
3009                                                 &copy->header, GNUNET_YES);
3010     return GNUNET_OK;
3011   }
3012   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3013               "MESH:   not for us, retransmitting...\n");
3014
3015   peer_info = peer_info_get (&msg->oid);
3016   if (NULL == peer_info)
3017   {
3018     /* unknown origin of tunnel */
3019     GNUNET_break (0);
3020     return GNUNET_OK;
3021   }
3022   GNUNET_PEER_resolve (tree_get_predecessor (t->tree), &id);
3023   send_message (message, &id);
3024
3025   return GNUNET_OK;
3026 }
3027
3028
3029 /**
3030  * Core handler for path ACKs
3031  *
3032  * @param cls closure
3033  * @param message message
3034  * @param peer peer identity this notification is about
3035  * @param atsi performance data
3036  * @param atsi_count number of records in 'atsi'
3037  *
3038  * @return GNUNET_OK to keep the connection open,
3039  *         GNUNET_SYSERR to close it (signal serious error)
3040  */
3041 static int
3042 handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
3043                       const struct GNUNET_MessageHeader *message,
3044                       const struct GNUNET_ATS_Information *atsi,
3045                       unsigned int atsi_count)
3046 {
3047   struct GNUNET_MESH_PathACK *msg;
3048   struct GNUNET_PeerIdentity id;
3049   struct MeshPeerInfo *peer_info;
3050   struct MeshTunnel *t;
3051
3052   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Received a path ACK msg [%s]\n",
3053               GNUNET_i2s (&my_full_id));
3054   msg = (struct GNUNET_MESH_PathACK *) message;
3055   t = tunnel_get (&msg->oid, msg->tid);
3056   if (NULL == t)
3057   {
3058     /* TODO notify that we don't know the tunnel */
3059     return GNUNET_OK;
3060   }
3061
3062   /* Message for us? */
3063   if (0 == memcmp (&msg->oid, &my_full_id, sizeof (struct GNUNET_PeerIdentity)))
3064   {
3065     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   It's for us!\n");
3066     if (NULL == t->client)
3067     {
3068       GNUNET_break_op (0);
3069       return GNUNET_OK;
3070     }
3071     if (NULL != t->dht_get_type)
3072     {
3073       GNUNET_DHT_get_stop (t->dht_get_type);
3074       t->dht_get_type = NULL;
3075     }
3076     peer_info = peer_info_get (&msg->peer_id);
3077     if (tree_get_status(t->tree, peer_info->id) != MESH_PEER_READY)
3078     {
3079       tree_set_status (t->tree, peer_info->id, MESH_PEER_READY);
3080       send_client_peer_connected (t, peer_info->id);
3081     }
3082     return GNUNET_OK;
3083   }
3084
3085   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3086               "MESH:   not for us, retransmitting...\n");
3087   GNUNET_PEER_resolve (tree_get_predecessor (t->tree), &id);
3088   peer_info = peer_info_get (&msg->oid);
3089   if (NULL == peer_info)
3090   {
3091     /* If we know the tunnel, we should DEFINITELY know the peer */
3092     GNUNET_break (0);
3093     return GNUNET_OK;
3094   }
3095   send_message (message, &id);
3096   return GNUNET_OK;
3097 }
3098
3099
3100 /**
3101  * Functions to handle messages from core
3102  */
3103 static struct GNUNET_CORE_MessageHandler core_handlers[] = {
3104   {&handle_mesh_path_create, GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE, 0},
3105   {&handle_mesh_path_destroy, GNUNET_MESSAGE_TYPE_MESH_PATH_DESTROY, 0},
3106   {&handle_mesh_path_broken, GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN,
3107    sizeof (struct GNUNET_MESH_PathBroken)},
3108   {&handle_mesh_tunnel_destroy, GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY, 0},
3109   {&handle_mesh_data_unicast, GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
3110   {&handle_mesh_data_multicast, GNUNET_MESSAGE_TYPE_MESH_MULTICAST, 0},
3111   {&handle_mesh_data_to_orig, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
3112   {&handle_mesh_path_ack, GNUNET_MESSAGE_TYPE_MESH_PATH_ACK,
3113    sizeof (struct GNUNET_MESH_PathACK)},
3114   {NULL, 0, 0}
3115 };
3116
3117
3118
3119 /******************************************************************************/
3120 /****************       MESH LOCAL HANDLER HELPERS      ***********************/
3121 /******************************************************************************/
3122
3123 /**
3124  * deregister_app: iterator for removing each application registered by a client
3125  *
3126  * @param cls closure
3127  * @param key the hash of the application id (used to access the hashmap)
3128  * @param value the value stored at the key (client)
3129  *
3130  * @return GNUNET_OK on success
3131  */
3132 static int
3133 deregister_app (void *cls, const GNUNET_HashCode * key, void *value)
3134 {
3135   GNUNET_break (GNUNET_YES ==
3136                 GNUNET_CONTAINER_multihashmap_remove (applications, key,
3137                                                       value));
3138   return GNUNET_OK;
3139 }
3140
3141 #if LATER
3142 /**
3143  * notify_client_connection_failure: notify a client that the connection to the
3144  * requested remote peer is not possible (for instance, no route found)
3145  * Function called when the socket is ready to queue more data. "buf" will be
3146  * NULL and "size" zero if the socket was closed for writing in the meantime.
3147  *
3148  * @param cls closure
3149  * @param size number of bytes available in buf
3150  * @param buf where the callee should write the message
3151  * @return number of bytes written to buf
3152  */
3153 static size_t
3154 notify_client_connection_failure (void *cls, size_t size, void *buf)
3155 {
3156   int size_needed;
3157   struct MeshPeerInfo *peer_info;
3158   struct GNUNET_MESH_PeerControl *msg;
3159   struct GNUNET_PeerIdentity id;
3160
3161   if (0 == size && NULL == buf)
3162   {
3163     // TODO retry? cancel?
3164     return 0;
3165   }
3166
3167   size_needed = sizeof (struct GNUNET_MESH_PeerControl);
3168   peer_info = (struct MeshPeerInfo *) cls;
3169   msg = (struct GNUNET_MESH_PeerControl *) buf;
3170   msg->header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
3171   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DISCONNECTED);
3172 //     msg->tunnel_id = htonl(peer_info->t->tid);
3173   GNUNET_PEER_resolve (peer_info->id, &id);
3174   memcpy (&msg->peer, &id, sizeof (struct GNUNET_PeerIdentity));
3175
3176   return size_needed;
3177 }
3178 #endif
3179
3180
3181 /**
3182  * Send keepalive packets for a peer
3183  *
3184  * @param cls Closure (tunnel for which to send the keepalive).
3185  * @param tc Notification context.
3186  *
3187  * TODO: implement explicit multicast keepalive?
3188  */
3189 static void
3190 path_refresh (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
3191 {
3192   struct MeshTunnel *t = cls;
3193   struct GNUNET_MessageHeader *payload;
3194   struct GNUNET_MESH_Multicast *msg;
3195   size_t size =
3196       sizeof (struct GNUNET_MESH_Multicast) +
3197       sizeof (struct GNUNET_MessageHeader);
3198   char cbuf[size];
3199
3200   if (tc->reason == GNUNET_SCHEDULER_REASON_SHUTDOWN)
3201   {
3202     return;
3203   }
3204   t->path_refresh_task = GNUNET_SCHEDULER_NO_TASK;
3205
3206   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3207               "MESH: sending keepalive for tunnel %d\n", t->id.tid);
3208
3209   msg = (struct GNUNET_MESH_Multicast *) cbuf;
3210   msg->header.size = htons (size);
3211   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_MULTICAST);
3212   msg->oid = my_full_id;
3213   msg->tid = htonl (t->id.tid);
3214   payload = (struct GNUNET_MessageHeader *) &msg[1];
3215   payload->size = htons (sizeof (struct GNUNET_MessageHeader));
3216   payload->type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_KEEPALIVE);
3217   tunnel_send_multicast (t, &msg->header);
3218
3219   t->path_refresh_task =
3220       GNUNET_SCHEDULER_add_delayed (REFRESH_PATH_TIME, &path_refresh, t);
3221   return;
3222 }
3223
3224
3225 /**
3226  * Function to process paths received for a new peer addition. The recorded
3227  * paths form the initial tunnel, which can be optimized later.
3228  * Called on each result obtained for the DHT search.
3229  *
3230  * @param cls closure
3231  * @param exp when will this value expire
3232  * @param key key of the result
3233  * @param type type of the result
3234  * @param size number of bytes in data
3235  * @param data pointer to the result data
3236  *
3237  * TODO: re-issue the request after certain time? cancel after X results?
3238  */
3239 static void
3240 dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
3241                     const GNUNET_HashCode * key,
3242                     const struct GNUNET_PeerIdentity *get_path,
3243                     unsigned int get_path_length,
3244                     const struct GNUNET_PeerIdentity *put_path,
3245                     unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
3246                     size_t size, const void *data)
3247 {
3248   struct MeshPathInfo *path_info = cls;
3249   struct MeshPeerPath *p;
3250   struct GNUNET_PeerIdentity pi;
3251   int i;
3252
3253   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Got results from DHT!\n");
3254   GNUNET_PEER_resolve (path_info->peer->id, &pi);
3255   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   for %s\n", GNUNET_i2s (&pi));
3256 //   GNUNET_DHT_get_stop(path_info->peer->dhtget);
3257 //   path_info->peer->dhtget = NULL;
3258
3259   p = path_build_from_dht (get_path, get_path_length, put_path,
3260                            put_path_length);
3261   peer_info_add_path (path_info->peer, p, GNUNET_NO);
3262   for (i = 0; i < path_info->peer->ntunnels; i++)
3263   {
3264     tunnel_add_peer (path_info->peer->tunnels[i], path_info->peer);
3265     peer_info_connect (path_info->peer, path_info->t);
3266   }
3267 //   GNUNET_free (path_info);
3268
3269   return;
3270 }
3271
3272
3273 /**
3274  * Function to process paths received for a new peer addition. The recorded
3275  * paths form the initial tunnel, which can be optimized later.
3276  * Called on each result obtained for the DHT search.
3277  *
3278  * @param cls closure
3279  * @param exp when will this value expire
3280  * @param key key of the result
3281  * @param type type of the result
3282  * @param size number of bytes in data
3283  * @param data pointer to the result data
3284  */
3285 static void
3286 dht_get_type_handler (void *cls, struct GNUNET_TIME_Absolute exp,
3287                       const GNUNET_HashCode * key,
3288                       const struct GNUNET_PeerIdentity *get_path,
3289                       unsigned int get_path_length,
3290                       const struct GNUNET_PeerIdentity *put_path,
3291                       unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
3292                       size_t size, const void *data)
3293 {
3294   const struct GNUNET_PeerIdentity *pi = data;
3295   struct MeshTunnel *t = cls;
3296   struct MeshPeerInfo *peer_info;
3297   struct MeshPeerPath *p;
3298
3299   if (size != sizeof (struct GNUNET_PeerIdentity))
3300   {
3301     GNUNET_break_op (0);
3302     return;
3303   }
3304   GNUNET_assert (NULL != t->client);
3305   peer_info = peer_info_get (pi);
3306   (void) GNUNET_CONTAINER_multihashmap_put (t->peers, &pi->hashPubKey,
3307                                             peer_info,
3308                                             GNUNET_CONTAINER_MULTIHASHMAPOPTION_REPLACE);
3309
3310   p = path_build_from_dht (get_path, get_path_length, put_path,
3311                            put_path_length);
3312   peer_info_add_path (peer_info, p, GNUNET_NO);
3313   tunnel_add_peer (t, peer_info);
3314   peer_info_connect (peer_info, t);
3315 }
3316
3317
3318 /******************************************************************************/
3319 /*********************       MESH LOCAL HANDLES      **************************/
3320 /******************************************************************************/
3321
3322
3323 /**
3324  * Handler for client disconnection
3325  *
3326  * @param cls closure
3327  * @param client identification of the client; NULL
3328  *        for the last call when the server is destroyed
3329  */
3330 static void
3331 handle_local_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
3332 {
3333   struct MeshClient *c;
3334   struct MeshClient *next;
3335
3336   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: client disconnected\n");
3337   if (client == NULL)
3338   {
3339     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    (SERVER DOWN)\n");
3340     return;
3341   }
3342   c = clients;
3343   while (NULL != c)
3344   {
3345     if (c->handle != client && NULL != client)
3346     {
3347       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    ... searching\n");
3348       c = c->next;
3349       continue;
3350     }
3351     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: matching client found\n");
3352     GNUNET_SERVER_client_drop (c->handle);
3353     if (NULL != c->tunnels)
3354     {
3355       GNUNET_CONTAINER_multihashmap_iterate (c->tunnels,
3356                                              &tunnel_destroy_iterator, c);
3357       GNUNET_CONTAINER_multihashmap_destroy (c->tunnels);
3358     }
3359
3360     /* deregister clients applications */
3361     if (NULL != c->apps)
3362     {
3363       GNUNET_CONTAINER_multihashmap_iterate (c->apps, &deregister_app, NULL);
3364       GNUNET_CONTAINER_multihashmap_destroy (c->apps);
3365     }
3366     if (0 == GNUNET_CONTAINER_multihashmap_size (applications) &&
3367         GNUNET_SCHEDULER_NO_TASK != announce_applications_task)
3368     {
3369       GNUNET_SCHEDULER_cancel (announce_applications_task);
3370       announce_applications_task = GNUNET_SCHEDULER_NO_TASK;
3371     }
3372     if (NULL != c->types)
3373       GNUNET_CONTAINER_multihashmap_destroy (c->types);
3374     next = c->next;
3375     GNUNET_CONTAINER_DLL_remove (clients, clients_tail, c);
3376     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   CLIENT FREE at %p\n", c);
3377     GNUNET_free (c);
3378     c = next;
3379   }
3380
3381   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:    done!\n");
3382   return;
3383 }
3384
3385
3386 /**
3387  * Handler for new clients
3388  *
3389  * @param cls closure
3390  * @param client identification of the client
3391  * @param message the actual message, which includes messages the client wants
3392  */
3393 static void
3394 handle_local_new_client (void *cls, struct GNUNET_SERVER_Client *client,
3395                          const struct GNUNET_MessageHeader *message)
3396 {
3397   struct GNUNET_MESH_ClientConnect *cc_msg;
3398   struct MeshClient *c;
3399   GNUNET_MESH_ApplicationType *a;
3400   unsigned int size;
3401   uint16_t ntypes;
3402   uint16_t *t;
3403   uint16_t napps;
3404   uint16_t i;
3405
3406   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: new client connected\n");
3407   /* Check data sanity */
3408   size = ntohs (message->size) - sizeof (struct GNUNET_MESH_ClientConnect);
3409   cc_msg = (struct GNUNET_MESH_ClientConnect *) message;
3410   ntypes = ntohs (cc_msg->types);
3411   napps = ntohs (cc_msg->applications);
3412   if (size !=
3413       ntypes * sizeof (uint16_t) + napps * sizeof (GNUNET_MESH_ApplicationType))
3414   {
3415     GNUNET_break (0);
3416     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3417     return;
3418   }
3419
3420   /* Create new client structure */
3421   c = GNUNET_malloc (sizeof (struct MeshClient));
3422 #if MESH_DEBUG
3423   c->id = next_client_id++;
3424   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   CLIENT NEW %u at %p\n", c->id,
3425               c);
3426 #endif
3427   c->handle = client;
3428   GNUNET_SERVER_client_keep (client);
3429   a = (GNUNET_MESH_ApplicationType *) &cc_msg[1];
3430   if (napps > 0)
3431   {
3432     GNUNET_MESH_ApplicationType at;
3433     GNUNET_HashCode hc;
3434
3435     c->apps = GNUNET_CONTAINER_multihashmap_create (napps);
3436     for (i = 0; i < napps; i++)
3437     {
3438       at = ntohl (a[i]);
3439       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   app type: %u\n", at);
3440       GNUNET_CRYPTO_hash (&at, sizeof (at), &hc);
3441       /* store in clients hashmap */
3442       GNUNET_CONTAINER_multihashmap_put (c->apps, &hc, c,
3443                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
3444       /* store in global hashmap, for announcements */
3445       GNUNET_CONTAINER_multihashmap_put (applications, &hc, c,
3446                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
3447     }
3448     if (GNUNET_SCHEDULER_NO_TASK == announce_applications_task)
3449       announce_applications_task =
3450           GNUNET_SCHEDULER_add_now (&announce_applications, NULL);
3451
3452   }
3453   if (ntypes > 0)
3454   {
3455     uint16_t u16;
3456     GNUNET_HashCode hc;
3457
3458     t = (uint16_t *) & a[napps];
3459     c->types = GNUNET_CONTAINER_multihashmap_create (ntypes);
3460     for (i = 0; i < ntypes; i++)
3461     {
3462       u16 = ntohs (t[i]);
3463       GNUNET_CRYPTO_hash (&u16, sizeof (u16), &hc);
3464
3465       /* store in clients hashmap */
3466       GNUNET_CONTAINER_multihashmap_put (c->types, &hc, c,
3467                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
3468       /* store in global hashmap */
3469       GNUNET_CONTAINER_multihashmap_put (types, &hc, c,
3470                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
3471     }
3472   }
3473   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3474               "MESH:  client has %u+%u subscriptions\n", napps, ntypes);
3475
3476   GNUNET_CONTAINER_DLL_insert (clients, clients_tail, c);
3477   c->tunnels = GNUNET_CONTAINER_multihashmap_create (32);
3478   GNUNET_SERVER_notification_context_add (nc, client);
3479
3480   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3481 #if MESH_DEBUG
3482   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: new client processed\n");
3483 #endif
3484 }
3485
3486
3487 /**
3488  * Handler for requests of new tunnels
3489  *
3490  * @param cls closure
3491  * @param client identification of the client
3492  * @param message the actual message
3493  */
3494 static void
3495 handle_local_tunnel_create (void *cls, struct GNUNET_SERVER_Client *client,
3496                             const struct GNUNET_MessageHeader *message)
3497 {
3498   struct GNUNET_MESH_TunnelMessage *t_msg;
3499   struct MeshTunnel *t;
3500   struct MeshClient *c;
3501   GNUNET_HashCode hash;
3502
3503   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: new tunnel requested\n");
3504
3505   /* Sanity check for client registration */
3506   if (NULL == (c = client_get (client)))
3507   {
3508     GNUNET_break (0);
3509     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3510     return;
3511   }
3512 #if MESH_DEBUG
3513   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   by client %u\n", c->id);
3514 #endif
3515
3516   /* Message sanity check */
3517   if (sizeof (struct GNUNET_MESH_TunnelMessage) != ntohs (message->size))
3518   {
3519     GNUNET_break (0);
3520     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3521     return;
3522   }
3523
3524   t_msg = (struct GNUNET_MESH_TunnelMessage *) message;
3525   /* Sanity check for tunnel numbering */
3526   if (0 == (ntohl (t_msg->tunnel_id) & GNUNET_MESH_LOCAL_TUNNEL_ID_CLI))
3527   {
3528     GNUNET_break (0);
3529     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3530     return;
3531   }
3532   /* Sanity check for duplicate tunnel IDs */
3533   if (NULL != tunnel_get_by_local_id (c, ntohl (t_msg->tunnel_id)))
3534   {
3535     GNUNET_break (0);
3536     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3537     return;
3538   }
3539
3540   t = GNUNET_malloc (sizeof (struct MeshTunnel));
3541   while (NULL != tunnel_get_by_pi (myid, next_tid))
3542     next_tid = (next_tid + 1) & ~GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
3543   t->id.tid = next_tid++;
3544   next_tid = next_tid & ~GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
3545   t->id.oid = myid;
3546   t->local_tid = ntohl (t_msg->tunnel_id);
3547 #if MESH_DEBUG
3548   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: CREATED TUNNEL %s [%x] (%x)\n",
3549               GNUNET_i2s (&my_full_id), t->id.tid, t->local_tid);
3550 #endif
3551   t->client = c;
3552   t->peers = GNUNET_CONTAINER_multihashmap_create (32);
3553
3554   GNUNET_CRYPTO_hash (&t->local_tid, sizeof (MESH_TunnelNumber), &hash);
3555   if (GNUNET_OK !=
3556       GNUNET_CONTAINER_multihashmap_put (c->tunnels, &hash, t,
3557                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
3558   {
3559     GNUNET_break (0);
3560     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3561     return;
3562   }
3563
3564   GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
3565   if (GNUNET_OK !=
3566       GNUNET_CONTAINER_multihashmap_put (tunnels, &hash, t,
3567                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
3568   {
3569     GNUNET_break (0);
3570     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3571     return;
3572   }
3573   t->tree = tree_new (myid);
3574
3575   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3576   return;
3577 }
3578
3579
3580 /**
3581  * Handler for requests of deleting tunnels
3582  *
3583  * @param cls closure
3584  * @param client identification of the client
3585  * @param message the actual message
3586  */
3587 static void
3588 handle_local_tunnel_destroy (void *cls, struct GNUNET_SERVER_Client *client,
3589                              const struct GNUNET_MessageHeader *message)
3590 {
3591   struct GNUNET_MESH_TunnelMessage *tunnel_msg;
3592   struct MeshClient *c;
3593   struct MeshTunnel *t;
3594   MESH_TunnelNumber tid;
3595   GNUNET_HashCode hash;
3596
3597   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3598               "MESH: Got a DESTROY TUNNEL from client!\n");
3599
3600   /* Sanity check for client registration */
3601   if (NULL == (c = client_get (client)))
3602   {
3603     GNUNET_break (0);
3604     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3605     return;
3606   }
3607   /* Message sanity check */
3608   if (sizeof (struct GNUNET_MESH_TunnelMessage) != ntohs (message->size))
3609   {
3610     GNUNET_break (0);
3611     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3612     return;
3613   }
3614 #if MESH_DEBUG
3615   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   by client %u\n", c->id);
3616 #endif
3617   tunnel_msg = (struct GNUNET_MESH_TunnelMessage *) message;
3618
3619   /* Retrieve tunnel */
3620   tid = ntohl (tunnel_msg->tunnel_id);
3621
3622   /* Remove from local id hashmap */
3623   GNUNET_CRYPTO_hash (&tid, sizeof (MESH_TunnelNumber), &hash);
3624   t = GNUNET_CONTAINER_multihashmap_get (c->tunnels, &hash);
3625   GNUNET_assert (GNUNET_YES ==
3626                  GNUNET_CONTAINER_multihashmap_remove (c->tunnels, &hash, t));
3627
3628   t->client = NULL;
3629   tunnel_send_destroy (t);
3630   tunnel_destroy (t);
3631   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3632   return;
3633 }
3634
3635
3636 /**
3637  * Handler for connection requests to new peers
3638  *
3639  * @param cls closure
3640  * @param client identification of the client
3641  * @param message the actual message (PeerControl)
3642  */
3643 static void
3644 handle_local_connect_add (void *cls, struct GNUNET_SERVER_Client *client,
3645                           const struct GNUNET_MessageHeader *message)
3646 {
3647   struct GNUNET_MESH_PeerControl *peer_msg;
3648   struct MeshPeerInfo *peer_info;
3649   struct MeshClient *c;
3650   struct MeshTunnel *t;
3651   MESH_TunnelNumber tid;
3652
3653   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Got connection request\n");
3654   /* Sanity check for client registration */
3655   if (NULL == (c = client_get (client)))
3656   {
3657     GNUNET_break (0);
3658     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3659     return;
3660   }
3661
3662   peer_msg = (struct GNUNET_MESH_PeerControl *) message;
3663   /* Sanity check for message size */
3664   if (sizeof (struct GNUNET_MESH_PeerControl) != ntohs (peer_msg->header.size))
3665   {
3666     GNUNET_break (0);
3667     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3668     return;
3669   }
3670
3671   /* Tunnel exists? */
3672   tid = ntohl (peer_msg->tunnel_id);
3673   t = tunnel_get_by_local_id (c, tid);
3674   if (NULL == t)
3675   {
3676     GNUNET_break (0);
3677     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3678     return;
3679   }
3680
3681   /* Does client own tunnel? */
3682   if (t->client->handle != client)
3683   {
3684     GNUNET_break (0);
3685     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3686     return;
3687   }
3688   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      for %s\n",
3689               GNUNET_i2s (&peer_msg->peer));
3690   peer_info = peer_info_get (&peer_msg->peer);
3691
3692   tunnel_add_peer (t, peer_info);
3693   peer_info_connect (peer_info, t);
3694
3695   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3696   return;
3697 }
3698
3699
3700 /**
3701  * Handler for disconnection requests of peers in a tunnel
3702  *
3703  * @param cls closure
3704  * @param client identification of the client
3705  * @param message the actual message (PeerControl)
3706  */
3707 static void
3708 handle_local_connect_del (void *cls, struct GNUNET_SERVER_Client *client,
3709                           const struct GNUNET_MessageHeader *message)
3710 {
3711   struct GNUNET_MESH_PeerControl *peer_msg;
3712   struct MeshPeerInfo *peer_info;
3713   struct MeshClient *c;
3714   struct MeshTunnel *t;
3715   MESH_TunnelNumber tid;
3716
3717   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Got a PEER DEL request\n");
3718   /* Sanity check for client registration */
3719   if (NULL == (c = client_get (client)))
3720   {
3721     GNUNET_break (0);
3722     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3723     return;
3724   }
3725   peer_msg = (struct GNUNET_MESH_PeerControl *) message;
3726   /* Sanity check for message size */
3727   if (sizeof (struct GNUNET_MESH_PeerControl) != ntohs (peer_msg->header.size))
3728   {
3729     GNUNET_break (0);
3730     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3731     return;
3732   }
3733
3734   /* Tunnel exists? */
3735   tid = ntohl (peer_msg->tunnel_id);
3736   t = tunnel_get_by_local_id (c, tid);
3737   if (NULL == t)
3738   {
3739     GNUNET_break (0);
3740     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3741     return;
3742   }
3743   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   on tunnel %X\n", t->id.tid);
3744
3745   /* Does client own tunnel? */
3746   if (t->client->handle != client)
3747   {
3748     GNUNET_break (0);
3749     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3750     return;
3751   }
3752
3753   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:   for peer %s\n",
3754               GNUNET_i2s (&peer_msg->peer));
3755   /* Is the peer in the tunnel? */
3756   peer_info =
3757       GNUNET_CONTAINER_multihashmap_get (t->peers, &peer_msg->peer.hashPubKey);
3758   if (NULL == peer_info)
3759   {
3760     GNUNET_break (0);
3761     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3762     return;
3763   }
3764
3765   /* Ok, delete peer from tunnel */
3766   GNUNET_CONTAINER_multihashmap_remove_all (t->peers,
3767                                             &peer_msg->peer.hashPubKey);
3768
3769   send_destroy_path (t, peer_info->id);
3770   tunnel_delete_peer (t, peer_info->id);
3771   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3772   return;
3773 }
3774
3775
3776 /**
3777  * Handler for connection requests to new peers by type
3778  *
3779  * @param cls closure
3780  * @param client identification of the client
3781  * @param message the actual message (ConnectPeerByType)
3782  */
3783 static void
3784 handle_local_connect_by_type (void *cls, struct GNUNET_SERVER_Client *client,
3785                               const struct GNUNET_MessageHeader *message)
3786 {
3787   struct GNUNET_MESH_ConnectPeerByType *connect_msg;
3788   struct MeshClient *c;
3789   struct MeshTunnel *t;
3790   GNUNET_HashCode hash;
3791   MESH_TunnelNumber tid;
3792
3793   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: got connect by type request\n");
3794   /* Sanity check for client registration */
3795   if (NULL == (c = client_get (client)))
3796   {
3797     GNUNET_break (0);
3798     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3799     return;
3800   }
3801
3802   connect_msg = (struct GNUNET_MESH_ConnectPeerByType *) message;
3803   /* Sanity check for message size */
3804   if (sizeof (struct GNUNET_MESH_ConnectPeerByType) !=
3805       ntohs (connect_msg->header.size))
3806   {
3807     GNUNET_break (0);
3808     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3809     return;
3810   }
3811
3812   /* Tunnel exists? */
3813   tid = ntohl (connect_msg->tunnel_id);
3814   t = tunnel_get_by_local_id (c, tid);
3815   if (NULL == t)
3816   {
3817     GNUNET_break (0);
3818     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3819     return;
3820   }
3821
3822   /* Does client own tunnel? */
3823   if (t->client->handle != client)
3824   {
3825     GNUNET_break (0);
3826     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3827     return;
3828   }
3829
3830   /* Do WE have the service? */
3831   t->type = ntohl (connect_msg->type);
3832   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  type requested: %u\n", t->type);
3833   GNUNET_CRYPTO_hash (&t->type, sizeof (GNUNET_MESH_ApplicationType), &hash);
3834   if (GNUNET_CONTAINER_multihashmap_contains (applications, &hash) ==
3835       GNUNET_YES)
3836   {
3837     /* Yes! Fast forward, add ourselves to the tunnel and send the
3838      * good news to the client
3839      */
3840     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  available locally\n");
3841     GNUNET_CONTAINER_multihashmap_put (t->peers, &my_full_id.hashPubKey,
3842                                        peer_info_get (&my_full_id),
3843                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
3844
3845     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  notifying client\n");
3846     send_client_peer_connected (t, myid);
3847     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  Done\n");
3848     GNUNET_SERVER_receive_done (client, GNUNET_OK);
3849     return;
3850   }
3851   /* Ok, lets find a peer offering the service */
3852   if (NULL != t->dht_get_type)
3853   {
3854     GNUNET_DHT_get_stop (t->dht_get_type);
3855   }
3856   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:  looking in DHT for %s\n",
3857               GNUNET_h2s (&hash));
3858   t->dht_get_type =
3859       GNUNET_DHT_get_start (dht_handle, GNUNET_TIME_UNIT_FOREVER_REL,
3860                             GNUNET_BLOCK_TYPE_TEST, &hash, 10U,
3861                             GNUNET_DHT_RO_RECORD_ROUTE |
3862                             GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE, NULL, 0,
3863                             &dht_get_type_handler, t);
3864
3865   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3866   return;
3867 }
3868
3869
3870 /**
3871  * Handler for client traffic directed to one peer
3872  *
3873  * @param cls closure
3874  * @param client identification of the client
3875  * @param message the actual message
3876  */
3877 static void
3878 handle_local_unicast (void *cls, struct GNUNET_SERVER_Client *client,
3879                       const struct GNUNET_MessageHeader *message)
3880 {
3881   struct MeshClient *c;
3882   struct MeshTunnel *t;
3883   struct MeshPeerInfo *pi;
3884   struct GNUNET_MESH_Unicast *data_msg;
3885   MESH_TunnelNumber tid;
3886   size_t size;
3887
3888   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3889               "MESH: Got a unicast request from a client!\n");
3890
3891   /* Sanity check for client registration */
3892   if (NULL == (c = client_get (client)))
3893   {
3894     GNUNET_break (0);
3895     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3896     return;
3897   }
3898   data_msg = (struct GNUNET_MESH_Unicast *) message;
3899   /* Sanity check for message size */
3900   size = ntohs (message->size);
3901   if (sizeof (struct GNUNET_MESH_Unicast) +
3902       sizeof (struct GNUNET_MessageHeader) > size)
3903   {
3904     GNUNET_break (0);
3905     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3906     return;
3907   }
3908
3909   /* Tunnel exists? */
3910   tid = ntohl (data_msg->tid);
3911   t = tunnel_get_by_local_id (c, tid);
3912   if (NULL == t)
3913   {
3914     GNUNET_break (0);
3915     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3916     return;
3917   }
3918
3919   /*  Is it a local tunnel? Then, does client own the tunnel? */
3920   if (NULL != t->client && NULL != t->client->handle &&
3921       t->client->handle != client)
3922   {
3923     GNUNET_break (0);
3924     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3925     return;
3926   }
3927
3928   pi = GNUNET_CONTAINER_multihashmap_get (t->peers,
3929                                           &data_msg->destination.hashPubKey);
3930   /* Is the selected peer in the tunnel? */
3931   if (NULL == pi)
3932   {
3933     GNUNET_break (0);
3934     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3935     return;
3936   }
3937
3938   /* Ok, everything is correct, send the message
3939    * (pretend we got it from a mesh peer)
3940    */
3941   {
3942     char buf[ntohs (message->size)];
3943     struct GNUNET_MESH_Unicast *copy;
3944
3945     /* Work around const limitation */
3946     copy = (struct GNUNET_MESH_Unicast *) buf;
3947     memcpy (buf, data_msg, size);
3948     copy->oid = my_full_id;
3949     copy->tid = htonl (t->id.tid);
3950     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3951                 "MESH:   calling generic handler...\n");
3952     handle_mesh_data_unicast (NULL, &my_full_id, &copy->header, NULL, 0);
3953   }
3954   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3955   return;
3956 }
3957
3958
3959 /**
3960  * Handler for client traffic directed to the origin
3961  *
3962  * @param cls closure
3963  * @param client identification of the client
3964  * @param message the actual message
3965  */
3966 static void
3967 handle_local_to_origin (void *cls, struct GNUNET_SERVER_Client *client,
3968                         const struct GNUNET_MessageHeader *message)
3969 {
3970   struct GNUNET_MESH_ToOrigin *data_msg;
3971   struct GNUNET_PeerIdentity id;
3972   struct MeshClient *c;
3973   struct MeshTunnel *t;
3974   MESH_TunnelNumber tid;
3975   size_t size;
3976
3977   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3978               "MESH: Got a ToOrigin request from a client!\n");
3979
3980   /* Sanity check for client registration */
3981   if (NULL == (c = client_get (client)))
3982   {
3983     GNUNET_break (0);
3984     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3985     return;
3986   }
3987   data_msg = (struct GNUNET_MESH_ToOrigin *) message;
3988   /* Sanity check for message size */
3989   size = ntohs (message->size);
3990   if (sizeof (struct GNUNET_MESH_ToOrigin) +
3991       sizeof (struct GNUNET_MessageHeader) > size)
3992   {
3993     GNUNET_break (0);
3994     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3995     return;
3996   }
3997
3998   /* Tunnel exists? */
3999   tid = ntohl (data_msg->tid);
4000   if (tid < GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
4001   {
4002     GNUNET_break (0);
4003     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4004     return;
4005   }
4006   t = tunnel_get_by_local_id (c, tid);
4007   if (NULL == t)
4008   {
4009     GNUNET_break (0);
4010     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4011     return;
4012   }
4013
4014   /*  It shouldn't be a local tunnel.  */
4015   if (NULL != t->client)
4016   {
4017     GNUNET_break (0);
4018     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4019     return;
4020   }
4021   GNUNET_PEER_resolve (t->id.oid, &id);
4022
4023   /* Ok, everything is correct, send the message
4024    * (pretend we got it from a mesh peer)
4025    */
4026   {
4027     char buf[ntohs (message->size)];
4028     struct GNUNET_MESH_ToOrigin *copy;
4029
4030     /* Work around const limitation */
4031     copy = (struct GNUNET_MESH_ToOrigin *) buf;
4032     memcpy (buf, data_msg, size);
4033     copy->oid = id;
4034     copy->tid = htonl (t->id.tid);
4035     copy->sender = my_full_id;
4036     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4037                 "MESH:   calling generic handler...\n");
4038     handle_mesh_data_to_orig (NULL, &my_full_id, &copy->header, NULL, 0);
4039   }
4040   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4041   return;
4042 }
4043
4044
4045 /**
4046  * Handler for client traffic directed to all peers in a tunnel
4047  *
4048  * @param cls closure
4049  * @param client identification of the client
4050  * @param message the actual message
4051  */
4052 static void
4053 handle_local_multicast (void *cls, struct GNUNET_SERVER_Client *client,
4054                         const struct GNUNET_MessageHeader *message)
4055 {
4056   struct MeshClient *c;
4057   struct MeshTunnel *t;
4058   struct GNUNET_MESH_Multicast *data_msg;
4059   MESH_TunnelNumber tid;
4060
4061   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4062               "MESH: Got a multicast request from a client!\n");
4063
4064   /* Sanity check for client registration */
4065   if (NULL == (c = client_get (client)))
4066   {
4067     GNUNET_break (0);
4068     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4069     return;
4070   }
4071   data_msg = (struct GNUNET_MESH_Multicast *) message;
4072   /* Sanity check for message size */
4073   if (sizeof (struct GNUNET_MESH_Multicast) +
4074       sizeof (struct GNUNET_MessageHeader) > ntohs (data_msg->header.size))
4075   {
4076     GNUNET_break (0);
4077     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4078     return;
4079   }
4080
4081   /* Tunnel exists? */
4082   tid = ntohl (data_msg->tid);
4083   t = tunnel_get_by_local_id (c, tid);
4084   if (NULL == t)
4085   {
4086     GNUNET_break (0);
4087     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4088     return;
4089   }
4090
4091   /* Does client own tunnel? */
4092   if (t->client->handle != client)
4093   {
4094     GNUNET_break (0);
4095     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4096     return;
4097   }
4098
4099   {
4100     char buf[ntohs (message->size)];
4101     struct GNUNET_MESH_Multicast *copy;
4102
4103     copy = (struct GNUNET_MESH_Multicast *) buf;
4104     memcpy (buf, message, ntohs (message->size));
4105     copy->oid = my_full_id;
4106     copy->tid = htonl (t->id.tid);
4107     copy->ttl = htonl (DEFAULT_TTL);
4108     copy->mid = htonl (t->mid + 1);
4109     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4110                 "MESH:   calling generic handler...\n");
4111     handle_mesh_data_multicast (client, &my_full_id, &copy->header, NULL, 0);
4112   }
4113
4114   /* receive done gets called when last copy is sent to a neighbor */
4115   return;
4116 }
4117
4118 /**
4119  * Functions to handle messages from clients
4120  */
4121 static struct GNUNET_SERVER_MessageHandler client_handlers[] = {
4122   {&handle_local_new_client, NULL,
4123    GNUNET_MESSAGE_TYPE_MESH_LOCAL_CONNECT, 0},
4124   {&handle_local_tunnel_create, NULL,
4125    GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE,
4126    sizeof (struct GNUNET_MESH_TunnelMessage)},
4127   {&handle_local_tunnel_destroy, NULL,
4128    GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY,
4129    sizeof (struct GNUNET_MESH_TunnelMessage)},
4130   {&handle_local_connect_add, NULL,
4131    GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD,
4132    sizeof (struct GNUNET_MESH_PeerControl)},
4133   {&handle_local_connect_del, NULL,
4134    GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DEL,
4135    sizeof (struct GNUNET_MESH_PeerControl)},
4136   {&handle_local_connect_by_type, NULL,
4137    GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_ADD_BY_TYPE,
4138    sizeof (struct GNUNET_MESH_ConnectPeerByType)},
4139   {&handle_local_unicast, NULL,
4140    GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
4141   {&handle_local_to_origin, NULL,
4142    GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
4143   {&handle_local_multicast, NULL,
4144    GNUNET_MESSAGE_TYPE_MESH_MULTICAST, 0},
4145   {NULL, NULL, 0, 0}
4146 };
4147
4148
4149 /**
4150  * To be called on core init/fail.
4151  *
4152  * @param cls service closure
4153  * @param server handle to the server for this service
4154  * @param identity the public identity of this peer
4155  */
4156 static void
4157 core_init (void *cls, struct GNUNET_CORE_Handle *server,
4158            const struct GNUNET_PeerIdentity *identity)
4159 {
4160   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Core init\n");
4161   core_handle = server;
4162   if (0 != memcmp (identity, &my_full_id, sizeof (my_full_id)) ||
4163       NULL == server)
4164   {
4165     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, _("MESH: Wrong CORE service\n"));
4166     GNUNET_SCHEDULER_shutdown ();
4167   }
4168   return;
4169 }
4170
4171 /**
4172  * Method called whenever a given peer connects.
4173  *
4174  * @param cls closure
4175  * @param peer peer identity this notification is about
4176  * @param atsi performance data for the connection
4177  * @param atsi_count number of records in 'atsi'
4178  */
4179 static void
4180 core_connect (void *cls, const struct GNUNET_PeerIdentity *peer,
4181               const struct GNUNET_ATS_Information *atsi,
4182               unsigned int atsi_count)
4183 {
4184   struct MeshPeerInfo *peer_info;
4185   struct MeshPeerPath *path;
4186
4187 #if MESH_DEBUG_CONNECTION
4188   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Peer connected\n");
4189   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      %s\n",
4190               GNUNET_i2s (&my_full_id));
4191 #endif
4192   peer_info = peer_info_get (peer);
4193   if (myid == peer_info->id)
4194   {
4195 #if MESH_DEBUG_CONNECTION
4196     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      (self)\n");
4197 #endif
4198     return;
4199   }
4200 #if MESH_DEBUG_CONNECTION
4201   else
4202   {
4203     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      %s\n", GNUNET_i2s (peer));
4204   }
4205 #endif
4206   path = path_new (2);
4207   path->peers[0] = myid;
4208   path->peers[1] = peer_info->id;
4209   GNUNET_PEER_change_rc (myid, 1);
4210   GNUNET_PEER_change_rc (peer_info->id, 1);
4211   peer_info_add_path (peer_info, path, GNUNET_YES);
4212   return;
4213 }
4214
4215 /**
4216  * Method called whenever a peer disconnects.
4217  *
4218  * @param cls closure
4219  * @param peer peer identity this notification is about
4220  */
4221 static void
4222 core_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
4223 {
4224   struct MeshPeerInfo *pi;
4225   unsigned int i;
4226
4227 #if MESH_DEBUG_CONNECTION
4228   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: Peer disconnected\n");
4229 #endif
4230   pi = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
4231   if (NULL == pi)
4232   {
4233     GNUNET_break (0);
4234     return;
4235   }
4236   for (i = 0; i < CORE_QUEUE_SIZE; i++)
4237   {
4238     /* TODO: notify that the transmission failed */
4239     peer_info_cancel_transmission (pi, i);
4240   }
4241   peer_info_remove_path (pi, pi->id, myid);
4242 #if MESH_DEBUG_CONNECTION
4243   if (myid == pi->id)
4244   {
4245     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH:      (self)\n");
4246   }
4247 #endif
4248   return;
4249 }
4250
4251
4252 /******************************************************************************/
4253 /************************      MAIN FUNCTIONS      ****************************/
4254 /******************************************************************************/
4255
4256 /**
4257  * Iterator over tunnel hash map entries to destroy the tunnel during shutdown.
4258  *
4259  * @param cls closure
4260  * @param key current key code
4261  * @param value value in the hash map
4262  * @return GNUNET_YES if we should continue to iterate,
4263  *         GNUNET_NO if not.
4264  */
4265 static int
4266 shutdown_tunnel (void *cls, const GNUNET_HashCode * key, void *value)
4267 {
4268   struct MeshTunnel *t = value;
4269
4270   tunnel_destroy (t);
4271   return GNUNET_YES;
4272 }
4273
4274 /**
4275  * Iterator over peer hash map entries to destroy the tunnel during shutdown.
4276  *
4277  * @param cls closure
4278  * @param key current key code
4279  * @param value value in the hash map
4280  * @return GNUNET_YES if we should continue to iterate,
4281  *         GNUNET_NO if not.
4282  */
4283 static int
4284 shutdown_peer (void *cls, const GNUNET_HashCode * key, void *value)
4285 {
4286   struct MeshPeerInfo *p = value;
4287
4288   peer_info_destroy (p);
4289   return GNUNET_YES;
4290 }
4291
4292 /**
4293  * Task run during shutdown.
4294  *
4295  * @param cls unused
4296  * @param tc unused
4297  */
4298 static void
4299 shutdown_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
4300 {
4301   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: shutting down\n");
4302   /* TODO: destroy tunnels? */
4303   if (core_handle != NULL)
4304   {
4305     GNUNET_CORE_disconnect (core_handle);
4306     core_handle = NULL;
4307   }
4308   GNUNET_CONTAINER_multihashmap_iterate (tunnels, &shutdown_tunnel, NULL);
4309   GNUNET_CONTAINER_multihashmap_iterate (peers, &shutdown_peer, NULL);
4310   if (dht_handle != NULL)
4311   {
4312     GNUNET_DHT_disconnect (dht_handle);
4313     dht_handle = NULL;
4314   }
4315   if (nc != NULL)
4316   {
4317     GNUNET_SERVER_notification_context_destroy (nc);
4318     nc = NULL;
4319   }
4320   if (GNUNET_SCHEDULER_NO_TASK != announce_id_task)
4321   {
4322     GNUNET_SCHEDULER_cancel (announce_id_task);
4323     announce_id_task = GNUNET_SCHEDULER_NO_TASK;
4324   }
4325   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: shut down\n");
4326 }
4327
4328 /**
4329  * Process mesh requests.
4330  *
4331  * @param cls closure
4332  * @param server the initialized server
4333  * @param c configuration to use
4334  */
4335 static void
4336 run (void *cls, struct GNUNET_SERVER_Handle *server,
4337      const struct GNUNET_CONFIGURATION_Handle *c)
4338 {
4339   struct MeshPeerInfo *peer;
4340   struct MeshPeerPath *p;
4341   char *keyfile;
4342
4343   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: starting to run\n");
4344   server_handle = server;
4345   core_handle = GNUNET_CORE_connect (c, /* Main configuration */
4346                                      CORE_QUEUE_SIZE,   /* queue size */
4347                                      NULL,      /* Closure passed to MESH functions */
4348                                      &core_init,        /* Call core_init once connected */
4349                                      &core_connect,     /* Handle connects */
4350                                      &core_disconnect,  /* remove peers on disconnects */
4351                                      NULL,      /* Don't notify about all incoming messages */
4352                                      GNUNET_NO, /* For header only in notification */
4353                                      NULL,      /* Don't notify about all outbound messages */
4354                                      GNUNET_NO, /* For header-only out notification */
4355                                      core_handlers);    /* Register these handlers */
4356
4357   if (core_handle == NULL)
4358   {
4359     GNUNET_break (0);
4360     GNUNET_SCHEDULER_shutdown ();
4361     return;
4362   }
4363
4364   if (GNUNET_OK !=
4365       GNUNET_CONFIGURATION_get_value_filename (c, "GNUNETD", "HOSTKEY",
4366                                                &keyfile))
4367   {
4368     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4369                 _
4370                 ("Mesh service is lacking key configuration settings.  Exiting.\n"));
4371     GNUNET_SCHEDULER_shutdown ();
4372     return;
4373   }
4374   my_private_key = GNUNET_CRYPTO_rsa_key_create_from_file (keyfile);
4375   GNUNET_free (keyfile);
4376   if (my_private_key == NULL)
4377   {
4378     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4379                 _("Mesh service could not access hostkey.  Exiting.\n"));
4380     GNUNET_SCHEDULER_shutdown ();
4381     return;
4382   }
4383   GNUNET_CRYPTO_rsa_key_get_public (my_private_key, &my_public_key);
4384   GNUNET_CRYPTO_hash (&my_public_key, sizeof (my_public_key),
4385                       &my_full_id.hashPubKey);
4386   myid = GNUNET_PEER_intern (&my_full_id);
4387
4388 // //   transport_handle = GNUNET_TRANSPORT_connect(c,
4389 // //                                               &my_full_id,
4390 // //                                               NULL,
4391 // //                                               NULL,
4392 // //                                               NULL,
4393 // //                                               NULL);
4394
4395   dht_handle = GNUNET_DHT_connect (c, 64);
4396   if (dht_handle == NULL)
4397   {
4398     GNUNET_break (0);
4399   }
4400
4401   next_tid = 0;
4402   next_local_tid = GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
4403
4404   tunnels = GNUNET_CONTAINER_multihashmap_create (32);
4405   incoming_tunnels = GNUNET_CONTAINER_multihashmap_create (32);
4406   peers = GNUNET_CONTAINER_multihashmap_create (32);
4407   applications = GNUNET_CONTAINER_multihashmap_create (32);
4408   types = GNUNET_CONTAINER_multihashmap_create (32);
4409
4410   GNUNET_SERVER_add_handlers (server_handle, client_handlers);
4411   nc = GNUNET_SERVER_notification_context_create (server_handle,
4412                                                   LOCAL_QUEUE_SIZE);
4413   GNUNET_SERVER_disconnect_notify (server_handle,
4414                                    &handle_local_client_disconnect, NULL);
4415
4416
4417   clients = NULL;
4418   clients_tail = NULL;
4419 #if MESH_DEBUG
4420   next_client_id = 0;
4421 #endif
4422
4423   announce_applications_task = GNUNET_SCHEDULER_NO_TASK;
4424   announce_id_task = GNUNET_SCHEDULER_add_now (&announce_id, cls);
4425
4426   /* Create a peer_info for the local peer */
4427   peer = peer_info_get (&my_full_id);
4428   p = path_new (1);
4429   p->peers[0] = myid;
4430   GNUNET_PEER_change_rc (myid, 1);
4431   peer_info_add_path (peer, p, GNUNET_YES);
4432
4433   /* Scheduled the task to clean up when shutdown is called */
4434   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL, &shutdown_task,
4435                                 NULL);
4436
4437   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: end of run()\n");
4438 }
4439
4440 /**
4441  * The main function for the mesh service.
4442  *
4443  * @param argc number of arguments from the command line
4444  * @param argv command line arguments
4445  * @return 0 ok, 1 on error
4446  */
4447 int
4448 main (int argc, char *const *argv)
4449 {
4450   int ret;
4451
4452   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: main()\n");
4453   ret =
4454       (GNUNET_OK ==
4455        GNUNET_SERVICE_run (argc, argv, "mesh", GNUNET_SERVICE_OPTION_NONE, &run,
4456                            NULL)) ? 0 : 1;
4457   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "MESH: main() END\n");
4458
4459   return ret;
4460 }