- handle connection destroy
[oweals/gnunet.git] / src / mesh / gnunet-service-mesh-enc.c
1 /*
2      This file is part of GNUnet.
3      (C) 2001-2013 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file mesh/gnunet-service-mesh-enc.c
23  * @brief GNUnet MESH service with encryption
24  * @author Bartlomiej Polot
25  *
26  *  FIXME in progress:
27  * - when sending in-order buffered data, wait for client ACKs
28  * - add signatures
29  * - add encryption
30  *
31  * TODO:
32  * - relay corking down to core
33  * - set ttl relative to path length
34  * TODO END
35  * 
36  * Dictionary:
37  * - peer: other mesh instance. If there is direct connection it's a neighbor.
38  * - tunnel: encrypted connection to a peer, neighbor or not.
39  * - channel: connection between two clients, on the same or different peers.
40  *            have properties like reliability.
41  * - path: series of directly connected peer from one peer to another.
42  * - connection: path which is being used in a tunnel.
43  */
44
45 #include "platform.h"
46 #include "gnunet_crypto_lib.h"
47 #include "mesh_enc.h"
48 #include "mesh_protocol_enc.h"
49 #include "mesh_path.h"
50 #include "block_mesh.h"
51 #include "gnunet_dht_service.h"
52 #include "gnunet_statistics_service.h"
53
54 #define MESH_BLOOM_SIZE         128
55
56 #define MESH_DEBUG_DHT          GNUNET_NO
57 #define MESH_DEBUG_CONNECTION   GNUNET_NO
58 #define MESH_DEBUG_TIMING       __LINUX__ && GNUNET_NO
59
60 #define MESH_MAX_POLL_TIME      GNUNET_TIME_relative_multiply (\
61                                   GNUNET_TIME_UNIT_MINUTES,\
62                                   10)
63 #define MESH_RETRANSMIT_TIME    GNUNET_TIME_UNIT_SECONDS
64 #define MESH_RETRANSMIT_MARGIN  4
65
66 #if MESH_DEBUG_CONNECTION
67 #define DEBUG_CONN(...) GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
68 #else
69 #define DEBUG_CONN(...)
70 #endif
71
72 #if MESH_DEBUG_DHT
73 #define DEBUG_DHT(...) GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
74 #else
75 #define DEBUG_DHT(...)
76 #endif
77
78 #if MESH_DEBUG_TIMING
79 #include <time.h>
80 double __sum;
81 uint64_t __count;
82 struct timespec __mesh_start;
83 struct timespec __mesh_end;
84 #define INTERVAL_START clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &(__mesh_start))
85 #define INTERVAL_END \
86 do {\
87   clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &(__mesh_end));\
88   double __diff = __mesh_end.tv_nsec - __mesh_start.tv_nsec;\
89   if (__diff < 0) __diff += 1000000000;\
90   __sum += __diff;\
91   __count++;\
92 } while (0)
93 #define INTERVAL_SHOW \
94 if (0 < __count)\
95   GNUNET_log (GNUNET_ERROR_TYPE_INFO, "AVG process time: %f ns\n", __sum/__count)
96 #else
97 #define INTERVAL_START
98 #define INTERVAL_END
99 #define INTERVAL_SHOW
100 #endif
101
102 /**
103  * All the states a tunnel can be in.
104  */
105 enum MeshTunnelState
106 {
107     /**
108      * Uninitialized status, should never appear in operation.
109      */
110   MESH_TUNNEL_NEW,
111
112     /**
113      * Path to the peer not known yet
114      */
115   MESH_TUNNEL_SEARCHING,
116
117     /**
118      * Request sent, not yet answered.
119      */
120   MESH_TUNNEL_WAITING,
121
122     /**
123      * Peer connected and ready to accept data
124      */
125   MESH_TUNNEL_READY,
126
127     /**
128      * Peer connected previosly but not responding
129      */
130   MESH_TUNNEL_RECONNECTING
131 };
132
133
134 /**
135  * All the states a connection can be in.
136  */
137 enum MeshConnectionState
138 {
139   /**
140    * Uninitialized status, should never appear in operation.
141    */
142   MESH_CONNECTION_NEW,
143
144   /**
145    * Connection created, waiting for ACK.
146    */
147   MESH_CONNECTION_SENT,
148
149   /**
150    * Connection confirmed, ready to carry traffic..
151    */
152   MESH_CONNECTION_READY,
153 };
154
155
156 /******************************************************************************/
157 /************************      DATA STRUCTURES     ****************************/
158 /******************************************************************************/
159
160 /** FWD declaration */
161 struct MeshClient;
162 struct MeshPeer;
163 struct MeshTunnel2;
164 struct MeshConnection;
165 struct MeshChannel;
166 struct MeshChannelReliability;
167
168
169 /**
170  * Struct containing info about a queued transmission to this peer
171  */
172 struct MeshPeerQueue
173 {
174     /**
175       * DLL next
176       */
177   struct MeshPeerQueue *next;
178
179     /**
180       * DLL previous
181       */
182   struct MeshPeerQueue *prev;
183
184     /**
185      * Peer this transmission is directed to.
186      */
187   struct MeshPeer *peer;
188
189     /**
190      * Connection this message belongs to.
191      */
192   struct MeshConnection *c;
193
194     /**
195      * Channel this message belongs to, if known.
196      */
197   struct MeshChannel *ch;
198
199     /**
200      * Pointer to info stucture used as cls.
201      */
202   void *cls;
203
204     /**
205      * Type of message
206      */
207   uint16_t type;
208
209     /**
210      * Size of the message
211      */
212   size_t size;
213 };
214
215
216 /**
217  * Struct to encapsulate all the Flow Control information to a peer to which
218  * we are directly connected (on a core level).
219  */
220 struct MeshFlowControl
221 {
222   /**
223    * Peer
224    */
225   struct MeshPeer *peer;
226
227   /**
228    * Transmission queue to core DLL head
229    */
230   struct MeshPeerQueue *queue_head;
231
232   /**
233    * Transmission queue to core DLL tail
234    */
235   struct MeshPeerQueue *queue_tail;
236
237   /**
238    * How many messages are in the queue to this peer.
239    */
240   unsigned int queue_n;
241
242   /**
243    * How many messages do we accept in the queue.
244    */
245   unsigned int queue_max;
246
247   /**
248    * Handle for queued transmissions
249    */
250   struct GNUNET_CORE_TransmitHandle *core_transmit;
251
252   /**
253    * ID of the last packet sent towards the peer.
254    */
255   uint32_t last_pid_sent;
256
257   /**
258    * ID of the last packet received from the peer.
259    */
260   uint32_t last_pid_recv;
261
262   /**
263    * Last ACK sent to the peer (peer can't send more than this PID).
264    */
265   uint32_t last_ack_sent;
266
267   /**
268    * Last ACK sent towards the origin (for traffic towards leaf node).
269    */
270   uint32_t last_ack_recv;
271
272   /**
273    * Task to poll the peer in case of a lost ACK causes stall.
274    */
275   GNUNET_SCHEDULER_TaskIdentifier poll_task;
276
277   /**
278    * How frequently to poll for ACKs.
279    */
280   struct GNUNET_TIME_Relative poll_time;
281 };
282
283
284 /**
285  * Struct containing all information regarding a given peer
286  */
287 struct MeshPeer
288 {
289     /**
290      * ID of the peer
291      */
292   GNUNET_PEER_Id id;
293
294     /**
295      * Last time we heard from this peer
296      */
297   struct GNUNET_TIME_Absolute last_contact;
298
299     /**
300      * Number of attempts to reconnect so far
301      */
302   int n_reconnect_attempts;
303
304     /**
305      * Paths to reach the peer, ordered by ascending hop count
306      */
307   struct MeshPeerPath *path_head;
308
309     /**
310      * Paths to reach the peer, ordered by ascending hop count
311      */
312   struct MeshPeerPath *path_tail;
313
314     /**
315      * Handle to stop the DHT search for paths to this peer
316      */
317   struct GNUNET_DHT_GetHandle *dhtget;
318
319     /**
320      * Tunnel to this peer, if any.
321      */
322   struct MeshTunnel2 *tunnel;
323
324     /**
325      * Flow control information for direct traffic.
326      */
327   struct MeshFlowControl *fc;
328
329 };
330
331
332 /**
333  * Info needed to retry a message in case it gets lost.
334  */
335 struct MeshReliableMessage
336 {
337     /**
338      * Double linked list, FIFO style
339      */
340   struct MeshReliableMessage    *next;
341   struct MeshReliableMessage    *prev;
342
343     /**
344      * Tunnel Reliability queue this message is in.
345      */
346   struct MeshChannelReliability  *rel;
347
348     /**
349      * ID of the message (ACK needed to free)
350      */
351   uint32_t                      mid;
352
353     /**
354      * When was this message issued (to calculate ACK delay)
355      */
356   struct GNUNET_TIME_Absolute   timestamp;
357
358   /* struct GNUNET_MESH_Data with payload */
359 };
360
361
362 struct MeshChannelReliability
363 {
364     /**
365      * Channel this is about.
366      */
367   struct MeshChannel *ch;
368
369     /**
370      * DLL of messages sent and not yet ACK'd.
371      */
372   struct MeshReliableMessage        *head_sent;
373   struct MeshReliableMessage        *tail_sent;
374
375     /**
376      * Messages pending
377      */
378   unsigned int                      n_sent;
379
380     /**
381      * Next MID to use.
382      */
383   uint32_t                          mid_sent;
384
385     /**
386      * DLL of messages received out of order.
387      */
388   struct MeshReliableMessage        *head_recv;
389   struct MeshReliableMessage        *tail_recv;
390
391     /**
392      * Next MID expected.
393      */
394   uint32_t                          mid_recv;
395
396     /**
397      * Task to resend/poll in case no ACK is received.
398      */
399   GNUNET_SCHEDULER_TaskIdentifier   retry_task;
400
401     /**
402      * Counter for exponential backoff.
403      */
404   struct GNUNET_TIME_Relative       retry_timer;
405
406     /**
407      * How long does it usually take to get an ACK.
408      */
409   struct GNUNET_TIME_Relative       expected_delay;
410 };
411
412
413 /**
414  * Struct containing all information regarding a channel to a remote client.
415  */
416 struct MeshChannel
417 {
418     /**
419      * Tunnel this channel is in.
420      */
421   struct MeshTunnel2 *t;
422
423     /**
424      * Double linked list.
425      */
426   struct MeshChannel    *next;
427   struct MeshChannel    *prev;
428
429     /**
430      * Destination port of the channel.
431      */
432   uint32_t port;
433
434     /**
435      * Local tunnel number ( >= GNUNET_MESH_LOCAL_CHANNEL_ID_CLI or 0 )
436      */
437   MESH_ChannelNumber id;
438
439     /**
440      * Local tunnel number for local destination clients (incoming number)
441      * ( >= GNUNET_MESH_LOCAL_CHANNEL_ID_SERV or 0). All clients share the same
442      * number.
443      */
444   MESH_ChannelNumber id_dest;
445
446     /**
447      * Is the tunnel bufferless (minimum latency)?
448      */
449   int nobuffer;
450
451     /**
452      * Is the tunnel reliable?
453      */
454   int reliable;
455
456     /**
457      * Last time the channel was used
458      */
459   struct GNUNET_TIME_Absolute timestamp;
460
461     /**
462      * Client owner of the tunnel, if any
463      */
464   struct MeshClient *owner;
465
466     /**
467      * Client destination of the tunnel, if any.
468      */
469   struct MeshClient *client;
470
471     /**
472      * Flag to signal the destruction of the channel.
473      * If this is set GNUNET_YES the channel will be destroyed
474      * when the queue is empty.
475      */
476   int destroy;
477
478     /**
479      * Total messages pending for this channel, payload or not.
480      */
481   unsigned int pending_messages;
482
483     /**
484      * Reliability data.
485      * Only present (non-NULL) at the owner of a tunnel.
486      */
487   struct MeshChannelReliability *fwd_rel;
488
489     /**
490      * Reliability data.
491      * Only present (non-NULL) at the destination of a tunnel.
492      */
493   struct MeshChannelReliability *bck_rel;
494 };
495
496
497 struct MeshConnection
498 {
499   /**
500    * DLL
501    */
502   struct MeshConnection *next;
503   struct MeshConnection *prev;
504
505   /**
506    * Tunnel this connection is part of.
507    */
508   struct MeshTunnel2 *t;
509
510   /**
511    * Connection number.
512    */
513   uint32_t id;
514
515   /**
516    * State of the connection.
517    */
518   enum MeshConnectionState state;
519
520   /**
521    * Path being used for the tunnel.
522    */
523   struct MeshPeerPath *path;
524
525   /**
526    * Position of the local peer in the path.
527    */
528   unsigned int own_pos;
529
530   /**
531    * Task to keep the used paths alive at the owner,
532    * time tunnel out on all the other peers.
533    */
534   GNUNET_SCHEDULER_TaskIdentifier fwd_maintenance_task;
535
536   /**
537    * Task to keep the used paths alive at the destination,
538    * time tunnel out on all the other peers.
539    */
540   GNUNET_SCHEDULER_TaskIdentifier bck_maintenance_task;
541
542   /**
543    * Pending message count.
544    */
545   int pending_messages;
546
547   /**
548    * Destroy flag: if true, destroy on last message.
549    */
550   int destroy;
551 };
552
553
554 /**
555  * Struct containing all information regarding a tunnel to a peer.
556  */
557 struct MeshTunnel2
558 {
559     /**
560      * Endpoint of the tunnel.
561      */
562   struct MeshPeer *peer;
563
564     /**
565      * ID of the tunnel.
566      */
567   struct GNUNET_HashCode id;
568
569     /**
570      * State of the tunnel.
571      */
572   enum MeshTunnelState state;
573
574   /**
575    * Local peer ephemeral private key
576    */
577   struct GNUNET_CRYPTO_EccPrivateKey *my_eph_key;
578
579   /**
580    * Local peer ephemeral public key
581    */
582   struct GNUNET_CRYPTO_EccPublicKeyBinaryEncoded *my_eph;
583
584   /**
585    * Remote peer's public key.
586    */
587   struct GNUNET_CRYPTO_EccPublicKeyBinaryEncoded *peers_eph;
588
589   /**
590    * Encryption ("our") key.
591    */
592   struct GNUNET_CRYPTO_AesSessionKey e_key;
593
594   /**
595    * Decryption ("their") key.
596    */
597   struct GNUNET_CRYPTO_AesSessionKey d_key;
598
599   /**
600    * Paths that are actively used to reach the destination peer.
601    */
602   struct MeshConnection *connection_head;
603   struct MeshConnection *connection_tail;
604
605   /**
606    * Next connection number.
607    */
608   uint32_t next_cid;
609
610   /**
611    * Channels inside this tunnel.
612    */
613   struct MeshChannel *channel_head;
614   struct MeshChannel *channel_tail;
615
616   /**
617    * Channel ID for the next created tunnel.
618    */
619   MESH_ChannelNumber next_chid;
620
621   /**
622    * Channel ID for the next incoming tunnel.
623    */
624   MESH_ChannelNumber next_local_chid;
625
626   /**
627    * Pending message count.
628    */
629   int pending_messages;
630
631   /**
632    * Destroy flag: if true, destroy on last message.
633    */
634   int destroy;
635 };
636
637
638
639 /**
640  * Struct containing information about a client of the service
641  * 
642  * TODO: add a list of 'waiting' ports
643  */
644 struct MeshClient
645 {
646     /**
647      * Linked list next
648      */
649   struct MeshClient *next;
650
651     /**
652      * Linked list prev
653      */
654   struct MeshClient *prev;
655
656     /**
657      * Tunnels that belong to this client, indexed by local id
658      */
659   struct GNUNET_CONTAINER_MultiHashMap32 *own_channels;
660
661    /**
662      * Tunnels this client has accepted, indexed by incoming local id
663      */
664   struct GNUNET_CONTAINER_MultiHashMap32 *incoming_channels;
665
666     /**
667      * Handle to communicate with the client
668      */
669   struct GNUNET_SERVER_Client *handle;
670
671     /**
672      * Ports that this client has declared interest in.
673      * Indexed by port, contains *Client.
674      */
675   struct GNUNET_CONTAINER_MultiHashMap32 *ports;
676
677     /**
678      * Whether the client is active or shutting down (don't send confirmations
679      * to a client that is shutting down.
680      */
681   int shutting_down;
682
683     /**
684      * ID of the client, mainly for debug messages
685      */
686   unsigned int id;
687 };
688
689
690 /******************************************************************************/
691 /************************      DEBUG FUNCTIONS     ****************************/
692 /******************************************************************************/
693
694 #if MESH_DEBUG
695 /**
696  * GNUNET_SCHEDULER_Task for printing a message after some operation is done
697  * @param cls string to print
698  * @param success  GNUNET_OK if the PUT was transmitted,
699  *                GNUNET_NO on timeout,
700  *                GNUNET_SYSERR on disconnect from service
701  *                after the PUT message was transmitted
702  *                (so we don't know if it was received or not)
703  */
704
705 #if 0
706 static void
707 mesh_debug (void *cls, int success)
708 {
709   char *s = cls;
710
711   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "%s (%d)\n", s, success);
712 }
713 #endif
714
715 #endif
716
717 /******************************************************************************/
718 /***********************      GLOBAL VARIABLES     ****************************/
719 /******************************************************************************/
720
721 /************************** Configuration parameters **************************/
722
723 /**
724  * How often to send path keepalives. Paths timeout after 4 missed.
725  */
726 static struct GNUNET_TIME_Relative refresh_connection_time;
727
728 /**
729  * How often to PUT own ID in the DHT.
730  */
731 static struct GNUNET_TIME_Relative id_announce_time;
732
733 /**
734  * Maximum time allowed to connect to a peer found by string.
735  */
736 static struct GNUNET_TIME_Relative connect_timeout;
737
738 /**
739  * Default TTL for payload packets.
740  */
741 static unsigned long long default_ttl;
742
743 /**
744  * DHT replication level, see DHT API: GNUNET_DHT_get_start, GNUNET_DHT_put.
745  */
746 static unsigned long long dht_replication_level;
747
748 /**
749  * How many tunnels are we willing to maintain.
750  * Local tunnels are always allowed, even if there are more tunnels than max.
751  */
752 static unsigned long long max_tunnels;
753
754 /**
755  * How many messages *in total* are we willing to queue, divided by number of 
756  * tunnels to get tunnel queue size.
757  */
758 static unsigned long long max_msgs_queue;
759
760 /**
761  * How many peers do we want to remember?
762  */
763 static unsigned long long max_peers;
764
765 /**
766  * Percentage of messages that will be dropped (for test purposes only).
767  */
768 static unsigned long long drop_percent;
769
770 /*************************** Static global variables **************************/
771
772 /**
773  * DLL with all the clients, head.
774  */
775 static struct MeshClient *clients_head;
776
777 /**
778  * DLL with all the clients, tail.
779  */
780 static struct MeshClient *clients_tail;
781
782 /**
783  * Tunnels known, indexed by MESH_TunnelID (MeshTunnel).
784  */
785 static struct GNUNET_CONTAINER_MultiHashMap *tunnels;
786
787 /**
788  * Peers known, indexed by PeerIdentity (MeshPeer).
789  */
790 static struct GNUNET_CONTAINER_MultiHashMap *peers;
791
792 /**
793  * Handle to communicate with core.
794  */
795 static struct GNUNET_CORE_Handle *core_handle;
796
797 /**
798  * Handle to use DHT.
799  */
800 static struct GNUNET_DHT_Handle *dht_handle;
801
802 /**
803  * Handle to server lib.
804  */
805 static struct GNUNET_SERVER_Handle *server_handle;
806
807 /**
808  * Handle to the statistics service.
809  */
810 static struct GNUNET_STATISTICS_Handle *stats;
811
812 /**
813  * Notification context, to send messages to local clients.
814  */
815 static struct GNUNET_SERVER_NotificationContext *nc;
816
817 /**
818  * Local peer own ID (memory efficient handle).
819  */
820 static GNUNET_PEER_Id myid;
821
822 /**
823  * Local peer own ID (full value).
824  */
825 static struct GNUNET_PeerIdentity my_full_id;
826
827 /**
828  * Own private key.
829  */
830 static struct GNUNET_CRYPTO_EccPrivateKey *my_private_key;
831
832 /**
833  * Own public key.
834  */
835 static struct GNUNET_CRYPTO_EccPublicKeyBinaryEncoded my_public_key;
836
837 /**
838  * All ports clients of this peer have opened.
839  */
840 static struct GNUNET_CONTAINER_MultiHashMap32 *ports;
841
842 /**
843  * Task to periodically announce itself in the network.
844  */
845 GNUNET_SCHEDULER_TaskIdentifier announce_id_task;
846
847 /**
848  * Next ID to assign to a client.
849  */
850 unsigned int next_client_id;
851
852
853 /******************************************************************************/
854 /***********************         DECLARATIONS        **************************/
855 /******************************************************************************/
856
857 /**
858  * Function to process paths received for a new peer addition. The recorded
859  * paths form the initial tunnel, which can be optimized later.
860  * Called on each result obtained for the DHT search.
861  *
862  * @param cls closure
863  * @param exp when will this value expire
864  * @param key key of the result
865  * @param type type of the result
866  * @param size number of bytes in data
867  * @param data pointer to the result data
868  */
869 static void
870 dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
871                     const struct GNUNET_HashCode * key,
872                     const struct GNUNET_PeerIdentity *get_path,
873                     unsigned int get_path_length,
874                     const struct GNUNET_PeerIdentity *put_path,
875                     unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
876                     size_t size, const void *data);
877
878
879 /**
880  * Retrieve the MeshPeer stucture associated with the peer, create one
881  * and insert it in the appropriate structures if the peer is not known yet.
882  *
883  * @param peer Full identity of the peer.
884  *
885  * @return Existing or newly created peer info.
886  */
887 static struct MeshPeer *
888 peer_get (const struct GNUNET_PeerIdentity *peer);
889
890
891 /**
892  * Retrieve the MeshPeer stucture associated with the peer, create one
893  * and insert it in the appropriate structures if the peer is not known yet.
894  *
895  * @param peer Short identity of the peer.
896  *
897  * @return Existing or newly created peer info.
898  */
899 static struct MeshPeer *
900 peer_get_short (const GNUNET_PEER_Id peer);
901
902
903 /**
904  * Build a PeerPath from the paths returned from the DHT, reversing the paths
905  * to obtain a local peer -> destination path and interning the peer ids.
906  *
907  * @return Newly allocated and created path
908  */
909 static struct MeshPeerPath *
910 path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
911                      unsigned int get_path_length,
912                      const struct GNUNET_PeerIdentity *put_path,
913                      unsigned int put_path_length);
914
915
916 /**
917  * Adds a path to the data structs of all the peers in the path
918  *
919  * @param p Path to process.
920  * @param confirmed Whether we know if the path works or not.
921  */
922 static void
923 path_add_to_peers (struct MeshPeerPath *p, int confirmed);
924
925
926 /**
927  * Search for a channel by global ID using full PeerIdentities.
928  *
929  * @param oid owner of the tunnel.
930  * @param tid global tunnel number.
931  *
932  * @return tunnel handler, NULL if doesn't exist.
933  */
934 static struct MeshChannel *
935 channel_get (const struct GNUNET_PeerIdentity *oid, MESH_ChannelNumber tid);
936
937
938 /**
939  * Change the tunnel state.
940  *
941  * @param t Tunnel whose state to change.
942  * @param state New state.
943  */
944 static void
945 tunnel_change_state (struct MeshTunnel2 *t, enum MeshTunnelState state);
946
947
948 /**
949  * Notify a tunnel that a connection has broken that affects at least
950  * some of its peers.
951  *
952  * @param t Tunnel affected.
953  * @param p1 Peer that got disconnected from p2.
954  * @param p2 Peer that got disconnected from p1.
955  *
956  * @return Short ID of the peer disconnected (either p1 or p2).
957  *         0 if the tunnel remained unaffected.
958  */
959 static GNUNET_PEER_Id
960 tunnel_notify_connection_broken (struct MeshTunnel2 *t,
961                                  GNUNET_PEER_Id p1, GNUNET_PEER_Id p2);
962
963 /**
964  * @brief Use the given path for the tunnel.
965  * Update the next and prev hops (and RCs).
966  * (Re)start the path refresh in case the tunnel is locally owned.
967  * 
968  * @param t Tunnel to update.
969  * @param p Path to use.
970  *
971  * @return Connection created.
972  */
973 static struct MeshConnection *
974 tunnel_use_path (struct MeshTunnel2 *t, struct MeshPeerPath *p);
975
976 /**
977  * Tunnel is empty: destroy it.
978  * 
979  * Notifies all participants (peers, cleints) about the destruction.
980  * 
981  * @param t Tunnel to destroy. 
982  */
983 static void
984 tunnel_destroy_empty (struct MeshTunnel2 *t);
985
986 /**
987  * Destroy the tunnel.
988  *
989  * This function does not generate any warning traffic to clients or peers.
990  *
991  * Tasks:
992  * Cancel messages belonging to this tunnel queued to neighbors.
993  * Free any allocated resources linked to the tunnel.
994  *
995  * @param t The tunnel to destroy.
996  */
997 static void
998 tunnel_destroy (struct MeshTunnel2 *t);
999
1000 /**
1001  * Send FWD keepalive packets for a connection.
1002  *
1003  * @param cls Closure (connection for which to send the keepalive).
1004  * @param tc Notification context.
1005  */
1006 static void
1007 connection_fwd_keepalive (void *cls,
1008                           const struct GNUNET_SCHEDULER_TaskContext *tc);
1009
1010 /**
1011  * Send BCK keepalive packets for a connection.
1012  *
1013  * @param cls Closure (connection for which to send the keepalive).
1014  * @param tc Notification context.
1015  */
1016 static void
1017 connection_bck_keepalive (void *cls,
1018                           const struct GNUNET_SCHEDULER_TaskContext *tc);
1019
1020
1021 /**
1022  * Change the tunnel state.
1023  *
1024  * @param c Connection whose state to change.
1025  * @param state New state.
1026  */
1027 static void
1028 connection_change_state (struct MeshConnection* c,
1029                          enum MeshConnectionState state);
1030
1031
1032
1033 /**
1034  * @brief Queue and pass message to core when possible.
1035  *
1036  * @param cls Closure (@c type dependant). It will be used by queue_send to
1037  *            build the message to be sent if not already prebuilt.
1038  * @param type Type of the message, 0 for a raw message.
1039  * @param size Size of the message.
1040  * @param dst Neighbor to send message to.
1041  * @param c Connection this message belongs to, if any.
1042  * @param ch Channel this message belongs to, if applicable (otherwise NULL).
1043  */
1044 static void
1045 queue_add (void *cls, uint16_t type, size_t size,
1046            struct MeshPeer *dst,
1047            struct MeshConnection *c,
1048            struct MeshChannel *ch);
1049
1050
1051 /**
1052  * Free a transmission that was already queued with all resources
1053  * associated to the request.
1054  *
1055  * @param queue Queue handler to cancel.
1056  * @param clear_cls Is it necessary to free associated cls?
1057  */
1058 static void
1059 queue_destroy (struct MeshPeerQueue *queue, int clear_cls);
1060
1061
1062 /**
1063  * @brief Get the next transmittable message from the queue.
1064  *
1065  * This will be the head, except in the case of being a data packet
1066  * not allowed by the destination peer.
1067  *
1068  * @param peer Destination peer.
1069  *
1070  * @return The next viable MeshPeerQueue element to send to that peer.
1071  *         NULL when there are no transmittable messages.
1072  */
1073 struct MeshPeerQueue *
1074 queue_get_next (const struct MeshPeer *peer);
1075
1076
1077 /**
1078  * Core callback to write a queued packet to core buffer
1079  *
1080  * @param cls Closure (peer info).
1081  * @param size Number of bytes available in buf.
1082  * @param buf Where the to write the message.
1083  *
1084  * @return number of bytes written to buf
1085  */
1086 static size_t
1087 queue_send (void *cls, size_t size, void *buf);
1088
1089
1090 /**
1091  * Dummy function to separate declarations from definitions in function list.
1092  */
1093 void
1094 __mesh_divider______________________________________________________________();
1095
1096
1097 /**
1098  * Get string description for tunnel state.
1099  *
1100  * @param s Tunnel state.
1101  *
1102  * @return String representation. 
1103  */
1104 static const char *
1105 GNUNET_MESH_DEBUG_TS2S (enum MeshTunnelState s)
1106 {
1107   static char buf[128];
1108
1109   switch (s)
1110   {
1111     case MESH_TUNNEL_NEW:
1112       return "MESH_TUNNEL_NEW";
1113     case MESH_TUNNEL_SEARCHING:
1114       return "MESH_TUNNEL_SEARCHING";
1115     case MESH_TUNNEL_WAITING:
1116       return "MESH_TUNNEL_WAITING";
1117     case MESH_TUNNEL_READY:
1118       return "MESH_TUNNEL_READY";
1119     case MESH_TUNNEL_RECONNECTING:
1120       return "MESH_TUNNEL_RECONNECTING";
1121
1122     default:
1123       sprintf (buf, "%u (UNKNOWN STATE)", s);
1124       return buf;
1125   }
1126 }
1127
1128
1129 /**
1130  * Get string description for tunnel state.
1131  *
1132  * @param s Tunnel state.
1133  *
1134  * @return String representation. 
1135  */
1136 static const char *
1137 GNUNET_MESH_DEBUG_CS2S (enum MeshTunnelState s)
1138 {
1139   switch (s) 
1140   {
1141     case MESH_CONNECTION_NEW:
1142       return "MESH_CONNECTION_NEW";
1143     case MESH_CONNECTION_SENT:
1144       return "MESH_CONNECTION_SENT";
1145     case MESH_CONNECTION_READY:
1146       return "MESH_CONNECTION_READY";
1147     default:
1148       return "MESH_CONNECTION_STATE_ERROR";
1149   }
1150 }
1151
1152
1153
1154 /******************************************************************************/
1155 /************************    PERIODIC FUNCTIONS    ****************************/
1156 /******************************************************************************/
1157
1158 /**
1159  * Periodically announce self id in the DHT
1160  *
1161  * @param cls closure
1162  * @param tc task context
1163  */
1164 static void
1165 announce_id (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1166 {
1167   struct PBlock block;
1168
1169   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
1170   {
1171     announce_id_task = GNUNET_SCHEDULER_NO_TASK;
1172     return;
1173   }
1174   /* TODO
1175    * - Set data expiration in function of X
1176    * - Adapt X to churn
1177    */
1178   DEBUG_DHT ("DHT_put for ID %s started.\n", GNUNET_i2s (&my_full_id));
1179
1180   block.id = my_full_id;
1181   GNUNET_DHT_put (dht_handle,   /* DHT handle */
1182                   &my_full_id.hashPubKey,       /* Key to use */
1183                   dht_replication_level,     /* Replication level */
1184                   GNUNET_DHT_RO_RECORD_ROUTE | GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,    /* DHT options */
1185                   GNUNET_BLOCK_TYPE_MESH_PEER,       /* Block type */
1186                   sizeof (block),  /* Size of the data */
1187                   (const char *) &block, /* Data itself */
1188                   GNUNET_TIME_UNIT_FOREVER_ABS,  /* Data expiration */
1189                   GNUNET_TIME_UNIT_FOREVER_REL, /* Retry time */
1190                   NULL,         /* Continuation */
1191                   NULL);        /* Continuation closure */
1192   announce_id_task =
1193       GNUNET_SCHEDULER_add_delayed (id_announce_time, &announce_id, cls);
1194 }
1195
1196
1197 /******************************************************************************/
1198 /******************      GENERAL HELPER FUNCTIONS      ************************/
1199 /******************************************************************************/
1200
1201
1202 /**
1203  * Get the previous hop in a connection
1204  *
1205  * @param c Connection.
1206  *
1207  * @return Previous peer in the connection.
1208  */
1209 static struct MeshPeer *
1210 connection_get_prev_hop (struct MeshConnection *c)
1211 {
1212   GNUNET_PEER_Id id;
1213
1214   if (0 == c->own_pos || c->path->length < 2)
1215     id = c->path->peers[0];
1216   else
1217     id = c->path->peers[c->own_pos - 1];
1218
1219   return peer_get_short (id);
1220 }
1221
1222
1223 /**
1224  * Get the next hop in a connection
1225  *
1226  * @param c Connection.
1227  *
1228  * @return Next peer in the connection. 
1229  */
1230 static struct MeshPeer *
1231 connection_get_next_hop (struct MeshConnection *c)
1232 {
1233   GNUNET_PEER_Id id;
1234
1235   if ((c->path->length - 1) == c->own_pos || c->path->length < 2)
1236     id = c->path->peers[c->path->length - 1];
1237   else
1238     id = c->path->peers[c->own_pos + 1];
1239
1240   return peer_get_short (id);
1241 }
1242
1243
1244 /**
1245  * Check if client has registered with the service and has not disconnected
1246  *
1247  * @param client the client to check
1248  *
1249  * @return non-NULL if client exists in the global DLL
1250  */
1251 static struct MeshClient *
1252 client_get (struct GNUNET_SERVER_Client *client)
1253 {
1254   return GNUNET_SERVER_client_get_user_context (client, struct MeshClient);
1255 }
1256
1257
1258 /**
1259  * Deletes a tunnel from a client (either owner or destination). To be used on
1260  * tunnel destroy.
1261  *
1262  * @param c Client whose tunnel to delete.
1263  * @param ch Channel which should be deleted.
1264  */
1265 static void
1266 client_delete_channel (struct MeshClient *c, struct MeshChannel *ch)
1267 {
1268   int res;
1269
1270   if (c == ch->owner)
1271   {
1272     res = GNUNET_CONTAINER_multihashmap32_remove (c->own_channels,
1273                                                   ch->id, ch);
1274     if (GNUNET_YES != res)
1275       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "client_delete_channel owner KO\n");
1276   }
1277   if (c == ch->client)
1278   {
1279     res = GNUNET_CONTAINER_multihashmap32_remove (c->incoming_channels,
1280                                                   ch->id_dest, ch);
1281     if (GNUNET_YES != res)
1282       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "client_delete_tunnel client KO\n");
1283   }
1284 }
1285
1286
1287 /**
1288  * Notify the appropriate client that a new incoming channel was created.
1289  *
1290  * @param ch Channel that was created.
1291  */
1292 static void
1293 send_local_channel_create (struct MeshChannel *ch)
1294 {
1295   struct GNUNET_MESH_ChannelMessage msg;
1296   struct MeshTunnel2 *t = ch->t;
1297
1298   if (NULL == ch->client)
1299     return;
1300   msg.header.size = htons (sizeof (msg));
1301   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
1302   msg.channel_id = htonl (ch->id_dest);
1303   msg.port = htonl (ch->port);
1304   msg.opt = 0;
1305   msg.opt |= GNUNET_YES == ch->reliable ? GNUNET_MESH_OPTION_RELIABLE : 0;
1306   msg.opt |= GNUNET_YES == ch->nobuffer ? GNUNET_MESH_OPTION_NOBUFFER : 0;
1307   msg.opt = htonl (msg.opt);
1308   GNUNET_PEER_resolve (t->peer->id, &msg.peer);
1309   GNUNET_SERVER_notification_context_unicast (nc, ch->client->handle,
1310                                               &msg.header, GNUNET_NO);
1311 }
1312
1313
1314 /**
1315  * Notify a client that the incoming tunnel is no longer valid.
1316  *
1317  * @param ch Channel that is destroyed.
1318  * @param fwd Forward notification (owner->dest)?
1319  */
1320 static void
1321 send_local_channel_destroy (struct MeshChannel *ch, int fwd)
1322 {
1323   struct GNUNET_MESH_ChannelMessage msg;
1324   struct MeshClient *c;
1325
1326   c = fwd ? ch->client : ch->owner;
1327   if (NULL == c)
1328   {
1329     GNUNET_break (0);
1330     return;
1331   }
1332   msg.header.size = htons (sizeof (msg));
1333   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY);
1334   msg.channel_id = htonl (fwd ? ch->id_dest : ch->id);
1335   msg.port = htonl (0);
1336   memset (&msg.peer, 0, sizeof (msg.peer));
1337   msg.opt = htonl (0);
1338   GNUNET_SERVER_notification_context_unicast (nc, c->handle,
1339                                               &msg.header, GNUNET_NO);
1340 }
1341
1342
1343 /**
1344  * Build a local ACK message and send it to a local client.
1345  * 
1346  * @param ch Channel on which to send the ACK.
1347  * @param c Client to whom send the ACK.
1348  * @param is_fwd Set to GNUNET_YES for FWD ACK (dest->owner)
1349  */
1350 static void
1351 send_local_ack (struct MeshChannel *ch,
1352                 struct MeshClient *c,
1353                 int is_fwd)
1354 {
1355   struct GNUNET_MESH_LocalAck msg;
1356
1357   msg.header.size = htons (sizeof (msg));
1358   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK);
1359   msg.channel_id = htonl (is_fwd ? ch->id : ch->id_dest);
1360   GNUNET_SERVER_notification_context_unicast (nc,
1361                                               c->handle,
1362                                               &msg.header,
1363                                               GNUNET_NO);
1364 }
1365
1366
1367 /**
1368  * Count established (ready) connections of a tunnel.
1369  *
1370  * @param t Tunnel on which to send the message.
1371  *
1372  * @return Number of connections.
1373  */
1374 static unsigned int
1375 tunnel_count_connections (struct MeshTunnel2 *t)
1376 {
1377   struct MeshConnection *c;
1378   unsigned int i;
1379
1380   for (c = t->connection_head, i = 0; NULL != c; c = c->next, i++);
1381
1382   return i;
1383 }
1384
1385
1386 /**
1387  * Pick a connection on which send the next data message.
1388  *
1389  * @param t Tunnel on which to send the message.
1390  * @param fwd Is this a fwd message?
1391  *
1392  * @return The connection on which to send the next message.
1393  */
1394 static struct MeshConnection *
1395 tunnel_get_connection (struct MeshTunnel2 *t, int fwd)
1396 {
1397   struct MeshConnection *c;
1398   struct MeshConnection *best;
1399   struct MeshPeer *peer;
1400   unsigned int lowest_q;
1401
1402
1403   peer = NULL;
1404   best = NULL;
1405   lowest_q = UINT_MAX;
1406   for (c = t->connection_head; NULL != c; c = c->next)
1407   {
1408     if (MESH_CONNECTION_READY == c->state)
1409     {
1410       peer = fwd ? connection_get_next_hop (c) : connection_get_prev_hop (c);
1411       if (NULL == peer->fc)
1412       {
1413         GNUNET_break (0);
1414         continue;
1415       }
1416       if (peer->fc->queue_n < lowest_q)
1417       {
1418         best = c;
1419         lowest_q = peer->fc->queue_n;
1420       }
1421     }
1422   }
1423   return best;
1424 }
1425
1426
1427 /**
1428  * FIXME FIXME FIXME FIXME FIXME FIXME FIXME FIXME FIXME FIXME FIXME 
1429  * Encrypt data with the tunnel key.
1430  *
1431  * @param t Tunnel whose key to use.
1432  * @param dst Destination for the encrypted data.
1433  * @param src Source of the plaintext.
1434  * @param size Size of the plaintext.
1435  * @param iv Initialization Vector to use.
1436  * @param fwd Is this a fwd message?
1437  */
1438 static void
1439 tunnel_encrypt (struct MeshTunnel2 *t,
1440                 void *dst, const void *src,
1441                 size_t size, uint64_t iv, int fwd)
1442 {
1443   memcpy (dst, src, size);
1444 }
1445
1446
1447 /**
1448  * FIXME FIXME FIXME FIXME FIXME FIXME FIXME FIXME FIXME FIXME FIXME 
1449  * Decrypt data with the tunnel key.
1450  *
1451  * @param t Tunnel whose key to use.
1452  * @param dst Destination for the plaintext.
1453  * @param src Source of the encrypted data.
1454  * @param size Size of the encrypted data.
1455  * @param iv Initialization Vector to use.
1456  * @param fwd Is this a fwd message?
1457  */
1458 static void
1459 tunnel_decrypt (struct MeshTunnel2 *t,
1460                 void *dst, const void *src,
1461                 size_t size, uint64_t iv, int fwd)
1462 {
1463   memcpy (dst, src, size);
1464 }
1465
1466
1467 /**
1468  * Sends an already built message on a connection, properly registering
1469  * all used resources.
1470  *
1471  * @param message Message to send. Function makes a copy of it.
1472  *                If message is not hop-by-hop, decrements TTL of copy.
1473  * @param c Connection on which this message is transmitted.
1474  * @param ch Channel on which this message is transmitted, or NULL.
1475  * @param fwd Is this a fwd message?
1476  */
1477 static void
1478 send_prebuilt_message_connection (const struct GNUNET_MessageHeader *message,
1479                                   struct MeshConnection *c,
1480                                   struct MeshChannel *ch,
1481                                   int fwd)
1482 {
1483   struct MeshPeer *neighbor;
1484   void *data;
1485   size_t size;
1486   uint16_t type;
1487
1488   neighbor = fwd ? connection_get_next_hop (c) : connection_get_prev_hop (c);
1489   if (NULL == neighbor)
1490   {
1491     GNUNET_break (0);
1492     return;
1493   }
1494
1495   size = ntohs (message->size);
1496   data = GNUNET_malloc (size);
1497   memcpy (data, message, size);
1498   type = ntohs(message->type);
1499
1500   if (GNUNET_MESSAGE_TYPE_MESH_FWD == type ||
1501       GNUNET_MESSAGE_TYPE_MESH_BCK == type)
1502   {
1503     struct GNUNET_MESH_Encrypted *msg;
1504     uint32_t ttl;
1505
1506     msg = (struct GNUNET_MESH_Encrypted *) data;
1507     ttl = ntohl (msg->ttl);
1508     if (0 == ttl)
1509     {
1510       GNUNET_break_op (0);
1511       return;
1512     }
1513     msg->ttl = htonl (ttl - 1);
1514   }
1515
1516   queue_add (data,
1517              type,
1518              size,
1519              neighbor,
1520              c,
1521              ch);
1522 }
1523
1524
1525 /**
1526  * Sends an already built message on a tunnel, choosing the best connection.
1527  *
1528  * @param message Message to send. Function modifies it.
1529  * @param t Tunnel on which this message is transmitted.
1530  * @param ch Channel on which this message is transmitted.
1531  * @param fwd Is this a fwd message?
1532  */
1533 static void
1534 send_prebuilt_message_tunnel (struct GNUNET_MESH_Encrypted *msg,
1535                               struct MeshTunnel2 *t,
1536                               struct MeshChannel *ch,
1537                               int fwd)
1538 {
1539   struct MeshConnection *c;
1540   uint16_t type;
1541
1542   c = tunnel_get_connection (t, fwd);
1543   if (NULL == c)
1544   {
1545     GNUNET_break (0);
1546     return;
1547   }
1548   type = ntohs (msg->header.size);
1549   switch (type)
1550   {
1551     case GNUNET_MESSAGE_TYPE_MESH_FWD:
1552     case GNUNET_MESSAGE_TYPE_MESH_BCK:
1553       msg->cid = htonl (c->id);
1554       msg->tid = t->id;
1555       msg->ttl = default_ttl;
1556       break;
1557     default:
1558       GNUNET_break (0);
1559   }
1560
1561   send_prebuilt_message_connection (&msg->header, c, ch, fwd);
1562 }
1563
1564
1565 /**
1566  * Sends an already built message on a channel, properly registering
1567  * all used resources and encrypting the message with the tunnel's key.
1568  *
1569  * @param message Message to send. Function makes a copy of it.
1570  * @param ch Channel on which this message is transmitted.
1571  * @param fwd Is this a fwd message?
1572  */
1573 static void
1574 send_prebuilt_message_channel (const struct GNUNET_MessageHeader *message,
1575                                struct MeshChannel *ch,
1576                                int fwd)
1577 {
1578   struct GNUNET_MESH_Encrypted *msg;
1579   size_t size = ntohs (message->size);
1580   char *cbuf[size + sizeof (struct GNUNET_MESH_Encrypted)];
1581   uint16_t type;
1582   uint64_t iv;
1583
1584   type = fwd ? GNUNET_MESSAGE_TYPE_MESH_FWD : GNUNET_MESSAGE_TYPE_MESH_BCK;
1585   iv = GNUNET_CRYPTO_random_u64 (GNUNET_CRYPTO_QUALITY_WEAK, UINT64_MAX);
1586
1587   msg = (struct GNUNET_MESH_Encrypted *) cbuf;
1588   msg->header.type = htons (type);
1589   msg->header.size = htons (size);
1590   msg->iv = GNUNET_htonll (iv);
1591   tunnel_encrypt (ch->t, &msg[1], message, size, iv, fwd);
1592
1593   send_prebuilt_message_tunnel (msg, ch->t, ch, fwd);
1594 }
1595
1596
1597 /**
1598  * Sends an already built message directly to a peer.
1599  * Message does must not belong to a connection or channel.
1600  *
1601  * @param message Message to send. Function makes a copy of it.
1602  * @param peer Tunnel on which this message is transmitted.
1603  */
1604 static void
1605 send_prebuilt_message_peer (const struct GNUNET_MessageHeader *message,
1606                             struct MeshPeer *peer)
1607 {
1608   void *data;
1609   size_t size;
1610   uint16_t type;
1611
1612   if (NULL == peer)
1613   {
1614     GNUNET_break (0);
1615     return;
1616   }
1617
1618   size = ntohs (message->size);
1619   data = GNUNET_malloc (size);
1620   memcpy (data, message, size);
1621   type = ntohs(message->type);
1622
1623   queue_add (data,
1624              type,
1625              size,
1626              peer,
1627              NULL,
1628              NULL);
1629 }
1630
1631
1632 /**
1633  * Sends a CREATE CONNECTION message for a path to a peer.
1634  * Changes the connection and tunnel states if necessary.
1635  *
1636  * @param connection Connection to create.
1637  */
1638 static void
1639 send_connection_create (struct MeshConnection *connection)
1640 {
1641   struct MeshPeer *neighbor;
1642   struct MeshTunnel2 *t;
1643
1644   t = connection->t;
1645   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Send connection create\n");
1646   neighbor = connection_get_next_hop (connection);
1647   queue_add (connection,
1648              GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE,
1649              sizeof (struct GNUNET_MESH_ConnectionCreate) +
1650                 (connection->path->length *
1651                  sizeof (struct GNUNET_PeerIdentity)),
1652              neighbor,
1653              connection,
1654              NULL);
1655   if (MESH_TUNNEL_SEARCHING == t->state)
1656     tunnel_change_state (t, MESH_TUNNEL_WAITING);
1657   if (MESH_CONNECTION_NEW == connection->state)
1658     connection_change_state (connection, MESH_CONNECTION_SENT);
1659 }
1660
1661
1662 /**
1663  * Sends a CONNECTION ACK message in reponse to a received CONNECTION_CREATE
1664  * directed to us.
1665  *
1666  * @param connection Connection to confirm.
1667  */
1668 static void
1669 send_connection_ack (struct MeshConnection *connection) 
1670 {
1671   struct MeshPeer *neighbor;
1672   struct MeshTunnel2 *t;
1673
1674   t = connection->t;
1675   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Send connection ack\n");
1676   neighbor = connection_get_prev_hop (connection);
1677   queue_add (connection,
1678              GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK,
1679              sizeof (struct GNUNET_MESH_ConnectionACK),
1680              neighbor,
1681              connection,
1682              NULL);
1683   if (MESH_TUNNEL_NEW == t->state)
1684     tunnel_change_state (t, MESH_TUNNEL_WAITING);
1685 }
1686
1687
1688 /**
1689  * Build an ACK message and queue it to send to the given peer.
1690  * 
1691  * @param peer Peer to whom send the ACK.
1692  * @param ack Value of the ACK.
1693  */
1694 static void
1695 send_ack (struct MeshPeer *peer, uint32_t ack)
1696 {
1697   struct GNUNET_MESH_ACK msg;
1698
1699   msg.header.size = htons (sizeof (msg));
1700   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_ACK);
1701   msg.ack = htonl (ack);
1702
1703   send_prebuilt_message_peer (&msg.header, peer);
1704 }
1705
1706
1707 /**
1708   * Core callback to write a pre-constructed data packet to core buffer
1709   *
1710   * @param cls Closure (MeshTransmissionDescriptor with data in "data" member).
1711   * @param size Number of bytes available in buf.
1712   * @param buf Where the to write the message.
1713   *
1714   * @return number of bytes written to buf
1715   */
1716 static size_t
1717 send_core_data_raw (void *cls, size_t size, void *buf)
1718 {
1719   struct GNUNET_MessageHeader *msg = cls;
1720   size_t total_size;
1721
1722   GNUNET_assert (NULL != msg);
1723   total_size = ntohs (msg->size);
1724
1725   if (total_size > size)
1726   {
1727     GNUNET_break (0);
1728     return 0;
1729   }
1730   memcpy (buf, msg, total_size);
1731   GNUNET_free (cls);
1732   return total_size;
1733 }
1734
1735
1736 /**
1737  * Function to send a create path packet to a peer.
1738  *
1739  * @param cls closure
1740  * @param size number of bytes available in buf
1741  * @param buf where the callee should write the message
1742  * @return number of bytes written to buf
1743  */
1744 static size_t
1745 send_core_connection_create (void *cls, size_t size, void *buf)
1746 {
1747   struct MeshConnection *c = cls;
1748   struct GNUNET_MESH_ConnectionCreate *msg;
1749   struct GNUNET_PeerIdentity *peer_ptr;
1750   struct MeshPeerPath *p = c->path;
1751   size_t size_needed;
1752   int i;
1753
1754   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Sending CONNECTION CREATE...\n");
1755   size_needed =
1756       sizeof (struct GNUNET_MESH_ConnectionCreate) +
1757       p->length * sizeof (struct GNUNET_PeerIdentity);
1758
1759   if (size < size_needed || NULL == buf)
1760   {
1761     GNUNET_break (0);
1762     return 0;
1763   }
1764   msg = (struct GNUNET_MESH_ConnectionCreate *) buf;
1765   msg->header.size = htons (size_needed);
1766   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE);
1767   msg->cid = htonl (c->id);
1768
1769   peer_ptr = (struct GNUNET_PeerIdentity *) &msg[1];
1770   for (i = 0; i < p->length; i++)
1771   {
1772     GNUNET_PEER_resolve (p->peers[i], peer_ptr++);
1773   }
1774
1775   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1776               "CONNECTION CREATE (%u bytes long) sent!\n", size_needed);
1777   return size_needed;
1778 }
1779
1780
1781 /**
1782  * Creates a path ack message in buf and frees all unused resources.
1783  *
1784  * @param cls closure (MeshTransmissionDescriptor)
1785  * @param size number of bytes available in buf
1786  * @param buf where the callee should write the message
1787  * @return number of bytes written to buf
1788  */
1789 static size_t
1790 send_core_connection_ack (void *cls, size_t size, void *buf)
1791 {
1792   struct GNUNET_MESH_ConnectionACK *msg = buf;
1793   struct MeshConnection *c = cls;
1794   struct MeshTunnel2 *t = c->t;
1795
1796   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Sending CONNECTION ACK...\n");
1797   GNUNET_assert (NULL != t);
1798   if (sizeof (struct GNUNET_MESH_ConnectionACK) > size)
1799   {
1800     GNUNET_break (0);
1801     return 0;
1802   }
1803   msg->header.size = htons (sizeof (struct GNUNET_MESH_ConnectionACK));
1804   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK);
1805   GNUNET_CRYPTO_hash_xor (&GNUNET_PEER_resolve2 (t->peer->id)->hashPubKey,
1806                           &my_full_id.hashPubKey,
1807                           &msg->tid);
1808   msg->cid = htonl (c->id);
1809
1810   /* TODO add signature */
1811
1812   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "CONNECTION ACK sent!\n");
1813   return sizeof (struct GNUNET_MESH_ConnectionACK);
1814 }
1815
1816
1817 /**
1818  * Iterator over all the peers to remove the oldest not-used entry.
1819  *
1820  * @param cls Closure (unsued).
1821  * @param key ID of the peer.
1822  * @param value Peer_Info of the peer.
1823  *
1824  * FIXME implement
1825  */
1826 static int
1827 peer_timeout (void *cls,
1828               const struct GNUNET_HashCode *key,
1829               void *value)
1830 {
1831   return GNUNET_YES;
1832 }
1833
1834
1835 /**
1836  * Retrieve the MeshPeer stucture associated with the peer, create one
1837  * and insert it in the appropriate structures if the peer is not known yet.
1838  *
1839  * @param peer Full identity of the peer.
1840  *
1841  * @return Existing or newly created peer info.
1842  */
1843 static struct MeshPeer *
1844 peer_get (const struct GNUNET_PeerIdentity *peer_id)
1845 {
1846   struct MeshPeer *peer;
1847
1848   peer = GNUNET_CONTAINER_multihashmap_get (peers, &peer_id->hashPubKey);
1849   if (NULL == peer)
1850   {
1851     peer = GNUNET_new (struct MeshPeer);
1852     if (GNUNET_CONTAINER_multihashmap_size (peers) > max_peers)
1853     {
1854       GNUNET_CONTAINER_multihashmap_iterate (peers,
1855                                              &peer_timeout,
1856                                              NULL);
1857     }
1858     GNUNET_CONTAINER_multihashmap_put (peers, &peer_id->hashPubKey, peer,
1859                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
1860     peer->id = GNUNET_PEER_intern (peer_id);
1861   }
1862   peer->last_contact = GNUNET_TIME_absolute_get();
1863
1864   return peer;
1865 }
1866
1867
1868 /**
1869  * Retrieve the MeshPeer stucture associated with the peer, create one
1870  * and insert it in the appropriate structures if the peer is not known yet.
1871  *
1872  * @param peer Short identity of the peer.
1873  *
1874  * @return Existing or newly created peer info.
1875  */
1876 static struct MeshPeer *
1877 peer_get_short (const GNUNET_PEER_Id peer)
1878 {
1879   return peer_get (GNUNET_PEER_resolve2 (peer));
1880 }
1881
1882
1883 /**
1884  * Get a cost of a path for a peer considering existing tunnel connections.
1885  *
1886  * @param peer Peer towards which the path is considered.
1887  * @param path Candidate path.
1888  *
1889  * @return Cost of the path (path length + number of overlapping nodes)
1890  */
1891 static unsigned int
1892 peer_get_path_cost (const struct MeshPeer *peer,
1893                     const struct MeshPeerPath *path)
1894 {
1895   struct MeshConnection *c;
1896   unsigned int overlap;
1897   unsigned int i;
1898   unsigned int j;
1899
1900   if (NULL == path)
1901     return 0;
1902
1903   overlap = 0;
1904   GNUNET_assert (NULL != peer->tunnel);
1905
1906   for (i = 0; i < path->length; i++)
1907   {
1908     for (c = peer->tunnel->connection_head; NULL != c; c = c->next)
1909     {
1910       for (j = 0; j < c->path->length; j++)
1911       {
1912         if (path->peers[i] == c->path->peers[j])
1913         {
1914           overlap++;
1915           break;
1916         }
1917       }
1918     }
1919   }
1920   return (path->length + overlap) * (path->score * -1);
1921 }
1922
1923
1924 /**
1925  * Choose the best path towards a peer considering the tunnel properties.
1926  *
1927  * @param peer The destination peer.
1928  *
1929  * @return Best current known path towards the peer, if any.
1930  */
1931 static struct MeshPeerPath *
1932 peer_get_best_path (const struct MeshPeer *peer)
1933 {
1934   struct MeshPeerPath *best_p;
1935   struct MeshPeerPath *p;
1936   struct MeshConnection *c;
1937   unsigned int best_cost;
1938   unsigned int cost;
1939
1940   best_cost = UINT_MAX;
1941   best_p = NULL;
1942   for (p = peer->path_head; NULL != p; p = p->next)
1943   {
1944     for (c = peer->tunnel->connection_head; NULL != c; c = c->next)
1945       if (c->path == p)
1946         break;
1947     if (NULL != p)
1948       continue; /* If path is in use in a connection, skip it. */
1949
1950     if ((cost = peer_get_path_cost (peer, p)) < best_cost)
1951     {
1952       best_cost = cost;
1953       best_p = p;
1954     }
1955   }
1956   return best_p;
1957 }
1958
1959
1960 /**
1961  * Try to establish a new connection to this peer in the given tunnel.
1962  * If the peer doesn't have any path to it yet, try to get one.
1963  * If the peer already has some path, send a CREATE CONNECTION towards it.
1964  *
1965  * @param peer PeerInfo of the peer.
1966  */
1967 static void
1968 peer_connect (struct MeshPeer *peer)
1969 {
1970   struct MeshTunnel2 *t;
1971   struct MeshPeerPath *p;
1972   struct MeshConnection *c;
1973
1974   t = peer->tunnel;
1975   if (NULL != peer->path_head)
1976   {
1977     p = peer_get_best_path (peer);
1978     if (NULL != p)
1979     {
1980       c = tunnel_use_path (t, p);
1981       send_connection_create (c);
1982     }
1983   }
1984   else if (NULL == peer->dhtget)
1985   {
1986     const struct GNUNET_PeerIdentity *id;
1987
1988     id = GNUNET_PEER_resolve2 (peer->id);
1989     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1990                 "  Starting DHT GET for peer %s\n", GNUNET_i2s (id));
1991     peer->dhtget = GNUNET_DHT_get_start (dht_handle,    /* handle */
1992                                          GNUNET_BLOCK_TYPE_MESH_PEER, /* type */
1993                                          &id->hashPubKey,     /* key to search */
1994                                          dht_replication_level, /* replication level */
1995                                          GNUNET_DHT_RO_RECORD_ROUTE |
1996                                          GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,
1997                                          NULL,       /* xquery */
1998                                          0,     /* xquery bits */
1999                                          &dht_get_id_handler, peer);
2000     if (MESH_TUNNEL_NEW == t->state)
2001       tunnel_change_state (t, MESH_TUNNEL_SEARCHING);
2002   }
2003   else
2004   {
2005     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2006                 "There is no path but the DHT GET is already started.\n");
2007   }
2008 }
2009
2010
2011 /**
2012  * @brief Re-initiate traffic to this peer if necessary.
2013  *
2014  * Check if there is traffic queued towards this peer
2015  * and the core transmit handle is NULL (traffic was stalled).
2016  * If so, call core tmt rdy.
2017  *
2018  * @param peer_id Short ID of peer to which initiate traffic.
2019  */
2020 static void
2021 peer_unlock_queue (GNUNET_PEER_Id peer_id)
2022 {
2023   struct MeshPeer *peer;
2024   struct MeshPeerQueue *q;
2025   size_t size;
2026
2027   peer = peer_get_short (peer_id);
2028   if (NULL != peer->fc->core_transmit)
2029     return; /* Already unlocked */
2030
2031   q = queue_get_next (peer);
2032   if (NULL == q)
2033     return; /* Nothing to transmit */
2034
2035   size = q->size;
2036   peer->fc->core_transmit =
2037       GNUNET_CORE_notify_transmit_ready (core_handle,
2038                                          GNUNET_NO,
2039                                          0,
2040                                          GNUNET_TIME_UNIT_FOREVER_REL,
2041                                          GNUNET_PEER_resolve2 (peer->id),
2042                                          size,
2043                                          &queue_send,
2044                                          peer);
2045 }
2046
2047
2048 /**
2049  * Cancel all transmissions towards a neighbor that belong to
2050  * a certain connection.
2051  *
2052  * @param peer Neighbor to whom cancel the transmissions.
2053  * @param c Connection which to cancel.
2054  */
2055 static void
2056 peer_cancel_queues (struct MeshPeer *peer, struct MeshConnection *c)
2057 {
2058   struct MeshPeerQueue *q;
2059   struct MeshPeerQueue *next;
2060   struct MeshFlowControl *fc;
2061
2062   if (NULL == peer || NULL == peer->fc)
2063   {
2064     GNUNET_break (0);
2065     return;
2066   }
2067   fc = peer->fc;
2068   for (q = fc->queue_head; NULL != q; q = next)
2069   {
2070     next = q->next;
2071     if (q->c == c)
2072     {
2073       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2074                   "peer_cancel_queue %s\n",
2075                   GNUNET_MESH_DEBUG_M2S (q->type));
2076       queue_destroy (q, GNUNET_YES);
2077     }
2078   }
2079   if (NULL == fc->queue_head)
2080   {
2081     if (NULL != fc->core_transmit)
2082     {
2083       GNUNET_CORE_notify_transmit_ready_cancel (fc->core_transmit);
2084       fc->core_transmit = NULL;
2085     }
2086     if (GNUNET_SCHEDULER_NO_TASK != fc->poll_task)
2087     {
2088       GNUNET_SCHEDULER_cancel (fc->poll_task);
2089       fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
2090     }
2091   }
2092 }
2093
2094
2095 /**
2096  * Destroy the peer_info and free any allocated resources linked to it
2097  *
2098  * @param peer The peer_info to destroy.
2099  *
2100  * @return GNUNET_OK on success
2101  */
2102 static int
2103 peer_destroy (struct MeshPeer *peer)
2104 {
2105   struct GNUNET_PeerIdentity id;
2106   struct MeshPeerPath *p;
2107   struct MeshPeerPath *nextp;
2108
2109   GNUNET_PEER_resolve (peer->id, &id);
2110   GNUNET_PEER_change_rc (peer->id, -1);
2111
2112   if (GNUNET_YES !=
2113       GNUNET_CONTAINER_multihashmap_remove (peers, &id.hashPubKey, peer))
2114   {
2115     GNUNET_break (0);
2116     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
2117                 "removing peer %s, not in hashmap\n", GNUNET_i2s (&id));
2118   }
2119   if (NULL != peer->dhtget)
2120   {
2121     GNUNET_DHT_get_stop (peer->dhtget);
2122   }
2123   p = peer->path_head;
2124   while (NULL != p)
2125   {
2126     nextp = p->next;
2127     GNUNET_CONTAINER_DLL_remove (peer->path_head, peer->path_tail, p);
2128     path_destroy (p);
2129     p = nextp;
2130   }
2131   tunnel_destroy_empty (peer->tunnel);
2132   GNUNET_free (peer);
2133   return GNUNET_OK;
2134 }
2135
2136
2137 /**
2138  * Remove all paths that rely on a direct connection between p1 and p2
2139  * from the peer itself and notify all tunnels about it.
2140  *
2141  * @param peer PeerInfo of affected peer.
2142  * @param p1 GNUNET_PEER_Id of one peer.
2143  * @param p2 GNUNET_PEER_Id of another peer that was connected to the first and
2144  *           no longer is.
2145  *
2146  * TODO: optimize (see below)
2147  */
2148 static void
2149 peer_remove_path (struct MeshPeer *peer, GNUNET_PEER_Id p1,
2150                   GNUNET_PEER_Id p2)
2151 {
2152   struct MeshPeerPath *p;
2153   struct MeshPeerPath *next;
2154   struct MeshPeer *peer_d;
2155   GNUNET_PEER_Id d;
2156   unsigned int destroyed;
2157   unsigned int i;
2158
2159   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "peer_info_remove_path\n");
2160   destroyed = 0;
2161   for (p = peer->path_head; NULL != p; p = next)
2162   {
2163     next = p->next;
2164     for (i = 0; i < (p->length - 1); i++)
2165     {
2166       if ((p->peers[i] == p1 && p->peers[i + 1] == p2) ||
2167           (p->peers[i] == p2 && p->peers[i + 1] == p1))
2168       {
2169         GNUNET_CONTAINER_DLL_remove (peer->path_head, peer->path_tail, p);
2170         path_destroy (p);
2171         destroyed++;
2172         break;
2173       }
2174     }
2175   }
2176   if (0 == destroyed)
2177     return;
2178
2179
2180   d = tunnel_notify_connection_broken (peer->tunnel, p1, p2);
2181
2182   peer_d = peer_get_short (d); // FIXME
2183   next = peer_get_best_path (peer_d);
2184   tunnel_use_path (peer->tunnel, next);
2185   peer_connect (peer_d);
2186
2187   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "peer_info_remove_path END\n");
2188 }
2189
2190
2191 /**
2192  * Add the path to the peer and update the path used to reach it in case this
2193  * is the shortest.
2194  *
2195  * @param peer_info Destination peer to add the path to.
2196  * @param path New path to add. Last peer must be the peer in arg 1.
2197  *             Path will be either used of freed if already known.
2198  * @param trusted Do we trust that this path is real?
2199  */
2200 void
2201 peer_add_path (struct MeshPeer *peer_info, struct MeshPeerPath *path,
2202                     int trusted)
2203 {
2204   struct MeshPeerPath *aux;
2205   unsigned int l;
2206   unsigned int l2;
2207
2208   if ((NULL == peer_info) || (NULL == path))
2209   {
2210     GNUNET_break (0);
2211     path_destroy (path);
2212     return;
2213   }
2214   if (path->peers[path->length - 1] != peer_info->id)
2215   {
2216     GNUNET_break (0);
2217     path_destroy (path);
2218     return;
2219   }
2220   if (2 >= path->length && GNUNET_NO == trusted)
2221   {
2222     /* Only allow CORE to tell us about direct paths */
2223     path_destroy (path);
2224     return;
2225   }
2226   for (l = 1; l < path->length; l++)
2227   {
2228     if (path->peers[l] == myid)
2229     {
2230       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "shortening path by %u\n", l);
2231       for (l2 = 0; l2 < path->length - l; l2++)
2232       {
2233         path->peers[l2] = path->peers[l + l2];
2234       }
2235       path->length -= l;
2236       l = 1;
2237       path->peers =
2238           GNUNET_realloc (path->peers, path->length * sizeof (GNUNET_PEER_Id));
2239     }
2240   }
2241 #if MESH_DEBUG
2242   {
2243     struct GNUNET_PeerIdentity id;
2244
2245     GNUNET_PEER_resolve (peer_info->id, &id);
2246     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "adding path [%u] to peer %s\n",
2247                 path->length, GNUNET_i2s (&id));
2248   }
2249 #endif
2250   l = path_get_length (path);
2251   if (0 == l)
2252   {
2253     path_destroy (path);
2254     return;
2255   }
2256
2257   GNUNET_assert (peer_info->id == path->peers[path->length - 1]);
2258   for (aux = peer_info->path_head; aux != NULL; aux = aux->next)
2259   {
2260     l2 = path_get_length (aux);
2261     if (l2 > l)
2262     {
2263       GNUNET_CONTAINER_DLL_insert_before (peer_info->path_head,
2264                                           peer_info->path_tail, aux, path);
2265       return;
2266     }
2267     else
2268     {
2269       if (l2 == l && memcmp (path->peers, aux->peers, l) == 0)
2270       {
2271         path_destroy (path);
2272         return;
2273       }
2274     }
2275   }
2276   GNUNET_CONTAINER_DLL_insert_tail (peer_info->path_head, peer_info->path_tail,
2277                                     path);
2278   return;
2279 }
2280
2281
2282 /**
2283  * Add the path to the origin peer and update the path used to reach it in case
2284  * this is the shortest.
2285  * The path is given in peer_info -> destination, therefore we turn the path
2286  * upside down first.
2287  *
2288  * @param peer_info Peer to add the path to, being the origin of the path.
2289  * @param path New path to add after being inversed.
2290  *             Path will be either used or freed.
2291  * @param trusted Do we trust that this path is real?
2292  */
2293 static void
2294 peer_add_path_to_origin (struct MeshPeer *peer_info,
2295                          struct MeshPeerPath *path, int trusted)
2296 {
2297   path_invert (path);
2298   peer_add_path (peer_info, path, trusted);
2299 }
2300
2301
2302
2303 /**
2304  * Function called if the connection to the peer has been stalled for a while,
2305  * possibly due to a missed ACK. Poll the peer about its ACK status.
2306  *
2307  * @param cls Closure (poll ctx).
2308  * @param tc TaskContext.
2309  */
2310 static void
2311 peer_poll (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
2312 {
2313   struct MeshFlowControl *fc = cls;
2314   struct GNUNET_MESH_Poll msg;
2315   struct MeshPeer *peer;
2316
2317   fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
2318   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
2319   {
2320     return;
2321   }
2322
2323   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " *** Polling!\n");
2324   peer = fc->peer;
2325
2326   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " *** peer: %s!\n", 
2327                 GNUNET_i2s (GNUNET_PEER_resolve2 (peer->id)));
2328
2329   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_POLL);
2330   msg.header.size = htons (sizeof (msg));
2331   msg.pid = htonl (fc->last_pid_sent);
2332   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " *** pid (%u)!\n", fc->last_pid_sent);
2333   send_prebuilt_message_peer (&msg.header, peer);
2334   fc->poll_time = GNUNET_TIME_STD_BACKOFF (fc->poll_time);
2335   fc->poll_task = GNUNET_SCHEDULER_add_delayed (fc->poll_time,
2336                                                 &peer_poll, fc);
2337 }
2338
2339
2340 /**
2341  * Build a PeerPath from the paths returned from the DHT, reversing the paths
2342  * to obtain a local peer -> destination path and interning the peer ids.
2343  *
2344  * @return Newly allocated and created path
2345  */
2346 static struct MeshPeerPath *
2347 path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
2348                      unsigned int get_path_length,
2349                      const struct GNUNET_PeerIdentity *put_path,
2350                      unsigned int put_path_length)
2351 {
2352   struct MeshPeerPath *p;
2353   GNUNET_PEER_Id id;
2354   int i;
2355
2356   p = path_new (1);
2357   p->peers[0] = myid;
2358   GNUNET_PEER_change_rc (myid, 1);
2359   i = get_path_length;
2360   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   GET has %d hops.\n", i);
2361   for (i--; i >= 0; i--)
2362   {
2363     id = GNUNET_PEER_intern (&get_path[i]);
2364     if (p->length > 0 && id == p->peers[p->length - 1])
2365     {
2366       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Optimizing 1 hop out.\n");
2367       GNUNET_PEER_change_rc (id, -1);
2368     }
2369     else
2370     {
2371       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Adding from GET: %s.\n",
2372                   GNUNET_i2s (&get_path[i]));
2373       p->length++;
2374       p->peers = GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * p->length);
2375       p->peers[p->length - 1] = id;
2376     }
2377   }
2378   i = put_path_length;
2379   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   PUT has %d hops.\n", i);
2380   for (i--; i >= 0; i--)
2381   {
2382     id = GNUNET_PEER_intern (&put_path[i]);
2383     if (id == myid)
2384     {
2385       /* PUT path went through us, so discard the path up until now and start
2386        * from here to get a much shorter (and loop-free) path.
2387        */
2388       path_destroy (p);
2389       p = path_new (0);
2390     }
2391     if (p->length > 0 && id == p->peers[p->length - 1])
2392     {
2393       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Optimizing 1 hop out.\n");
2394       GNUNET_PEER_change_rc (id, -1);
2395     }
2396     else
2397     {
2398       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Adding from PUT: %s.\n",
2399                   GNUNET_i2s (&put_path[i]));
2400       p->length++;
2401       p->peers = GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * p->length);
2402       p->peers[p->length - 1] = id;
2403     }
2404   }
2405 #if MESH_DEBUG
2406   if (get_path_length > 0)
2407     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   (first of GET: %s)\n",
2408                 GNUNET_i2s (&get_path[0]));
2409   if (put_path_length > 0)
2410     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   (first of PUT: %s)\n",
2411                 GNUNET_i2s (&put_path[0]));
2412   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   In total: %d hops\n",
2413               p->length);
2414   for (i = 0; i < p->length; i++)
2415   {
2416     struct GNUNET_PeerIdentity peer_id;
2417
2418     GNUNET_PEER_resolve (p->peers[i], &peer_id);
2419     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "       %u: %s\n", p->peers[i],
2420                 GNUNET_i2s (&peer_id));
2421   }
2422 #endif
2423   return p;
2424 }
2425
2426
2427 /**
2428  * Adds a path to the peer_infos of all the peers in the path
2429  *
2430  * @param p Path to process.
2431  * @param confirmed Whether we know if the path works or not.
2432  */
2433 static void
2434 path_add_to_peers (struct MeshPeerPath *p, int confirmed)
2435 {
2436   unsigned int i;
2437
2438   /* TODO: invert and add */
2439   for (i = 0; i < p->length && p->peers[i] != myid; i++) /* skip'em */ ;
2440   for (i++; i < p->length; i++)
2441   {
2442     struct MeshPeer *aux;
2443     struct MeshPeerPath *copy;
2444
2445     aux = peer_get_short (p->peers[i]);
2446     copy = path_duplicate (p);
2447     copy->length = i + 1;
2448     peer_add_path (aux, copy, p->length < 3 ? GNUNET_NO : confirmed);
2449   }
2450 }
2451
2452
2453 /**
2454  * Search for a channel among the channels for a client
2455  *
2456  * @param c the client whose channels to search in
2457  * @param chid the local id of the channel
2458  *
2459  * @return channel handler, NULL if doesn't exist
2460  */
2461 static struct MeshChannel *
2462 channel_get_by_local_id (struct MeshClient *c, MESH_ChannelNumber chid)
2463 {
2464   if (0 == (chid & GNUNET_MESH_LOCAL_CHANNEL_ID_CLI))
2465   {
2466     GNUNET_break_op (0);
2467     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "CHID %X not a local chid\n", chid);
2468     return NULL;
2469   }
2470   if (chid >= GNUNET_MESH_LOCAL_CHANNEL_ID_SERV)
2471     return GNUNET_CONTAINER_multihashmap32_get (c->incoming_channels, chid);
2472   return GNUNET_CONTAINER_multihashmap32_get (c->own_channels, chid);
2473 }
2474
2475
2476 /**
2477  * Search for a tunnel by global ID using PEER_ID
2478  *
2479  * @param pi owner of the tunnel
2480  * @param tid global tunnel number
2481  *
2482  * @return tunnel handler, NULL if doesn't exist
2483  */
2484 static struct MeshChannel *
2485 channel_get_by_pi (GNUNET_PEER_Id pi, MESH_ChannelNumber tid)
2486 {
2487 //   struct GNUNET_HashCode hash;
2488
2489 //   return GNUNET_CONTAINER_multihashmap_get (tunnels, &hash); FIXME
2490   return NULL;
2491 }
2492
2493
2494 /**
2495  * Search for a tunnel by global ID using full PeerIdentities
2496  *
2497  * @param oid owner of the tunnel
2498  * @param tid global tunnel number
2499  *
2500  * @return tunnel handler, NULL if doesn't exist
2501  */
2502 static struct MeshChannel *
2503 channel_get (const struct GNUNET_PeerIdentity *oid, MESH_ChannelNumber tid)
2504 {
2505   return channel_get_by_pi (GNUNET_PEER_search (oid), tid);
2506 }
2507
2508
2509 /**
2510  * Change the tunnel state.
2511  *
2512  * @param t Tunnel whose state to change.
2513  * @param state New state.
2514  */
2515 static void
2516 tunnel_change_state (struct MeshTunnel2* t, enum MeshTunnelState state)
2517 {
2518   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2519               "Tunnel %s state was %s\n",
2520               GNUNET_i2s (GNUNET_PEER_resolve2 (t->peer->id)),
2521               GNUNET_MESH_DEBUG_TS2S (t->state));
2522   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2523               "Tunnel %s state is now %s\n",
2524               GNUNET_i2s (GNUNET_PEER_resolve2 (t->peer->id)),
2525               GNUNET_MESH_DEBUG_TS2S (state));
2526   t->state = state;
2527 }
2528
2529
2530 static void
2531 connection_change_state (struct MeshConnection* c,
2532                          enum MeshConnectionState state)
2533 {
2534   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2535               "Connection %s[%X] state was %s\n",
2536               GNUNET_i2s (GNUNET_PEER_resolve2 (c->t->peer->id)), c->id,
2537               GNUNET_MESH_DEBUG_CS2S (c->state));
2538   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2539               "Connection %s[%X] state is now %s\n",
2540               GNUNET_i2s (GNUNET_PEER_resolve2 (c->t->peer->id)), c->id,
2541               GNUNET_MESH_DEBUG_CS2S (state));
2542   c->state = state;
2543 }
2544
2545
2546 /**
2547  * Add a client to a channel, initializing all needed data structures.
2548  * 
2549  * @param ch Channel to which add the client.
2550  * @param c Client which to add to the channel.
2551  */
2552 static void
2553 channel_add_client (struct MeshChannel *ch, struct MeshClient *c)
2554 {
2555   if (NULL != ch->client)
2556   {
2557     GNUNET_break(0);
2558     return;
2559   }
2560   if (GNUNET_OK !=
2561       GNUNET_CONTAINER_multihashmap32_put (c->incoming_channels,
2562                                            ch->id_dest, ch,
2563                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
2564   {
2565     GNUNET_break (0);
2566     return;
2567   }
2568   ch->client = c;
2569 }
2570
2571
2572 static struct MeshConnection *
2573 tunnel_use_path (struct MeshTunnel2 *t, struct MeshPeerPath *p)
2574 {
2575   struct MeshConnection *c;
2576   unsigned int own_pos;
2577
2578   c = GNUNET_new (struct MeshConnection);
2579   for (own_pos = 0; own_pos < p->length; own_pos++)
2580   {
2581     if (p->peers[own_pos] == myid)
2582       break;
2583   }
2584   if (own_pos > p->length - 1)
2585   {
2586     GNUNET_break (0);
2587     return NULL;
2588   }
2589   c->own_pos = own_pos;
2590   c->path = p;
2591   c->id = t->next_cid++;
2592   c->t = t;
2593   GNUNET_CONTAINER_DLL_insert_tail (t->connection_head, t->connection_tail, c);
2594
2595   if (0 == own_pos)
2596   {
2597     c->fwd_maintenance_task =
2598         GNUNET_SCHEDULER_add_delayed (refresh_connection_time,
2599                                       &connection_fwd_keepalive, c);
2600   }
2601   return c;
2602 }
2603
2604
2605 /**
2606  * Notifies a tunnel that a connection has broken that affects at least
2607  * some of its peers. Sends a notification towards the root of the tree.
2608  * In case the peer is the owner of the tree, notifies the client that owns
2609  * the tunnel and tries to reconnect.
2610  * 
2611  * FIXME FIXME FIXME FIXME FIXME FIXME FIXME FIXME FIXME FIXME FIXME FIXME 
2612  *
2613  * @param t Tunnel affected.
2614  * @param p1 Peer that got disconnected from p2.
2615  * @param p2 Peer that got disconnected from p1.
2616  *
2617  * @return Short ID of the peer disconnected (either p1 or p2).
2618  *         0 if the tunnel remained unaffected.
2619  */
2620 static GNUNET_PEER_Id
2621 tunnel_notify_connection_broken (struct MeshTunnel2* t,
2622                                  GNUNET_PEER_Id p1, GNUNET_PEER_Id p2)
2623 {
2624 //   if (myid != p1 && myid != p2) FIXME
2625 //   {
2626 //     return;
2627 //   }
2628 // 
2629 //   if (tree_get_predecessor (t->tree) != 0)
2630 //   {
2631 //     /* We are the peer still connected, notify owner of the disconnection. */
2632 //     struct GNUNET_MESH_PathBroken msg;
2633 //     struct GNUNET_PeerIdentity neighbor;
2634 // 
2635 //     msg.header.size = htons (sizeof (msg));
2636 //     msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN);
2637 //     GNUNET_PEER_resolve (t->id.oid, &msg.oid);
2638 //     msg.tid = htonl (t->id.tid);
2639 //     msg.peer1 = my_full_id;
2640 //     GNUNET_PEER_resolve (pid, &msg.peer2);
2641 //     GNUNET_PEER_resolve (tree_get_predecessor (t->tree), &neighbor);
2642 //     send_prebuilt_message (&msg.header, &neighbor, t);
2643 //   }
2644   return 0;
2645 }
2646
2647
2648 /**
2649  * Send an end-to-end FWD ACK message for the most recent in-sequence payload.
2650  * 
2651  * @param ch Channel this is about.
2652  * @param fwd Is for FWD traffic? (ACK dest->owner)
2653  */
2654 static void
2655 channel_send_data_ack (struct MeshChannel *ch, int fwd)
2656 {
2657   struct GNUNET_MESH_DataACK msg;
2658   struct MeshChannelReliability *rel;
2659   struct MeshReliableMessage *copy;
2660   uint64_t mask;
2661   unsigned int delta;
2662
2663   if (GNUNET_NO == ch->reliable)
2664   {
2665     GNUNET_break (0);
2666     return;
2667   }
2668   rel = fwd ? ch->bck_rel  : ch->fwd_rel;
2669   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2670               "send_data_ack for %u\n",
2671               rel->mid_recv - 1);
2672
2673   msg.header.type = htons (fwd ? GNUNET_MESSAGE_TYPE_MESH_UNICAST_ACK :
2674                                  GNUNET_MESSAGE_TYPE_MESH_TO_ORIG_ACK);
2675   msg.header.size = htons (sizeof (msg));
2676   msg.chid = htonl (ch->id);
2677   msg.mid = htonl (rel->mid_recv - 1);
2678   msg.futures = 0;
2679   for (copy = rel->head_recv; NULL != copy; copy = copy->next)
2680   {
2681     delta = copy->mid - rel->mid_recv;
2682     if (63 < delta)
2683       break;
2684     mask = 0x1LL << delta;
2685     msg.futures |= mask;
2686     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2687                 " setting bit for %u (delta %u) (%llX) -> %llX\n",
2688                 copy->mid, delta, mask, msg.futures);
2689   }
2690   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " final futures %llX\n", msg.futures);
2691
2692   send_prebuilt_message_channel (&msg.header, ch, fwd);
2693   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "send_data_ack END\n");
2694 }
2695
2696
2697 /**
2698  * Send an ACK informing the predecessor about the available buffer space.
2699  *
2700  * Note that although the name is fwd_ack, the FWD mean forward *traffic*,
2701  * the ACK itself goes "back" (towards root).
2702  *
2703  * @param c Connection on which to send the ACK.
2704  * @param fwd Is this FWD ACK? (Going dest->owner)
2705  */
2706 static void
2707 connection_send_ack (struct MeshConnection *c, int fwd)
2708 {
2709   struct MeshFlowControl *next_fc;
2710   struct MeshFlowControl *prev_fc;
2711   struct MeshPeer *next;
2712   struct MeshPeer *prev;
2713   uint32_t ack;
2714   int delta;
2715
2716   next    = fwd ? connection_get_next_hop (c) : connection_get_prev_hop (c);
2717   prev    = fwd ? connection_get_prev_hop (c) : connection_get_next_hop (c);
2718   next_fc = next->fc;
2719   prev_fc = prev->fc;
2720
2721   /* Check if we need to transmit the ACK */
2722   if (prev_fc->last_ack_sent - prev_fc->last_pid_recv > 3)
2723   {
2724     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending ACK, buffer > 3\n");
2725     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2726                 "  last pid recv: %u, last ack sent: %u\n",
2727                 prev_fc->last_pid_recv, prev_fc->last_ack_sent);
2728     return;
2729   }
2730
2731   /* Ok, ACK might be necessary, what PID to ACK? */
2732   delta = next_fc->queue_max - next_fc->queue_n;
2733   ack = prev_fc->last_pid_recv + delta;
2734   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " ACK %u\n", ack);
2735   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2736               " last pid %u, last ack %u, qmax %u, q %u\n",
2737               prev_fc->last_pid_recv, prev_fc->last_ack_sent,
2738               next_fc->queue_max, next_fc->queue_n);
2739   if (ack == prev_fc->last_ack_sent)
2740   {
2741     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending FWD ACK, not needed\n");
2742     return;
2743   }
2744
2745   prev_fc->last_ack_sent = ack;
2746   send_ack (prev, ack);
2747 }
2748
2749
2750 /**
2751  * Send an ACK informing the client about available buffer space.
2752  *
2753  * Note that although the name is fwd_ack, the FWD mean forward *traffic*,
2754  * the ACK itself goes "back" (towards root).
2755  * 
2756  * @param ch Channel on which to send the ACK, NULL if unknown.
2757  * @param fwd Is this FWD ACK? (Going dest->owner)
2758  */
2759 // static void
2760 // channel_send_ack (struct MeshChannel *ch, uint16_t type, int fwd)
2761 // {
2762 //   struct MeshChannelReliability *rel;
2763 //   struct MeshFlowControl *next_fc;
2764 //   struct MeshFlowControl *prev_fc;
2765 //   struct MeshClient *c;
2766 //   struct MeshClient *o;
2767 //   GNUNET_PEER_Id hop;
2768 //   uint32_t delta_mid;
2769 //   uint32_t ack;
2770 //   int delta;
2771 // 
2772 //   rel     = fwd ? ch->fwd_rel : ch->bck_rel;
2773 //   c       = fwd ? ch->client  : ch->owner;
2774 //   o       = fwd ? ch->owner   : ch->client;
2775 //   hop     = fwd ? connection_get_prev_hop (cn) : connection_get_next_hop (cn);
2776 //   next_fc = fwd ? &t->next_fc : &t->prev_fc;
2777 //   prev_fc = fwd ? &t->prev_fc : &t->next_fc;
2778 // 
2779 //   switch (type)
2780 //   {
2781 //     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
2782 //     case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
2783 //       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2784 //                   "ACK due to %s\n",
2785 //                   GNUNET_MESH_DEBUG_M2S (type));
2786 //       if (GNUNET_YES == t->nobuffer && (GNUNET_NO == t->reliable || NULL == c))
2787 //       {
2788 //         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending ACK, nobuffer\n");
2789 //         return;
2790 //       }
2791 //       if (GNUNET_YES == t->reliable && NULL != c)
2792 //         tunnel_send_data_ack (t, fwd);
2793 //       break;
2794 //     case GNUNET_MESSAGE_TYPE_MESH_UNICAST_ACK:
2795 //     case GNUNET_MESSAGE_TYPE_MESH_TO_ORIG_ACK:
2796 //     case GNUNET_MESSAGE_TYPE_MESH_ACK:
2797 //     case GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK:
2798 //       break;
2799 //     case GNUNET_MESSAGE_TYPE_MESH_POLL:
2800 //     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK:
2801 //       t->force_ack = GNUNET_YES;
2802 //       break;
2803 //     default:
2804 //       GNUNET_break (0);
2805 //   }
2806 // 
2807 //   /* Check if we need to transmit the ACK */
2808 //   if (NULL == o &&
2809 //       prev_fc->last_ack_sent - prev_fc->last_pid_recv > 3 &&
2810 //       GNUNET_NO == t->force_ack)
2811 //   {
2812 //     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending ACK, buffer free\n");
2813 //     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2814 //                 "  last pid recv: %u, last ack sent: %u\n",
2815 //                 prev_fc->last_pid_recv, prev_fc->last_ack_sent);
2816 //     return;
2817 //   }
2818 // 
2819 //   /* Ok, ACK might be necessary, what PID to ACK? */
2820 //   delta = t->queue_max - next_fc->queue_n;
2821 //   if (NULL != o && GNUNET_YES == t->reliable && NULL != rel->head_sent)
2822 //     delta_mid = rel->mid_sent - rel->head_sent->mid;
2823 //   else
2824 //     delta_mid = 0;
2825 //   if (0 > delta || (GNUNET_YES == t->reliable && 
2826 //                     NULL != o &&
2827 //                     (10 < rel->n_sent || 64 <= delta_mid)))
2828 //     delta = 0;
2829 //   if (NULL != o && delta > 1)
2830 //     delta = 1;
2831 //   ack = prev_fc->last_pid_recv + delta;
2832 //   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " ACK %u\n", ack);
2833 //   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2834 //               " last pid %u, last ack %u, qmax %u, q %u\n",
2835 //               prev_fc->last_pid_recv, prev_fc->last_ack_sent,
2836 //               t->queue_max, next_fc->queue_n);
2837 //   if (ack == prev_fc->last_ack_sent && GNUNET_NO == t->force_ack)
2838 //   {
2839 //     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending FWD ACK, not needed\n");
2840 //     return;
2841 //   }
2842 // 
2843 //   prev_fc->last_ack_sent = ack;
2844 //   if (NULL != o)
2845 //     send_local_ack (t, o, fwd);
2846 //   else if (0 != hop)
2847 //     send_ack (t, hop, ack);
2848 //   else
2849 //     GNUNET_break (GNUNET_YES == t->destroy);
2850 //   t->force_ack = GNUNET_NO;
2851 // }
2852
2853
2854 /**
2855  * Modify the mesh message TID from global to local and send to client.
2856  * 
2857  * @param ch Channel on which to send the message.
2858  * @param msg Message to modify and send.
2859  * @param c Client to send to.
2860  * @param tid Tunnel ID to use (c can be both owner and client).
2861  */
2862 static void
2863 channel_send_client_to_tid (struct MeshChannel *ch,
2864                              const struct GNUNET_MESH_Data *msg,
2865                              struct MeshClient *c, MESH_ChannelNumber id)
2866 {
2867   struct GNUNET_MESH_LocalData *copy;
2868   uint16_t size = ntohs (msg->header.size) - sizeof (struct GNUNET_MESH_Data);
2869   char cbuf[size + sizeof (struct GNUNET_MESH_LocalData)];
2870
2871   if (size < sizeof (struct GNUNET_MessageHeader))
2872   {
2873     GNUNET_break_op (0);
2874     return;
2875   }
2876   if (NULL == c)
2877   {
2878     GNUNET_break (0);
2879     return;
2880   }
2881   copy = (struct GNUNET_MESH_LocalData *) cbuf;
2882   memcpy (&copy[1], &msg[1], size);
2883   copy->header.size = htons (sizeof (struct GNUNET_MESH_LocalData) + size);
2884   copy->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_DATA);
2885   copy->id = htonl (id);
2886   GNUNET_SERVER_notification_context_unicast (nc, c->handle,
2887                                               &copy->header, GNUNET_NO);
2888 }
2889
2890 /**
2891  * Modify the data message ID from global to local and send to client.
2892  * 
2893  * @param ch Channel on which to send the message.
2894  * @param msg Message to modify and send.
2895  * @param fwd Forward?
2896  */
2897 static void
2898 channel_send_client_data (struct MeshChannel *ch,
2899                           const struct GNUNET_MESH_Data *msg,
2900                           int fwd)
2901 {
2902   if (fwd)
2903     channel_send_client_to_tid (ch, msg, ch->client, ch->id_dest);
2904   else
2905     channel_send_client_to_tid (ch, msg, ch->owner, ch->id);
2906 }
2907
2908
2909 /**
2910  * Send up to 64 buffered messages to the client for in order delivery.
2911  *
2912  * @param ch Channel on which to empty the message buffer.
2913  * @param c Client to send to.
2914  * @param rel Reliability structure to corresponding peer.
2915  *            If rel == bck_rel, this is FWD data.
2916  */
2917 static void
2918 channel_send_client_buffered_data (struct MeshChannel *ch,
2919                                    struct MeshClient *c,
2920                                    struct MeshChannelReliability *rel)
2921 {
2922   struct MeshReliableMessage *copy;
2923   struct MeshReliableMessage *next;
2924
2925   if (GNUNET_NO == ch->reliable)
2926   {
2927     GNUNET_break (0);
2928     return;
2929   }
2930
2931   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "send_buffered_data\n");
2932   for (copy = rel->head_recv; NULL != copy; copy = next)
2933   {
2934     next = copy->next;
2935     if (copy->mid == rel->mid_recv)
2936     {
2937       struct GNUNET_MESH_Data *msg = (struct GNUNET_MESH_Data *) &copy[1];
2938
2939       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2940                   " have %u! now expecting %u\n",
2941                   copy->mid, rel->mid_recv + 1);
2942       channel_send_client_data (ch, msg, (rel == ch->bck_rel));
2943       rel->mid_recv++;
2944       GNUNET_CONTAINER_DLL_remove (rel->head_recv, rel->tail_recv, copy);
2945       GNUNET_free (copy);
2946     }
2947     else
2948     {
2949       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2950                   " don't have %u, next is %u\n",
2951                   rel->mid_recv,
2952                   copy->mid);
2953       return;
2954     }
2955   }
2956   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "send_buffered_data END\n");
2957 }
2958
2959
2960 /**
2961  * We have received a message out of order, buffer it until we receive
2962  * the missing one and we can feed the rest to the client.
2963  *
2964  * @param msg Message to buffer.
2965  * @param rel Reliability data to the corresponding direction.
2966  */
2967 static void
2968 channel_rel_add_buffered_data (const struct GNUNET_MESH_Data *msg,
2969                                struct MeshChannelReliability *rel)
2970 {
2971   struct MeshReliableMessage *copy;
2972   struct MeshReliableMessage *prev;
2973   uint32_t mid;
2974   uint16_t size;
2975
2976   size = ntohs (msg->header.size);
2977   mid = ntohl (msg->mid);
2978   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "add_buffered_data %u\n", mid);
2979
2980   copy = GNUNET_malloc (sizeof (*copy) + size);
2981   copy->mid = mid;
2982   copy->rel = rel;
2983   memcpy (&copy[1], msg, size);
2984
2985   // FIXME do something better than O(n), although n < 64...
2986   // FIXME start from the end (most messages are the latest ones)
2987   for (prev = rel->head_recv; NULL != prev; prev = prev->next)
2988   {
2989     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " prev %u\n", prev->mid);
2990     if (GMC_is_pid_bigger (prev->mid, mid))
2991     {
2992       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " bingo!\n");
2993       GNUNET_CONTAINER_DLL_insert_before (rel->head_recv, rel->tail_recv,
2994                                           prev, copy);
2995       return;
2996     }
2997   }
2998   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " insert at tail!\n");
2999   GNUNET_CONTAINER_DLL_insert_tail (rel->head_recv, rel->tail_recv, copy);
3000   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "add_buffered_data END\n");
3001 }
3002
3003
3004 /**
3005  * Destroy a reliable message after it has been acknowledged, either by
3006  * direct mid ACK or bitfield. Updates the appropriate data structures and
3007  * timers and frees all memory.
3008  * 
3009  * @param copy Message that is no longer needed: remote peer got it.
3010  */
3011 static void
3012 rel_message_free (struct MeshReliableMessage *copy)
3013 {
3014   struct MeshChannelReliability *rel;
3015   struct GNUNET_TIME_Relative time;
3016
3017   rel = copy->rel;
3018   time = GNUNET_TIME_absolute_get_duration (copy->timestamp);
3019   rel->expected_delay.rel_value *= 7;
3020   rel->expected_delay.rel_value += time.rel_value;
3021   rel->expected_delay.rel_value /= 8;
3022   rel->n_sent--;
3023   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "!!! Freeing %u\n", copy->mid);
3024   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "    n_sent %u\n", rel->n_sent);
3025   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "!!!  took %s\n",
3026               GNUNET_STRINGS_relative_time_to_string (time, GNUNET_NO));
3027   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "!!!  new expected delay %s\n",
3028               GNUNET_STRINGS_relative_time_to_string (rel->expected_delay,
3029                                                       GNUNET_NO));
3030   rel->retry_timer = rel->expected_delay;
3031   GNUNET_CONTAINER_DLL_remove (rel->head_sent, rel->tail_sent, copy);
3032   GNUNET_free (copy);
3033 }
3034
3035
3036 /**
3037  * Destroy all reliable messages queued for a channel,
3038  * during a channel destruction.
3039  * Frees the reliability structure itself.
3040  *
3041  * @param rel Reliability data for a channel.
3042  */
3043 static void
3044 channel_rel_free_all (struct MeshChannelReliability *rel)
3045 {
3046   struct MeshReliableMessage *copy;
3047   struct MeshReliableMessage *next;
3048
3049   if (NULL == rel)
3050     return;
3051
3052   for (copy = rel->head_recv; NULL != copy; copy = next)
3053   {
3054     next = copy->next;
3055     GNUNET_CONTAINER_DLL_remove (rel->head_recv, rel->tail_recv, copy);
3056     GNUNET_free (copy);
3057   }
3058   for (copy = rel->head_sent; NULL != copy; copy = next)
3059   {
3060     next = copy->next;
3061     GNUNET_CONTAINER_DLL_remove (rel->head_sent, rel->tail_sent, copy);
3062     GNUNET_free (copy);
3063   }
3064   if (GNUNET_SCHEDULER_NO_TASK != rel->retry_task)
3065     GNUNET_SCHEDULER_cancel (rel->retry_task);
3066   GNUNET_free (rel);
3067 }
3068
3069
3070 /**
3071  * Mark future messages as ACK'd.
3072  *
3073  * @param rel Reliability data.
3074  * @param msg DataACK message with a bitfield of future ACK'd messages.
3075  */
3076 static void
3077 channel_rel_free_sent (struct MeshChannelReliability *rel,
3078                        const struct GNUNET_MESH_DataACK *msg)
3079 {
3080   struct MeshReliableMessage *copy;
3081   struct MeshReliableMessage *next;
3082   uint64_t bitfield;
3083   uint64_t mask;
3084   uint32_t mid;
3085   uint32_t target;
3086   unsigned int i;
3087
3088   bitfield = msg->futures;
3089   mid = ntohl (msg->mid);
3090   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3091               "free_sent_reliable %u %llX\n",
3092               mid, bitfield);
3093   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3094               " rel %p, head %p\n",
3095               rel, rel->head_sent);
3096   for (i = 0, copy = rel->head_sent;
3097        i < 64 && NULL != copy && 0 != bitfield;
3098        i++)
3099   {
3100     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3101                 " trying bit %u (mid %u)\n",
3102                 i, mid + i + 1);
3103     mask = 0x1LL << i;
3104     if (0 == (bitfield & mask))
3105      continue;
3106
3107     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " set!\n");
3108     /* Bit was set, clear the bit from the bitfield */
3109     bitfield &= ~mask;
3110
3111     /* The i-th bit was set. Do we have that copy? */
3112     /* Skip copies with mid < target */
3113     target = mid + i + 1;
3114     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " target %u\n", target);
3115     while (NULL != copy && GMC_is_pid_bigger (target, copy->mid))
3116      copy = copy->next;
3117
3118     /* Did we run out of copies? (previously freed, it's ok) */
3119     if (NULL == copy)
3120     {
3121      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "run out of copies...\n");
3122      return;
3123     }
3124
3125     /* Did we overshoot the target? (previously freed, it's ok) */
3126     if (GMC_is_pid_bigger (copy->mid, target))
3127     {
3128      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " next copy %u\n", copy->mid);
3129      continue;
3130     }
3131
3132     /* Now copy->mid == target, free it */
3133     next = copy->next;
3134     rel_message_free (copy);
3135     copy = next;
3136   }
3137   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "free_sent_reliable END\n");
3138 }
3139
3140
3141 /**
3142  * We haven't received an ACK after a certain time: restransmit the message.
3143  *
3144  * @param cls Closure (MeshReliableMessage with the message to restransmit)
3145  * @param tc TaskContext.
3146  */
3147 static void
3148 channel_retransmit_message (void *cls,
3149                             const struct GNUNET_SCHEDULER_TaskContext *tc)
3150 {
3151   struct MeshChannelReliability *rel = cls;
3152   struct MeshReliableMessage *copy;
3153   struct MeshPeerQueue *q;
3154   struct MeshPeer *pi;
3155   struct MeshChannel *ch;
3156   struct MeshConnection *c;
3157   struct GNUNET_MESH_Data *payload;
3158   int fwd;
3159
3160   rel->retry_task = GNUNET_SCHEDULER_NO_TASK;
3161   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
3162     return;
3163
3164   ch = rel->ch;
3165   copy = rel->head_sent;
3166   if (NULL == copy)
3167   {
3168     GNUNET_break (0);
3169     return;
3170   }
3171
3172   /* Search the message to be retransmitted in the outgoing queue.
3173    * Check only the queue for the connection that is going to be used,
3174    * if the message is stuck in some other connection's queue we shouldn't
3175    * act upon it:
3176    * - cancelling it and sending the new one doesn't guarantee it's delivery,
3177    *   the old connection could be temporary stalled or the queue happened to
3178    *   be long at time of insertion.
3179    * - not sending the new one could cause terrible delays the old connection
3180    *   is stalled.
3181    */
3182   payload = (struct GNUNET_MESH_Data *) &copy[1];
3183   fwd = (rel == ch->fwd_rel);
3184   c = tunnel_get_connection(ch->t, fwd);
3185   pi = connection_get_next_hop (c);
3186   for (q = pi->fc->queue_head; NULL != q; q = q->next)
3187   {
3188     if (ntohs (payload->header.type) == q->type && ch == q->ch)
3189     {
3190       struct GNUNET_MESH_Data *queued_data = q->cls;
3191
3192       if (queued_data->mid == payload->mid)
3193         break;
3194     }
3195   }
3196
3197   /* Message not found in the queue that we are going to use. */
3198   if (NULL == q)
3199   {
3200     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "!!! RETRANSMIT %u\n", copy->mid);
3201
3202     send_prebuilt_message_channel (&payload->header, ch, ch->fwd_rel == rel);
3203     GNUNET_STATISTICS_update (stats, "# data retransmitted", 1, GNUNET_NO);
3204   }
3205   else
3206   {
3207     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "!!! ALREADY IN QUEUE %u\n", copy->mid);
3208   }
3209
3210   rel->retry_timer = GNUNET_TIME_STD_BACKOFF (rel->retry_timer);
3211   rel->retry_task = GNUNET_SCHEDULER_add_delayed (rel->retry_timer,
3212                                                   &channel_retransmit_message,
3213                                                   cls);
3214 }
3215
3216
3217 /**
3218  * Send keepalive packets for a connection.
3219  *
3220  * @param c Connection to keep alive..
3221  * @param fwd Is this a FWD keepalive? (owner -> dest).
3222  */
3223 static void
3224 connection_keepalive (struct MeshConnection *c, int fwd)
3225 {
3226   struct GNUNET_MESH_ConnectionKeepAlive *msg;
3227   size_t size = sizeof (struct GNUNET_MESH_ConnectionKeepAlive);
3228   char cbuf[size];
3229   uint16_t type;
3230
3231   type = fwd ? GNUNET_MESSAGE_TYPE_MESH_FWD_KEEPALIVE :
3232                GNUNET_MESSAGE_TYPE_MESH_BCK_KEEPALIVE;
3233
3234   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3235               "sending %s keepalive for connection %s[%d]\n",
3236               fwd ? "FWD" : "BCK",
3237               GNUNET_i2s (GNUNET_PEER_resolve2 (c->t->peer->id)),
3238               c->id);
3239
3240   msg = (struct GNUNET_MESH_ConnectionKeepAlive *) cbuf;
3241   msg->header.size = htons (size);
3242   msg->header.type = htons (type);
3243   msg->cid = htonl (c->id);
3244   msg->tid = c->t->id;
3245
3246   send_prebuilt_message_connection (&msg->header, c, NULL, fwd);
3247 }
3248
3249
3250 /**
3251  * Send CONNECTION_{CREATE/ACK} packets for a connection.
3252  *
3253  * @param c Connection for which to send the message.
3254  * @param fwd If GNUNET_YES, send CREATE, otherwise send ACK.
3255  */
3256 static void
3257 connection_recreate (struct MeshConnection *c, int fwd)
3258 {
3259   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "sending connection recreate\n");
3260   if (fwd)
3261     send_connection_create (c);
3262   else
3263     send_connection_ack (c);
3264 }
3265
3266
3267 /**
3268  * Generic connection timer management.
3269  * Depending on the role of the peer in the connection will send the
3270  * appropriate message (build or keepalive)
3271  *
3272  * @param c Conncetion to maintain.
3273  * @param fwd Is FWD?
3274  */
3275 static void
3276 connection_maintain (struct MeshConnection *c, int fwd)
3277 {
3278   if (MESH_TUNNEL_SEARCHING == c->t->state)
3279   {
3280     /* TODO DHT GET with RO_BART */
3281     return;
3282   }
3283   switch (c->state)
3284   {
3285     case MESH_CONNECTION_NEW:
3286       GNUNET_break (0);
3287     case MESH_CONNECTION_SENT:
3288       connection_recreate (c, fwd);
3289       break;
3290     case MESH_CONNECTION_READY:
3291       connection_keepalive (c, fwd);
3292       break;
3293     default:
3294       break;
3295   }
3296 }
3297
3298
3299 static void
3300 connection_fwd_keepalive (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
3301 {
3302   struct MeshConnection *c = cls;
3303
3304   c->fwd_maintenance_task = GNUNET_SCHEDULER_NO_TASK;
3305   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
3306     return;
3307
3308   connection_keepalive (c, GNUNET_YES);
3309   c->fwd_maintenance_task = GNUNET_SCHEDULER_add_delayed (refresh_connection_time,
3310                                                           &connection_fwd_keepalive,
3311                                                           c);
3312 }
3313
3314
3315 static void
3316 connection_bck_keepalive (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
3317 {
3318   struct MeshConnection *c = cls;
3319
3320   c->bck_maintenance_task = GNUNET_SCHEDULER_NO_TASK;
3321   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
3322     return;
3323
3324   connection_keepalive (c, GNUNET_NO);
3325   c->bck_maintenance_task = GNUNET_SCHEDULER_add_delayed (refresh_connection_time,
3326                                                           &connection_bck_keepalive,
3327                                                           c);
3328 }
3329
3330
3331 /**
3332  * Send a message to all peers in this connection that the connection
3333  * is no longer valid.
3334  *
3335  * If some peer should not receive the message, it should be zero'ed out
3336  * before calling this function.
3337  *
3338  * @param c The connection whose peers to notify.
3339  */
3340 static void
3341 connection_send_destroy (struct MeshConnection *c)
3342 {
3343   struct GNUNET_MESH_ConnectionDestroy msg;
3344
3345   msg.header.size = htons (sizeof (msg));
3346   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY);;
3347   msg.cid = htonl (c->id);
3348   msg.tid = c->t->id;
3349   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3350               "  sending tunnel destroy for connection %s[%X]\n",
3351               GNUNET_i2s (GNUNET_PEER_resolve2 (c->t->peer->id)),
3352               c->id);
3353
3354   send_prebuilt_message_connection (&msg.header, c, NULL, GNUNET_YES);
3355   send_prebuilt_message_connection (&msg.header, c, NULL, GNUNET_NO);
3356 }
3357
3358
3359 /**
3360  * Send a message to all clients (local and remote) of this channel
3361  * notifying that the channel is no longer valid.
3362  *
3363  * If some peer or client should not receive the message,
3364  * should be zero'ed out before calling this function.
3365  *
3366  * @param ch The channel whose clients to notify.
3367  */
3368 static void
3369 channel_send_destroy (struct MeshChannel *ch)
3370 {
3371   struct GNUNET_MESH_ChannelDestroy msg;
3372
3373   msg.header.size = htons (sizeof (msg));
3374   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_CHANNEL_DESTROY);
3375   msg.chid = htonl (ch->id);
3376   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3377               "  sending tunnel destroy for channel %s:%X\n",
3378               GNUNET_i2s (GNUNET_PEER_resolve2 (ch->t->peer->id)),
3379               ch->id);
3380
3381   if (NULL != ch->owner)
3382     send_local_channel_destroy (ch, GNUNET_NO);
3383   else
3384     send_prebuilt_message_channel (&msg.header, ch, GNUNET_NO);
3385
3386   if (NULL != ch->client)
3387     send_local_channel_destroy (ch, GNUNET_YES);
3388   else
3389     send_prebuilt_message_channel (&msg.header, ch, GNUNET_YES);
3390 }
3391
3392
3393 /**
3394  * Create a tunnel.
3395  *
3396  * @param tid Tunnel ID.
3397  */
3398 static struct MeshTunnel2 *
3399 tunnel_new (struct GNUNET_HashCode *tid)
3400 {
3401   struct MeshTunnel2 *t;
3402
3403   t = GNUNET_new (struct MeshTunnel2);
3404   t->id = *tid;
3405   t->next_chid = GNUNET_MESH_LOCAL_CHANNEL_ID_SERV;
3406   if (GNUNET_OK !=
3407       GNUNET_CONTAINER_multihashmap_put (tunnels, tid, t,
3408                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
3409   {
3410     GNUNET_break (0);
3411     tunnel_destroy (t);
3412     return NULL;
3413   }
3414
3415   return t;
3416 }
3417
3418
3419 /**
3420  * Find a tunnel.
3421  *
3422  * @param tid Tunnel ID.
3423  */
3424 static struct MeshTunnel2 *
3425 tunnel_get (struct GNUNET_HashCode *tid)
3426 {
3427   return GNUNET_CONTAINER_multihashmap_get (tunnels, tid);
3428 }
3429
3430
3431 /**
3432  * Add a connection to a tunnel.
3433  *
3434  * @param t Tunnel.
3435  * @param c Connection.
3436  */
3437 static void
3438 tunnel_add_connection (struct MeshTunnel2 *t, struct MeshConnection *c)
3439 {
3440   c->t = t;
3441   GNUNET_CONTAINER_DLL_insert_tail (t->connection_head, t->connection_tail, c);
3442 }
3443
3444
3445 /**
3446  * Create a connection.
3447  *
3448  * @param tid Tunnel ID.
3449  * @param cid Connection ID.
3450  */
3451 static struct MeshConnection *
3452 connection_new (struct GNUNET_HashCode *tid, uint32_t cid)
3453 {
3454   struct MeshConnection *c;
3455   struct MeshTunnel2 *t;
3456
3457   t = tunnel_get (tid);
3458   if (NULL == t)
3459   {
3460     t = tunnel_new (tid);
3461     if (NULL == t)
3462     {
3463       GNUNET_break (0);
3464       return NULL;
3465     }
3466   }
3467
3468   c = GNUNET_new (struct MeshConnection);
3469   c->id = cid;
3470   tunnel_add_connection (t, c);
3471
3472   return c;
3473 }
3474
3475
3476 /**
3477  * Find a connection.
3478  *
3479  * @param tid Tunnel ID.
3480  * @param cid Connection ID.
3481  */
3482 static struct MeshConnection *
3483 connection_get (struct GNUNET_HashCode *tid, uint32_t cid)
3484 {
3485   struct MeshConnection *c;
3486   struct MeshTunnel2 *t;
3487
3488   t = tunnel_get (tid);
3489   for (c = t->connection_head; NULL != c; c = c->next)
3490     if (c->id == cid)
3491       return c;
3492
3493   return NULL;
3494 }
3495
3496
3497 /**
3498  * Connection is no longer needed: destroy it and remove from tunnel.
3499  *
3500  * @param c Connection to destroy.
3501  */
3502 static void
3503 connection_destroy (struct MeshConnection *c)
3504 {
3505   struct MeshPeer *peer;
3506
3507   if (NULL == c)
3508     return;
3509
3510   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "destroying connection %s[%X]\n",
3511               GNUNET_i2s (GNUNET_PEER_resolve2 (c->t->peer->id)),
3512               c->id);
3513
3514   peer = connection_get_next_hop (c);
3515   if (NULL != peer)
3516     peer_cancel_queues (peer, c);
3517   peer = connection_get_prev_hop (c);
3518   if (NULL != peer)
3519     peer_cancel_queues (peer, c);
3520
3521   if (GNUNET_SCHEDULER_NO_TASK != c->fwd_maintenance_task)
3522     GNUNET_SCHEDULER_cancel (c->fwd_maintenance_task);
3523   if (GNUNET_SCHEDULER_NO_TASK != c->bck_maintenance_task)
3524     GNUNET_SCHEDULER_cancel (c->bck_maintenance_task);
3525
3526   GNUNET_CONTAINER_DLL_remove (c->t->connection_head, c->t->connection_tail, c);
3527
3528   GNUNET_STATISTICS_update (stats, "# connections", -1, GNUNET_NO);
3529   GNUNET_free (c);
3530 }
3531
3532
3533 static void
3534 tunnel_destroy (struct MeshTunnel2 *t)
3535 {
3536   struct MeshConnection *c;
3537   struct MeshConnection *next;
3538
3539   if (NULL == t)
3540     return;
3541
3542   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "destroying tunnel %s\n",
3543               GNUNET_i2s (GNUNET_PEER_resolve2 (c->t->peer->id)));
3544
3545   if (GNUNET_YES != GNUNET_CONTAINER_multihashmap_remove (tunnels, &t->id, t))
3546     GNUNET_break (0);
3547
3548   for (c = t->connection_head; NULL != c; c = next)
3549   {
3550     next = c->next;
3551     connection_destroy (c);
3552   }
3553
3554   GNUNET_STATISTICS_update (stats, "# tunnels", -1, GNUNET_NO);
3555
3556   GNUNET_free (t);
3557 }
3558
3559
3560 /**
3561  * Tunnel is empty: destroy it.
3562  *
3563  * Notifies all connections about the destruction.
3564  *
3565  * @param t Tunnel to destroy. 
3566  */
3567 static void
3568 tunnel_destroy_empty (struct MeshTunnel2 *t)
3569 {
3570   struct MeshConnection *c;
3571
3572   for (c = t->connection_head; NULL != c; c = c->next)
3573   {
3574     if (GNUNET_NO == c->destroy)
3575       connection_send_destroy (c);
3576   }
3577
3578   if (0 == t->pending_messages)
3579     tunnel_destroy (t);
3580   else
3581     t->destroy = GNUNET_YES;
3582 }
3583
3584
3585 /**
3586  * Destroy tunnel if empty (no more channels).
3587  *
3588  * @param t Tunnel to destroy if empty.
3589  */
3590 static void
3591 tunnel_destroy_if_empty (struct MeshTunnel2 *t)
3592 {
3593   if (NULL != t->channel_head)
3594     return;
3595
3596   tunnel_destroy_empty (t);
3597 }
3598
3599
3600 /**
3601  * Initialize a Flow Control structure to the initial state.
3602  * 
3603  * @param fc Flow Control structure to initialize.
3604  */
3605 static void
3606 fc_init (struct MeshFlowControl *fc)
3607 {
3608   fc->last_pid_sent = (uint32_t) -1; /* Next (expected) = 0 */
3609   fc->last_pid_recv = (uint32_t) -1;
3610   fc->last_ack_sent = (uint32_t) -1; /* No traffic allowed yet */
3611   fc->last_ack_recv = (uint32_t) -1;
3612   fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
3613   fc->poll_time = GNUNET_TIME_UNIT_SECONDS;
3614   fc->queue_n = 0;
3615 }
3616
3617
3618 /**
3619  * Destroy a channel and free all resources.
3620  * 
3621  * @param ch Channel to destroy.
3622  */
3623 static void
3624 channel_destroy (struct MeshChannel *ch)
3625 {
3626   struct MeshClient *c;
3627
3628   if (NULL == ch)
3629     return;
3630
3631   c = ch->owner;
3632   if (NULL != c)
3633   {
3634     if (GNUNET_YES != GNUNET_CONTAINER_multihashmap32_remove (c->own_channels,
3635                                                               c->id, ch))
3636     {
3637       GNUNET_break (0);
3638     }
3639   }
3640
3641   c = ch->client;
3642   if (NULL != c)
3643   {
3644     if (GNUNET_YES !=
3645         GNUNET_CONTAINER_multihashmap32_remove (c->incoming_channels,
3646                                                 ch->id_dest, ch))
3647     {
3648       GNUNET_break (0);
3649     }
3650   }
3651
3652   if (GNUNET_YES == ch->reliable)
3653   {
3654     channel_rel_free_all (ch->fwd_rel);
3655     channel_rel_free_all (ch->bck_rel);
3656   }
3657
3658   GNUNET_CONTAINER_DLL_remove (ch->t->channel_head, ch->t->channel_tail, ch);
3659   GNUNET_STATISTICS_update (stats, "# channels", -1, GNUNET_NO);
3660
3661   GNUNET_free (ch);
3662 }
3663
3664 /**
3665  * Create a new channel.
3666  * 
3667  * @param owner Clients that owns the channel, NULL for foreign channels.
3668  * @param id Channel Number for the channel, for the owner point of view.
3669  * 
3670  * @return A new initialized channel. NULL on error.
3671  */
3672 static struct MeshChannel *
3673 channel_new (struct MeshClient *owner,
3674              MESH_ChannelNumber id)
3675 {
3676   struct MeshChannel *ch;
3677
3678   if (NULL == owner)
3679     return NULL;
3680
3681   ch = GNUNET_new (struct MeshChannel);
3682   ch->owner = owner;
3683   ch->id = id;
3684
3685   GNUNET_STATISTICS_update (stats, "# channels", 1, GNUNET_NO);
3686
3687   if (GNUNET_OK !=
3688       GNUNET_CONTAINER_multihashmap32_put (owner->own_channels, id, ch,
3689                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
3690   {
3691     GNUNET_break (0);
3692     channel_destroy (ch);
3693     GNUNET_SERVER_receive_done (owner->handle, GNUNET_SYSERR);
3694     return NULL;
3695   }
3696
3697   return ch;
3698 }
3699
3700
3701 /**
3702  * Set options in a channel, extracted from a bit flag field
3703  * 
3704  * @param ch Channel to set options to.
3705  * @param options Bit array in host byte order.
3706  */
3707 static void
3708 channel_set_options (struct MeshChannel *ch, uint32_t options)
3709 {
3710   ch->nobuffer = (options & GNUNET_MESH_OPTION_NOBUFFER) != 0 ?
3711                  GNUNET_YES : GNUNET_NO;
3712   ch->reliable = (options & GNUNET_MESH_OPTION_RELIABLE) != 0 ?
3713                  GNUNET_YES : GNUNET_NO;
3714 }
3715
3716
3717 /**
3718  * Iterator for deleting each channel whose client endpoint disconnected.
3719  *
3720  * @param cls Closure (client that has disconnected).
3721  * @param key The local channel id (used to access the hashmap).
3722  * @param value The value stored at the key (channel to destroy).
3723  *
3724  * @return GNUNET_OK, keep iterating.
3725  */
3726 static int
3727 channel_destroy_iterator (void *cls,
3728                           uint32_t key,
3729                           void *value)
3730 {
3731   struct MeshChannel *ch = value;
3732   struct MeshClient *c = cls;
3733   struct MeshTunnel2 *t;
3734
3735   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3736               " Channel %X / %X destroy, due to client %u shutdown.\n",
3737               ch->id, ch->id_dest, c->id);
3738
3739   if (c == ch->client)
3740   {
3741     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " Client %u is destination.\n", c->id);
3742     ch->client = NULL;
3743   }
3744   if (c == ch->owner)
3745   {
3746     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " Client %u is owner.\n", c->id);
3747     ch->owner = NULL;
3748   }
3749
3750   t = ch->t;
3751   channel_send_destroy (ch);
3752   channel_destroy (ch);
3753   tunnel_destroy_if_empty (t);
3754
3755   return GNUNET_OK;
3756 }
3757
3758
3759 /**
3760  * Remove client's ports from the global hashmap on disconnect.
3761  *
3762  * @param cls Closure (unused).
3763  * @param key Port.
3764  * @param value Client structure.
3765  *
3766  * @return GNUNET_OK, keep iterating.
3767  */
3768 static int
3769 client_release_ports (void *cls,
3770                       uint32_t key,
3771                       void *value)
3772 {
3773   int res;
3774
3775   res = GNUNET_CONTAINER_multihashmap32_remove (ports, key, value);
3776   if (GNUNET_YES != res)
3777   {
3778     GNUNET_break (0);
3779     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
3780                 "Port %u by client %p was not registered.\n",
3781                 key, value);
3782   }
3783   return GNUNET_OK;
3784 }
3785
3786
3787 /**
3788  * Timeout function due to lack of keepalive/traffic from the owner.
3789  * Destroys connection if called.
3790  *
3791  * @param cls Closure (connection to destroy).
3792  * @param tc TaskContext.
3793  */
3794 static void
3795 connection_fwd_timeout (void *cls,
3796                         const struct GNUNET_SCHEDULER_TaskContext *tc)
3797 {
3798   struct MeshConnection *c = cls;
3799
3800   c->fwd_maintenance_task = GNUNET_SCHEDULER_NO_TASK;
3801   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
3802     return;
3803   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3804               "Connection %s[%X] FWD timed out. Destroying.\n",
3805               GNUNET_i2s(GNUNET_PEER_resolve2 (c->t->peer->id)),
3806               c->id);
3807
3808   if (NULL != c->t->channel_head) /* If local, leave TODO review */
3809     return;
3810
3811   connection_destroy (c);
3812 }
3813
3814
3815 /**
3816  * Timeout function due to lack of keepalive/traffic from the destination.
3817  * Destroys connection if called.
3818  *
3819  * @param cls Closure (connection to destroy).
3820  * @param tc TaskContext
3821  */
3822 static void
3823 connection_bck_timeout (void *cls,
3824                         const struct GNUNET_SCHEDULER_TaskContext *tc)
3825 {
3826   struct MeshConnection *c = cls;
3827
3828   c->bck_maintenance_task = GNUNET_SCHEDULER_NO_TASK;
3829   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
3830     return;
3831
3832   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3833               "Connection %s[%X] FWD timed out. Destroying.\n",
3834               GNUNET_i2s(GNUNET_PEER_resolve2 (c->t->peer->id)),
3835               c->id);
3836
3837   if (NULL != c->t->channel_head) /* If local, leave TODO review */
3838     return;
3839
3840   connection_destroy (c);
3841 }
3842
3843
3844 /**
3845  * Resets the connection timeout task, some other message has done the
3846  * task's job.
3847  * - For the first peer on the direction this means to send
3848  *   a keepalive or a path confirmation message (either create or ACK).
3849  * - For all other peers, this means to destroy the connection,
3850  *   due to lack of activity.
3851  * Starts the tiemout if no timeout was running (connection just created).
3852  *
3853  * @param c Connection whose timeout to reset.
3854  * @param fwd Is this forward?
3855  *
3856  * TODO use heap to improve efficiency of scheduler.
3857  */
3858 static void
3859 connection_reset_timeout (struct MeshConnection *c, int fwd)
3860 {
3861   GNUNET_SCHEDULER_TaskIdentifier *ti;
3862   GNUNET_SCHEDULER_Task f;
3863
3864   ti = fwd ? &c->fwd_maintenance_task : &c->bck_maintenance_task;
3865
3866   if (GNUNET_SCHEDULER_NO_TASK != *ti)
3867     GNUNET_SCHEDULER_cancel (*ti);
3868
3869   if (NULL != c->t->channel_head) /* Endpoint */
3870   {
3871     f  = fwd ? &connection_fwd_keepalive : &connection_bck_keepalive;
3872     *ti = GNUNET_SCHEDULER_add_delayed (refresh_connection_time, f, c);
3873   }
3874   else /* Relay */
3875   {
3876     struct GNUNET_TIME_Relative delay;
3877
3878     delay = GNUNET_TIME_relative_multiply (refresh_connection_time, 4);
3879     f  = fwd ? &connection_fwd_timeout : &connection_bck_timeout;
3880     *ti = GNUNET_SCHEDULER_add_delayed (delay, f, c);
3881   }
3882 }
3883
3884
3885 /******************************************************************************/
3886 /****************      MESH NETWORK HANDLER HELPERS     ***********************/
3887 /******************************************************************************/
3888
3889 /**
3890  * Free a transmission that was already queued with all resources
3891  * associated to the request.
3892  *
3893  * @param queue Queue handler to cancel.
3894  * @param clear_cls Is it necessary to free associated cls?
3895  */
3896 static void
3897 queue_destroy (struct MeshPeerQueue *queue, int clear_cls)
3898 {
3899   struct MeshFlowControl *fc;
3900
3901   fc = queue->peer->fc;
3902   if (GNUNET_YES == clear_cls)
3903   {
3904     switch (queue->type)
3905     {
3906       case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_DESTROY:
3907         GNUNET_log (GNUNET_ERROR_TYPE_INFO, "destroying CONNECTION_DESTROY\n");
3908         GNUNET_break (GNUNET_YES == queue->c->destroy);
3909         /* fall through */
3910       case GNUNET_MESSAGE_TYPE_MESH_FWD:
3911       case GNUNET_MESSAGE_TYPE_MESH_BCK:
3912       case GNUNET_MESSAGE_TYPE_MESH_ACK:
3913       case GNUNET_MESSAGE_TYPE_MESH_POLL:
3914       case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK:
3915         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   prebuilt message\n");
3916         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   type %s\n",
3917                     GNUNET_MESH_DEBUG_M2S (queue->type));
3918         break;
3919
3920       case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE:
3921         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   type create path\n");
3922         break;
3923
3924       default:
3925         GNUNET_break (0);
3926         GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "   type %s unknown!\n",
3927                     GNUNET_MESH_DEBUG_M2S (queue->type));
3928     }
3929     GNUNET_free_non_null (queue->cls);
3930   }
3931   GNUNET_CONTAINER_DLL_remove (fc->queue_head, fc->queue_tail, queue);
3932
3933   fc->queue_n--;
3934
3935   GNUNET_free (queue);
3936 }
3937
3938 static size_t
3939 queue_send (void *cls, size_t size, void *buf)
3940 {
3941   struct MeshPeer *peer = cls;
3942   const struct GNUNET_PeerIdentity *dst_id;
3943   struct GNUNET_MessageHeader *msg;
3944   struct MeshPeerQueue *queue;
3945   struct MeshTunnel2 *t;
3946   struct MeshFlowControl *fc;
3947   struct MeshConnection *c;
3948   size_t data_size;
3949   uint32_t pid;
3950   uint16_t type;
3951   int fwd;
3952
3953   fc = peer->fc;
3954   if (NULL == fc)
3955   {
3956     GNUNET_break (0);
3957     return 0;
3958   }
3959   fc->core_transmit = NULL;
3960
3961   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "* Queue send\n");
3962
3963   if (NULL == buf || 0 == size)
3964   {
3965     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "* Buffer size 0.\n");
3966     return 0;
3967   }
3968   queue = fc->queue_head;
3969
3970   /* Queue has no traffic */
3971   if (NULL == queue)
3972   {
3973     GNUNET_break (0); /* Core tmt_rdy should've been canceled */
3974     return 0;
3975   }
3976
3977   dst_id = GNUNET_PEER_resolve2 (peer->id);
3978   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   towards %s\n", GNUNET_i2s (dst_id));
3979   /* Check if buffer size is enough for the message */
3980   if (queue->size > size)
3981   {
3982       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   not enough room, reissue\n");
3983       fc->core_transmit =
3984           GNUNET_CORE_notify_transmit_ready (core_handle,
3985                                              GNUNET_NO,
3986                                              0,
3987                                              GNUNET_TIME_UNIT_FOREVER_REL,
3988                                              dst_id,
3989                                              queue->size,
3990                                              &queue_send,
3991                                              peer);
3992       return 0;
3993   }
3994   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   size ok\n");
3995
3996   c = queue->c;
3997   t = (NULL != c) ? c->t : NULL;
3998   type = 0;
3999
4000   /* Fill buf */
4001   switch (queue->type)
4002   {
4003     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_DESTROY:
4004     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_BROKEN:
4005     case GNUNET_MESSAGE_TYPE_MESH_FWD:
4006     case GNUNET_MESSAGE_TYPE_MESH_BCK:
4007     case GNUNET_MESSAGE_TYPE_MESH_ACK:
4008     case GNUNET_MESSAGE_TYPE_MESH_POLL:
4009       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4010                   "*   raw: %s\n",
4011                   GNUNET_MESH_DEBUG_M2S (queue->type));
4012       /* Fall through */
4013     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
4014     case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
4015       data_size = send_core_data_raw (queue->cls, size, buf);
4016       msg = (struct GNUNET_MessageHeader *) buf;
4017       type = ntohs (msg->type);
4018       break;
4019     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE:
4020       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   path create\n");
4021       if (NULL != c->t->channel_head)
4022         data_size = send_core_connection_create (queue->cls, size, buf);
4023       else
4024         data_size = send_core_data_raw (queue->cls, size, buf);
4025       break;
4026     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK:
4027       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   path ack\n");
4028       if (NULL != c->t->channel_head)
4029         data_size = send_core_connection_ack (queue->cls, size, buf);
4030       else
4031         data_size = send_core_data_raw (queue->cls, size, buf);
4032       break;
4033     default:
4034       GNUNET_break (0);
4035       GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "*   type unknown: %u\n",
4036                   queue->type);
4037       data_size = 0;
4038   }
4039
4040   fc->queue_n--;
4041
4042   if (0 < drop_percent &&
4043       GNUNET_CRYPTO_random_u32(GNUNET_CRYPTO_QUALITY_WEAK, 101) < drop_percent)
4044   {
4045     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
4046                 "Dropping message of type %s\n",
4047                 GNUNET_MESH_DEBUG_M2S (queue->type));
4048     data_size = 0;
4049   }
4050   /* Free queue, but cls was freed by send_core_* */
4051   queue_destroy (queue, GNUNET_NO);
4052
4053   /* Send ACK if needed, after accounting for sent ID in fc->queue_n */
4054   fwd = GNUNET_NO;
4055   switch (type)
4056   {
4057     case GNUNET_MESSAGE_TYPE_MESH_FWD:
4058       fwd = GNUNET_YES;
4059       /* fall through */
4060     case GNUNET_MESSAGE_TYPE_MESH_BCK:
4061       pid = ntohl ( ((struct GNUNET_MESH_Encrypted *) buf)->pid );
4062       fc->last_pid_sent = pid;
4063       connection_send_ack (c, fwd);
4064       break;
4065     default:
4066       break;
4067   }
4068
4069   /* If more data in queue, send next */
4070   queue = fc->queue_head;
4071   if (NULL != queue)
4072   {
4073     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   more data!\n");
4074     if (NULL == fc->core_transmit) {
4075       peer->fc->core_transmit =
4076           GNUNET_CORE_notify_transmit_ready(core_handle,
4077                                             0,
4078                                             0,
4079                                             GNUNET_TIME_UNIT_FOREVER_REL,
4080                                             dst_id,
4081                                             queue->size,
4082                                             &queue_send,
4083                                             peer);
4084     }
4085     else
4086     {
4087       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4088                   "*   tmt rdy called somewhere else\n");
4089     }
4090     if (GNUNET_SCHEDULER_NO_TASK == fc->poll_task)
4091     {
4092       GNUNET_log (GNUNET_ERROR_TYPE_INFO, "*   %s starting poll timeout\n");
4093       fc->poll_task =
4094           GNUNET_SCHEDULER_add_delayed (fc->poll_time, &peer_poll, fc);
4095     }
4096   }
4097   else
4098   {
4099     if (GNUNET_SCHEDULER_NO_TASK != fc->poll_task)
4100     {
4101       GNUNET_SCHEDULER_cancel (fc->poll_task);
4102       fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
4103     }
4104   }
4105   if (NULL != c)
4106   {
4107     c->pending_messages--;
4108     if (GNUNET_YES == c->destroy && 0 == c->pending_messages)
4109     {
4110       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*  destroying connection!\n");
4111       connection_destroy (c);
4112     }
4113   }
4114
4115   if (NULL != t)
4116   {
4117     t->pending_messages--;
4118     if (GNUNET_YES == t->destroy && 0 == t->pending_messages)
4119     {
4120       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*  destroying tunnel!\n");
4121       tunnel_destroy (t);
4122     }
4123   }
4124   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*  Return %d\n", data_size);
4125   return data_size;
4126 }
4127
4128
4129 static void
4130 queue_add (void *cls, uint16_t type, size_t size,
4131            struct MeshPeer *dst,
4132            struct MeshConnection *c,
4133            struct MeshChannel *ch)
4134 {
4135   struct MeshPeerQueue *queue;
4136   struct MeshFlowControl *fc;
4137   int priority;
4138
4139   fc = dst->fc;
4140   if (NULL == fc)
4141   {
4142     GNUNET_break (0);
4143     return;
4144   }
4145
4146   priority = 0;
4147
4148   if (GNUNET_MESSAGE_TYPE_MESH_POLL == type ||
4149       GNUNET_MESSAGE_TYPE_MESH_ACK == type)
4150     priority = 100;
4151
4152   if (NULL != ch &&
4153       ( (NULL != ch->owner && GNUNET_MESSAGE_TYPE_MESH_FWD == type) ||
4154         (NULL != ch->client && GNUNET_MESSAGE_TYPE_MESH_BCK == type) ))
4155     priority = 50;
4156
4157   if (fc->queue_n >= fc->queue_max && 0 == priority)
4158   {
4159     GNUNET_STATISTICS_update (stats, "# messages dropped (buffer full)",
4160                               1, GNUNET_NO);
4161     GNUNET_break (0);
4162     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4163                 "queue full: %u/%u\n",
4164                 fc->queue_n, fc->queue_max);
4165     return; /* Drop this message */
4166   }
4167
4168   fc->queue_n++;
4169   if (GMC_is_pid_bigger(fc->last_pid_sent + 1, fc->last_ack_recv) &&
4170       GNUNET_SCHEDULER_NO_TASK == fc->poll_task)
4171     fc->poll_task = GNUNET_SCHEDULER_add_delayed (fc->poll_time,
4172                                                   &peer_poll,
4173                                                   dst);
4174   queue = GNUNET_malloc (sizeof (struct MeshPeerQueue));
4175   queue->cls = cls;
4176   queue->type = type;
4177   queue->size = size;
4178   queue->peer = dst;
4179   queue->c = c;
4180   queue->ch = ch;
4181   if (100 <= priority)
4182     GNUNET_CONTAINER_DLL_insert (fc->queue_head, fc->queue_tail, queue);
4183   else
4184     GNUNET_CONTAINER_DLL_insert_tail (fc->queue_head, fc->queue_tail, queue);
4185
4186   if (NULL == fc->core_transmit)
4187   {
4188     fc->core_transmit =
4189         GNUNET_CORE_notify_transmit_ready (core_handle,
4190                                            0,
4191                                            0,
4192                                            GNUNET_TIME_UNIT_FOREVER_REL,
4193                                            GNUNET_PEER_resolve2 (dst->id),
4194                                            size,
4195                                            &queue_send,
4196                                            dst);
4197   }
4198   c->pending_messages++;
4199   c->t->pending_messages++;
4200 }
4201
4202
4203 /******************************************************************************/
4204 /********************      MESH NETWORK HANDLERS     **************************/
4205 /******************************************************************************/
4206
4207
4208 /**
4209  * Core handler for connection creation.
4210  *
4211  * @param cls Closure (unused).
4212  * @param peer Sender (neighbor).
4213  * @param message Message.
4214  *
4215  * @return GNUNET_OK to keep the connection open,
4216  *         GNUNET_SYSERR to close it (signal serious error)
4217  */
4218 static int
4219 handle_mesh_connection_create (void *cls,
4220                                const struct GNUNET_PeerIdentity *peer,
4221                                const struct GNUNET_MessageHeader *message)
4222 {
4223   struct GNUNET_MESH_ConnectionCreate *msg;
4224   struct GNUNET_PeerIdentity *id;
4225   struct GNUNET_HashCode *tid;
4226   struct MeshPeerPath *path;
4227   struct MeshPeer *dest_peer;
4228   struct MeshPeer *orig_peer;
4229   struct MeshConnection *c;
4230   unsigned int own_pos;
4231   uint32_t cid;
4232   uint16_t size;
4233   uint16_t i;
4234
4235   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Received a connection create msg\n");
4236
4237   /* Check size */
4238   size = ntohs (message->size);
4239   if (size < sizeof (struct GNUNET_MESH_ConnectionCreate))
4240   {
4241     GNUNET_break_op (0);
4242     return GNUNET_OK;
4243   }
4244
4245   /* Calculate hops */
4246   size -= sizeof (struct GNUNET_MESH_ConnectionCreate);
4247   if (size % sizeof (struct GNUNET_PeerIdentity))
4248   {
4249     GNUNET_break_op (0);
4250     return GNUNET_OK;
4251   }
4252   size /= sizeof (struct GNUNET_PeerIdentity);
4253   if (1 > size)
4254   {
4255     GNUNET_break_op (0);
4256     return GNUNET_OK;
4257   }
4258   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "    path has %u hops.\n", size);
4259
4260   /* Get parameters */
4261   msg = (struct GNUNET_MESH_ConnectionCreate *) message;
4262   cid = ntohl (msg->cid);
4263   tid = &msg->tid;
4264   id = (struct GNUNET_PeerIdentity *) &msg[1];
4265   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4266               "    connection %s[%X] (%s).\n",
4267               GNUNET_h2s (tid), cid, GNUNET_i2s (id));
4268
4269   /* Create connection */
4270   c = connection_get (tid, cid);
4271   if (NULL == c)
4272   {
4273     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Creating connection\n");
4274     c = connection_new (tid, cid);
4275     if (NULL == c)
4276       return GNUNET_OK;
4277   }
4278   connection_reset_timeout (c, GNUNET_YES);
4279   tunnel_change_state (c->t,  MESH_TUNNEL_WAITING);
4280
4281   /* Remember peers */
4282   dest_peer = peer_get (&id[size - 1]);
4283   orig_peer = peer_get (&id[0]);
4284
4285   /* Create path */
4286   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Creating path...\n");
4287   path = path_new (size);
4288   own_pos = 0;
4289   for (i = 0; i < size; i++)
4290   {
4291     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  ... adding %s\n",
4292                 GNUNET_i2s (&id[i]));
4293     path->peers[i] = GNUNET_PEER_intern (&id[i]);
4294     if (path->peers[i] == myid)
4295       own_pos = i;
4296   }
4297   if (own_pos == 0 && path->peers[own_pos] != myid)
4298   {
4299     /* create path: self not found in path through self */
4300     GNUNET_break_op (0);
4301     path_destroy (path);
4302     connection_destroy (c);
4303     return GNUNET_OK;
4304   }
4305   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Own position: %u\n", own_pos);
4306   path_add_to_peers (path, GNUNET_NO);
4307   c->path = path;
4308   c->own_pos = own_pos;
4309
4310   /* Is it a connection to us? */
4311   if (own_pos == size - 1)
4312   {
4313     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  It's for us!\n");
4314     peer_add_path_to_origin (orig_peer, path, GNUNET_YES);
4315
4316     send_connection_ack (c);
4317
4318     /* Keep tunnel alive in direction dest->owner*/
4319     connection_reset_timeout (c, GNUNET_NO); 
4320   }
4321   else
4322   {
4323     /* It's for somebody else! Retransmit. */
4324     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Retransmitting.\n");
4325     peer_add_path (dest_peer, path_duplicate (path), GNUNET_NO);
4326     peer_add_path_to_origin (orig_peer, path, GNUNET_NO);
4327     send_prebuilt_message_connection (message, c, NULL, GNUNET_YES);
4328   }
4329   return GNUNET_OK;
4330 }
4331
4332
4333 /**
4334  * Core handler for path ACKs
4335  *
4336  * @param cls closure
4337  * @param message message
4338  * @param peer peer identity this notification is about
4339  *
4340  * @return GNUNET_OK to keep the connection open,
4341  *         GNUNET_SYSERR to close it (signal serious error)
4342  */
4343 static int
4344 handle_mesh_connection_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
4345                             const struct GNUNET_MessageHeader *message)
4346 {
4347   struct GNUNET_MESH_ConnectionACK *msg;
4348   struct MeshPeerPath *p;
4349   struct MeshConnection *c;
4350   uint32_t cid;
4351
4352   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Received a connection ACK msg\n");
4353   msg = (struct GNUNET_MESH_ConnectionACK *) message;
4354   cid = ntohl(msg->cid);
4355   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on connection %s[%X]\n",
4356               GNUNET_h2s (&msg->tid), cid);
4357   c = connection_get (&msg->tid, cid);
4358   if (NULL == c)
4359   {
4360     GNUNET_STATISTICS_update (stats, "# control on unknown connection",
4361                               1, GNUNET_NO);
4362     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  don't know the connection!\n");
4363     return GNUNET_OK;
4364   }
4365
4366   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  via peer %s\n",
4367               GNUNET_i2s (peer));
4368
4369   /* Add path to peers? */
4370   p = c->path;
4371   if (NULL != p)
4372   {
4373     path_add_to_peers (p, GNUNET_YES);
4374   }
4375   else
4376   {
4377     GNUNET_break (0);
4378   }
4379   connection_change_state (c, MESH_CONNECTION_READY);
4380   connection_reset_timeout (c, GNUNET_NO);
4381
4382   /* Message for us? */
4383   if (NULL != c->t->channel_head)
4384   {
4385     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  It's for us!\n");
4386     if (3 <= tunnel_count_connections(c->t) && NULL != c->t->peer->dhtget)
4387     {
4388       GNUNET_DHT_get_stop (c->t->peer->dhtget);
4389       c->t->peer->dhtget = NULL;
4390     }
4391     //connection_send_ack (c, GNUNET_NO); /* FIXME */
4392     return GNUNET_OK;
4393   }
4394
4395   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  not for us, retransmitting...\n");
4396   send_prebuilt_message_connection (message, c, NULL, GNUNET_NO);
4397   return GNUNET_OK;
4398 }
4399
4400
4401 /**
4402  * Core handler for notifications of broken paths
4403  *
4404  * @param cls Closure (unused).
4405  * @param peer Peer identity of sending neighbor.
4406  * @param message Message.
4407  *
4408  * @return GNUNET_OK to keep the connection open,
4409  *         GNUNET_SYSERR to close it (signal serious error)
4410  */
4411 static int
4412 handle_mesh_connection_broken (void *cls, const struct GNUNET_PeerIdentity *peer,
4413                                const struct GNUNET_MessageHeader *message)
4414 {
4415   struct GNUNET_MESH_ConnectionBroken *msg;
4416   struct MeshConnection *c;
4417
4418   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4419               "Received a CONNECTION BROKEN msg from %s\n", GNUNET_i2s (peer));
4420   msg = (struct GNUNET_MESH_ConnectionBroken *) message;
4421   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  regarding %s\n",
4422               GNUNET_i2s (&msg->peer1));
4423   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  regarding %s\n",
4424               GNUNET_i2s (&msg->peer2));
4425   c = connection_get (&msg->tid, ntohl (msg->cid));
4426   if (NULL == c)
4427   {
4428     GNUNET_break_op (0);
4429     return GNUNET_OK;
4430   }
4431   tunnel_notify_connection_broken (c->t, GNUNET_PEER_search (&msg->peer1),
4432                                    GNUNET_PEER_search (&msg->peer2));
4433   return GNUNET_OK;
4434
4435 }
4436
4437
4438 /**
4439  * Core handler for tunnel destruction
4440  *
4441  * @param cls Closure (unused).
4442  * @param peer Peer identity of sending neighbor.
4443  * @param message Message.
4444  *
4445  * @return GNUNET_OK to keep the connection open,
4446  *         GNUNET_SYSERR to close it (signal serious error)
4447  */
4448 static int
4449 handle_mesh_connection_destroy (void *cls,
4450                                 const struct GNUNET_PeerIdentity *peer,
4451                                 const struct GNUNET_MessageHeader *message)
4452 {
4453   struct GNUNET_MESH_ConnectionDestroy *msg;
4454   struct MeshConnection *c;
4455   struct MeshTunnel2 *t;
4456   struct MeshPeer *neighbor;
4457
4458   msg = (struct GNUNET_MESH_ConnectionDestroy *) message;
4459   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4460               "Got a CONNECTION DESTROY message from %s\n",
4461               GNUNET_i2s (peer));
4462   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4463               "  for connection %s[%X]\n",
4464               GNUNET_h2s (&msg->tid), ntohl (msg->cid));
4465   c = connection_get (&msg->tid, ntohl (msg->cid));
4466   if (NULL == c)
4467   {
4468     /* Probably already got the message from another path,
4469      * destroyed the tunnel and retransmitted to children.
4470      * Safe to ignore.
4471      */
4472     GNUNET_STATISTICS_update (stats, "# control on unknown tunnel",
4473                               1, GNUNET_NO);
4474     return GNUNET_OK;
4475   }
4476   neighbor = peer_get (peer);
4477   if (neighbor == connection_get_prev_hop (c))
4478     neighbor = connection_get_next_hop (c);
4479   else if (neighbor == connection_get_next_hop (c))
4480     neighbor = connection_get_prev_hop (c);
4481   else
4482   {
4483     GNUNET_break_op (0);
4484     return GNUNET_OK;
4485   }
4486   send_prebuilt_message_peer (message, neighbor);
4487   t = c->t;
4488   connection_destroy (c);
4489   tunnel_destroy_if_empty (t);
4490
4491   return GNUNET_OK;
4492 }
4493
4494
4495 /**
4496  * Generic handler for mesh network payload traffic.
4497  *
4498  * @param peer Peer identity this notification is about.
4499  * @param message Data message.
4500  * @param fwd Is this FWD traffic? GNUNET_YES : GNUNET_NO;
4501  *
4502  * @return GNUNET_OK to keep the connection open,
4503  *         GNUNET_SYSERR to close it (signal serious error)
4504  */
4505 static int
4506 handle_mesh_data (const struct GNUNET_PeerIdentity *peer,
4507                   const struct GNUNET_MessageHeader *message,
4508                   int fwd)
4509 {
4510   struct GNUNET_MESH_Data *msg;
4511   struct MeshFlowControl *fc;
4512   struct MeshChannelReliability *rel;
4513   struct MeshTunnel *t;
4514   struct MeshClient *c;
4515   GNUNET_PEER_Id hop;
4516   uint32_t pid;
4517   uint32_t ttl;
4518   uint16_t type;
4519   size_t size;
4520
4521   /* Check size */
4522   size = ntohs (message->size);
4523   if (size <
4524       sizeof (struct GNUNET_MESH_Data) +
4525       sizeof (struct GNUNET_MessageHeader))
4526   {
4527     GNUNET_break (0);
4528     return GNUNET_OK;
4529   }
4530   type =ntohs (message->type);
4531   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got a %s message from %s\n",
4532               GNUNET_MESH_DEBUG_M2S (type), GNUNET_i2s (peer));
4533   msg = (struct GNUNET_MESH_Data *) message;
4534   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " payload of type %s\n",
4535               GNUNET_MESH_DEBUG_M2S (ntohs (msg[1].header.type)));
4536   /* Check tunnel */
4537   t = channel_get (&msg->oid, ntohl (msg->tid));
4538   if (NULL == t)
4539   {
4540     /* TODO notify back: we don't know this tunnel */
4541     GNUNET_STATISTICS_update (stats, "# data on unknown tunnel", 1, GNUNET_NO);
4542     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "WARNING tunnel unknown\n");
4543     return GNUNET_OK;
4544   }
4545
4546   /*  Initialize FWD/BCK data */
4547   pid = ntohl (msg->pid);
4548   fc =  fwd ? &t->prev_fc : &t->next_fc;
4549   c =   fwd ? t->client   : t->owner;
4550   rel = fwd ? t->bck_rel  : t->fwd_rel;
4551   hop = fwd ? t->next_hop : t->prev_hop;
4552   if (GMC_is_pid_bigger (pid, fc->last_ack_sent))
4553   {
4554     GNUNET_STATISTICS_update (stats, "# unsolicited data", 1, GNUNET_NO);
4555     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4556                 "WARNING Received PID %u, (prev %u), ACK %u\n",
4557                 pid, fc->last_pid_recv, fc->last_ack_sent);
4558     return GNUNET_OK;
4559   }
4560   if (NULL != c)
4561     tunnel_change_state (t, MESH_TUNNEL_READY);
4562   tunnel_reset_timeout (t, fwd);
4563   if (NULL != c)
4564   {
4565     /* TODO signature verification */
4566     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  it's for us! sending to client\n");
4567     GNUNET_STATISTICS_update (stats, "# data received", 1, GNUNET_NO);
4568     if (GMC_is_pid_bigger (pid, fc->last_pid_recv))
4569     {
4570       uint32_t mid;
4571
4572       mid = ntohl (msg->mid);
4573       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4574                   " pid %u (mid %u) not seen yet\n", pid, mid);
4575       fc->last_pid_recv = pid;
4576
4577       if (GNUNET_NO == t->reliable ||
4578           ( !GMC_is_pid_bigger (rel->mid_recv, mid) &&
4579             GMC_is_pid_bigger (rel->mid_recv + 64, mid) ) )
4580       {
4581         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4582                     "!!! RECV %u\n", ntohl (msg->mid));
4583         if (GNUNET_YES == t->reliable)
4584         {
4585           /* Is this the exact next expected messasge? */
4586           if (mid == rel->mid_recv)
4587           {
4588             GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "as expected\n");
4589             rel->mid_recv++;
4590             tunnel_send_client_data (t, msg, fwd);
4591             tunnel_send_client_buffered_data (t, c, rel);
4592           }
4593           else
4594           {
4595             GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "save for later\n");
4596             tunnel_add_buffered_data (t, msg, rel);
4597           }
4598         }
4599         else /* Tunnel unreliable, send to clients directly */
4600         {
4601           tunnel_send_client_data (t, msg, fwd);
4602         }
4603       }
4604       else
4605       {
4606         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4607                     " MID %u not expected (%u - %u), dropping!\n",
4608                     ntohl (msg->mid), rel->mid_recv, rel->mid_recv + 64);
4609       }
4610     }
4611     else
4612     {
4613 //       GNUNET_STATISTICS_update (stats, "# duplicate PID", 1, GNUNET_NO);
4614       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4615                   " Pid %u not expected (%u+), dropping!\n",
4616                   pid, fc->last_pid_recv + 1);
4617     }
4618     tunnel_send_ack (t, type, fwd);
4619     return GNUNET_OK;
4620   }
4621   fc->last_pid_recv = pid;
4622   if (0 == hop)
4623   {
4624     GNUNET_STATISTICS_update (stats, "# data on dying tunnel", 1, GNUNET_NO);
4625     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "data on dying tunnel %s[%X]\n",
4626                 GNUNET_PEER_resolve2 (t->id.oid), ntohl (msg->tid));
4627     return GNUNET_OK; /* Next hop has destoyed the tunnel, drop */
4628   }
4629   ttl = ntohl (msg->ttl);
4630   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   ttl: %u\n", ttl);
4631   if (ttl == 0)
4632   {
4633     GNUNET_STATISTICS_update (stats, "# TTL drops", 1, GNUNET_NO);
4634     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, " TTL is 0, DROPPING!\n");
4635     tunnel_send_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK, fwd);
4636     return GNUNET_OK;
4637   }
4638
4639   if (myid != hop)
4640   {
4641     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  not for us, retransmitting...\n");
4642     send_prebuilt_message (message, hop, t);
4643     GNUNET_STATISTICS_update (stats, "# unicast forwarded", 1, GNUNET_NO);
4644   }
4645   return GNUNET_OK;
4646 }
4647
4648
4649 /**
4650  * Core handler for mesh network traffic going from the origin to a peer
4651  *
4652  * @param cls Closure (unused).
4653  * @param message Message received.
4654  * @param peer Peer who sent the message.
4655  *
4656  * @return GNUNET_OK to keep the connection open,
4657  *         GNUNET_SYSERR to close it (signal serious error)
4658  */
4659 static int
4660 handle_mesh_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
4661                      const struct GNUNET_MessageHeader *message)
4662 {
4663   return handle_mesh_data (peer, message, GNUNET_YES);
4664 }
4665
4666 /**
4667  * Core handler for mesh network traffic towards the owner of a tunnel.
4668  *
4669  * @param cls Closure (unused).
4670  * @param message Message received.
4671  * @param peer Peer who sent the message.
4672  *
4673  * @return GNUNET_OK to keep the connection open,
4674  *         GNUNET_SYSERR to close it (signal serious error)
4675  */
4676 static int
4677 handle_mesh_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
4678                      const struct GNUNET_MessageHeader *message)
4679 {
4680   return handle_mesh_data (peer, message, GNUNET_NO);
4681 }
4682
4683
4684 /**
4685  * Core handler for mesh network traffic end-to-end ACKs.
4686  *
4687  * @param cls Closure.
4688  * @param message Message.
4689  * @param peer Peer identity this notification is about.
4690  *
4691  * @return GNUNET_OK to keep the connection open,
4692  *         GNUNET_SYSERR to close it (signal serious error)
4693  */
4694 static int
4695 handle_mesh_data_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
4696                       const struct GNUNET_MessageHeader *message)
4697 {
4698   struct GNUNET_MESH_DataACK *msg;
4699   struct MeshChannelReliability *rel;
4700   struct MeshReliableMessage *copy;
4701   struct MeshReliableMessage *next;
4702   struct MeshTunnel *t;
4703   GNUNET_PEER_Id id;
4704   uint32_t ack;
4705   uint16_t type;
4706   int work;
4707
4708   type = ntohs (message->type);
4709   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got a %s message from %s!\n",
4710               GNUNET_MESH_DEBUG_M2S (type), GNUNET_i2s (peer));
4711   msg = (struct GNUNET_MESH_DataACK *) message;
4712
4713   t = channel_get (&msg->oid, ntohl (msg->tid));
4714   if (NULL == t)
4715   {
4716     /* TODO notify that we dont know this tunnel (whom)? */
4717     GNUNET_STATISTICS_update (stats, "# ack on unknown tunnel", 1, GNUNET_NO);
4718     return GNUNET_OK;
4719   }
4720   ack = ntohl (msg->mid);
4721   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  ACK %u\n", ack);
4722
4723   /* Is this a forward or backward ACK? */
4724   id = GNUNET_PEER_search (peer);
4725   if (t->next_hop == id && GNUNET_MESSAGE_TYPE_MESH_UNICAST_ACK == type)
4726   {
4727     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  FWD ACK\n");
4728     if (NULL == t->owner)
4729     {
4730       send_prebuilt_message (message, t->prev_hop, t);
4731       return GNUNET_OK;
4732     }
4733     rel = t->fwd_rel;
4734   }
4735   else if (t->prev_hop == id && GNUNET_MESSAGE_TYPE_MESH_TO_ORIG_ACK == type)
4736   {
4737     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  BCK ACK\n");
4738     if (NULL == t->client)
4739     {
4740       send_prebuilt_message (message, t->next_hop, t);
4741       return GNUNET_OK;
4742     }
4743     rel = t->bck_rel;
4744   }
4745   else
4746   {
4747     GNUNET_break_op (0);
4748     return GNUNET_OK;
4749   }
4750
4751   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "!!! ACK %u\n", ack);
4752   for (work = GNUNET_NO, copy = rel->head_sent; copy != NULL; copy = next)
4753   {
4754    if (GMC_is_pid_bigger (copy->mid, ack))
4755     {
4756       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "!!!  head %u, out!\n", copy->mid);
4757       tunnel_free_sent_reliable (t, msg, rel);
4758       break;
4759     }
4760     work = GNUNET_YES;
4761     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "!!!  id %u\n", copy->mid);
4762     next = copy->next;
4763     tunnel_free_reliable_message (copy);
4764   }
4765   /* Once buffers have been free'd, send ACK */
4766   tunnel_send_ack (t, type, GNUNET_MESSAGE_TYPE_MESH_UNICAST_ACK == type);
4767
4768   /* If some message was free'd, update the retransmission delay*/
4769   if (GNUNET_YES == work)
4770   {
4771     if (GNUNET_SCHEDULER_NO_TASK != rel->retry_task)
4772     {
4773       GNUNET_SCHEDULER_cancel (rel->retry_task);
4774       if (NULL == rel->head_sent)
4775       {
4776         rel->retry_task = GNUNET_SCHEDULER_NO_TASK;
4777       }
4778       else
4779       {
4780         struct GNUNET_TIME_Absolute new_target;
4781         struct GNUNET_TIME_Relative delay;
4782
4783         delay = GNUNET_TIME_relative_multiply (rel->retry_timer,
4784                                                MESH_RETRANSMIT_MARGIN);
4785         new_target = GNUNET_TIME_absolute_add (rel->head_sent->timestamp,
4786                                                delay);
4787         delay = GNUNET_TIME_absolute_get_remaining (new_target);
4788         rel->retry_task =
4789             GNUNET_SCHEDULER_add_delayed (delay,
4790                                           &tunnel_retransmit_message,
4791                                           rel);
4792       }
4793     }
4794     else
4795       GNUNET_break (0);
4796   }
4797   return GNUNET_OK;
4798 }
4799
4800 /**
4801  * Core handler for mesh network traffic point-to-point acks.
4802  *
4803  * @param cls closure
4804  * @param message message
4805  * @param peer peer identity this notification is about
4806  *
4807  * @return GNUNET_OK to keep the connection open,
4808  *         GNUNET_SYSERR to close it (signal serious error)
4809  */
4810 static int
4811 handle_mesh_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
4812                  const struct GNUNET_MessageHeader *message)
4813 {
4814   struct GNUNET_MESH_ACK *msg;
4815   struct MeshTunnel *t;
4816   struct MeshFlowControl *fc;
4817   GNUNET_PEER_Id id;
4818   uint32_t ack;
4819
4820   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got an ACK packet from %s!\n",
4821               GNUNET_i2s (peer));
4822   msg = (struct GNUNET_MESH_ACK *) message;
4823
4824   t = channel_get (&msg->oid, ntohl (msg->tid));
4825
4826   if (NULL == t)
4827   {
4828     /* TODO notify that we dont know this tunnel (whom)? */
4829     GNUNET_STATISTICS_update (stats, "# ack on unknown tunnel", 1, GNUNET_NO);
4830     return GNUNET_OK;
4831   }
4832   ack = ntohl (msg->pid);
4833   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  ACK %u\n", ack);
4834
4835   /* Is this a forward or backward ACK? */
4836   id = GNUNET_PEER_search (peer);
4837   if (t->next_hop == id)
4838   {
4839     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  FWD ACK\n");
4840     fc = &t->next_fc;
4841   }
4842   else if (t->prev_hop == id)
4843   {
4844     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  BCK ACK\n");
4845     fc = &t->prev_fc;
4846   }
4847   else
4848   {
4849     GNUNET_break_op (0);
4850     return GNUNET_OK;
4851   }
4852
4853   if (GNUNET_SCHEDULER_NO_TASK != fc->poll_task &&
4854       GMC_is_pid_bigger (ack, fc->last_ack_recv))
4855   {
4856     GNUNET_SCHEDULER_cancel (fc->poll_task);
4857     fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
4858     fc->poll_time = GNUNET_TIME_UNIT_SECONDS;
4859   }
4860
4861   fc->last_ack_recv = ack;
4862   peer_unlock_queue (id);
4863   tunnel_change_state (t, MESH_TUNNEL_READY);
4864
4865   tunnel_send_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK, t->next_hop == id);
4866
4867   return GNUNET_OK;
4868 }
4869
4870
4871 /**
4872  * Core handler for mesh network traffic point-to-point ack polls.
4873  *
4874  * @param cls closure
4875  * @param message message
4876  * @param peer peer identity this notification is about
4877  *
4878  * @return GNUNET_OK to keep the connection open,
4879  *         GNUNET_SYSERR to close it (signal serious error)
4880  */
4881 static int
4882 handle_mesh_poll (void *cls, const struct GNUNET_PeerIdentity *peer,
4883                   const struct GNUNET_MessageHeader *message)
4884 {
4885   struct GNUNET_MESH_Poll *msg;
4886   struct MeshTunnel *t;
4887   struct MeshFlowControl *fc;
4888   GNUNET_PEER_Id id;
4889   uint32_t pid;
4890   uint32_t old;
4891
4892   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got a POLL packet from %s!\n",
4893               GNUNET_i2s (peer));
4894
4895   msg = (struct GNUNET_MESH_Poll *) message;
4896
4897   t = channel_get (&msg->oid, ntohl (msg->tid));
4898
4899   if (NULL == t)
4900   {
4901     /* TODO notify that we dont know this tunnel (whom)? */
4902     GNUNET_STATISTICS_update (stats, "# poll on unknown tunnel", 1, GNUNET_NO);
4903     GNUNET_break_op (0);
4904     return GNUNET_OK;
4905   }
4906
4907   /* Is this a forward or backward ACK? */
4908   id = GNUNET_PEER_search (peer);
4909   pid = ntohl (msg->pid);
4910   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  PID %u\n", pid);
4911   if (t->next_hop == id)
4912   {
4913     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  from FWD\n");
4914     fc = &t->next_fc;
4915     old = fc->last_pid_recv;
4916   }
4917   else if (t->prev_hop == id)
4918   {
4919     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  from BCK\n");
4920     fc = &t->prev_fc;
4921     old = fc->last_pid_recv;
4922   }
4923   else
4924   {
4925     GNUNET_break (0);
4926     return GNUNET_OK;
4927   }
4928
4929   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  was %u\n", fc->last_pid_recv);
4930   fc->last_pid_recv = pid;
4931   tunnel_send_ack (t, GNUNET_MESSAGE_TYPE_MESH_POLL, t->prev_hop == id);
4932
4933   if (GNUNET_YES == t->reliable)
4934     fc->last_pid_recv = old;
4935
4936   return GNUNET_OK;
4937 }
4938
4939
4940 /**
4941  * Core handler for mesh keepalives.
4942  *
4943  * @param cls closure
4944  * @param message message
4945  * @param peer peer identity this notification is about
4946  * @return GNUNET_OK to keep the connection open,
4947  *         GNUNET_SYSERR to close it (signal serious error)
4948  *
4949  * TODO: Check who we got this from, to validate route.
4950  */
4951 static int
4952 handle_mesh_keepalive (void *cls, const struct GNUNET_PeerIdentity *peer,
4953                        const struct GNUNET_MessageHeader *message)
4954 {
4955   struct GNUNET_MESH_TunnelKeepAlive *msg;
4956   struct MeshTunnel *t;
4957   struct MeshClient *c;
4958   GNUNET_PEER_Id hop;
4959   int fwd;
4960
4961   msg = (struct GNUNET_MESH_TunnelKeepAlive *) message;
4962   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got a keepalive packet from %s\n",
4963               GNUNET_i2s (peer));
4964
4965   t = channel_get (&msg->oid, ntohl (msg->tid));
4966   if (NULL == t)
4967   {
4968     /* TODO notify that we dont know that tunnel */
4969     GNUNET_STATISTICS_update (stats, "# keepalive on unknown tunnel", 1,
4970                               GNUNET_NO);
4971     return GNUNET_OK;
4972   }
4973
4974   fwd = GNUNET_MESSAGE_TYPE_MESH_FWD_KEEPALIVE == ntohs (message->type) ? 
4975         GNUNET_YES : GNUNET_NO;
4976   c   = fwd ? t->client   : t->owner;
4977   hop = fwd ? t->next_hop : t->prev_hop;
4978
4979   if (NULL != c)
4980     tunnel_change_state (t, MESH_TUNNEL_READY);
4981   tunnel_reset_timeout (t, fwd);
4982   if (NULL != c || 0 == hop || myid == hop)
4983     return GNUNET_OK;
4984
4985   GNUNET_STATISTICS_update (stats, "# keepalives forwarded", 1, GNUNET_NO);
4986   send_prebuilt_message (message, hop, t);
4987   return GNUNET_OK;
4988   }
4989
4990
4991
4992 /**
4993  * Functions to handle messages from core
4994  */
4995 static struct GNUNET_CORE_MessageHandler core_handlers[] = {
4996   {&handle_mesh_connection_create, GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE,
4997     0},
4998   {&handle_mesh_connection_ack, GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK,
4999     sizeof (struct GNUNET_MESH_ConnectionACK)},
5000   {&handle_mesh_connection_broken, GNUNET_MESSAGE_TYPE_MESH_CONNECTION_BROKEN,
5001    sizeof (struct GNUNET_MESH_ConnectionBroken)},
5002   {&handle_mesh_connection_destroy, GNUNET_MESSAGE_TYPE_MESH_CONNECTION_DESTROY,
5003    sizeof (struct GNUNET_MESH_ConnectionDestroy)},
5004   {&handle_mesh_unicast, GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
5005   {&handle_mesh_to_orig, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
5006   {&handle_mesh_data_ack, GNUNET_MESSAGE_TYPE_MESH_UNICAST_ACK,
5007     sizeof (struct GNUNET_MESH_DataACK)},
5008   {&handle_mesh_data_ack, GNUNET_MESSAGE_TYPE_MESH_TO_ORIG_ACK,
5009     sizeof (struct GNUNET_MESH_DataACK)},
5010   {&handle_mesh_keepalive, GNUNET_MESSAGE_TYPE_MESH_FWD_KEEPALIVE,
5011     sizeof (struct GNUNET_MESH_TunnelKeepAlive)},
5012   {&handle_mesh_keepalive, GNUNET_MESSAGE_TYPE_MESH_BCK_KEEPALIVE,
5013     sizeof (struct GNUNET_MESH_TunnelKeepAlive)},
5014   {&handle_mesh_ack, GNUNET_MESSAGE_TYPE_MESH_ACK,
5015     sizeof (struct GNUNET_MESH_ACK)},
5016   {&handle_mesh_poll, GNUNET_MESSAGE_TYPE_MESH_POLL,
5017     sizeof (struct GNUNET_MESH_Poll)},
5018   {NULL, 0, 0}
5019 };
5020
5021
5022 /**
5023  * Function to process paths received for a new peer addition. The recorded
5024  * paths form the initial tunnel, which can be optimized later.
5025  * Called on each result obtained for the DHT search.
5026  *
5027  * @param cls closure
5028  * @param exp when will this value expire
5029  * @param key key of the result
5030  * @param get_path path of the get request
5031  * @param get_path_length lenght of get_path
5032  * @param put_path path of the put request
5033  * @param put_path_length length of the put_path
5034  * @param type type of the result
5035  * @param size number of bytes in data
5036  * @param data pointer to the result data
5037  */
5038 static void
5039 dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
5040                     const struct GNUNET_HashCode * key,
5041                     const struct GNUNET_PeerIdentity *get_path,
5042                     unsigned int get_path_length,
5043                     const struct GNUNET_PeerIdentity *put_path,
5044                     unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
5045                     size_t size, const void *data)
5046 {
5047   struct MeshPeer *peer = cls;
5048   struct MeshPeerPath *p;
5049   struct MeshConnection *c;
5050   struct GNUNET_PeerIdentity pi;
5051   int i;
5052
5053   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got results from DHT!\n");
5054   GNUNET_PEER_resolve (peer->id, &pi);
5055   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  for %s\n", GNUNET_i2s (&pi));
5056
5057   p = path_build_from_dht (get_path, get_path_length,
5058                            put_path, put_path_length);
5059   path_add_to_peers (p, GNUNET_NO);
5060   path_destroy (p);
5061
5062   /* Count connections */
5063   for (c = peer->tunnel->connection_head, i = 0; NULL != c; c = c->next, i++);
5064
5065   /* If we already have 3 (or more (?!)) connections, it's enough */
5066   if (3 <= i)
5067     return;
5068
5069   if (peer->tunnel->state == MESH_TUNNEL_SEARCHING)
5070   {
5071     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " ... connect!\n");
5072     peer_connect (peer);
5073   }
5074   return;
5075 }
5076
5077
5078 /******************************************************************************/
5079 /*********************       MESH LOCAL HANDLES      **************************/
5080 /******************************************************************************/
5081
5082
5083 /**
5084  * Handler for client connection.
5085  *
5086  * @param cls Closure (unused).
5087  * @param client Client handler.
5088  */
5089 static void
5090 handle_local_client_connect (void *cls, struct GNUNET_SERVER_Client *client)
5091 {
5092   struct MeshClient *c;
5093
5094   if (NULL == client)
5095     return;
5096   c = GNUNET_malloc (sizeof (struct MeshClient));
5097   c->handle = client;
5098   GNUNET_SERVER_client_keep (client);
5099   GNUNET_SERVER_client_set_user_context (client, c);
5100   GNUNET_CONTAINER_DLL_insert (clients_head, clients_tail, c);
5101 }
5102
5103
5104 /**
5105  * Handler for client disconnection
5106  *
5107  * @param cls closure
5108  * @param client identification of the client; NULL
5109  *        for the last call when the server is destroyed
5110  */
5111 static void
5112 handle_local_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
5113 {
5114   struct MeshClient *c;
5115   struct MeshClient *next;
5116
5117   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "client disconnected: %p\n", client);
5118   if (client == NULL)
5119   {
5120     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   (SERVER DOWN)\n");
5121     return;
5122   }
5123
5124   c = client_get (client);
5125   if (NULL != c)
5126   {
5127     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "matching client found (%u, %p)\n",
5128                 c->id, c);
5129     GNUNET_SERVER_client_drop (c->handle);
5130     c->shutting_down = GNUNET_YES;
5131     if (NULL != c->own_tunnels)
5132     {
5133       GNUNET_CONTAINER_multihashmap32_iterate (c->own_tunnels,
5134                                                &tunnel_destroy_iterator, c);
5135       GNUNET_CONTAINER_multihashmap32_destroy (c->own_tunnels);
5136     }
5137
5138     if (NULL != c->incoming_tunnels)
5139     {
5140       GNUNET_CONTAINER_multihashmap32_iterate (c->incoming_tunnels,
5141                                                &tunnel_destroy_iterator, c);
5142       GNUNET_CONTAINER_multihashmap32_destroy (c->incoming_tunnels);
5143     }
5144
5145     if (NULL != c->ports)
5146     {
5147       GNUNET_CONTAINER_multihashmap32_iterate (c->ports,
5148                                                &client_release_ports, c);
5149       GNUNET_CONTAINER_multihashmap32_destroy (c->ports);
5150     }
5151     next = c->next;
5152     GNUNET_CONTAINER_DLL_remove (clients_head, clients_tail, c);
5153     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  client free (%p)\n", c);
5154     GNUNET_free (c);
5155     GNUNET_STATISTICS_update (stats, "# clients", -1, GNUNET_NO);
5156     c = next;
5157   }
5158   else
5159   {
5160     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, " context NULL!\n");
5161   }
5162   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "done!\n");
5163   return;
5164 }
5165
5166
5167 /**
5168  * Handler for new clients
5169  *
5170  * @param cls closure
5171  * @param client identification of the client
5172  * @param message the actual message, which includes messages the client wants
5173  */
5174 static void
5175 handle_local_new_client (void *cls, struct GNUNET_SERVER_Client *client,
5176                          const struct GNUNET_MessageHeader *message)
5177 {
5178   struct GNUNET_MESH_ClientConnect *cc_msg;
5179   struct MeshClient *c;
5180   unsigned int size;
5181   uint32_t *p;
5182   unsigned int i;
5183
5184   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new client connected %p\n", client);
5185
5186   /* Check data sanity */
5187   size = ntohs (message->size) - sizeof (struct GNUNET_MESH_ClientConnect);
5188   cc_msg = (struct GNUNET_MESH_ClientConnect *) message;
5189   if (0 != (size % sizeof (uint32_t)))
5190   {
5191     GNUNET_break (0);
5192     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5193     return;
5194   }
5195   size /= sizeof (uint32_t);
5196
5197   /* Initialize new client structure */
5198   c = GNUNET_SERVER_client_get_user_context (client, struct MeshClient);
5199   c->id = next_client_id++; /* overflow not important: just for debug */
5200   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  client id %u\n", c->id);
5201   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  client has %u ports\n", size);
5202   if (size > 0)
5203   {
5204     uint32_t u32;
5205
5206     p = (uint32_t *) &cc_msg[1];
5207     c->ports = GNUNET_CONTAINER_multihashmap32_create (size);
5208     for (i = 0; i < size; i++)
5209     {
5210       u32 = ntohl (p[i]);
5211       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "    port: %u\n", u32);
5212
5213       /* store in client's hashmap */
5214       GNUNET_CONTAINER_multihashmap32_put (c->ports, u32, c,
5215                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
5216       /* store in global hashmap */
5217       /* FIXME only allow one client to have the port open,
5218        *       have a backup hashmap with waiting clients */
5219       GNUNET_CONTAINER_multihashmap32_put (ports, u32, c,
5220                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
5221     }
5222   }
5223
5224   c->own_channels = GNUNET_CONTAINER_multihashmap32_create (32);
5225   c->incoming_channels = GNUNET_CONTAINER_multihashmap32_create (32);
5226   GNUNET_SERVER_notification_context_add (nc, client);
5227   GNUNET_STATISTICS_update (stats, "# clients", 1, GNUNET_NO);
5228
5229   GNUNET_SERVER_receive_done (client, GNUNET_OK);
5230   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new client processed\n");
5231 }
5232
5233
5234 /**
5235  * Handler for requests of new tunnels
5236  *
5237  * @param cls Closure.
5238  * @param client Identification of the client.
5239  * @param message The actual message.
5240  */
5241 static void
5242 handle_local_channel_create (void *cls, struct GNUNET_SERVER_Client *client,
5243                             const struct GNUNET_MessageHeader *message)
5244 {
5245   struct GNUNET_MESH_ChannelMessage *msg;
5246   struct MeshPeer *peer;
5247   struct MeshTunnel2 *t;
5248   struct MeshChannel *ch;
5249   struct MeshClient *c;
5250   MESH_ChannelNumber chid;
5251
5252   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new channel requested\n");
5253
5254   /* Sanity check for client registration */
5255   if (NULL == (c = client_get (client)))
5256   {
5257     GNUNET_break (0);
5258     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5259     return;
5260   }
5261   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
5262
5263   /* Message size sanity check */
5264   if (sizeof (struct GNUNET_MESH_ChannelMessage) != ntohs (message->size))
5265   {
5266     GNUNET_break (0);
5267     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5268     return;
5269   }
5270
5271   msg = (struct GNUNET_MESH_ChannelMessage *) message;
5272   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  towards %s:%u\n",
5273               GNUNET_i2s (&msg->peer), ntohl (msg->port));
5274   chid = ntohl (msg->channel_id);
5275
5276   /* Sanity check for duplicate tunnel IDs */
5277   if (NULL != channel_get_by_local_id (c, chid))
5278   {
5279     GNUNET_break (0);
5280     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5281     return;
5282   }
5283
5284   peer = peer_get (&msg->peer);
5285   if (NULL == peer->tunnel)
5286     peer->tunnel = tunnel_new ();
5287   t = peer->tunnel;
5288
5289   /* Create channel */
5290   while (NULL != channel_get_by_pi (myid, next_tid))
5291     next_tid = (next_tid + 1) & ~GNUNET_MESH_LOCAL_CHANNEL_ID_CLI;
5292   t = tunnel_new (myid, next_tid, c, chid);
5293   next_tid = (next_tid + 1) & ~GNUNET_MESH_LOCAL_CHANNEL_ID_CLI;
5294   if (NULL == t)
5295   {
5296     GNUNET_break (0);
5297     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5298     return;
5299   }
5300   t->port = ntohl (msg->port);
5301   tunnel_set_options (t, ntohl (msg->opt));
5302   if (GNUNET_YES == t->reliable)
5303   {
5304     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "!!! Reliable\n");
5305     t->fwd_rel = GNUNET_malloc (sizeof (struct MeshChannelReliability));
5306     t->fwd_rel->t = t;
5307     t->fwd_rel->expected_delay = MESH_RETRANSMIT_TIME;
5308   }
5309
5310   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "CREATED TUNNEL %s[%x]:%u (%x)\n",
5311               GNUNET_i2s (&my_full_id), t->id.tid, t->port, t->local_tid);
5312
5313   peer_info = peer_get (&msg->peer);
5314   peer_add_tunnel (peer_info, t);
5315   peer_connect (peer_info, t);
5316   tunnel_reset_timeout (t, GNUNET_YES);
5317   GNUNET_SERVER_receive_done (client, GNUNET_OK);
5318   return;
5319 }
5320
5321
5322 /**
5323  * Handler for requests of deleting tunnels
5324  *
5325  * @param cls closure
5326  * @param client identification of the client
5327  * @param message the actual message
5328  */
5329 static void
5330 handle_local_channel_destroy (void *cls, struct GNUNET_SERVER_Client *client,
5331                              const struct GNUNET_MessageHeader *message)
5332 {
5333   struct GNUNET_MESH_ChannelMessage *tunnel_msg;
5334   struct MeshClient *c;
5335   struct MeshTunnel *t;
5336   MESH_ChannelNumber tid;
5337
5338   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
5339               "Got a DESTROY TUNNEL from client!\n");
5340
5341   /* Sanity check for client registration */
5342   if (NULL == (c = client_get (client)))
5343   {
5344     GNUNET_break (0);
5345     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5346     return;
5347   }
5348   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
5349
5350   /* Message sanity check */
5351   if (sizeof (struct GNUNET_MESH_ChannelMessage) != ntohs (message->size))
5352   {
5353     GNUNET_break (0);
5354     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5355     return;
5356   }
5357
5358   tunnel_msg = (struct GNUNET_MESH_ChannelMessage *) message;
5359
5360   /* Retrieve tunnel */
5361   tid = ntohl (tunnel_msg->channel_id);
5362   t = channel_get_by_local_id (c, tid);
5363   if (NULL == t)
5364   {
5365     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "  tunnel %X not found\n", tid);
5366     GNUNET_break (0);
5367     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5368     return;
5369   }
5370
5371   /* Cleanup after the tunnel */
5372   client_delete_tunnel (c, t);
5373   if (c == t->client && GNUNET_MESH_LOCAL_CHANNEL_ID_SERV <= tid)
5374   {
5375     t->client = NULL;
5376   }
5377   else if (c == t->owner && GNUNET_MESH_LOCAL_CHANNEL_ID_SERV > tid)
5378   {
5379     peer_remove_tunnel (peer_get_short (t->dest), t);
5380     t->owner = NULL;
5381   }
5382   else 
5383   {
5384     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
5385                 "  tunnel %X client %p (%p, %p)\n",
5386                 tid, c, t->owner, t->client);
5387     GNUNET_break (0);
5388   }
5389
5390   /* The tunnel will be destroyed when the last message is transmitted. */
5391   tunnel_destroy_empty (t);
5392
5393   GNUNET_SERVER_receive_done (client, GNUNET_OK);
5394   return;
5395 }
5396
5397
5398 /**
5399  * Handler for client traffic
5400  *
5401  * @param cls closure
5402  * @param client identification of the client
5403  * @param message the actual message
5404  */
5405 static void
5406 handle_local_data (void *cls, struct GNUNET_SERVER_Client *client,
5407                    const struct GNUNET_MessageHeader *message)
5408 {
5409   struct GNUNET_MESH_LocalData *data_msg;
5410   struct MeshClient *c;
5411   struct MeshTunnel *t;
5412   struct MeshFlowControl *fc;
5413   MESH_ChannelNumber tid;
5414   size_t size;
5415
5416   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
5417               "Got data from a client!\n");
5418
5419   /* Sanity check for client registration */
5420   if (NULL == (c = client_get (client)))
5421   {
5422     GNUNET_break (0);
5423     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5424     return;
5425   }
5426   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
5427
5428   data_msg = (struct GNUNET_MESH_LocalData *) message;
5429
5430   /* Sanity check for message size */
5431   size = ntohs (message->size) - sizeof (struct GNUNET_MESH_LocalData);
5432   if (size < sizeof (struct GNUNET_MessageHeader))
5433   {
5434     GNUNET_break (0);
5435     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5436     return;
5437   }
5438
5439   /* Tunnel exists? */
5440   tid = ntohl (data_msg->tid);
5441   t = channel_get_by_local_id (c, tid);
5442   if (NULL == t)
5443   {
5444     GNUNET_break (0);
5445     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5446     return;
5447   }
5448
5449   /* Is the client in the tunnel? */
5450   if ( !( (tid < GNUNET_MESH_LOCAL_CHANNEL_ID_SERV &&
5451            t->owner &&
5452            t->owner->handle == client)
5453          ||
5454           (tid >= GNUNET_MESH_LOCAL_CHANNEL_ID_SERV &&
5455            t->client && 
5456            t->client->handle == client) ) )
5457   {
5458     GNUNET_break (0);
5459     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5460     return;
5461   }
5462
5463   /* Ok, everything is correct, send the message
5464    * (pretend we got it from a mesh peer)
5465    */
5466   {
5467     struct GNUNET_MESH_Data *payload;
5468     char cbuf[sizeof(struct GNUNET_MESH_Data) + size];
5469
5470     fc = tid < GNUNET_MESH_LOCAL_CHANNEL_ID_SERV ? &t->prev_fc : &t->next_fc;
5471     if (GNUNET_YES == t->reliable)
5472     {
5473       struct MeshChannelReliability *rel;
5474       struct MeshReliableMessage *copy;
5475
5476       rel = (tid < GNUNET_MESH_LOCAL_CHANNEL_ID_SERV) ? t->fwd_rel : t->bck_rel;
5477       copy = GNUNET_malloc (sizeof (struct MeshReliableMessage)
5478                             + sizeof(struct GNUNET_MESH_Data)
5479                             + size);
5480       copy->mid = rel->mid_sent++;
5481       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "!!! DATA %u\n", copy->mid);
5482       copy->timestamp = GNUNET_TIME_absolute_get ();
5483       copy->rel = rel;
5484       rel->n_sent++;
5485       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " n_sent %u\n", rel->n_sent);
5486       GNUNET_CONTAINER_DLL_insert_tail (rel->head_sent, rel->tail_sent, copy);
5487       if (GNUNET_SCHEDULER_NO_TASK == rel->retry_task)
5488       {
5489         rel->retry_timer =
5490             GNUNET_TIME_relative_multiply (rel->expected_delay,
5491                                            MESH_RETRANSMIT_MARGIN);
5492         rel->retry_task =
5493             GNUNET_SCHEDULER_add_delayed (rel->retry_timer,
5494                                           &tunnel_retransmit_message,
5495                                           rel);
5496       }
5497       payload = (struct GNUNET_MESH_Data *) &copy[1];
5498       payload->mid = htonl (copy->mid);
5499     }
5500     else
5501     {
5502       payload = (struct GNUNET_MESH_Data *) cbuf;
5503       payload->mid = htonl (fc->last_pid_recv + 1);
5504     }
5505     memcpy (&payload[1], &data_msg[1], size);
5506     payload->header.size = htons (sizeof (struct GNUNET_MESH_Data) + size);
5507     payload->header.type = htons (tid < GNUNET_MESH_LOCAL_CHANNEL_ID_SERV ?
5508                                   GNUNET_MESSAGE_TYPE_MESH_UNICAST :
5509                                   GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN);
5510     GNUNET_PEER_resolve(t->id.oid, &payload->oid);;
5511     payload->tid = htonl (t->id.tid);
5512     payload->ttl = htonl (default_ttl);
5513     payload->pid = htonl (fc->last_pid_recv + 1);
5514     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
5515                 "  calling generic handler...\n");
5516     if (tid < GNUNET_MESH_LOCAL_CHANNEL_ID_SERV)
5517       handle_mesh_unicast (NULL, &my_full_id, &payload->header);
5518     else
5519       handle_mesh_to_orig (NULL, &my_full_id, &payload->header);
5520   }
5521   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "receive done OK\n");
5522   GNUNET_SERVER_receive_done (client, GNUNET_OK);
5523
5524   return;
5525 }
5526
5527
5528 /**
5529  * Handler for client's ACKs for payload traffic.
5530  *
5531  * @param cls Closure (unused).
5532  * @param client Identification of the client.
5533  * @param message The actual message.
5534  */
5535 static void
5536 handle_local_ack (void *cls, struct GNUNET_SERVER_Client *client,
5537                   const struct GNUNET_MessageHeader *message)
5538 {
5539   struct GNUNET_MESH_LocalAck *msg;
5540   struct MeshTunnel *t;
5541   struct MeshClient *c;
5542   MESH_ChannelNumber tid;
5543
5544   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got a local ACK\n");
5545   /* Sanity check for client registration */
5546   if (NULL == (c = client_get (client)))
5547   {
5548     GNUNET_break (0);
5549     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5550     return;
5551   }
5552   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
5553
5554   msg = (struct GNUNET_MESH_LocalAck *) message;
5555
5556   /* Tunnel exists? */
5557   tid = ntohl (msg->channel_id);
5558   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %X\n", tid);
5559   t = channel_get_by_local_id (c, tid);
5560   if (NULL == t)
5561   {
5562     GNUNET_break (0);
5563     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "Tunnel %X unknown.\n", tid);
5564     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "  for client %u.\n", c->id);
5565     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5566     return;
5567   }
5568
5569   /* Does client own tunnel? I.E: Is this an ACK for BCK traffic? */
5570   if (tid < GNUNET_MESH_LOCAL_CHANNEL_ID_SERV)
5571   {
5572     /* The client owns the tunnel, ACK is for data to_origin, send BCK ACK. */
5573     t->prev_fc.last_ack_recv++;
5574     tunnel_send_ack (t, GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK, GNUNET_NO);
5575   }
5576   else
5577   {
5578     /* The client doesn't own the tunnel, this ACK is for FWD traffic. */
5579     t->next_fc.last_ack_recv++;
5580     tunnel_send_ack (t, GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK, GNUNET_YES);
5581   }
5582
5583   GNUNET_SERVER_receive_done (client, GNUNET_OK);
5584
5585   return;
5586 }
5587
5588
5589
5590 /**
5591  * Iterator over all tunnels to send a monitoring client info about each tunnel.
5592  *
5593  * @param cls Closure (client handle).
5594  * @param key Key (hashed tunnel ID, unused).
5595  * @param value Tunnel info.
5596  *
5597  * @return GNUNET_YES, to keep iterating.
5598  */
5599 static int
5600 monitor_all_tunnels_iterator (void *cls,
5601                               const struct GNUNET_HashCode * key,
5602                               void *value)
5603 {
5604   struct GNUNET_SERVER_Client *client = cls;
5605   struct MeshChannel *ch = value;
5606   struct GNUNET_MESH_LocalMonitor *msg;
5607
5608   msg = GNUNET_malloc (sizeof(struct GNUNET_MESH_LocalMonitor));
5609   msg->channel_id = htonl (ch->id);
5610   msg->header.size = htons (sizeof (struct GNUNET_MESH_LocalMonitor));
5611   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_INFO_TUNNELS);
5612
5613   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
5614               "*  sending info about tunnel %s\n",
5615               GNUNET_i2s (&msg->owner));
5616
5617   GNUNET_SERVER_notification_context_unicast (nc, client,
5618                                               &msg->header, GNUNET_NO);
5619   return GNUNET_YES;
5620 }
5621
5622
5623 /**
5624  * Handler for client's MONITOR request.
5625  *
5626  * @param cls Closure (unused).
5627  * @param client Identification of the client.
5628  * @param message The actual message.
5629  */
5630 static void
5631 handle_local_get_tunnels (void *cls, struct GNUNET_SERVER_Client *client,
5632                           const struct GNUNET_MessageHeader *message)
5633 {
5634   struct MeshClient *c;
5635
5636   /* Sanity check for client registration */
5637   if (NULL == (c = client_get (client)))
5638   {
5639     GNUNET_break (0);
5640     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5641     return;
5642   }
5643
5644   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
5645               "Received get tunnels request from client %u\n",
5646               c->id);
5647   GNUNET_CONTAINER_multihashmap_iterate (tunnels,
5648                                          monitor_all_tunnels_iterator,
5649                                          client);
5650   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
5651               "Get tunnels request from client %u completed\n",
5652               c->id);
5653   GNUNET_SERVER_receive_done (client, GNUNET_OK);
5654 }
5655
5656
5657 /**
5658  * Handler for client's MONITOR_TUNNEL request.
5659  *
5660  * @param cls Closure (unused).
5661  * @param client Identification of the client.
5662  * @param message The actual message.
5663  */
5664 static void
5665 handle_local_show_tunnel (void *cls, struct GNUNET_SERVER_Client *client,
5666                           const struct GNUNET_MessageHeader *message)
5667 {
5668   const struct GNUNET_MESH_LocalMonitor *msg;
5669   struct GNUNET_MESH_LocalMonitor *resp;
5670   struct MeshClient *c;
5671   struct MeshChannel *ch;
5672
5673   /* Sanity check for client registration */
5674   if (NULL == (c = client_get (client)))
5675   {
5676     GNUNET_break (0);
5677     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
5678     return;
5679   }
5680
5681   msg = (struct GNUNET_MESH_LocalMonitor *) message;
5682   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
5683               "Received tunnel info request from client %u for tunnel %s[%X]\n",
5684               c->id,
5685               &msg->owner,
5686               ntohl (msg->channel_id));
5687   ch = channel_get (&msg->owner, ntohl (msg->channel_id));
5688   if (NULL == ch)
5689   {
5690     /* We don't know the tunnel */
5691     struct GNUNET_MESH_LocalMonitor warn;
5692
5693     warn = *msg;
5694     GNUNET_SERVER_notification_context_unicast (nc, client,
5695                                                 &warn.header,
5696                                                 GNUNET_NO);
5697     GNUNET_SERVER_receive_done (client, GNUNET_OK);
5698     return;
5699   }
5700
5701   /* Initialize context */
5702   resp = GNUNET_malloc (sizeof (struct GNUNET_MESH_LocalMonitor));
5703   *resp = *msg;
5704   resp->header.size = htons (sizeof (struct GNUNET_MESH_LocalMonitor));
5705   GNUNET_SERVER_notification_context_unicast (nc, c->handle,
5706                                               &resp->header, GNUNET_NO);
5707   GNUNET_free (resp);
5708
5709   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
5710               "Monitor tunnel request from client %u completed\n",
5711               c->id);
5712   GNUNET_SERVER_receive_done (client, GNUNET_OK);
5713 }
5714
5715
5716 /**
5717  * Functions to handle messages from clients
5718  */
5719 static struct GNUNET_SERVER_MessageHandler client_handlers[] = {
5720   {&handle_local_new_client, NULL,
5721    GNUNET_MESSAGE_TYPE_MESH_LOCAL_CONNECT, 0},
5722   {&handle_local_channel_create, NULL,
5723    GNUNET_MESSAGE_TYPE_MESH_CHANNEL_CREATE,
5724    sizeof (struct GNUNET_MESH_ChannelMessage)},
5725   {&handle_local_channel_destroy, NULL,
5726    GNUNET_MESSAGE_TYPE_MESH_CHANNEL_DESTROY,
5727    sizeof (struct GNUNET_MESH_ChannelMessage)},
5728   {&handle_local_data, NULL,
5729    GNUNET_MESSAGE_TYPE_MESH_LOCAL_DATA, 0},
5730   {&handle_local_ack, NULL,
5731    GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK,
5732    sizeof (struct GNUNET_MESH_LocalAck)},
5733   {&handle_local_get_tunnels, NULL,
5734    GNUNET_MESSAGE_TYPE_MESH_LOCAL_INFO_TUNNELS,
5735    sizeof (struct GNUNET_MessageHeader)},
5736   {&handle_local_show_tunnel, NULL,
5737    GNUNET_MESSAGE_TYPE_MESH_LOCAL_INFO_TUNNEL,
5738      sizeof (struct GNUNET_MESH_LocalMonitor)},
5739   {NULL, NULL, 0, 0}
5740 };
5741
5742
5743 /**
5744  * Method called whenever a given peer connects.
5745  *
5746  * @param cls closure
5747  * @param peer peer identity this notification is about
5748  */
5749 static void
5750 core_connect (void *cls, const struct GNUNET_PeerIdentity *peer)
5751 {
5752   struct MeshPeer *peer_info;
5753   struct MeshPeerPath *path;
5754
5755   DEBUG_CONN ("Peer connected\n");
5756   DEBUG_CONN ("     %s\n", GNUNET_i2s (&my_full_id));
5757   peer_info = peer_get (peer);
5758   if (myid == peer_info->id)
5759   {
5760     DEBUG_CONN ("     (self)\n");
5761     path = path_new (1);
5762   }
5763   else
5764   {
5765     DEBUG_CONN ("     %s\n", GNUNET_i2s (peer));
5766     path = path_new (2);
5767     path->peers[1] = peer_info->id;
5768     GNUNET_PEER_change_rc (peer_info->id, 1);
5769     GNUNET_STATISTICS_update (stats, "# peers", 1, GNUNET_NO);
5770   }
5771   path->peers[0] = myid;
5772   GNUNET_PEER_change_rc (myid, 1);
5773   peer_add_path (peer_info, path, GNUNET_YES);
5774   if (NULL == peer_info->fc)
5775   {
5776     peer_info->fc = GNUNET_new (struct MeshFlowControl);
5777     fc_init (peer_info->fc);
5778     peer_info->fc->peer = peer_info;
5779   }
5780   return;
5781 }
5782
5783
5784 /**
5785  * Method called whenever a peer disconnects.
5786  *
5787  * @param cls closure
5788  * @param peer peer identity this notification is about
5789  */
5790 static void
5791 core_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
5792 {
5793   struct MeshPeer *pi;
5794   struct MeshPeerQueue *q;
5795   struct MeshPeerQueue *n;
5796   struct MeshFlowControl *fc;
5797
5798   DEBUG_CONN ("Peer disconnected\n");
5799   pi = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
5800   if (NULL == pi)
5801   {
5802     GNUNET_break (0);
5803     return;
5804   }
5805   fc = pi->fc;
5806   if (NULL != fc)
5807   {
5808     GNUNET_break (0);
5809     return;
5810   }
5811   pi->fc = NULL;
5812
5813   q = fc->queue_head;
5814   while (NULL != q)
5815   {
5816       n = q->next;
5817       queue_destroy (q, GNUNET_YES);
5818       q = n;
5819   }
5820   if (NULL != fc->core_transmit)
5821     GNUNET_CORE_notify_transmit_ready_cancel (fc->core_transmit);
5822   if (GNUNET_SCHEDULER_NO_TASK != fc->poll_task)
5823     GNUNET_SCHEDULER_cancel (fc->poll_task);
5824
5825   peer_remove_path (pi, pi->id, myid);
5826   if (myid == pi->id)
5827   {
5828     DEBUG_CONN ("     (self)\n");
5829   }
5830   GNUNET_STATISTICS_update (stats, "# peers", -1, GNUNET_NO);
5831   GNUNET_free (fc);
5832
5833   return;
5834 }
5835
5836
5837 /**
5838  * Install server (service) handlers and start listening to clients.
5839  */
5840 static void
5841 server_init (void)
5842 {
5843   GNUNET_SERVER_add_handlers (server_handle, client_handlers);
5844   GNUNET_SERVER_connect_notify (server_handle,
5845                                 &handle_local_client_connect, NULL);
5846   GNUNET_SERVER_disconnect_notify (server_handle,
5847                                    &handle_local_client_disconnect, NULL);
5848   nc = GNUNET_SERVER_notification_context_create (server_handle, 1);
5849
5850   clients_head = NULL;
5851   clients_tail = NULL;
5852   next_client_id = 0;
5853   GNUNET_SERVER_resume (server_handle);
5854 }
5855
5856
5857 /**
5858  * To be called on core init/fail.
5859  *
5860  * @param cls Closure (config)
5861  * @param server handle to the server for this service
5862  * @param identity the public identity of this peer
5863  */
5864 static void
5865 core_init (void *cls, struct GNUNET_CORE_Handle *server,
5866            const struct GNUNET_PeerIdentity *identity)
5867 {
5868   const struct GNUNET_CONFIGURATION_Handle *c = cls;
5869   static int i = 0;
5870
5871   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Core init\n");
5872   GNUNET_break (core_handle == server);
5873   if (0 != memcmp (identity, &my_full_id, sizeof (my_full_id)) ||
5874     NULL == server)
5875   {
5876     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, _("Wrong CORE service\n"));
5877     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
5878                 " core id %s\n",
5879                 GNUNET_i2s (identity));
5880     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
5881                 " my id %s\n",
5882                 GNUNET_i2s (&my_full_id));
5883     GNUNET_CORE_disconnect (core_handle);
5884     core_handle = GNUNET_CORE_connect (c, /* Main configuration */
5885                                        NULL,      /* Closure passed to MESH functions */
5886                                        &core_init,        /* Call core_init once connected */
5887                                        &core_connect,     /* Handle connects */
5888                                        &core_disconnect,  /* remove peers on disconnects */
5889                                        NULL,      /* Don't notify about all incoming messages */
5890                                        GNUNET_NO, /* For header only in notification */
5891                                        NULL,      /* Don't notify about all outbound messages */
5892                                        GNUNET_NO, /* For header-only out notification */
5893                                        core_handlers);    /* Register these handlers */
5894     if (10 < i++)
5895       GNUNET_abort();
5896   }
5897   server_init ();
5898   return;
5899 }
5900
5901
5902 /******************************************************************************/
5903 /************************      MAIN FUNCTIONS      ****************************/
5904 /******************************************************************************/
5905
5906 /**
5907  * Iterator over tunnel hash map entries to destroy the tunnel during shutdown.
5908  *
5909  * @param cls closure
5910  * @param key current key code
5911  * @param value value in the hash map
5912  * @return GNUNET_YES if we should continue to iterate,
5913  *         GNUNET_NO if not.
5914  */
5915 static int
5916 shutdown_tunnel (void *cls, const struct GNUNET_HashCode * key, void *value)
5917 {
5918   struct MeshTunnel2 *t = value;
5919
5920   tunnel_destroy (t);
5921   return GNUNET_YES;
5922 }
5923
5924 /**
5925  * Iterator over peer hash map entries to destroy the tunnel during shutdown.
5926  *
5927  * @param cls closure
5928  * @param key current key code
5929  * @param value value in the hash map
5930  * @return GNUNET_YES if we should continue to iterate,
5931  *         GNUNET_NO if not.
5932  */
5933 static int
5934 shutdown_peer (void *cls, const struct GNUNET_HashCode * key, void *value)
5935 {
5936   struct MeshPeer *p = value;
5937   struct MeshPeerQueue *q;
5938   struct MeshPeerQueue *n;
5939
5940   q = p->fc->queue_head;
5941   while (NULL != q)
5942   {
5943       n = q->next;
5944       if (q->peer == p)
5945       {
5946         queue_destroy(q, GNUNET_YES);
5947       }
5948       q = n;
5949   }
5950   peer_destroy (p);
5951   return GNUNET_YES;
5952 }
5953
5954
5955 /**
5956  * Task run during shutdown.
5957  *
5958  * @param cls unused
5959  * @param tc unused
5960  */
5961 static void
5962 shutdown_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
5963 {
5964   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "shutting down\n");
5965
5966   if (core_handle != NULL)
5967   {
5968     GNUNET_CORE_disconnect (core_handle);
5969     core_handle = NULL;
5970   }
5971   GNUNET_CONTAINER_multihashmap_iterate (tunnels, &shutdown_tunnel, NULL);
5972   GNUNET_CONTAINER_multihashmap_iterate (peers, &shutdown_peer, NULL);
5973   if (dht_handle != NULL)
5974   {
5975     GNUNET_DHT_disconnect (dht_handle);
5976     dht_handle = NULL;
5977   }
5978   if (nc != NULL)
5979   {
5980     GNUNET_SERVER_notification_context_destroy (nc);
5981     nc = NULL;
5982   }
5983   if (GNUNET_SCHEDULER_NO_TASK != announce_id_task)
5984   {
5985     GNUNET_SCHEDULER_cancel (announce_id_task);
5986     announce_id_task = GNUNET_SCHEDULER_NO_TASK;
5987   }
5988   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "shut down\n");
5989 }
5990
5991
5992 /**
5993  * Process mesh requests.
5994  *
5995  * @param cls closure
5996  * @param server the initialized server
5997  * @param c configuration to use
5998  */
5999 static void
6000 run (void *cls, struct GNUNET_SERVER_Handle *server,
6001      const struct GNUNET_CONFIGURATION_Handle *c)
6002 {
6003   char *keyfile;
6004   struct GNUNET_CRYPTO_EccPrivateKey *pk;
6005
6006   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "starting to run\n");
6007   server_handle = server;
6008   GNUNET_SERVER_suspend (server_handle);
6009
6010   if (GNUNET_OK !=
6011       GNUNET_CONFIGURATION_get_value_filename (c, "PEER", "PRIVATE_KEY",
6012                                                &keyfile))
6013   {
6014     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
6015                 _
6016                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
6017                 "mesh", "peer/privatekey");
6018     GNUNET_SCHEDULER_shutdown ();
6019     return;
6020   }
6021
6022   if (GNUNET_OK !=
6023       GNUNET_CONFIGURATION_get_value_time (c, "MESH", "REFRESH_CONNECTION_TIME",
6024                                            &refresh_connection_time))
6025   {
6026     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
6027                 _
6028                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
6029                 "mesh", "refresh path time");
6030     GNUNET_SCHEDULER_shutdown ();
6031     return;
6032   }
6033
6034   if (GNUNET_OK !=
6035       GNUNET_CONFIGURATION_get_value_time (c, "MESH", "ID_ANNOUNCE_TIME",
6036                                            &id_announce_time))
6037   {
6038     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
6039                 _
6040                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
6041                 "mesh", "id announce time");
6042     GNUNET_SCHEDULER_shutdown ();
6043     return;
6044   }
6045
6046   if (GNUNET_OK !=
6047       GNUNET_CONFIGURATION_get_value_time (c, "MESH", "CONNECT_TIMEOUT",
6048                                            &connect_timeout))
6049   {
6050     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
6051                 _
6052                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
6053                 "mesh", "connect timeout");
6054     GNUNET_SCHEDULER_shutdown ();
6055     return;
6056   }
6057
6058   if (GNUNET_OK !=
6059       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_MSGS_QUEUE",
6060                                              &max_msgs_queue))
6061   {
6062     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
6063                 _
6064                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
6065                 "mesh", "max msgs queue");
6066     GNUNET_SCHEDULER_shutdown ();
6067     return;
6068   }
6069
6070   if (GNUNET_OK !=
6071       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_TUNNELS",
6072                                              &max_tunnels))
6073   {
6074     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
6075                 _
6076                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
6077                 "mesh", "max tunnels");
6078     GNUNET_SCHEDULER_shutdown ();
6079     return;
6080   }
6081
6082   if (GNUNET_OK !=
6083       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "DEFAULT_TTL",
6084                                              &default_ttl))
6085   {
6086     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
6087                 _
6088                 ("%s service is lacking key configuration settings (%s). Using default (%u).\n"),
6089                 "mesh", "default ttl", 64);
6090     default_ttl = 64;
6091   }
6092
6093   if (GNUNET_OK !=
6094       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_PEERS",
6095                                              &max_peers))
6096   {
6097     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
6098                 _("%s service is lacking key configuration settings (%s). Using default (%u).\n"),
6099                 "mesh", "max peers", 1000);
6100     max_peers = 1000;
6101   }
6102
6103   if (GNUNET_OK !=
6104       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "DROP_PERCENT",
6105                                              &drop_percent))
6106   {
6107     drop_percent = 0;
6108   }
6109   else
6110   {
6111     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
6112                 "Mesh is running with drop mode enabled. "
6113                 "This is NOT a good idea! "
6114                 "Remove the DROP_PERCENT option from your configuration.\n");
6115   }
6116
6117   if (GNUNET_OK !=
6118       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "DHT_REPLICATION_LEVEL",
6119                                              &dht_replication_level))
6120   {
6121     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
6122                 _
6123                 ("%s service is lacking key configuration settings (%s). Using default (%u).\n"),
6124                 "mesh", "dht replication level", 3);
6125     dht_replication_level = 3;
6126   }
6127
6128   tunnels = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
6129   peers = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
6130   ports = GNUNET_CONTAINER_multihashmap32_create (32);
6131
6132   dht_handle = GNUNET_DHT_connect (c, 64);
6133   if (NULL == dht_handle)
6134   {
6135     GNUNET_break (0);
6136   }
6137   stats = GNUNET_STATISTICS_create ("mesh", c);
6138
6139   /* Scheduled the task to clean up when shutdown is called */
6140   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL, &shutdown_task,
6141                                 NULL);
6142   pk = GNUNET_CRYPTO_ecc_key_create_from_file (keyfile);
6143   GNUNET_free (keyfile);
6144   GNUNET_assert (NULL != pk);
6145   my_private_key = pk;
6146   GNUNET_CRYPTO_ecc_key_get_public (my_private_key, &my_public_key);
6147   GNUNET_CRYPTO_hash (&my_public_key, sizeof (my_public_key),
6148                       &my_full_id.hashPubKey);
6149   myid = GNUNET_PEER_intern (&my_full_id);
6150   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
6151               "Mesh for peer [%s] starting\n",
6152               GNUNET_i2s(&my_full_id));
6153
6154   core_handle = GNUNET_CORE_connect (c, /* Main configuration */
6155                                      NULL,      /* Closure passed to MESH functions */
6156                                      &core_init,        /* Call core_init once connected */
6157                                      &core_connect,     /* Handle connects */
6158                                      &core_disconnect,  /* remove peers on disconnects */
6159                                      NULL,      /* Don't notify about all incoming messages */
6160                                      GNUNET_NO, /* For header only in notification */
6161                                      NULL,      /* Don't notify about all outbound messages */
6162                                      GNUNET_NO, /* For header-only out notification */
6163                                      core_handlers);    /* Register these handlers */
6164   if (NULL == core_handle)
6165   {
6166     GNUNET_break (0);
6167     GNUNET_SCHEDULER_shutdown ();
6168     return;
6169   }
6170   announce_id_task = GNUNET_SCHEDULER_add_now (&announce_id, cls);
6171   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Mesh service running\n");
6172 }
6173
6174
6175 /**
6176  * The main function for the mesh service.
6177  *
6178  * @param argc number of arguments from the command line
6179  * @param argv command line arguments
6180  * @return 0 ok, 1 on error
6181  */
6182 int
6183 main (int argc, char *const *argv)
6184 {
6185   int ret;
6186   int r;
6187
6188   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "main()\n");
6189   r = GNUNET_SERVICE_run (argc, argv, "mesh", GNUNET_SERVICE_OPTION_NONE, &run,
6190                           NULL);
6191   ret = (GNUNET_OK == r) ? 0 : 1;
6192   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "main() END\n");
6193
6194   INTERVAL_SHOW;
6195
6196   return ret;
6197 }