- fix #3479
[oweals/gnunet.git] / src / cadet / gnunet-service-cadet_tunnel.c
1 /*
2      This file is part of GNUnet.
3      (C) 2013 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 #include "platform.h"
22 #include "gnunet_util_lib.h"
23
24 #include "gnunet_signatures.h"
25 #include "gnunet_statistics_service.h"
26
27 #include "cadet_protocol.h"
28 #include "cadet_path.h"
29
30 #include "gnunet-service-cadet_tunnel.h"
31 #include "gnunet-service-cadet_connection.h"
32 #include "gnunet-service-cadet_channel.h"
33 #include "gnunet-service-cadet_peer.h"
34
35 #define LOG(level, ...) GNUNET_log_from(level,"cadet-tun",__VA_ARGS__)
36
37 #define REKEY_WAIT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 5)
38
39 #define CONNECTIONS_PER_TUNNEL 3
40
41 #if !defined(GNUNET_CULL_LOGGING)
42 #define DUMP_KEYS_TO_STDERR GNUNET_YES
43 #else
44 #define DUMP_KEYS_TO_STDERR GNUNET_NO
45 #endif
46
47 /******************************************************************************/
48 /********************************   STRUCTS  **********************************/
49 /******************************************************************************/
50
51 struct CadetTChannel
52 {
53   struct CadetTChannel *next;
54   struct CadetTChannel *prev;
55   struct CadetChannel *ch;
56 };
57
58
59 /**
60  * Connection list and metadata.
61  */
62 struct CadetTConnection
63 {
64   /**
65    * Next in DLL.
66    */
67   struct CadetTConnection *next;
68
69   /**
70    * Prev in DLL.
71    */
72   struct CadetTConnection *prev;
73
74   /**
75    * Connection handle.
76    */
77   struct CadetConnection *c;
78
79   /**
80    * Creation time, to keep oldest connection alive.
81    */
82   struct GNUNET_TIME_Absolute created;
83
84   /**
85    * Connection throughput, to keep fastest connection alive.
86    */
87   uint32_t throughput;
88 };
89
90 /**
91  * Structure used during a Key eXchange.
92  */
93 struct CadetTunnelKXCtx
94 {
95   /**
96    * Encryption ("our") old key, for encrypting traffic sent by us
97    * end before the key exchange is finished or times out.
98    */
99   struct GNUNET_CRYPTO_SymmetricSessionKey e_key_old;
100
101   /**
102    * Decryption ("their") old key, for decrypting traffic sent by the
103    * other end before the key exchange started.
104    */
105   struct GNUNET_CRYPTO_SymmetricSessionKey d_key_old;
106
107   /**
108    * Challenge to send in a ping and expect in the pong.
109    */
110   uint32_t challenge;
111
112   /**
113    * When the rekey started. One minute after this the new key will be used.
114    */
115   struct GNUNET_TIME_Absolute rekey_start_time;
116
117   /**
118    * Task for delayed destruction of the Key eXchange context, to allow delayed
119    * messages with the old key to be decrypted successfully.
120    */
121   GNUNET_SCHEDULER_TaskIdentifier finish_task;
122 };
123
124 /**
125  * Struct containing all information regarding a tunnel to a peer.
126  */
127 struct CadetTunnel
128 {
129     /**
130      * Endpoint of the tunnel.
131      */
132   struct CadetPeer *peer;
133
134     /**
135      * State of the tunnel connectivity.
136      */
137   enum CadetTunnelCState cstate;
138
139   /**
140    * State of the tunnel encryption.
141    */
142   enum CadetTunnelEState estate;
143
144   /**
145    * Key eXchange context.
146    */
147   struct CadetTunnelKXCtx *kx_ctx;
148
149   /**
150    * Peer's ephemeral key, to recreate @c e_key and @c d_key when own ephemeral
151    * key changes.
152    */
153   struct GNUNET_CRYPTO_EcdhePublicKey peers_ephemeral_key;
154
155   /**
156    * Encryption ("our") key.
157    */
158   struct GNUNET_CRYPTO_SymmetricSessionKey e_key;
159
160   /**
161    * Decryption ("their") key.
162    */
163   struct GNUNET_CRYPTO_SymmetricSessionKey d_key;
164
165   /**
166    * Task to start the rekey process.
167    */
168   GNUNET_SCHEDULER_TaskIdentifier rekey_task;
169
170   /**
171    * Paths that are actively used to reach the destination peer.
172    */
173   struct CadetTConnection *connection_head;
174   struct CadetTConnection *connection_tail;
175
176   /**
177    * Next connection number.
178    */
179   uint32_t next_cid;
180
181   /**
182    * Channels inside this tunnel.
183    */
184   struct CadetTChannel *channel_head;
185   struct CadetTChannel *channel_tail;
186
187   /**
188    * Channel ID for the next created channel.
189    */
190   CADET_ChannelNumber next_chid;
191
192   /**
193    * Destroy flag: if true, destroy on last message.
194    */
195   GNUNET_SCHEDULER_TaskIdentifier destroy_task;
196
197   /**
198    * Queued messages, to transmit once tunnel gets connected.
199    */
200   struct CadetTunnelDelayed *tq_head;
201   struct CadetTunnelDelayed *tq_tail;
202 };
203
204
205 /**
206  * Struct used to save messages in a non-ready tunnel to send once connected.
207  */
208 struct CadetTunnelDelayed
209 {
210   /**
211    * DLL
212    */
213   struct CadetTunnelDelayed *next;
214   struct CadetTunnelDelayed *prev;
215
216   /**
217    * Tunnel.
218    */
219   struct CadetTunnel *t;
220
221   /**
222    * Tunnel queue given to the channel to cancel request. Update on send_queued.
223    */
224   struct CadetTunnelQueue *tq;
225
226   /**
227    * Message to send.
228    */
229   /* struct GNUNET_MessageHeader *msg; */
230 };
231
232
233 /**
234  * Handle for messages queued but not yet sent.
235  */
236 struct CadetTunnelQueue
237 {
238   /**
239    * Connection queue handle, to cancel if necessary.
240    */
241   struct CadetConnectionQueue *cq;
242
243   /**
244    * Handle in case message hasn't been given to a connection yet.
245    */
246   struct CadetTunnelDelayed *tqd;
247
248   /**
249    * Continuation to call once sent.
250    */
251   GCT_sent cont;
252
253   /**
254    * Closure for @c cont.
255    */
256   void *cont_cls;
257 };
258
259
260 /******************************************************************************/
261 /*******************************   GLOBALS  ***********************************/
262 /******************************************************************************/
263
264 /**
265  * Global handle to the statistics service.
266  */
267 extern struct GNUNET_STATISTICS_Handle *stats;
268
269 /**
270  * Local peer own ID (memory efficient handle).
271  */
272 extern GNUNET_PEER_Id myid;
273
274 /**
275  * Local peer own ID (full value).
276  */
277 extern struct GNUNET_PeerIdentity my_full_id;
278
279
280 /**
281  * Don't try to recover tunnels if shutting down.
282  */
283 extern int shutting_down;
284
285
286 /**
287  * Set of all tunnels, in order to trigger a new exchange on rekey.
288  * Indexed by peer's ID.
289  */
290 static struct GNUNET_CONTAINER_MultiPeerMap *tunnels;
291
292 /**
293  * Default TTL for payload packets.
294  */
295 static unsigned long long default_ttl;
296
297 /**
298  * Own private key.
299  */
300 const static struct GNUNET_CRYPTO_EddsaPrivateKey *my_private_key;
301
302 /**
303  * Own ephemeral private key.
304  */
305 static struct GNUNET_CRYPTO_EcdhePrivateKey *my_ephemeral_key;
306
307 /**
308  * Cached message used to perform a key exchange.
309  */
310 static struct GNUNET_CADET_KX_Ephemeral kx_msg;
311
312 /**
313  * Task to generate a new ephemeral key.
314  */
315 static GNUNET_SCHEDULER_TaskIdentifier rekey_task;
316
317 /**
318  * Rekey period.
319  */
320 static struct GNUNET_TIME_Relative rekey_period;
321
322 /******************************************************************************/
323 /********************************   STATIC  ***********************************/
324 /******************************************************************************/
325
326 /**
327  * Get string description for tunnel connectivity state.
328  *
329  * @param cs Tunnel state.
330  *
331  * @return String representation.
332  */
333 static const char *
334 cstate2s (enum CadetTunnelCState cs)
335 {
336   static char buf[32];
337
338   switch (cs)
339   {
340     case CADET_TUNNEL_NEW:
341       return "CADET_TUNNEL_NEW";
342     case CADET_TUNNEL_SEARCHING:
343       return "CADET_TUNNEL_SEARCHING";
344     case CADET_TUNNEL_WAITING:
345       return "CADET_TUNNEL_WAITING";
346     case CADET_TUNNEL_READY:
347       return "CADET_TUNNEL_READY";
348
349     default:
350       sprintf (buf, "%u (UNKNOWN STATE)", cs);
351       return buf;
352   }
353   return "";
354 }
355
356
357 /**
358  * Get string description for tunnel encryption state.
359  *
360  * @param es Tunnel state.
361  *
362  * @return String representation.
363  */
364 static const char *
365 estate2s (enum CadetTunnelEState es)
366 {
367   static char buf[32];
368
369   switch (es)
370   {
371     case CADET_TUNNEL_KEY_UNINITIALIZED:
372       return "CADET_TUNNEL_KEY_UNINITIALIZED";
373     case CADET_TUNNEL_KEY_SENT:
374       return "CADET_TUNNEL_KEY_SENT";
375     case CADET_TUNNEL_KEY_PING:
376       return "CADET_TUNNEL_KEY_PING";
377     case CADET_TUNNEL_KEY_OK:
378       return "CADET_TUNNEL_KEY_OK";
379     case CADET_TUNNEL_KEY_REKEY:
380       return "CADET_TUNNEL_KEY_REKEY";
381     default:
382       sprintf (buf, "%u (UNKNOWN STATE)", es);
383       return buf;
384   }
385   return "";
386 }
387
388
389 /**
390  * @brief Check if tunnel is ready to send traffic.
391  *
392  * Tunnel must be connected and with encryption correctly set up.
393  *
394  * @param t Tunnel to check.
395  *
396  * @return #GNUNET_YES if ready, #GNUNET_NO otherwise
397  */
398 static int
399 is_ready (struct CadetTunnel *t)
400 {
401   int ready;
402
403   GCT_debug (t, GNUNET_ERROR_TYPE_DEBUG);
404   ready = CADET_TUNNEL_READY == t->cstate
405           && (CADET_TUNNEL_KEY_OK == t->estate
406               || CADET_TUNNEL_KEY_REKEY == t->estate);
407   ready = ready || GCT_is_loopback (t);
408   return ready;
409 }
410
411
412 /**
413  * Ephemeral key message purpose size.
414  *
415  * @return Size of the part of the ephemeral key message that must be signed.
416  */
417 size_t
418 ephemeral_purpose_size (void)
419 {
420   return sizeof (struct GNUNET_CRYPTO_EccSignaturePurpose) +
421          sizeof (struct GNUNET_TIME_AbsoluteNBO) +
422          sizeof (struct GNUNET_TIME_AbsoluteNBO) +
423          sizeof (struct GNUNET_CRYPTO_EcdhePublicKey) +
424          sizeof (struct GNUNET_PeerIdentity);
425 }
426
427
428 /**
429  * Size of the encrypted part of a ping message.
430  *
431  * @return Size of the encrypted part of a ping message.
432  */
433 size_t
434 ping_encryption_size (void)
435 {
436   return sizeof (struct GNUNET_PeerIdentity) + sizeof (uint32_t);
437 }
438
439
440 /**
441  * Get the channel's buffer. ONLY FOR NON-LOOPBACK CHANNELS!!
442  *
443  * @param tch Tunnel's channel handle.
444  *
445  * @return Amount of messages the channel can still buffer towards the client.
446  */
447 static unsigned int
448 get_channel_buffer (const struct CadetTChannel *tch)
449 {
450   int fwd;
451
452   /* If channel is outgoing, is origin in the FWD direction and fwd is YES */
453   fwd = GCCH_is_origin (tch->ch, GNUNET_YES);
454
455   return GCCH_get_buffer (tch->ch, fwd);
456 }
457
458
459 /**
460  * Get the channel's allowance status.
461  *
462  * @param tch Tunnel's channel handle.
463  *
464  * @return #GNUNET_YES if we allowed the client to send data to us.
465  */
466 static int
467 get_channel_allowed (const struct CadetTChannel *tch)
468 {
469   int fwd;
470
471   /* If channel is outgoing, is origin in the FWD direction and fwd is YES */
472   fwd = GCCH_is_origin (tch->ch, GNUNET_YES);
473
474   return GCCH_get_allowed (tch->ch, fwd);
475 }
476
477
478 /**
479  * Get the connection's buffer.
480  *
481  * @param tc Tunnel's connection handle.
482  *
483  * @return Amount of messages the connection can still buffer.
484  */
485 static unsigned int
486 get_connection_buffer (const struct CadetTConnection *tc)
487 {
488   int fwd;
489
490   /* If connection is outgoing, is origin in the FWD direction and fwd is YES */
491   fwd = GCC_is_origin (tc->c, GNUNET_YES);
492
493   return GCC_get_buffer (tc->c, fwd);
494 }
495
496
497 /**
498  * Get the connection's allowance.
499  *
500  * @param tc Tunnel's connection handle.
501  *
502  * @return Amount of messages we have allowed the next peer to send us.
503  */
504 static unsigned int
505 get_connection_allowed (const struct CadetTConnection *tc)
506 {
507   int fwd;
508
509   /* If connection is outgoing, is origin in the FWD direction and fwd is YES */
510   fwd = GCC_is_origin (tc->c, GNUNET_YES);
511
512   return GCC_get_allowed (tc->c, fwd);
513 }
514
515
516 /**
517  * Check that a ephemeral key message s well formed and correctly signed.
518  *
519  * @param t Tunnel on which the message came.
520  * @param msg The ephemeral key message.
521  *
522  * @return GNUNET_OK if message is fine, GNUNET_SYSERR otherwise.
523  */
524 int
525 check_ephemeral (struct CadetTunnel *t,
526                  const struct GNUNET_CADET_KX_Ephemeral *msg)
527 {
528   /* Check message size */
529   if (ntohs (msg->header.size) != sizeof (struct GNUNET_CADET_KX_Ephemeral))
530     return GNUNET_SYSERR;
531
532   /* Check signature size */
533   if (ntohl (msg->purpose.size) != ephemeral_purpose_size ())
534     return GNUNET_SYSERR;
535
536   /* Check origin */
537   if (0 != memcmp (&msg->origin_identity,
538                    GCP_get_id (t->peer),
539                    sizeof (struct GNUNET_PeerIdentity)))
540     return GNUNET_SYSERR;
541
542   /* Check signature */
543   if (GNUNET_OK !=
544       GNUNET_CRYPTO_eddsa_verify (GNUNET_SIGNATURE_PURPOSE_CADET_KX,
545                                   &msg->purpose,
546                                   &msg->signature,
547                                   &msg->origin_identity.public_key))
548     return GNUNET_SYSERR;
549
550   return GNUNET_OK;
551 }
552
553
554 /**
555  * Select the best key to use for encryption (send), based on KX status.
556  *
557  * Normally, return the current key. If there is a KX in progress and the old
558  * key is fresh enough, return the old key.
559  *
560  * @param t Tunnel to choose the key from.
561  *
562  * @return The optimal key to encrypt/hmac outgoing traffic.
563  */
564 static const struct GNUNET_CRYPTO_SymmetricSessionKey *
565 select_key (const struct CadetTunnel *t)
566 {
567   const struct GNUNET_CRYPTO_SymmetricSessionKey *key;
568
569   if (NULL != t->kx_ctx
570       && GNUNET_SCHEDULER_NO_TASK == t->kx_ctx->finish_task)
571   {
572     struct GNUNET_TIME_Relative age;
573
574     age = GNUNET_TIME_absolute_get_duration (t->kx_ctx->rekey_start_time);
575     LOG (GNUNET_ERROR_TYPE_DEBUG,
576          "  key exchange in progress, started %s ago\n",
577          GNUNET_STRINGS_relative_time_to_string (age, GNUNET_YES));
578     // FIXME make duration of old keys configurable
579     if (age.rel_value_us < GNUNET_TIME_UNIT_MINUTES.rel_value_us)
580     {
581       LOG (GNUNET_ERROR_TYPE_DEBUG, "  using old key\n");
582       key = &t->kx_ctx->e_key_old;
583     }
584     else
585     {
586       LOG (GNUNET_ERROR_TYPE_DEBUG, "  using new key\n");
587       key = &t->e_key;
588     }
589   }
590   else
591   {
592     LOG (GNUNET_ERROR_TYPE_DEBUG, "  no KX: using current key\n");
593     key = &t->e_key;
594   }
595   return key;
596 }
597
598
599 /**
600  * Calculate HMAC.
601  *
602  * @param plaintext Content to HMAC.
603  * @param size Size of @c plaintext.
604  * @param iv Initialization vector for the message.
605  * @param key Key to use.
606  * @param hmac[out] Destination to store the HMAC.
607  */
608 static void
609 t_hmac (const void *plaintext, size_t size,
610         uint32_t iv, const struct GNUNET_CRYPTO_SymmetricSessionKey *key,
611         struct GNUNET_CADET_Hash *hmac)
612 {
613   static const char ctx[] = "cadet authentication key";
614   struct GNUNET_CRYPTO_AuthKey auth_key;
615   struct GNUNET_HashCode hash;
616
617 #if DUMP_KEYS_TO_STDERR
618   LOG (GNUNET_ERROR_TYPE_INFO, "  HMAC with key %s\n",
619        GNUNET_h2s ((struct GNUNET_HashCode *) key));
620 #endif
621   GNUNET_CRYPTO_hmac_derive_key (&auth_key, key,
622                                  &iv, sizeof (iv),
623                                  key, sizeof (*key),
624                                  ctx, sizeof (ctx),
625                                  NULL);
626   /* Two step: CADET_Hash is only 256 bits, HashCode is 512. */
627   GNUNET_CRYPTO_hmac (&auth_key, plaintext, size, &hash);
628   memcpy (hmac, &hash, sizeof (*hmac));
629 }
630
631
632 /**
633  * Encrypt daforce_newest_keyta with the tunnel key.
634  *
635  * @param t Tunnel whose key to use.
636  * @param dst Destination for the encrypted data.
637  * @param src Source of the plaintext. Can overlap with @c dst.
638  * @param size Size of the plaintext.
639  * @param iv Initialization Vector to use.
640  * @param force_newest_key Force the use of the newest key, otherwise
641  *                         CADET will use the old key when allowed.
642  *                         This can happen in the case when a KX is going on
643  *                         and the old one hasn't expired.
644  */
645 static int
646 t_encrypt (struct CadetTunnel *t, void *dst, const void *src,
647            size_t size, uint32_t iv, int force_newest_key)
648 {
649   struct GNUNET_CRYPTO_SymmetricInitializationVector siv;
650   const struct GNUNET_CRYPTO_SymmetricSessionKey *key;
651   size_t out_size;
652
653   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_encrypt start\n");
654
655   key = GNUNET_YES == force_newest_key ? &t->e_key : select_key (t);
656   #if DUMP_KEYS_TO_STDERR
657   LOG (GNUNET_ERROR_TYPE_INFO, "  ENC with key %s\n",
658        GNUNET_h2s ((struct GNUNET_HashCode *) key));
659   #endif
660   GNUNET_CRYPTO_symmetric_derive_iv (&siv, key, &iv, sizeof (iv), NULL);
661   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_encrypt IV derived\n");
662   out_size = GNUNET_CRYPTO_symmetric_encrypt (src, size, key, &siv, dst);
663   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_encrypt end\n");
664
665   return out_size;
666 }
667
668
669 /**
670  * Decrypt and verify data with the appropriate tunnel key.
671  *
672  * @param key Key to use.
673  * @param dst Destination for the plaintext.
674  * @param src Source of the encrypted data. Can overlap with @c dst.
675  * @param size Size of the encrypted data.
676  * @param iv Initialization Vector to use.
677  *
678  * @return Size of the decrypted data, -1 if an error was encountered.
679  */
680 static int
681 decrypt (const struct GNUNET_CRYPTO_SymmetricSessionKey *key,
682          void *dst, const void *src, size_t size, uint32_t iv)
683 {
684   struct GNUNET_CRYPTO_SymmetricInitializationVector siv;
685   size_t out_size;
686
687   LOG (GNUNET_ERROR_TYPE_DEBUG, "  decrypt start\n");
688   LOG (GNUNET_ERROR_TYPE_DEBUG, "  decrypt iv\n");
689   GNUNET_CRYPTO_symmetric_derive_iv (&siv, key, &iv, sizeof (iv), NULL);
690   LOG (GNUNET_ERROR_TYPE_DEBUG, "  decrypt iv done\n");
691   out_size = GNUNET_CRYPTO_symmetric_decrypt (src, size, key, &siv, dst);
692   LOG (GNUNET_ERROR_TYPE_DEBUG, "  decrypt end\n");
693
694   return out_size;
695 }
696
697
698 /**
699  * Decrypt and verify data with the most recent tunnel key.
700  *
701  * @param t Tunnel whose key to use.
702  * @param dst Destination for the plaintext.
703  * @param src Source of the encrypted data. Can overlap with @c dst.
704  * @param size Size of the encrypted data.
705  * @param iv Initialization Vector to use.
706  *
707  * @return Size of the decrypted data, -1 if an error was encountered.
708  */
709 static int
710 t_decrypt (struct CadetTunnel *t, void *dst, const void *src,
711            size_t size, uint32_t iv)
712 {
713   size_t out_size;
714
715 #if DUMP_KEYS_TO_STDERR
716   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_decrypt with %s\n",
717        GNUNET_h2s ((struct GNUNET_HashCode *) &t->d_key));
718 #endif
719   if (t->estate == CADET_TUNNEL_KEY_UNINITIALIZED)
720   {
721     GNUNET_STATISTICS_update (stats, "# non decryptable data", 1, GNUNET_NO);
722     LOG (GNUNET_ERROR_TYPE_WARNING,
723          "got data on %s without a valid key\n",
724          GCT_2s (t));
725     GCT_debug (t, GNUNET_ERROR_TYPE_WARNING);
726     return -1;
727   }
728
729   out_size = decrypt (&t->d_key, dst, src, size, iv);
730
731   return out_size;
732 }
733
734
735 /**
736  * Decrypt and verify data with the appropriate tunnel key and verify that the
737  * data has not been altered since it was sent by the remote peer.
738  *
739  * @param t Tunnel whose key to use.
740  * @param dst Destination for the plaintext.
741  * @param src Source of the encrypted data. Can overlap with @c dst.
742  * @param size Size of the encrypted data.
743  * @param iv Initialization Vector to use.
744  * @param msg_hmac HMAC of the message, cannot be NULL.
745  *
746  * @return Size of the decrypted data, -1 if an error was encountered.
747  */
748 static int
749 t_decrypt_and_validate (struct CadetTunnel *t,
750                         void *dst, const void *src,
751                         size_t size, uint32_t iv,
752                         const struct GNUNET_CADET_Hash *msg_hmac)
753 {
754   struct GNUNET_CRYPTO_SymmetricSessionKey *key;
755   struct GNUNET_CADET_Hash hmac;
756   int decrypted_size;
757
758   /* Try primary (newest) key */
759   key = &t->d_key;
760   decrypted_size = decrypt (key, dst, src, size, iv);
761   t_hmac (src, size, iv, key, &hmac);
762   if (0 == memcmp (msg_hmac, &hmac, sizeof (hmac)))
763     return decrypted_size;
764
765   /* If no key exchange is going on, we just failed */
766   if (NULL == t->kx_ctx)
767   {
768     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
769                 "Failed checksum validation on tunnel %s with no KX\n",
770                 GCT_2s (t));
771     GNUNET_STATISTICS_update (stats, "# wrong HMAC", 1, GNUNET_NO);
772     return -1;
773   }
774
775   /* Try secondary (from previous KX period) key */
776   key = &t->kx_ctx->d_key_old;
777   decrypted_size = decrypt (key, dst, src, size, iv);
778   t_hmac (src, size, iv, key, &hmac);
779   if (0 == memcmp (msg_hmac, &hmac, sizeof (hmac)))
780     return decrypted_size;
781
782   GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
783               "Failed checksum validation on tunnel %s with KX\n",
784               GCT_2s (t));
785   GNUNET_STATISTICS_update (stats, "# wrong HMAC", 1, GNUNET_NO);
786   return -1;
787 }
788
789
790 /**
791  * Create key material by doing ECDH on the local and remote ephemeral keys.
792  *
793  * @param key_material Where to store the key material.
794  * @param ephemeral_key Peer's public ephemeral key.
795  */
796 void
797 derive_key_material (struct GNUNET_HashCode *key_material,
798                      const struct GNUNET_CRYPTO_EcdhePublicKey *ephemeral_key)
799 {
800   if (GNUNET_OK !=
801       GNUNET_CRYPTO_ecc_ecdh (my_ephemeral_key,
802                               ephemeral_key,
803                               key_material))
804   {
805     GNUNET_break (0);
806   }
807 }
808
809
810 /**
811  * Create a symmetic key from the identities of both ends and the key material
812  * from ECDH.
813  *
814  * @param key Destination for the generated key.
815  * @param sender ID of the peer that will encrypt with @c key.
816  * @param receiver ID of the peer that will decrypt with @c key.
817  * @param key_material Hash created with ECDH with the ephemeral keys.
818  */
819 void
820 derive_symmertic (struct GNUNET_CRYPTO_SymmetricSessionKey *key,
821                   const struct GNUNET_PeerIdentity *sender,
822                   const struct GNUNET_PeerIdentity *receiver,
823                   const struct GNUNET_HashCode *key_material)
824 {
825   const char salt[] = "CADET kx salt";
826
827   GNUNET_CRYPTO_kdf (key, sizeof (struct GNUNET_CRYPTO_SymmetricSessionKey),
828                      salt, sizeof (salt),
829                      key_material, sizeof (struct GNUNET_HashCode),
830                      sender, sizeof (struct GNUNET_PeerIdentity),
831                      receiver, sizeof (struct GNUNET_PeerIdentity),
832                      NULL);
833 }
834
835
836 /**
837  * Create a new Key eXchange context for the tunnel.
838  *
839  * Initializes the key copies, KX start timestamp and creates a new nonce.
840  *
841  * @param t Tunnel for which to create the KX ctx.
842  */
843 static void
844 create_kx_ctx (struct CadetTunnel *t)
845 {
846   GNUNET_assert (NULL == t->kx_ctx);
847
848   LOG (GNUNET_ERROR_TYPE_INFO, "  new kx ctx for %s\n", GCT_2s (t));
849   t->kx_ctx = GNUNET_new (struct CadetTunnelKXCtx);
850   t->kx_ctx->challenge = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE,
851                                                    UINT32_MAX);
852   t->kx_ctx->d_key_old = t->d_key;
853   t->kx_ctx->e_key_old = t->e_key;
854   t->kx_ctx->rekey_start_time = GNUNET_TIME_absolute_get ();
855 }
856
857
858 /**
859  * Derive the tunnel's keys using our own and the peer's ephemeral keys.
860  *
861  * @param t Tunnel for which to create the keys.
862  */
863 static void
864 create_keys (struct CadetTunnel *t)
865 {
866   struct GNUNET_HashCode km;
867
868   derive_key_material (&km, &t->peers_ephemeral_key);
869   derive_symmertic (&t->e_key, &my_full_id, GCP_get_id (t->peer), &km);
870   derive_symmertic (&t->d_key, GCP_get_id (t->peer), &my_full_id, &km);
871 #if DUMP_KEYS_TO_STDERR
872   LOG (GNUNET_ERROR_TYPE_INFO, "ME: %s\n",
873        GNUNET_h2s ((struct GNUNET_HashCode *) &kx_msg.ephemeral_key));
874   LOG (GNUNET_ERROR_TYPE_INFO, "PE: %s\n",
875        GNUNET_h2s ((struct GNUNET_HashCode *) &t->peers_ephemeral_key));
876   LOG (GNUNET_ERROR_TYPE_INFO, "KM: %s\n", GNUNET_h2s (&km));
877   LOG (GNUNET_ERROR_TYPE_INFO, "EK: %s\n",
878        GNUNET_h2s ((struct GNUNET_HashCode *) &t->e_key));
879   LOG (GNUNET_ERROR_TYPE_INFO, "DK: %s\n",
880        GNUNET_h2s ((struct GNUNET_HashCode *) &t->d_key));
881 #endif
882 }
883
884
885 /**
886  * Pick a connection on which send the next data message.
887  *
888  * @param t Tunnel on which to send the message.
889  *
890  * @return The connection on which to send the next message.
891  */
892 static struct CadetConnection *
893 tunnel_get_connection (struct CadetTunnel *t)
894 {
895   struct CadetTConnection *iter;
896   struct CadetConnection *best;
897   unsigned int qn;
898   unsigned int lowest_q;
899
900   LOG (GNUNET_ERROR_TYPE_DEBUG, "tunnel_get_connection %s\n", GCT_2s (t));
901   best = NULL;
902   lowest_q = UINT_MAX;
903   for (iter = t->connection_head; NULL != iter; iter = iter->next)
904   {
905     LOG (GNUNET_ERROR_TYPE_DEBUG, "  connection %s: %u\n",
906          GCC_2s (iter->c), GCC_get_state (iter->c));
907     if (CADET_CONNECTION_READY == GCC_get_state (iter->c))
908     {
909       qn = GCC_get_qn (iter->c, GCC_is_origin (iter->c, GNUNET_YES));
910       LOG (GNUNET_ERROR_TYPE_DEBUG, "    q_n %u, \n", qn);
911       if (qn < lowest_q)
912       {
913         best = iter->c;
914         lowest_q = qn;
915       }
916     }
917   }
918   LOG (GNUNET_ERROR_TYPE_DEBUG, " selected: connection %s\n", GCC_2s (best));
919   return best;
920 }
921
922
923 /**
924  * Callback called when a queued message is sent.
925  *
926  * Calculates the average time and connection packet tracking.
927  *
928  * @param cls Closure (TunnelQueue handle).
929  * @param c Connection this message was on.
930  * @param q Connection queue handle (unused).
931  * @param type Type of message sent.
932  * @param fwd Was this a FWD going message?
933  * @param size Size of the message.
934  */
935 static void
936 tun_message_sent (void *cls,
937               struct CadetConnection *c,
938               struct CadetConnectionQueue *q,
939               uint16_t type, int fwd, size_t size)
940 {
941   struct CadetTunnelQueue *qt = cls;
942   struct CadetTunnel *t;
943
944   LOG (GNUNET_ERROR_TYPE_DEBUG, "tun_message_sent\n");
945
946   GNUNET_assert (NULL != qt->cont);
947   t = NULL == c ? NULL : GCC_get_tunnel (c);
948   qt->cont (qt->cont_cls, t, qt, type, size);
949   GNUNET_free (qt);
950 }
951
952
953 static unsigned int
954 count_queued_data (const struct CadetTunnel *t)
955 {
956   struct CadetTunnelDelayed *iter;
957   unsigned int count;
958
959   for (count = 0, iter = t->tq_head; iter != NULL; iter = iter->next)
960     count++;
961
962   return count;
963 }
964
965 /**
966  * Delete a queued message: either was sent or the channel was destroyed
967  * before the tunnel's key exchange had a chance to finish.
968  *
969  * @param tqd Delayed queue handle.
970  */
971 static void
972 unqueue_data (struct CadetTunnelDelayed *tqd)
973 {
974   GNUNET_CONTAINER_DLL_remove (tqd->t->tq_head, tqd->t->tq_tail, tqd);
975   GNUNET_free (tqd);
976 }
977
978
979 /**
980  * Cache a message to be sent once tunnel is online.
981  *
982  * @param t Tunnel to hold the message.
983  * @param msg Message itself (copy will be made).
984  */
985 static struct CadetTunnelDelayed *
986 queue_data (struct CadetTunnel *t, const struct GNUNET_MessageHeader *msg)
987 {
988   struct CadetTunnelDelayed *tqd;
989   uint16_t size = ntohs (msg->size);
990
991   LOG (GNUNET_ERROR_TYPE_DEBUG, "queue data on Tunnel %s\n", GCT_2s (t));
992
993   if (GNUNET_YES == is_ready (t))
994   {
995     GNUNET_break (0);
996     return NULL;
997   }
998
999   tqd = GNUNET_malloc (sizeof (struct CadetTunnelDelayed) + size);
1000
1001   tqd->t = t;
1002   memcpy (&tqd[1], msg, size);
1003   GNUNET_CONTAINER_DLL_insert_tail (t->tq_head, t->tq_tail, tqd);
1004   return tqd;
1005 }
1006
1007
1008 /**
1009  * Sends an already built message on a tunnel, encrypting it and
1010  * choosing the best connection.
1011  *
1012  * @param message Message to send. Function modifies it.
1013  * @param t Tunnel on which this message is transmitted.
1014  * @param c Connection to use (autoselect if NULL).
1015  * @param force Force the tunnel to take the message (buffer overfill).
1016  * @param cont Continuation to call once message is really sent.
1017  * @param cont_cls Closure for @c cont.
1018  * @param existing_q In case this a transmission of previously queued data,
1019  *                   this should be TunnelQueue given to the client.
1020  *                   Otherwise, NULL.
1021  *
1022  * @return Handle to cancel message.
1023  *         NULL if @c cont is NULL or an error happens and message is dropped.
1024  */
1025 static struct CadetTunnelQueue *
1026 send_prebuilt_message (const struct GNUNET_MessageHeader *message,
1027                        struct CadetTunnel *t, struct CadetConnection *c,
1028                        int force, GCT_sent cont, void *cont_cls,
1029                        struct CadetTunnelQueue *existing_q)
1030 {
1031   struct CadetTunnelQueue *tq;
1032   struct GNUNET_CADET_Encrypted *msg;
1033   size_t size = ntohs (message->size);
1034   char cbuf[sizeof (struct GNUNET_CADET_Encrypted) + size];
1035   uint32_t mid;
1036   uint32_t iv;
1037   uint16_t type;
1038   int fwd;
1039
1040   LOG (GNUNET_ERROR_TYPE_DEBUG, "GMT Send on Tunnel %s\n", GCT_2s (t));
1041
1042   if (GNUNET_NO == is_ready (t))
1043   {
1044     struct CadetTunnelDelayed *tqd;
1045     /* A non null existing_q indicates sending of queued data.
1046      * Should only happen after tunnel becomes ready.
1047      */
1048     GNUNET_assert (NULL == existing_q);
1049     tqd = queue_data (t, message);
1050     if (NULL == cont)
1051       return NULL;
1052     tq = GNUNET_new (struct CadetTunnelQueue);
1053     tq->tqd = tqd;
1054     tqd->tq = tq;
1055     tq->cont = cont;
1056     tq->cont_cls = cont_cls;
1057     return tq;
1058   }
1059
1060   GNUNET_assert (GNUNET_NO == GCT_is_loopback (t));
1061
1062   iv = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE, UINT32_MAX);
1063   msg = (struct GNUNET_CADET_Encrypted *) cbuf;
1064   msg->header.type = htons (GNUNET_MESSAGE_TYPE_CADET_ENCRYPTED);
1065   msg->iv = iv;
1066   GNUNET_assert (t_encrypt (t, &msg[1], message, size, iv, GNUNET_NO) == size);
1067   t_hmac (&msg[1], size, iv, select_key (t), &msg->hmac);
1068   msg->header.size = htons (sizeof (struct GNUNET_CADET_Encrypted) + size);
1069
1070   if (NULL == c)
1071     c = tunnel_get_connection (t);
1072   if (NULL == c)
1073   {
1074     /* Why is tunnel 'ready'? Should have been queued! */
1075     if (GNUNET_SCHEDULER_NO_TASK != t->destroy_task)
1076     {
1077       GNUNET_break (0);
1078       GCT_debug (t, GNUNET_ERROR_TYPE_WARNING);
1079     }
1080     return NULL; /* Drop... */
1081   }
1082
1083   mid = 0;
1084   type = ntohs (message->type);
1085   switch (type)
1086   {
1087     case GNUNET_MESSAGE_TYPE_CADET_DATA:
1088     case GNUNET_MESSAGE_TYPE_CADET_DATA_ACK:
1089       if (GNUNET_MESSAGE_TYPE_CADET_DATA == type)
1090         mid = ntohl (((struct GNUNET_CADET_Data *) message)->mid);
1091       else
1092         mid = ntohl (((struct GNUNET_CADET_DataACK *) message)->mid);
1093       /* Fall thru */
1094     case GNUNET_MESSAGE_TYPE_CADET_KEEPALIVE:
1095     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_CREATE:
1096     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_DESTROY:
1097     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_ACK:
1098     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_NACK:
1099       msg->cid = *GCC_get_id (c);
1100       msg->ttl = htonl (default_ttl);
1101       break;
1102     default:
1103       GNUNET_break (0);
1104   }
1105   LOG (GNUNET_ERROR_TYPE_DEBUG, "type %s\n", GC_m2s (type));
1106
1107   fwd = GCC_is_origin (c, GNUNET_YES);
1108
1109   if (NULL == cont)
1110   {
1111     GNUNET_break (NULL == GCC_send_prebuilt_message (&msg->header, type, mid, c,
1112                                                      fwd, force, NULL, NULL));
1113     return NULL;
1114   }
1115   if (NULL == existing_q)
1116   {
1117     tq = GNUNET_new (struct CadetTunnelQueue); /* FIXME valgrind: leak*/
1118   }
1119   else
1120   {
1121     tq = existing_q;
1122     tq->tqd = NULL;
1123   }
1124   tq->cq = GCC_send_prebuilt_message (&msg->header, type, mid, c, fwd, force,
1125                                       &tun_message_sent, tq);
1126   GNUNET_assert (NULL != tq->cq);
1127   tq->cont = cont;
1128   tq->cont_cls = cont_cls;
1129
1130   return tq;
1131 }
1132
1133
1134 /**
1135  * Send all cached messages that we can, tunnel is online.
1136  *
1137  * @param t Tunnel that holds the messages. Cannot be loopback.
1138  */
1139 static void
1140 send_queued_data (struct CadetTunnel *t)
1141 {
1142   struct CadetTunnelDelayed *tqd;
1143   struct CadetTunnelDelayed *next;
1144   unsigned int room;
1145
1146   LOG (GNUNET_ERROR_TYPE_DEBUG,
1147        "GCT_send_queued_data on tunnel %s\n",
1148        GCT_2s (t));
1149
1150   if (GCT_is_loopback (t))
1151   {
1152     GNUNET_break (0);
1153     return;
1154   }
1155
1156   if (GNUNET_NO == is_ready (t))
1157   {
1158     LOG (GNUNET_ERROR_TYPE_DEBUG, "  not ready yet: %s/%s\n",
1159          estate2s (t->estate), cstate2s (t->cstate));
1160     return;
1161   }
1162
1163   room = GCT_get_connections_buffer (t);
1164   LOG (GNUNET_ERROR_TYPE_DEBUG, "  buffer space: %u\n", room);
1165   LOG (GNUNET_ERROR_TYPE_DEBUG, "  tq head: %p\n", t->tq_head);
1166   for (tqd = t->tq_head; NULL != tqd && room > 0; tqd = next)
1167   {
1168     LOG (GNUNET_ERROR_TYPE_DEBUG, " sending queued data\n");
1169     next = tqd->next;
1170     room--;
1171     send_prebuilt_message ((struct GNUNET_MessageHeader *) &tqd[1],
1172                            tqd->t, NULL, GNUNET_YES,
1173                            NULL != tqd->tq ? tqd->tq->cont : NULL,
1174                            NULL != tqd->tq ? tqd->tq->cont_cls : NULL,
1175                            tqd->tq);
1176     unqueue_data (tqd);
1177   }
1178   LOG (GNUNET_ERROR_TYPE_DEBUG, "GCT_send_queued_data end\n", GCP_2s (t->peer));
1179 }
1180
1181
1182 /**
1183  * Sends key exchange message on a tunnel, choosing the best connection.
1184  * Should not be called on loopback tunnels.
1185  *
1186  * @param t Tunnel on which this message is transmitted.
1187  * @param message Message to send. Function modifies it.
1188  */
1189 static void
1190 send_kx (struct CadetTunnel *t,
1191          const struct GNUNET_MessageHeader *message)
1192 {
1193   struct CadetConnection *c;
1194   struct GNUNET_CADET_KX *msg;
1195   size_t size = ntohs (message->size);
1196   char cbuf[sizeof (struct GNUNET_CADET_KX) + size];
1197   uint16_t type;
1198   int fwd;
1199
1200   LOG (GNUNET_ERROR_TYPE_DEBUG, "GMT KX on Tunnel %s\n", GCT_2s (t));
1201
1202   /* Avoid loopback. */
1203   if (GCT_is_loopback (t))
1204   {
1205     LOG (GNUNET_ERROR_TYPE_DEBUG, "  loopback!\n");
1206     GNUNET_break (0);
1207     return;
1208   }
1209   type = ntohs (message->type);
1210
1211   /* Even if tunnel is being destroyed, send anyway.
1212    * Could be a response to a rekey initiated by remote peer,
1213    * who is trying to create a new channel!
1214    */
1215
1216   /* Must have a connection. */
1217   if (NULL == t->connection_head && CADET_TUNNEL_SEARCHING != t->cstate)
1218   {
1219     LOG (GNUNET_ERROR_TYPE_WARNING, "\n\n\n");
1220     GNUNET_break (0);
1221     LOG (GNUNET_ERROR_TYPE_WARNING, "sending %s\n", GC_m2s (type));
1222     GCT_debug (t, GNUNET_ERROR_TYPE_WARNING);
1223     GCP_debug (t->peer, GNUNET_ERROR_TYPE_WARNING);
1224     LOG (GNUNET_ERROR_TYPE_WARNING, "\n\n\n");
1225     return;
1226   }
1227
1228   msg = (struct GNUNET_CADET_KX *) cbuf;
1229   msg->header.type = htons (GNUNET_MESSAGE_TYPE_CADET_KX);
1230   msg->header.size = htons (sizeof (struct GNUNET_CADET_KX) + size);
1231   c = tunnel_get_connection (t);
1232   if (NULL == c)
1233   {
1234     GNUNET_break (GNUNET_SCHEDULER_NO_TASK != t->destroy_task
1235                   || CADET_TUNNEL_READY != t->cstate);
1236     GCT_debug (t, GNUNET_ERROR_TYPE_WARNING);
1237     return;
1238   }
1239   switch (type)
1240   {
1241     case GNUNET_MESSAGE_TYPE_CADET_KX_EPHEMERAL:
1242     case GNUNET_MESSAGE_TYPE_CADET_KX_PING:
1243     case GNUNET_MESSAGE_TYPE_CADET_KX_PONG:
1244       memcpy (&msg[1], message, size);
1245       break;
1246     default:
1247       LOG (GNUNET_ERROR_TYPE_DEBUG, "unkown type %s\n",
1248            GC_m2s (type));
1249       GNUNET_break (0);
1250   }
1251
1252   fwd = GCC_is_origin (t->connection_head->c, GNUNET_YES);
1253   /* TODO save handle and cancel in case of a unneeded retransmission */
1254   GNUNET_assert (NULL == GCC_send_prebuilt_message (&msg->header, type, 0, c,
1255                                                     fwd, GNUNET_YES,
1256                                                     NULL, NULL));
1257 }
1258
1259
1260 /**
1261  * Send the ephemeral key on a tunnel.
1262  *
1263  * @param t Tunnel on which to send the key.
1264  */
1265 static void
1266 send_ephemeral (struct CadetTunnel *t)
1267 {
1268   LOG (GNUNET_ERROR_TYPE_INFO, "===> EPHM for %s\n", GCT_2s (t));
1269
1270   kx_msg.sender_status = htonl (t->estate);
1271   send_kx (t, &kx_msg.header);
1272 }
1273
1274 /**
1275  * Send a ping message on a tunnel.
1276  *
1277  * @param t Tunnel on which to send the ping.
1278  */
1279 static void
1280 send_ping (struct CadetTunnel *t)
1281 {
1282   struct GNUNET_CADET_KX_Ping msg;
1283
1284   LOG (GNUNET_ERROR_TYPE_INFO, "===> PING for %s\n", GCT_2s (t));
1285   msg.header.size = htons (sizeof (msg));
1286   msg.header.type = htons (GNUNET_MESSAGE_TYPE_CADET_KX_PING);
1287   msg.iv = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE, UINT32_MAX);
1288   msg.target = *GCP_get_id (t->peer);
1289   msg.nonce = t->kx_ctx->challenge;
1290
1291   LOG (GNUNET_ERROR_TYPE_DEBUG, "  sending %u\n", msg.nonce);
1292   LOG (GNUNET_ERROR_TYPE_DEBUG, "  towards %s\n", GNUNET_i2s (&msg.target));
1293   t_encrypt (t, &msg.target, &msg.target,
1294              ping_encryption_size(), msg.iv, GNUNET_YES);
1295   LOG (GNUNET_ERROR_TYPE_DEBUG, "  e sending %u\n", msg.nonce);
1296   LOG (GNUNET_ERROR_TYPE_DEBUG, "  e towards %s\n", GNUNET_i2s (&msg.target));
1297
1298   send_kx (t, &msg.header);
1299 }
1300
1301
1302 /**
1303  * Send a pong message on a tunnel.
1304  *d_
1305  * @param t Tunnel on which to send the pong.
1306  * @param challenge Value sent in the ping that we have to send back.
1307  */
1308 static void
1309 send_pong (struct CadetTunnel *t, uint32_t challenge)
1310 {
1311   struct GNUNET_CADET_KX_Pong msg;
1312
1313   LOG (GNUNET_ERROR_TYPE_INFO, "===> PONG for %s\n", GCT_2s (t));
1314   msg.header.size = htons (sizeof (msg));
1315   msg.header.type = htons (GNUNET_MESSAGE_TYPE_CADET_KX_PONG);
1316   msg.iv = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE, UINT32_MAX);
1317   msg.nonce = challenge;
1318   LOG (GNUNET_ERROR_TYPE_DEBUG, "  sending %u\n", msg.nonce);
1319   t_encrypt (t, &msg.nonce, &msg.nonce,
1320              sizeof (msg.nonce), msg.iv, GNUNET_YES);
1321   LOG (GNUNET_ERROR_TYPE_DEBUG, "  e sending %u\n", msg.nonce);
1322
1323   send_kx (t, &msg.header);
1324 }
1325
1326
1327 /**
1328  * Initiate a rekey with the remote peer.
1329  *
1330  * @param cls Closure (tunnel).
1331  * @param tc TaskContext.
1332  */
1333 static void
1334 rekey_tunnel (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1335 {
1336   struct CadetTunnel *t = cls;
1337
1338   t->rekey_task = GNUNET_SCHEDULER_NO_TASK;
1339
1340   LOG (GNUNET_ERROR_TYPE_INFO, "Re-key Tunnel %s\n", GCT_2s (t));
1341   if (NULL != tc && 0 != (GNUNET_SCHEDULER_REASON_SHUTDOWN & tc->reason))
1342     return;
1343
1344   if (NULL == t->kx_ctx)
1345   {
1346     create_kx_ctx (t);
1347     create_keys (t);
1348   }
1349   else
1350   {
1351     struct GNUNET_TIME_Relative duration;
1352
1353     if (GNUNET_SCHEDULER_NO_TASK != t->kx_ctx->finish_task)
1354     {
1355       GNUNET_SCHEDULER_cancel (t->kx_ctx->finish_task);
1356       t->kx_ctx->finish_task = GNUNET_SCHEDULER_NO_TASK;
1357     }
1358
1359     duration = GNUNET_TIME_absolute_get_duration (t->kx_ctx->rekey_start_time);
1360     LOG (GNUNET_ERROR_TYPE_DEBUG, " kx started %s ago\n",
1361          GNUNET_STRINGS_relative_time_to_string (duration, GNUNET_YES));
1362
1363     // FIXME make duration of old keys configurable
1364     if (duration.rel_value_us >= GNUNET_TIME_UNIT_MINUTES.rel_value_us)
1365     {
1366       memset (&t->kx_ctx->d_key_old, 0, sizeof (t->kx_ctx->d_key_old));
1367       memset (&t->kx_ctx->e_key_old, 0, sizeof (t->kx_ctx->e_key_old));
1368     }
1369   }
1370
1371   send_ephemeral (t);
1372
1373   switch (t->estate)
1374   {
1375     case CADET_TUNNEL_KEY_UNINITIALIZED:
1376       t->estate = CADET_TUNNEL_KEY_SENT;
1377       break;
1378     case CADET_TUNNEL_KEY_SENT:
1379       break;
1380     case CADET_TUNNEL_KEY_OK:
1381       t->estate = CADET_TUNNEL_KEY_REKEY;
1382       /* fall-thru */
1383     case CADET_TUNNEL_KEY_PING:
1384     case CADET_TUNNEL_KEY_REKEY:
1385       send_ping (t);
1386       break;
1387     default:
1388       LOG (GNUNET_ERROR_TYPE_DEBUG, "Unexpected state %u\n", t->estate);
1389   }
1390
1391   // FIXME exponential backoff
1392   struct GNUNET_TIME_Relative delay;
1393
1394   delay = GNUNET_TIME_relative_divide (rekey_period, 16);
1395   delay = GNUNET_TIME_relative_min (delay, REKEY_WAIT);
1396   LOG (GNUNET_ERROR_TYPE_DEBUG, "  next call in %s\n",
1397        GNUNET_STRINGS_relative_time_to_string (delay, GNUNET_YES));
1398   t->rekey_task = GNUNET_SCHEDULER_add_delayed (delay, &rekey_tunnel, t);
1399 }
1400
1401
1402 /**
1403  * Our ephemeral key has changed, create new session key on all tunnels.
1404  *
1405  * Each tunnel will start the Key Exchange with a random delay between
1406  * 0 and number_of_tunnels*100 milliseconds, so there are 10 key exchanges
1407  * per second, on average.
1408  *
1409  * @param cls Closure (size of the hashmap).
1410  * @param key Current public key.
1411  * @param value Value in the hash map (tunnel).
1412  *
1413  * @return #GNUNET_YES, so we should continue to iterate,
1414  */
1415 static int
1416 rekey_iterator (void *cls,
1417                 const struct GNUNET_PeerIdentity *key,
1418                 void *value)
1419 {
1420   struct CadetTunnel *t = value;
1421   struct GNUNET_TIME_Relative delay;
1422   long n = (long) cls;
1423   uint32_t r;
1424
1425   if (GNUNET_SCHEDULER_NO_TASK != t->rekey_task)
1426     return GNUNET_YES;
1427
1428   if (GNUNET_YES == GCT_is_loopback (t))
1429     return GNUNET_YES;
1430
1431   r = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, (uint32_t) n * 100);
1432   delay = GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MILLISECONDS, r);
1433   t->rekey_task = GNUNET_SCHEDULER_add_delayed (delay, &rekey_tunnel, t);
1434
1435   return GNUNET_YES;
1436 }
1437
1438
1439 /**
1440  * Create a new ephemeral key and key message, schedule next rekeying.
1441  *
1442  * @param cls Closure (unused).
1443  * @param tc TaskContext.
1444  */
1445 static void
1446 rekey (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1447 {
1448   struct GNUNET_TIME_Absolute time;
1449   long n;
1450
1451   rekey_task = GNUNET_SCHEDULER_NO_TASK;
1452
1453   if (0 != (GNUNET_SCHEDULER_REASON_SHUTDOWN & tc->reason))
1454     return;
1455
1456   GNUNET_free_non_null (my_ephemeral_key);
1457   my_ephemeral_key = GNUNET_CRYPTO_ecdhe_key_create ();
1458
1459   time = GNUNET_TIME_absolute_get ();
1460   kx_msg.creation_time = GNUNET_TIME_absolute_hton (time);
1461   time = GNUNET_TIME_absolute_add (time, rekey_period);
1462   time = GNUNET_TIME_absolute_add (time, GNUNET_TIME_UNIT_MINUTES);
1463   kx_msg.expiration_time = GNUNET_TIME_absolute_hton (time);
1464   GNUNET_CRYPTO_ecdhe_key_get_public (my_ephemeral_key, &kx_msg.ephemeral_key);
1465
1466   GNUNET_assert (GNUNET_OK ==
1467                  GNUNET_CRYPTO_eddsa_sign (my_private_key,
1468                                            &kx_msg.purpose,
1469                                            &kx_msg.signature));
1470
1471   n = (long) GNUNET_CONTAINER_multipeermap_size (tunnels);
1472   GNUNET_CONTAINER_multipeermap_iterate (tunnels, &rekey_iterator, (void *) n);
1473
1474   rekey_task = GNUNET_SCHEDULER_add_delayed (rekey_period, &rekey, NULL);
1475 }
1476
1477
1478 /**
1479  * Called only on shutdown, destroy every tunnel.
1480  *
1481  * @param cls Closure (unused).
1482  * @param key Current public key.
1483  * @param value Value in the hash map (tunnel).
1484  *
1485  * @return #GNUNET_YES, so we should continue to iterate,
1486  */
1487 static int
1488 destroy_iterator (void *cls,
1489                 const struct GNUNET_PeerIdentity *key,
1490                 void *value)
1491 {
1492   struct CadetTunnel *t = value;
1493
1494   LOG (GNUNET_ERROR_TYPE_DEBUG, "GCT_shutdown destroying tunnel at %p\n", t);
1495   GCT_destroy (t);
1496   return GNUNET_YES;
1497 }
1498
1499
1500 /**
1501  * Notify remote peer that we don't know a channel he is talking about,
1502  * probably CHANNEL_DESTROY was missed.
1503  *
1504  * @param t Tunnel on which to notify.
1505  * @param gid ID of the channel.
1506  */
1507 static void
1508 send_channel_destroy (struct CadetTunnel *t, unsigned int gid)
1509 {
1510   struct GNUNET_CADET_ChannelManage msg;
1511
1512   msg.header.type = htons (GNUNET_MESSAGE_TYPE_CADET_CHANNEL_DESTROY);
1513   msg.header.size = htons (sizeof (msg));
1514   msg.chid = htonl (gid);
1515
1516   LOG (GNUNET_ERROR_TYPE_DEBUG,
1517        "WARNING destroying unknown channel %u on tunnel %s\n",
1518        gid, GCT_2s (t));
1519   send_prebuilt_message (&msg.header, t, NULL, GNUNET_YES, NULL, NULL, NULL);
1520 }
1521
1522
1523 /**
1524  * Demultiplex data per channel and call appropriate channel handler.
1525  *
1526  * @param t Tunnel on which the data came.
1527  * @param msg Data message.
1528  * @param fwd Is this message fwd? This only is meaningful in loopback channels.
1529  *            #GNUNET_YES if message is FWD on the respective channel (loopback)
1530  *            #GNUNET_NO if message is BCK on the respective channel (loopback)
1531  *            #GNUNET_SYSERR if message on a one-ended channel (remote)
1532  */
1533 static void
1534 handle_data (struct CadetTunnel *t,
1535              const struct GNUNET_CADET_Data *msg,
1536              int fwd)
1537 {
1538   struct CadetChannel *ch;
1539   size_t size;
1540
1541   /* Check size */
1542   size = ntohs (msg->header.size);
1543   if (size <
1544       sizeof (struct GNUNET_CADET_Data) +
1545       sizeof (struct GNUNET_MessageHeader))
1546   {
1547     GNUNET_break (0);
1548     return;
1549   }
1550   LOG (GNUNET_ERROR_TYPE_DEBUG, " payload of type %s\n",
1551               GC_m2s (ntohs (msg[1].header.type)));
1552
1553   /* Check channel */
1554   ch = GCT_get_channel (t, ntohl (msg->chid));
1555   if (NULL == ch)
1556   {
1557     GNUNET_STATISTICS_update (stats, "# data on unknown channel",
1558                               1, GNUNET_NO);
1559     LOG (GNUNET_ERROR_TYPE_DEBUG, "WARNING channel 0x%X unknown\n",
1560          ntohl (msg->chid));
1561     send_channel_destroy (t, ntohl (msg->chid));
1562     return;
1563   }
1564
1565   GCCH_handle_data (ch, msg, fwd);
1566 }
1567
1568
1569 /**
1570  * Demultiplex data ACKs per channel and update appropriate channel buffer info.
1571  *
1572  * @param t Tunnel on which the DATA ACK came.
1573  * @param msg DATA ACK message.
1574  * @param fwd Is this message fwd? This only is meaningful in loopback channels.
1575  *            #GNUNET_YES if message is FWD on the respective channel (loopback)
1576  *            #GNUNET_NO if message is BCK on the respective channel (loopback)
1577  *            #GNUNET_SYSERR if message on a one-ended channel (remote)
1578  */
1579 static void
1580 handle_data_ack (struct CadetTunnel *t,
1581                  const struct GNUNET_CADET_DataACK *msg,
1582                  int fwd)
1583 {
1584   struct CadetChannel *ch;
1585   size_t size;
1586
1587   /* Check size */
1588   size = ntohs (msg->header.size);
1589   if (size != sizeof (struct GNUNET_CADET_DataACK))
1590   {
1591     GNUNET_break (0);
1592     return;
1593   }
1594
1595   /* Check channel */
1596   ch = GCT_get_channel (t, ntohl (msg->chid));
1597   if (NULL == ch)
1598   {
1599     GNUNET_STATISTICS_update (stats, "# data ack on unknown channel",
1600                               1, GNUNET_NO);
1601     LOG (GNUNET_ERROR_TYPE_DEBUG, "WARNING channel %u unknown\n",
1602          ntohl (msg->chid));
1603     return;
1604   }
1605
1606   GCCH_handle_data_ack (ch, msg, fwd);
1607 }
1608
1609
1610 /**
1611  * Handle channel create.
1612  *
1613  * @param t Tunnel on which the data came.
1614  * @param msg Data message.
1615  */
1616 static void
1617 handle_ch_create (struct CadetTunnel *t,
1618                   const struct GNUNET_CADET_ChannelCreate *msg)
1619 {
1620   struct CadetChannel *ch;
1621   size_t size;
1622
1623   /* Check size */
1624   size = ntohs (msg->header.size);
1625   if (size != sizeof (struct GNUNET_CADET_ChannelCreate))
1626   {
1627     GNUNET_break (0);
1628     return;
1629   }
1630
1631   /* Check channel */
1632   ch = GCT_get_channel (t, ntohl (msg->chid));
1633   if (NULL != ch && ! GCT_is_loopback (t))
1634   {
1635     /* Probably a retransmission, safe to ignore */
1636     LOG (GNUNET_ERROR_TYPE_DEBUG, "   already exists...\n");
1637   }
1638   ch = GCCH_handle_create (t, msg);
1639   if (NULL != ch)
1640     GCT_add_channel (t, ch);
1641 }
1642
1643
1644
1645 /**
1646  * Handle channel NACK: check correctness and call channel handler for NACKs.
1647  *
1648  * @param t Tunnel on which the NACK came.
1649  * @param msg NACK message.
1650  */
1651 static void
1652 handle_ch_nack (struct CadetTunnel *t,
1653                 const struct GNUNET_CADET_ChannelManage *msg)
1654 {
1655   struct CadetChannel *ch;
1656   size_t size;
1657
1658   /* Check size */
1659   size = ntohs (msg->header.size);
1660   if (size != sizeof (struct GNUNET_CADET_ChannelManage))
1661   {
1662     GNUNET_break (0);
1663     return;
1664   }
1665
1666   /* Check channel */
1667   ch = GCT_get_channel (t, ntohl (msg->chid));
1668   if (NULL == ch)
1669   {
1670     GNUNET_STATISTICS_update (stats, "# channel NACK on unknown channel",
1671                               1, GNUNET_NO);
1672     LOG (GNUNET_ERROR_TYPE_DEBUG, "WARNING channel %u unknown\n",
1673          ntohl (msg->chid));
1674     return;
1675   }
1676
1677   GCCH_handle_nack (ch);
1678 }
1679
1680
1681 /**
1682  * Handle a CHANNEL ACK (SYNACK/ACK).
1683  *
1684  * @param t Tunnel on which the CHANNEL ACK came.
1685  * @param msg CHANNEL ACK message.
1686  * @param fwd Is this message fwd? This only is meaningful in loopback channels.
1687  *            #GNUNET_YES if message is FWD on the respective channel (loopback)
1688  *            #GNUNET_NO if message is BCK on the respective channel (loopback)
1689  *            #GNUNET_SYSERR if message on a one-ended channel (remote)
1690  */
1691 static void
1692 handle_ch_ack (struct CadetTunnel *t,
1693                const struct GNUNET_CADET_ChannelManage *msg,
1694                int fwd)
1695 {
1696   struct CadetChannel *ch;
1697   size_t size;
1698
1699   /* Check size */
1700   size = ntohs (msg->header.size);
1701   if (size != sizeof (struct GNUNET_CADET_ChannelManage))
1702   {
1703     GNUNET_break (0);
1704     return;
1705   }
1706
1707   /* Check channel */
1708   ch = GCT_get_channel (t, ntohl (msg->chid));
1709   if (NULL == ch)
1710   {
1711     GNUNET_STATISTICS_update (stats, "# channel ack on unknown channel",
1712                               1, GNUNET_NO);
1713     LOG (GNUNET_ERROR_TYPE_DEBUG, "WARNING channel %u unknown\n",
1714          ntohl (msg->chid));
1715     return;
1716   }
1717
1718   GCCH_handle_ack (ch, msg, fwd);
1719 }
1720
1721
1722 /**
1723  * Handle a channel destruction message.
1724  *
1725  * @param t Tunnel on which the message came.
1726  * @param msg Channel destroy message.
1727  * @param fwd Is this message fwd? This only is meaningful in loopback channels.
1728  *            #GNUNET_YES if message is FWD on the respective channel (loopback)
1729  *            #GNUNET_NO if message is BCK on the respective channel (loopback)
1730  *            #GNUNET_SYSERR if message on a one-ended channel (remote)
1731  */
1732 static void
1733 handle_ch_destroy (struct CadetTunnel *t,
1734                    const struct GNUNET_CADET_ChannelManage *msg,
1735                    int fwd)
1736 {
1737   struct CadetChannel *ch;
1738   size_t size;
1739
1740   /* Check size */
1741   size = ntohs (msg->header.size);
1742   if (size != sizeof (struct GNUNET_CADET_ChannelManage))
1743   {
1744     GNUNET_break (0);
1745     return;
1746   }
1747
1748   /* Check channel */
1749   ch = GCT_get_channel (t, ntohl (msg->chid));
1750   if (NULL == ch)
1751   {
1752     /* Probably a retransmission, safe to ignore */
1753     return;
1754   }
1755
1756   GCCH_handle_destroy (ch, msg, fwd);
1757 }
1758
1759
1760 /**
1761  * The peer's ephemeral key has changed: update the symmetrical keys.
1762  *
1763  * @param t Tunnel this message came on.
1764  * @param msg Key eXchange message.
1765  */
1766 static void
1767 handle_ephemeral (struct CadetTunnel *t,
1768                   const struct GNUNET_CADET_KX_Ephemeral *msg)
1769 {
1770   LOG (GNUNET_ERROR_TYPE_INFO, "<=== EPHM for %s\n", GCT_2s (t));
1771
1772   if (GNUNET_OK != check_ephemeral (t, msg))
1773   {
1774     GNUNET_break_op (0);
1775     return;
1776   }
1777
1778   if (NULL == t->kx_ctx)
1779   {
1780     create_kx_ctx (t);
1781   }
1782   else if (GNUNET_SCHEDULER_NO_TASK != t->kx_ctx->finish_task)
1783   {
1784     GNUNET_SCHEDULER_cancel (t->kx_ctx->finish_task);
1785     t->kx_ctx->finish_task = GNUNET_SCHEDULER_NO_TASK;
1786   }
1787   if (0 != memcmp (&t->peers_ephemeral_key, &msg->ephemeral_key,
1788                    sizeof (msg->ephemeral_key)))
1789   {
1790     t->peers_ephemeral_key = msg->ephemeral_key;
1791     create_keys (t);
1792     if (CADET_TUNNEL_KEY_OK == t->estate)
1793     {
1794       t->estate = CADET_TUNNEL_KEY_REKEY;
1795     }
1796   }
1797   if (CADET_TUNNEL_KEY_SENT == t->estate)
1798   {
1799     LOG (GNUNET_ERROR_TYPE_DEBUG, "  our key was sent, sending ping\n");
1800     send_ping (t);
1801     t->estate = CADET_TUNNEL_KEY_PING;
1802   }
1803 }
1804
1805
1806 /**
1807  * Peer wants to check our symmetrical keys by sending an encrypted challenge.
1808  * Answer with by retransmitting the challenge with the "opposite" key.
1809  *
1810  * @param t Tunnel this message came on.
1811  * @param msg Key eXchange Ping message.
1812  */
1813 static void
1814 handle_ping (struct CadetTunnel *t,
1815              const struct GNUNET_CADET_KX_Ping *msg)
1816 {
1817   struct GNUNET_CADET_KX_Ping res;
1818
1819   if (ntohs (msg->header.size) != sizeof (res))
1820   {
1821     GNUNET_break_op (0);
1822     return;
1823   }
1824
1825   LOG (GNUNET_ERROR_TYPE_INFO, "<=== PING for %s\n", GCT_2s (t));
1826   t_decrypt (t, &res.target, &msg->target, ping_encryption_size (), msg->iv);
1827   if (0 != memcmp (&my_full_id, &res.target, sizeof (my_full_id)))
1828   {
1829     GNUNET_STATISTICS_update (stats, "# malformed PINGs", 1, GNUNET_NO);
1830     LOG (GNUNET_ERROR_TYPE_WARNING, "  malformed PING on %s\n", GCT_2s (t));
1831     LOG (GNUNET_ERROR_TYPE_DEBUG, "  e got %u\n", msg->nonce);
1832     LOG (GNUNET_ERROR_TYPE_DEBUG, "  e towards %s\n", GNUNET_i2s (&msg->target));
1833     LOG (GNUNET_ERROR_TYPE_DEBUG, "  got %u\n", res.nonce);
1834     LOG (GNUNET_ERROR_TYPE_DEBUG, "  towards %s\n", GNUNET_i2s (&res.target));
1835     if (NULL == t->kx_ctx)
1836     {
1837       create_kx_ctx (t);
1838     }
1839     else if (GNUNET_SCHEDULER_NO_TASK != t->kx_ctx->finish_task)
1840     {
1841       GNUNET_SCHEDULER_cancel (t->kx_ctx->finish_task);
1842       t->kx_ctx->finish_task = GNUNET_SCHEDULER_NO_TASK;
1843     }
1844     send_ephemeral (t);
1845     send_ping (t);
1846     return;
1847   }
1848
1849   send_pong (t, res.nonce);
1850 }
1851
1852
1853 /**
1854  * @brief Finish the Key eXchange and destroy the old keys.
1855  *
1856  * @param cls Closure (Tunnel for which to finish the KX).
1857  * @param tc Task context.
1858  */
1859 static void
1860 finish_kx (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1861 {
1862   struct CadetTunnel *t = cls;
1863
1864   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
1865     return;
1866
1867   LOG (GNUNET_ERROR_TYPE_INFO, "finish KX for %s\n", GCT_2s (t));
1868
1869   GNUNET_free (t->kx_ctx);
1870   t->kx_ctx = NULL;
1871 }
1872
1873
1874 /**
1875  * Peer has answer to our challenge.
1876  * If answer is successful, consider the key exchange finished and clean
1877  * up all related state.
1878  *
1879  * @param t Tunnel this message came on.
1880  * @param msg Key eXchange Pong message.
1881  */
1882 static void
1883 handle_pong (struct CadetTunnel *t,
1884              const struct GNUNET_CADET_KX_Pong *msg)
1885 {
1886   uint32_t challenge;
1887
1888   LOG (GNUNET_ERROR_TYPE_INFO, "<=== PONG for %s\n", GCT_2s (t));
1889   if (GNUNET_SCHEDULER_NO_TASK == t->rekey_task)
1890   {
1891     GNUNET_STATISTICS_update (stats, "# duplicate PONG messages", 1, GNUNET_NO);
1892     return;
1893   }
1894   t_decrypt (t, &challenge, &msg->nonce, sizeof (uint32_t), msg->iv);
1895
1896   if (challenge != t->kx_ctx->challenge)
1897   {
1898     LOG (GNUNET_ERROR_TYPE_WARNING, "Wrong PONG challenge on %s\n", GCT_2s (t));
1899     LOG (GNUNET_ERROR_TYPE_DEBUG, "PONG: %u (e: %u). Expected: %u.\n",
1900          challenge, msg->nonce, t->kx_ctx->challenge);
1901     send_ephemeral (t);
1902     send_ping (t);
1903     return;
1904   }
1905   GNUNET_SCHEDULER_cancel (t->rekey_task);
1906   t->rekey_task = GNUNET_SCHEDULER_NO_TASK;
1907
1908   /* Don't free the old keys right away, but after a delay.
1909    * Rationale: the KX could have happened over a very fast connection,
1910    * with payload traffic still signed with the old key stuck in a slower
1911    * connection.
1912    * Don't keep the keys longer than 1/4 the rekey period, and no longer than
1913    * one minute.
1914    */
1915   if (GNUNET_SCHEDULER_NO_TASK == t->kx_ctx->finish_task)
1916   {
1917     struct GNUNET_TIME_Relative delay;
1918
1919     delay = GNUNET_TIME_relative_divide (rekey_period, 4);
1920     delay = GNUNET_TIME_relative_min (delay, GNUNET_TIME_UNIT_MINUTES);
1921     t->kx_ctx->finish_task = GNUNET_SCHEDULER_add_delayed (delay, finish_kx, t);
1922   }
1923   GCT_change_estate (t, CADET_TUNNEL_KEY_OK);
1924 }
1925
1926
1927 /**
1928  * Demultiplex by message type and call appropriate handler for a message
1929  * towards a channel of a local tunnel.
1930  *
1931  * @param t Tunnel this message came on.
1932  * @param msgh Message header.
1933  * @param fwd Is this message fwd? This only is meaningful in loopback channels.
1934  *            #GNUNET_YES if message is FWD on the respective channel (loopback)
1935  *            #GNUNET_NO if message is BCK on the respective channel (loopback)
1936  *            #GNUNET_SYSERR if message on a one-ended channel (remote)
1937  */
1938 static void
1939 handle_decrypted (struct CadetTunnel *t,
1940                   const struct GNUNET_MessageHeader *msgh,
1941                   int fwd)
1942 {
1943   uint16_t type;
1944
1945   type = ntohs (msgh->type);
1946   LOG (GNUNET_ERROR_TYPE_INFO, "<=== %s on %s\n", GC_m2s (type), GCT_2s (t));
1947
1948   switch (type)
1949   {
1950     case GNUNET_MESSAGE_TYPE_CADET_KEEPALIVE:
1951       /* Do nothing, connection aleady got updated. */
1952       GNUNET_STATISTICS_update (stats, "# keepalives received", 1, GNUNET_NO);
1953       break;
1954
1955     case GNUNET_MESSAGE_TYPE_CADET_DATA:
1956       /* Don't send hop ACK, wait for client to ACK */
1957       handle_data (t, (struct GNUNET_CADET_Data *) msgh, fwd);
1958       break;
1959
1960     case GNUNET_MESSAGE_TYPE_CADET_DATA_ACK:
1961       handle_data_ack (t, (struct GNUNET_CADET_DataACK *) msgh, fwd);
1962       break;
1963
1964     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_CREATE:
1965       handle_ch_create (t,
1966                         (struct GNUNET_CADET_ChannelCreate *) msgh);
1967       break;
1968
1969     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_NACK:
1970       handle_ch_nack (t,
1971                       (struct GNUNET_CADET_ChannelManage *) msgh);
1972       break;
1973
1974     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_ACK:
1975       handle_ch_ack (t,
1976                      (struct GNUNET_CADET_ChannelManage *) msgh,
1977                      fwd);
1978       break;
1979
1980     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_DESTROY:
1981       handle_ch_destroy (t,
1982                          (struct GNUNET_CADET_ChannelManage *) msgh,
1983                          fwd);
1984       break;
1985
1986     default:
1987       GNUNET_break_op (0);
1988       LOG (GNUNET_ERROR_TYPE_WARNING,
1989            "end-to-end message not known (%u)\n",
1990            ntohs (msgh->type));
1991       GCT_debug (t, GNUNET_ERROR_TYPE_WARNING);
1992   }
1993 }
1994
1995 /******************************************************************************/
1996 /********************************    API    ***********************************/
1997 /******************************************************************************/
1998
1999 /**
2000  * Decrypt and demultiplex by message type. Call appropriate handler
2001  * for every message.
2002  *
2003  * @param t Tunnel this message came on.
2004  * @param msg Encrypted message.
2005  */
2006 void
2007 GCT_handle_encrypted (struct CadetTunnel *t,
2008                       const struct GNUNET_CADET_Encrypted *msg)
2009 {
2010   size_t size = ntohs (msg->header.size);
2011   size_t payload_size = size - sizeof (struct GNUNET_CADET_Encrypted);
2012   int decrypted_size;
2013   char cbuf [payload_size];
2014   struct GNUNET_MessageHeader *msgh;
2015   unsigned int off;
2016
2017   decrypted_size = t_decrypt_and_validate (t, cbuf, &msg[1], payload_size,
2018                                            msg->iv, &msg->hmac);
2019
2020   if (-1 == decrypted_size)
2021   {
2022     GNUNET_break_op (0);
2023     return;
2024   }
2025
2026   off = 0;
2027   while (off < decrypted_size)
2028   {
2029     uint16_t msize;
2030
2031     msgh = (struct GNUNET_MessageHeader *) &cbuf[off];
2032     msize = ntohs (msgh->size);
2033     if (msize < sizeof (struct GNUNET_MessageHeader))
2034     {
2035       GNUNET_break_op (0);
2036       return;
2037     }
2038     handle_decrypted (t, msgh, GNUNET_SYSERR);
2039     off += msize;
2040   }
2041 }
2042
2043
2044 /**
2045  * Demultiplex an encapsulated KX message by message type.
2046  *
2047  * @param t Tunnel on which the message came.
2048  * @param message Payload of KX message.
2049  */
2050 void
2051 GCT_handle_kx (struct CadetTunnel *t,
2052                const struct GNUNET_MessageHeader *message)
2053 {
2054   uint16_t type;
2055
2056   type = ntohs (message->type);
2057   LOG (GNUNET_ERROR_TYPE_DEBUG, "kx message received\n", type);
2058   switch (type)
2059   {
2060     case GNUNET_MESSAGE_TYPE_CADET_KX_EPHEMERAL:
2061       handle_ephemeral (t, (struct GNUNET_CADET_KX_Ephemeral *) message);
2062       break;
2063
2064     case GNUNET_MESSAGE_TYPE_CADET_KX_PING:
2065       handle_ping (t, (struct GNUNET_CADET_KX_Ping *) message);
2066       break;
2067
2068     case GNUNET_MESSAGE_TYPE_CADET_KX_PONG:
2069       handle_pong (t, (struct GNUNET_CADET_KX_Pong *) message);
2070       break;
2071
2072     default:
2073       GNUNET_break_op (0);
2074       LOG (GNUNET_ERROR_TYPE_DEBUG, "kx message not known (%u)\n", type);
2075   }
2076 }
2077
2078
2079 /**
2080  * Initialize the tunnel subsystem.
2081  *
2082  * @param c Configuration handle.
2083  * @param key ECC private key, to derive all other keys and do crypto.
2084  */
2085 void
2086 GCT_init (const struct GNUNET_CONFIGURATION_Handle *c,
2087           const struct GNUNET_CRYPTO_EddsaPrivateKey *key)
2088 {
2089   LOG (GNUNET_ERROR_TYPE_DEBUG, "init\n");
2090   if (GNUNET_OK !=
2091       GNUNET_CONFIGURATION_get_value_number (c, "CADET", "DEFAULT_TTL",
2092                                              &default_ttl))
2093   {
2094     GNUNET_log_config_invalid (GNUNET_ERROR_TYPE_WARNING,
2095                                "CADET", "DEFAULT_TTL", "USING DEFAULT");
2096     default_ttl = 64;
2097   }
2098   if (GNUNET_OK !=
2099       GNUNET_CONFIGURATION_get_value_time (c, "CADET", "REKEY_PERIOD",
2100                                            &rekey_period))
2101   {
2102     rekey_period = GNUNET_TIME_UNIT_DAYS;
2103   }
2104
2105   my_private_key = key;
2106   kx_msg.header.size = htons (sizeof (kx_msg));
2107   kx_msg.header.type = htons (GNUNET_MESSAGE_TYPE_CADET_KX_EPHEMERAL);
2108   kx_msg.purpose.purpose = htonl (GNUNET_SIGNATURE_PURPOSE_CADET_KX);
2109   kx_msg.purpose.size = htonl (ephemeral_purpose_size ());
2110   kx_msg.origin_identity = my_full_id;
2111   rekey_task = GNUNET_SCHEDULER_add_now (&rekey, NULL);
2112
2113   tunnels = GNUNET_CONTAINER_multipeermap_create (128, GNUNET_YES);
2114 }
2115
2116
2117 /**
2118  * Shut down the tunnel subsystem.
2119  */
2120 void
2121 GCT_shutdown (void)
2122 {
2123   if (GNUNET_SCHEDULER_NO_TASK != rekey_task)
2124   {
2125     GNUNET_SCHEDULER_cancel (rekey_task);
2126     rekey_task = GNUNET_SCHEDULER_NO_TASK;
2127   }
2128   GNUNET_CONTAINER_multipeermap_iterate (tunnels, &destroy_iterator, NULL);
2129   GNUNET_CONTAINER_multipeermap_destroy (tunnels);
2130 }
2131
2132
2133 /**
2134  * Create a tunnel.
2135  *
2136  * @param destination Peer this tunnel is towards.
2137  */
2138 struct CadetTunnel *
2139 GCT_new (struct CadetPeer *destination)
2140 {
2141   struct CadetTunnel *t;
2142
2143   t = GNUNET_new (struct CadetTunnel);
2144   t->next_chid = 0;
2145   t->peer = destination;
2146
2147   if (GNUNET_OK !=
2148       GNUNET_CONTAINER_multipeermap_put (tunnels, GCP_get_id (destination), t,
2149                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
2150   {
2151     GNUNET_break (0);
2152     GNUNET_free (t);
2153     return NULL;
2154   }
2155   return t;
2156 }
2157
2158
2159 /**
2160  * Change the tunnel's connection state.
2161  *
2162  * @param t Tunnel whose connection state to change.
2163  * @param cstate New connection state.
2164  */
2165 void
2166 GCT_change_cstate (struct CadetTunnel* t, enum CadetTunnelCState cstate)
2167 {
2168   if (NULL == t)
2169     return;
2170   LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel %s cstate %s => %s\n",
2171        GCP_2s (t->peer), cstate2s (t->cstate), cstate2s (cstate));
2172   if (myid != GCP_get_short_id (t->peer) &&
2173       CADET_TUNNEL_READY != t->cstate &&
2174       CADET_TUNNEL_READY == cstate)
2175   {
2176     t->cstate = cstate;
2177     if (CADET_TUNNEL_KEY_OK == t->estate)
2178     {
2179       LOG (GNUNET_ERROR_TYPE_DEBUG, "  cstate triggered send queued data\n");
2180       send_queued_data (t);
2181     }
2182     else if (CADET_TUNNEL_KEY_UNINITIALIZED == t->estate)
2183     {
2184       LOG (GNUNET_ERROR_TYPE_DEBUG, "  cstate triggered rekey\n");
2185       rekey_tunnel (t, NULL);
2186     }
2187   }
2188   t->cstate = cstate;
2189
2190   if (CADET_TUNNEL_READY == cstate
2191       && CONNECTIONS_PER_TUNNEL <= GCT_count_connections (t))
2192   {
2193     LOG (GNUNET_ERROR_TYPE_DEBUG, "  cstate triggered stop dht\n");
2194     GCP_stop_search (t->peer);
2195   }
2196 }
2197
2198 /**
2199  * Change the tunnel encryption state.
2200  *
2201  * @param t Tunnel whose encryption state to change.
2202  * @param state New encryption state.
2203  */
2204 void
2205 GCT_change_estate (struct CadetTunnel* t, enum CadetTunnelEState state)
2206 {
2207   if (NULL == t)
2208     return;
2209   LOG (GNUNET_ERROR_TYPE_DEBUG,
2210        "Tunnel %s estate was %s\n",
2211        GCP_2s (t->peer), estate2s (t->estate));
2212   LOG (GNUNET_ERROR_TYPE_DEBUG,
2213        "Tunnel %s estate is now %s\n",
2214        GCP_2s (t->peer), estate2s (state));
2215   if (myid != GCP_get_short_id (t->peer) &&
2216       CADET_TUNNEL_KEY_OK != t->estate && CADET_TUNNEL_KEY_OK == state)
2217   {
2218     t->estate = state;
2219     send_queued_data (t);
2220     return;
2221   }
2222   t->estate = state;
2223 }
2224
2225
2226 /**
2227  * @brief Check if tunnel has too many connections, and remove one if necessary.
2228  *
2229  * Currently this means the newest connection, unless it is a direct one.
2230  * Implemented as a task to avoid freeing a connection that is in the middle
2231  * of being created/processed.
2232  *
2233  * @param cls Closure (Tunnel to check).
2234  * @param tc Task context.
2235  */
2236 static void
2237 trim_connections (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
2238 {
2239   struct CadetTunnel *t = cls;
2240
2241   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
2242     return;
2243
2244   if (GCT_count_connections (t) > 2 * CONNECTIONS_PER_TUNNEL)
2245   {
2246     struct CadetTConnection *iter;
2247     struct CadetTConnection *c;
2248
2249     for (c = iter = t->connection_head; NULL != iter; iter = iter->next)
2250     {
2251       if ((NULL == c || iter->created.abs_value_us > c->created.abs_value_us)
2252           && GNUNET_NO == GCC_is_direct (iter->c))
2253       {
2254         c = iter;
2255       }
2256     }
2257     if (NULL != c)
2258     {
2259       LOG (GNUNET_ERROR_TYPE_DEBUG, "Too many connections on tunnel %s\n",
2260            GCT_2s (t));
2261       LOG (GNUNET_ERROR_TYPE_DEBUG, "Destroying connection %s\n",
2262            GCC_2s (c->c));
2263       GCC_destroy (c->c);
2264     }
2265     else
2266     {
2267       GNUNET_break (0);
2268     }
2269   }
2270 }
2271
2272
2273 /**
2274  * Add a connection to a tunnel.
2275  *
2276  * @param t Tunnel.
2277  * @param c Connection.
2278  */
2279 void
2280 GCT_add_connection (struct CadetTunnel *t, struct CadetConnection *c)
2281 {
2282   struct CadetTConnection *aux;
2283
2284   GNUNET_assert (NULL != c);
2285
2286   LOG (GNUNET_ERROR_TYPE_DEBUG, "add connection %s\n", GCC_2s (c));
2287   LOG (GNUNET_ERROR_TYPE_DEBUG, " to tunnel %s\n", GCT_2s (t));
2288   for (aux = t->connection_head; aux != NULL; aux = aux->next)
2289     if (aux->c == c)
2290       return;
2291
2292   aux = GNUNET_new (struct CadetTConnection);
2293   aux->c = c;
2294   aux->created = GNUNET_TIME_absolute_get ();
2295
2296   GNUNET_CONTAINER_DLL_insert (t->connection_head, t->connection_tail, aux);
2297
2298   GNUNET_SCHEDULER_add_now (&trim_connections, t);
2299 }
2300
2301
2302 /**
2303  * Mark a path as no longer valid for this tunnel: has been tried and failed.
2304  *
2305  * @param t Tunnel to update.
2306  * @param path Invalid path to remove. Is destroyed after removal.
2307  */
2308 void
2309 GCT_remove_path (struct CadetTunnel *t, struct CadetPeerPath *path)
2310 {
2311   GCP_remove_path (t->peer, path);
2312 }
2313
2314
2315 /**
2316  * Remove a connection from a tunnel.
2317  *
2318  * @param t Tunnel.
2319  * @param c Connection.
2320  */
2321 void
2322 GCT_remove_connection (struct CadetTunnel *t,
2323                        struct CadetConnection *c)
2324 {
2325   struct CadetTConnection *aux;
2326   struct CadetTConnection *next;
2327
2328   LOG (GNUNET_ERROR_TYPE_DEBUG, "Removing connection %s from tunnel %s\n",
2329        GCC_2s (c), GCT_2s (t));
2330   for (aux = t->connection_head; aux != NULL; aux = next)
2331   {
2332     next = aux->next;
2333     if (aux->c == c)
2334     {
2335       GNUNET_CONTAINER_DLL_remove (t->connection_head, t->connection_tail, aux);
2336       GNUNET_free (aux);
2337     }
2338   }
2339
2340   /* Start new connections if needed */
2341   if (CONNECTIONS_PER_TUNNEL > GCT_count_connections (t)
2342       && GNUNET_SCHEDULER_NO_TASK == t->destroy_task
2343       && CADET_TUNNEL_SHUTDOWN != t->cstate
2344       && GNUNET_NO == shutting_down)
2345   {
2346     LOG (GNUNET_ERROR_TYPE_DEBUG, "  no more connections, getting new ones\n");
2347     GCT_change_cstate (t, CADET_TUNNEL_SEARCHING);
2348     GCP_connect (t->peer);
2349     return;
2350   }
2351
2352   /* If not marked as ready, no change is needed */
2353   if (CADET_TUNNEL_READY != t->cstate)
2354     return;
2355
2356   /* Check if any connection is ready to maintain cstate */
2357   for (aux = t->connection_head; aux != NULL; aux = aux->next)
2358     if (CADET_CONNECTION_READY == GCC_get_state (aux->c))
2359       return;
2360
2361   GCT_change_cstate (t, CADET_TUNNEL_WAITING);
2362 }
2363
2364
2365 /**
2366  * Add a channel to a tunnel.
2367  *
2368  * @param t Tunnel.
2369  * @param ch Channel.
2370  */
2371 void
2372 GCT_add_channel (struct CadetTunnel *t, struct CadetChannel *ch)
2373 {
2374   struct CadetTChannel *aux;
2375
2376   GNUNET_assert (NULL != ch);
2377
2378   LOG (GNUNET_ERROR_TYPE_DEBUG, "Adding channel %p to tunnel %p\n", ch, t);
2379
2380   for (aux = t->channel_head; aux != NULL; aux = aux->next)
2381   {
2382     LOG (GNUNET_ERROR_TYPE_DEBUG, "  already there %p\n", aux->ch);
2383     if (aux->ch == ch)
2384       return;
2385   }
2386
2387   aux = GNUNET_new (struct CadetTChannel);
2388   aux->ch = ch;
2389   LOG (GNUNET_ERROR_TYPE_DEBUG, " adding %p to %p\n", aux, t->channel_head);
2390   GNUNET_CONTAINER_DLL_insert_tail (t->channel_head, t->channel_tail, aux);
2391
2392   if (GNUNET_SCHEDULER_NO_TASK != t->destroy_task)
2393   {
2394     GNUNET_SCHEDULER_cancel (t->destroy_task);
2395     t->destroy_task = GNUNET_SCHEDULER_NO_TASK;
2396     LOG (GNUNET_ERROR_TYPE_DEBUG, " undo destroy!\n");
2397   }
2398 }
2399
2400
2401 /**
2402  * Remove a channel from a tunnel.
2403  *
2404  * @param t Tunnel.
2405  * @param ch Channel.
2406  */
2407 void
2408 GCT_remove_channel (struct CadetTunnel *t, struct CadetChannel *ch)
2409 {
2410   struct CadetTChannel *aux;
2411
2412   LOG (GNUNET_ERROR_TYPE_DEBUG, "Removing channel %p from tunnel %p\n", ch, t);
2413   for (aux = t->channel_head; aux != NULL; aux = aux->next)
2414   {
2415     if (aux->ch == ch)
2416     {
2417       LOG (GNUNET_ERROR_TYPE_DEBUG, " found! %s\n", GCCH_2s (ch));
2418       GNUNET_CONTAINER_DLL_remove (t->channel_head, t->channel_tail, aux);
2419       GNUNET_free (aux);
2420       return;
2421     }
2422   }
2423 }
2424
2425
2426 /**
2427  * Search for a channel by global ID.
2428  *
2429  * @param t Tunnel containing the channel.
2430  * @param chid Public channel number.
2431  *
2432  * @return channel handler, NULL if doesn't exist
2433  */
2434 struct CadetChannel *
2435 GCT_get_channel (struct CadetTunnel *t, CADET_ChannelNumber chid)
2436 {
2437   struct CadetTChannel *iter;
2438
2439   if (NULL == t)
2440     return NULL;
2441
2442   for (iter = t->channel_head; NULL != iter; iter = iter->next)
2443   {
2444     if (GCCH_get_id (iter->ch) == chid)
2445       break;
2446   }
2447
2448   return NULL == iter ? NULL : iter->ch;
2449 }
2450
2451
2452 /**
2453  * @brief Destroy a tunnel and free all resources.
2454  *
2455  * Should only be called a while after the tunnel has been marked as destroyed,
2456  * in case there is a new channel added to the same peer shortly after marking
2457  * the tunnel. This way we avoid a new public key handshake.
2458  *
2459  * @param cls Closure (tunnel to destroy).
2460  * @param tc Task context.
2461  */
2462 static void
2463 delayed_destroy (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
2464 {
2465   struct CadetTunnel *t = cls;
2466   struct CadetTConnection *iter;
2467
2468   LOG (GNUNET_ERROR_TYPE_DEBUG, "delayed destroying tunnel %p\n", t);
2469   if (0 != (GNUNET_SCHEDULER_REASON_SHUTDOWN & tc->reason))
2470   {
2471     LOG (GNUNET_ERROR_TYPE_WARNING,
2472          "Not destroying tunnel, due to shutdown. "
2473          "Tunnel at %p should have been freed by GCT_shutdown\n", t);
2474     return;
2475   }
2476   t->destroy_task = GNUNET_SCHEDULER_NO_TASK;
2477   t->cstate = CADET_TUNNEL_SHUTDOWN;
2478
2479   for (iter = t->connection_head; NULL != iter; iter = iter->next)
2480   {
2481     GCC_send_destroy (iter->c);
2482   }
2483   GCT_destroy (t);
2484 }
2485
2486
2487 /**
2488  * Tunnel is empty: destroy it.
2489  *
2490  * Notifies all connections about the destruction.
2491  *
2492  * @param t Tunnel to destroy.
2493  */
2494 void
2495 GCT_destroy_empty (struct CadetTunnel *t)
2496 {
2497   if (GNUNET_YES == shutting_down)
2498     return; /* Will be destroyed immediately anyway */
2499
2500   if (GNUNET_SCHEDULER_NO_TASK != t->destroy_task)
2501   {
2502     LOG (GNUNET_ERROR_TYPE_WARNING,
2503          "Tunnel %s is already scheduled for destruction. Tunnel debug dump:\n",
2504          GCT_2s (t));
2505     GCT_debug (t, GNUNET_ERROR_TYPE_WARNING);
2506     GNUNET_break (0);
2507     /* should never happen, tunnel can only become empty once, and the
2508      * task identifier should be NO_TASK (cleaned when the tunnel was created
2509      * or became un-empty)
2510      */
2511     return;
2512   }
2513
2514   LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel %s empty: destroying scheduled\n",
2515        GCT_2s (t));
2516
2517   // FIXME make delay a config option
2518   t->destroy_task = GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_MINUTES,
2519                                                   &delayed_destroy, t);
2520   LOG (GNUNET_ERROR_TYPE_DEBUG, "Scheduled destroy of %p as %llX\n",
2521        t, t->destroy_task);
2522 }
2523
2524
2525 /**
2526  * Destroy tunnel if empty (no more channels).
2527  *
2528  * @param t Tunnel to destroy if empty.
2529  */
2530 void
2531 GCT_destroy_if_empty (struct CadetTunnel *t)
2532 {
2533   LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel %s destroy if empty\n", GCT_2s (t));
2534   if (1 < GCT_count_channels (t))
2535     return;
2536
2537   GCT_destroy_empty (t);
2538 }
2539
2540
2541 /**
2542  * Destroy the tunnel.
2543  *
2544  * This function does not generate any warning traffic to clients or peers.
2545  *
2546  * Tasks:
2547  * Cancel messages belonging to this tunnel queued to neighbors.
2548  * Free any allocated resources linked to the tunnel.
2549  *
2550  * @param t The tunnel to destroy.
2551  */
2552 void
2553 GCT_destroy (struct CadetTunnel *t)
2554 {
2555   struct CadetTConnection *iter_c;
2556   struct CadetTConnection *next_c;
2557   struct CadetTChannel *iter_ch;
2558   struct CadetTChannel *next_ch;
2559
2560   if (NULL == t)
2561     return;
2562
2563   LOG (GNUNET_ERROR_TYPE_DEBUG, "destroying tunnel %s\n", GCP_2s (t->peer));
2564
2565   GNUNET_break (GNUNET_YES ==
2566                 GNUNET_CONTAINER_multipeermap_remove (tunnels,
2567                                                       GCP_get_id (t->peer), t));
2568
2569   for (iter_c = t->connection_head; NULL != iter_c; iter_c = next_c)
2570   {
2571     next_c = iter_c->next;
2572     GCC_destroy (iter_c->c);
2573   }
2574   for (iter_ch = t->channel_head; NULL != iter_ch; iter_ch = next_ch)
2575   {
2576     next_ch = iter_ch->next;
2577     GCCH_destroy (iter_ch->ch);
2578     /* Should only happen on shutdown, but it's ok. */
2579   }
2580
2581   if (GNUNET_SCHEDULER_NO_TASK != t->destroy_task)
2582   {
2583     LOG (GNUNET_ERROR_TYPE_DEBUG, "cancelling %llX\n", t->destroy_task);
2584     GNUNET_SCHEDULER_cancel (t->destroy_task);
2585     t->destroy_task = GNUNET_SCHEDULER_NO_TASK;
2586   }
2587
2588   GNUNET_STATISTICS_update (stats, "# tunnels", -1, GNUNET_NO);
2589   GCP_set_tunnel (t->peer, NULL);
2590
2591   if (GNUNET_SCHEDULER_NO_TASK != t->rekey_task)
2592   {
2593     GNUNET_SCHEDULER_cancel (t->rekey_task);
2594     t->rekey_task = GNUNET_SCHEDULER_NO_TASK;
2595   }
2596   if (NULL != t->kx_ctx)
2597   {
2598     if (GNUNET_SCHEDULER_NO_TASK != t->kx_ctx->finish_task)
2599       GNUNET_SCHEDULER_cancel (t->kx_ctx->finish_task);
2600     GNUNET_free (t->kx_ctx);
2601   }
2602   GNUNET_free (t);
2603 }
2604
2605
2606 /**
2607  * @brief Use the given path for the tunnel.
2608  * Update the next and prev hops (and RCs).
2609  * (Re)start the path refresh in case the tunnel is locally owned.
2610  *
2611  * @param t Tunnel to update.
2612  * @param p Path to use.
2613  *
2614  * @return Connection created.
2615  */
2616 struct CadetConnection *
2617 GCT_use_path (struct CadetTunnel *t, struct CadetPeerPath *p)
2618 {
2619   struct CadetConnection *c;
2620   struct GNUNET_CADET_Hash cid;
2621   unsigned int own_pos;
2622
2623   if (NULL == t || NULL == p)
2624   {
2625     GNUNET_break (0);
2626     return NULL;
2627   }
2628
2629   if (CADET_TUNNEL_SHUTDOWN == t->cstate)
2630   {
2631     GNUNET_break (0);
2632     return NULL;
2633   }
2634
2635   for (own_pos = 0; own_pos < p->length; own_pos++)
2636   {
2637     if (p->peers[own_pos] == myid)
2638       break;
2639   }
2640   if (own_pos >= p->length)
2641   {
2642     GNUNET_break_op (0);
2643     return NULL;
2644   }
2645
2646   GNUNET_CRYPTO_random_block (GNUNET_CRYPTO_QUALITY_NONCE, &cid, sizeof (cid));
2647   c = GCC_new (&cid, t, p, own_pos);
2648   if (NULL == c)
2649   {
2650     /* Path was flawed */
2651     return NULL;
2652   }
2653   GCT_add_connection (t, c);
2654   return c;
2655 }
2656
2657
2658 /**
2659  * Count created connections of a tunnel. Not necessarily ready connections!
2660  *
2661  * @param t Tunnel on which to count.
2662  *
2663  * @return Number of connections created, either being established or ready.
2664  */
2665 unsigned int
2666 GCT_count_connections (struct CadetTunnel *t)
2667 {
2668   struct CadetTConnection *iter;
2669   unsigned int count;
2670
2671   if (NULL == t)
2672     return 0;
2673
2674   for (count = 0, iter = t->connection_head; NULL != iter; iter = iter->next)
2675     if (CADET_CONNECTION_DESTROYED != GCC_get_state (iter->c))
2676       count++;
2677
2678   return count;
2679 }
2680
2681 /**
2682  * Count channels of a tunnel.
2683  *
2684  * @param t Tunnel on which to count.
2685  *
2686  * @return Number of channels.
2687  */
2688 unsigned int
2689 GCT_count_channels (struct CadetTunnel *t)
2690 {
2691   struct CadetTChannel *iter;
2692   unsigned int count;
2693
2694   for (count = 0, iter = t->channel_head;
2695        NULL != iter;
2696        iter = iter->next, count++) /* skip */;
2697
2698   return count;
2699 }
2700
2701
2702 /**
2703  * Get the connectivity state of a tunnel.
2704  *
2705  * @param t Tunnel.
2706  *
2707  * @return Tunnel's connectivity state.
2708  */
2709 enum CadetTunnelCState
2710 GCT_get_cstate (struct CadetTunnel *t)
2711 {
2712   if (NULL == t)
2713   {
2714     GNUNET_assert (0);
2715     return (enum CadetTunnelCState) -1;
2716   }
2717   return t->cstate;
2718 }
2719
2720
2721 /**
2722  * Get the encryption state of a tunnel.
2723  *
2724  * @param t Tunnel.
2725  *
2726  * @return Tunnel's encryption state.
2727  */
2728 enum CadetTunnelEState
2729 GCT_get_estate (struct CadetTunnel *t)
2730 {
2731   if (NULL == t)
2732   {
2733     GNUNET_assert (0);
2734     return (enum CadetTunnelEState) -1;
2735   }
2736   return t->estate;
2737 }
2738
2739 /**
2740  * Get the maximum buffer space for a tunnel towards a local client.
2741  *
2742  * @param t Tunnel.
2743  *
2744  * @return Biggest buffer space offered by any channel in the tunnel.
2745  */
2746 unsigned int
2747 GCT_get_channels_buffer (struct CadetTunnel *t)
2748 {
2749   struct CadetTChannel *iter;
2750   unsigned int buffer;
2751   unsigned int ch_buf;
2752
2753   if (NULL == t->channel_head)
2754   {
2755     /* Probably getting buffer for a channel create/handshake. */
2756     return 64;
2757   }
2758
2759   buffer = 0;
2760   for (iter = t->channel_head; NULL != iter; iter = iter->next)
2761   {
2762     ch_buf = get_channel_buffer (iter);
2763     if (ch_buf > buffer)
2764       buffer = ch_buf;
2765   }
2766   return buffer;
2767 }
2768
2769
2770 /**
2771  * Get the total buffer space for a tunnel for P2P traffic.
2772  *
2773  * @param t Tunnel.
2774  *
2775  * @return Buffer space offered by all connections in the tunnel.
2776  */
2777 unsigned int
2778 GCT_get_connections_buffer (struct CadetTunnel *t)
2779 {
2780   struct CadetTConnection *iter;
2781   unsigned int buffer;
2782
2783   if (GNUNET_NO == is_ready (t))
2784   {
2785     if (count_queued_data (t) > 3)
2786       return 0;
2787     else
2788       return 1;
2789   }
2790
2791   buffer = 0;
2792   for (iter = t->connection_head; NULL != iter; iter = iter->next)
2793   {
2794     if (GCC_get_state (iter->c) != CADET_CONNECTION_READY)
2795     {
2796       continue;
2797     }
2798     buffer += get_connection_buffer (iter);
2799   }
2800
2801   return buffer;
2802 }
2803
2804
2805 /**
2806  * Get the tunnel's destination.
2807  *
2808  * @param t Tunnel.
2809  *
2810  * @return ID of the destination peer.
2811  */
2812 const struct GNUNET_PeerIdentity *
2813 GCT_get_destination (struct CadetTunnel *t)
2814 {
2815   return GCP_get_id (t->peer);
2816 }
2817
2818
2819 /**
2820  * Get the tunnel's next free global channel ID.
2821  *
2822  * @param t Tunnel.
2823  *
2824  * @return GID of a channel free to use.
2825  */
2826 CADET_ChannelNumber
2827 GCT_get_next_chid (struct CadetTunnel *t)
2828 {
2829   CADET_ChannelNumber chid;
2830   CADET_ChannelNumber mask;
2831   int result;
2832
2833   /* Set bit 30 depending on the ID relationship. Bit 31 is always 0 for GID.
2834    * If our ID is bigger or loopback tunnel, start at 0, bit 30 = 0
2835    * If peer's ID is bigger, start at 0x4... bit 30 = 1
2836    */
2837   result = GNUNET_CRYPTO_cmp_peer_identity (&my_full_id, GCP_get_id (t->peer));
2838   if (0 > result)
2839     mask = 0x40000000;
2840   else
2841     mask = 0x0;
2842   t->next_chid |= mask;
2843
2844   while (NULL != GCT_get_channel (t, t->next_chid))
2845   {
2846     LOG (GNUNET_ERROR_TYPE_DEBUG, "Channel %u exists...\n", t->next_chid);
2847     t->next_chid = (t->next_chid + 1) & ~GNUNET_CADET_LOCAL_CHANNEL_ID_CLI;
2848     t->next_chid |= mask;
2849   }
2850   chid = t->next_chid;
2851   t->next_chid = (t->next_chid + 1) & ~GNUNET_CADET_LOCAL_CHANNEL_ID_CLI;
2852   t->next_chid |= mask;
2853
2854   return chid;
2855 }
2856
2857
2858 /**
2859  * Send ACK on one or more channels due to buffer in connections.
2860  *
2861  * @param t Channel which has some free buffer space.
2862  */
2863 void
2864 GCT_unchoke_channels (struct CadetTunnel *t)
2865 {
2866   struct CadetTChannel *iter;
2867   unsigned int buffer;
2868   unsigned int channels = GCT_count_channels (t);
2869   unsigned int choked_n;
2870   struct CadetChannel *choked[channels];
2871
2872   LOG (GNUNET_ERROR_TYPE_DEBUG, "GCT_unchoke_channels on %s\n", GCT_2s (t));
2873   LOG (GNUNET_ERROR_TYPE_DEBUG, " head: %p\n", t->channel_head);
2874   if (NULL != t->channel_head)
2875     LOG (GNUNET_ERROR_TYPE_DEBUG, " head ch: %p\n", t->channel_head->ch);
2876
2877   /* Get buffer space */
2878   buffer = GCT_get_connections_buffer (t);
2879   if (0 == buffer)
2880   {
2881     return;
2882   }
2883
2884   /* Count and remember choked channels */
2885   choked_n = 0;
2886   for (iter = t->channel_head; NULL != iter; iter = iter->next)
2887   {
2888     if (GNUNET_NO == get_channel_allowed (iter))
2889     {
2890       choked[choked_n++] = iter->ch;
2891     }
2892   }
2893
2894   /* Unchoke random channels */
2895   while (0 < buffer && 0 < choked_n)
2896   {
2897     unsigned int r = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK,
2898                                                choked_n);
2899     GCCH_allow_client (choked[r], GCCH_is_origin (choked[r], GNUNET_YES));
2900     choked_n--;
2901     buffer--;
2902     choked[r] = choked[choked_n];
2903   }
2904 }
2905
2906
2907 /**
2908  * Send ACK on one or more connections due to buffer space to the client.
2909  *
2910  * Iterates all connections of the tunnel and sends ACKs appropriately.
2911  *
2912  * @param t Tunnel.
2913  */
2914 void
2915 GCT_send_connection_acks (struct CadetTunnel *t)
2916 {
2917   struct CadetTConnection *iter;
2918   uint32_t allowed;
2919   uint32_t to_allow;
2920   uint32_t allow_per_connection;
2921   unsigned int cs;
2922   unsigned int buffer;
2923
2924   LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel send connection ACKs on %s\n",
2925        GCT_2s (t));
2926
2927   if (NULL == t)
2928   {
2929     GNUNET_break (0);
2930     return;
2931   }
2932
2933   buffer = GCT_get_channels_buffer (t);
2934   LOG (GNUNET_ERROR_TYPE_DEBUG, "  buffer %u\n", buffer);
2935
2936   /* Count connections, how many messages are already allowed */
2937   cs = GCT_count_connections (t);
2938   for (allowed = 0, iter = t->connection_head; NULL != iter; iter = iter->next)
2939   {
2940     allowed += get_connection_allowed (iter);
2941   }
2942   LOG (GNUNET_ERROR_TYPE_DEBUG, "  allowed %u\n", allowed);
2943
2944   /* Make sure there is no overflow */
2945   if (allowed > buffer)
2946   {
2947     return;
2948   }
2949
2950   /* Authorize connections to send more data */
2951   to_allow = buffer; /* - allowed; */
2952
2953   for (iter = t->connection_head;
2954        NULL != iter && to_allow > 0;
2955        iter = iter->next)
2956   {
2957     allow_per_connection = to_allow/cs;
2958     to_allow -= allow_per_connection;
2959     cs--;
2960     if (get_connection_allowed (iter) > 64 / 3)
2961     {
2962       continue;
2963     }
2964     GCC_allow (iter->c, allow_per_connection,
2965                GCC_is_origin (iter->c, GNUNET_NO));
2966   }
2967
2968   GNUNET_break (to_allow == 0);
2969 }
2970
2971
2972 /**
2973  * Cancel a previously sent message while it's in the queue.
2974  *
2975  * ONLY can be called before the continuation given to the send function
2976  * is called. Once the continuation is called, the message is no longer in the
2977  * queue.
2978  *
2979  * @param q Handle to the queue.
2980  */
2981 void
2982 GCT_cancel (struct CadetTunnelQueue *q)
2983 {
2984   if (NULL != q->cq)
2985   {
2986     GCC_cancel (q->cq);
2987     /* tun_message_sent() will be called and free q */
2988   }
2989   else if (NULL != q->tqd)
2990   {
2991     unqueue_data (q->tqd);
2992     q->tqd = NULL;
2993     if (NULL != q->cont)
2994       q->cont (q->cont_cls, NULL, q, 0, 0);
2995     GNUNET_free (q);
2996   }
2997   else
2998   {
2999     GNUNET_break (0);
3000   }
3001 }
3002
3003
3004 /**
3005  * Sends an already built message on a tunnel, encrypting it and
3006  * choosing the best connection if not provided.
3007  *
3008  * @param message Message to send. Function modifies it.
3009  * @param t Tunnel on which this message is transmitted.
3010  * @param c Connection to use (autoselect if NULL).
3011  * @param force Force the tunnel to take the message (buffer overfill).
3012  * @param cont Continuation to call once message is really sent.
3013  * @param cont_cls Closure for @c cont.
3014  *
3015  * @return Handle to cancel message. NULL if @c cont is NULL.
3016  */
3017 struct CadetTunnelQueue *
3018 GCT_send_prebuilt_message (const struct GNUNET_MessageHeader *message,
3019                            struct CadetTunnel *t, struct CadetConnection *c,
3020                            int force, GCT_sent cont, void *cont_cls)
3021 {
3022   return send_prebuilt_message (message, t, c, force, cont, cont_cls, NULL);
3023 }
3024
3025
3026 /**
3027  * Is the tunnel directed towards the local peer?
3028  *
3029  * @param t Tunnel.
3030  *
3031  * @return #GNUNET_YES if it is loopback.
3032  */
3033 int
3034 GCT_is_loopback (const struct CadetTunnel *t)
3035 {
3036   return (myid == GCP_get_short_id (t->peer));
3037 }
3038
3039
3040 /**
3041  * Is the tunnel this path already?
3042  *
3043  * @param t Tunnel.
3044  * @param p Path.
3045  *
3046  * @return #GNUNET_YES a connection uses this path.
3047  */
3048 int
3049 GCT_is_path_used (const struct CadetTunnel *t, const struct CadetPeerPath *p)
3050 {
3051   struct CadetTConnection *iter;
3052
3053   for (iter = t->connection_head; NULL != iter; iter = iter->next)
3054     if (GCC_get_path (iter->c) == p)
3055       return GNUNET_YES;
3056
3057   return GNUNET_NO;
3058 }
3059
3060
3061 /**
3062  * Get a cost of a path for a tunnel considering existing connections.
3063  *
3064  * @param t Tunnel.
3065  * @param path Candidate path.
3066  *
3067  * @return Cost of the path (path length + number of overlapping nodes)
3068  */
3069 unsigned int
3070 GCT_get_path_cost (const struct CadetTunnel *t,
3071                    const struct CadetPeerPath *path)
3072 {
3073   struct CadetTConnection *iter;
3074   const struct CadetPeerPath *aux;
3075   unsigned int overlap;
3076   unsigned int i;
3077   unsigned int j;
3078
3079   if (NULL == path)
3080     return 0;
3081
3082   overlap = 0;
3083   GNUNET_assert (NULL != t);
3084
3085   for (i = 0; i < path->length; i++)
3086   {
3087     for (iter = t->connection_head; NULL != iter; iter = iter->next)
3088     {
3089       aux = GCC_get_path (iter->c);
3090       if (NULL == aux)
3091         continue;
3092
3093       for (j = 0; j < aux->length; j++)
3094       {
3095         if (path->peers[i] == aux->peers[j])
3096         {
3097           overlap++;
3098           break;
3099         }
3100       }
3101     }
3102   }
3103   return path->length + overlap;
3104 }
3105
3106
3107 /**
3108  * Get the static string for the peer this tunnel is directed.
3109  *
3110  * @param t Tunnel.
3111  *
3112  * @return Static string the destination peer's ID.
3113  */
3114 const char *
3115 GCT_2s (const struct CadetTunnel *t)
3116 {
3117   if (NULL == t)
3118     return "(NULL)";
3119
3120   return GCP_2s (t->peer);
3121 }
3122
3123
3124 /******************************************************************************/
3125 /*****************************    INFO/DEBUG    *******************************/
3126 /******************************************************************************/
3127
3128 /**
3129  * Log all possible info about the tunnel state.
3130  *
3131  * @param t Tunnel to debug.
3132  * @param level Debug level to use.
3133  */
3134 void
3135 GCT_debug (const struct CadetTunnel *t, enum GNUNET_ErrorType level)
3136 {
3137   struct CadetTChannel *iterch;
3138   struct CadetTConnection *iterc;
3139
3140   LOG (level, "TTT DEBUG TUNNEL TOWARDS %s\n", GCT_2s (t));
3141   LOG (level, "TTT  cstate %s, estate %s\n",
3142        cstate2s (t->cstate), estate2s (t->estate));
3143   LOG (level, "TTT  kx_ctx %p, rekey_task %u\n", t->kx_ctx, t->rekey_task);
3144   LOG (level, "TTT  tq_head %p, tq_tail %p\n", t->tq_head, t->tq_tail);
3145   LOG (level, "TTT  destroy %u\n", t->destroy_task);
3146
3147   LOG (level, "TTT  channels:\n");
3148   for (iterch = t->channel_head; NULL != iterch; iterch = iterch->next)
3149   {
3150     LOG (level, "TTT  - %s\n", GCCH_2s (iterch->ch));
3151   }
3152
3153   LOG (level, "TTT  connections:\n");
3154   for (iterc = t->connection_head; NULL != iterc; iterc = iterc->next)
3155   {
3156     LOG (level, "TTT  - %s [%u] buf: %u/%u (qn %u/%u)\n",
3157          GCC_2s (iterc->c), GCC_get_state (iterc->c),
3158          GCC_get_buffer (iterc->c, GNUNET_YES),
3159          GCC_get_buffer (iterc->c, GNUNET_NO),
3160          GCC_get_qn (iterc->c, GNUNET_YES),
3161          GCC_get_qn (iterc->c, GNUNET_NO));
3162   }
3163
3164   LOG (level, "TTT DEBUG TUNNEL END\n");
3165 }
3166
3167
3168 /**
3169  * Iterate all tunnels.
3170  *
3171  * @param iter Iterator.
3172  * @param cls Closure for @c iter.
3173  */
3174 void
3175 GCT_iterate_all (GNUNET_CONTAINER_PeerMapIterator iter, void *cls)
3176 {
3177   GNUNET_CONTAINER_multipeermap_iterate (tunnels, iter, cls);
3178 }
3179
3180
3181 /**
3182  * Count all tunnels.
3183  *
3184  * @return Number of tunnels to remote peers kept by this peer.
3185  */
3186 unsigned int
3187 GCT_count_all (void)
3188 {
3189   return GNUNET_CONTAINER_multipeermap_size (tunnels);
3190 }
3191
3192
3193 /**
3194  * Iterate all connections of a tunnel.
3195  *
3196  * @param t Tunnel whose connections to iterate.
3197  * @param iter Iterator.
3198  * @param cls Closure for @c iter.
3199  */
3200 void
3201 GCT_iterate_connections (struct CadetTunnel *t, GCT_conn_iter iter, void *cls)
3202 {
3203   struct CadetTConnection *ct;
3204
3205   for (ct = t->connection_head; NULL != ct; ct = ct->next)
3206     iter (cls, ct->c);
3207 }
3208
3209
3210 /**
3211  * Iterate all channels of a tunnel.
3212  *
3213  * @param t Tunnel whose channels to iterate.
3214  * @param iter Iterator.
3215  * @param cls Closure for @c iter.
3216  */
3217 void
3218 GCT_iterate_channels (struct CadetTunnel *t, GCT_chan_iter iter, void *cls)
3219 {
3220   struct CadetTChannel *cht;
3221
3222   for (cht = t->channel_head; NULL != cht; cht = cht->next)
3223     iter (cls, cht->ch);
3224 }