Don't pass NULL to destroy_route
[oweals/gnunet.git] / src / cadet / gnunet-service-cadet-new_tunnels.c
1 /*
2      This file is part of GNUnet.
3      Copyright (C) 2013, 2017 GNUnet e.V.
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
18      Boston, MA 02110-1301, USA.
19 */
20 /**
21  * @file cadet/gnunet-service-cadet-new_tunnels.c
22  * @brief Information we track per tunnel.
23  * @author Bartlomiej Polot
24  * @author Christian Grothoff
25  *
26  * FIXME:
27  * - proper connection evaluation during connection management:
28  *   + when managing connections, distinguish those that
29  *     have (recently) had traffic from those that were
30  *     never ready (or not recently)
31  *   + consider quality of current connection set when deciding
32  *     how often to do maintenance
33  *   + interact with PEER to drive DHT GET/PUT operations based
34  *     on how much we like our connections
35  */
36 #include "platform.h"
37 #include "gnunet_util_lib.h"
38 #include "gnunet_statistics_service.h"
39 #include "gnunet_signatures.h"
40 #include "gnunet-service-cadet-new.h"
41 #include "cadet_protocol.h"
42 #include "gnunet-service-cadet-new_channel.h"
43 #include "gnunet-service-cadet-new_connection.h"
44 #include "gnunet-service-cadet-new_tunnels.h"
45 #include "gnunet-service-cadet-new_peer.h"
46 #include "gnunet-service-cadet-new_paths.h"
47
48
49 #define LOG(level, ...) GNUNET_log_from(level,"cadet-tun",__VA_ARGS__)
50
51 /**
52  * How often do we try to decrypt payload with unverified key
53  * material?  Used to limit CPU increase upon receiving bogus
54  * KX.
55  */
56 #define MAX_UNVERIFIED_ATTEMPTS 16
57
58 /**
59  * How long do we wait until tearing down an idle tunnel?
60  */
61 #define IDLE_DESTROY_DELAY GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 90)
62
63 /**
64  * How long do we wait initially before retransmitting the KX?
65  * TODO: replace by 2 RTT if/once we have connection-level RTT data!
66  */
67 #define INITIAL_KX_RETRY_DELAY GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_MILLISECONDS, 250)
68
69 /**
70  * Maximum number of skipped keys we keep in memory per tunnel.
71  */
72 #define MAX_SKIPPED_KEYS 64
73
74 /**
75  * Maximum number of keys (and thus ratchet steps) we are willing to
76  * skip before we decide this is either a bogus packet or a DoS-attempt.
77  */
78 #define MAX_KEY_GAP 256
79
80
81 /**
82  * Struct to old keys for skipped messages while advancing the Axolotl ratchet.
83  */
84 struct CadetTunnelSkippedKey
85 {
86   /**
87    * DLL next.
88    */
89   struct CadetTunnelSkippedKey *next;
90
91   /**
92    * DLL prev.
93    */
94   struct CadetTunnelSkippedKey *prev;
95
96   /**
97    * When was this key stored (for timeout).
98    */
99   struct GNUNET_TIME_Absolute timestamp;
100
101   /**
102    * Header key.
103    */
104   struct GNUNET_CRYPTO_SymmetricSessionKey HK;
105
106   /**
107    * Message key.
108    */
109   struct GNUNET_CRYPTO_SymmetricSessionKey MK;
110
111   /**
112    * Key number for a given HK.
113    */
114   unsigned int Kn;
115 };
116
117
118 /**
119  * Axolotl data, according to https://github.com/trevp/axolotl/wiki .
120  */
121 struct CadetTunnelAxolotl
122 {
123   /**
124    * A (double linked) list of stored message keys and associated header keys
125    * for "skipped" messages, i.e. messages that have not been
126    * received despite the reception of more recent messages, (head).
127    */
128   struct CadetTunnelSkippedKey *skipped_head;
129
130   /**
131    * Skipped messages' keys DLL, tail.
132    */
133   struct CadetTunnelSkippedKey *skipped_tail;
134
135   /**
136    * 32-byte root key which gets updated by DH ratchet.
137    */
138   struct GNUNET_CRYPTO_SymmetricSessionKey RK;
139
140   /**
141    * 32-byte header key (currently used for sending).
142    */
143   struct GNUNET_CRYPTO_SymmetricSessionKey HKs;
144
145   /**
146    * 32-byte header key (currently used for receiving)
147    */
148   struct GNUNET_CRYPTO_SymmetricSessionKey HKr;
149
150   /**
151    * 32-byte next header key (for sending), used once the
152    * ratchet advances.  We are sure that the sender has this
153    * key as well only after @e ratchet_allowed is #GNUNET_YES.
154    */
155   struct GNUNET_CRYPTO_SymmetricSessionKey NHKs;
156
157   /**
158    * 32-byte next header key (for receiving).  To be tried
159    * when decrypting with @e HKr fails and thus the sender
160    * may have advanced the ratchet.
161    */
162   struct GNUNET_CRYPTO_SymmetricSessionKey NHKr;
163
164   /**
165    * 32-byte chain keys (used for forward-secrecy) for
166    * sending messages. Updated for every message.
167    */
168   struct GNUNET_CRYPTO_SymmetricSessionKey CKs;
169
170   /**
171    * 32-byte chain keys (used for forward-secrecy) for
172    * receiving messages. Updated for every message. If
173    * messages are skipped, the respective derived MKs
174    * (and the current @HKr) are kept in the @e skipped_head DLL.
175    */
176   struct GNUNET_CRYPTO_SymmetricSessionKey CKr;
177
178   /**
179    * ECDH for key exchange (A0 / B0).  Note that for the
180    * 'unverified_ax', this member is an alias with the main
181    * 't->ax.kx_0' value, so do not free it!
182    */
183   struct GNUNET_CRYPTO_EcdhePrivateKey *kx_0;
184
185   /**
186    * ECDH Ratchet key (our private key in the current DH).  Note that
187    * for the 'unverified_ax', this member is an alias with the main
188    * 't->ax.kx_0' value, so do not free it!
189    */
190   struct GNUNET_CRYPTO_EcdhePrivateKey *DHRs;
191
192   /**
193    * ECDH Ratchet key (other peer's public key in the current DH).
194    */
195   struct GNUNET_CRYPTO_EcdhePublicKey DHRr;
196
197   /**
198    * Time when the current ratchet expires and a new one is triggered
199    * (if @e ratchet_allowed is #GNUNET_YES).
200    */
201   struct GNUNET_TIME_Absolute ratchet_expiration;
202
203   /**
204    * Number of elements in @a skipped_head <-> @a skipped_tail.
205    */
206   unsigned int skipped;
207
208   /**
209    * Message number (reset to 0 with each new ratchet, next message to send).
210    */
211   uint32_t Ns;
212
213   /**
214    * Message number (reset to 0 with each new ratchet, next message to recv).
215    */
216   uint32_t Nr;
217
218   /**
219    * Previous message numbers (# of msgs sent under prev ratchet)
220    */
221   uint32_t PNs;
222
223   /**
224    * True (#GNUNET_YES) if we have to send a new ratchet key in next msg.
225    */
226   int ratchet_flag;
227
228   /**
229    * True (#GNUNET_YES) if we have received a message from the
230    * other peer that uses the keys from our last ratchet step.
231    * This implies that we are again allowed to advance the ratchet,
232    * otherwise we have to wait until the other peer sees our current
233    * ephemeral key and advances first.
234    *
235    * #GNUNET_NO if we have advanced the ratched but lack any evidence
236    * that the other peer has noticed this.
237    */
238   int ratchet_allowed;
239
240   /**
241    * Number of messages recieved since our last ratchet advance.
242    *
243    * If this counter = 0, we cannot send a new ratchet key in the next
244    * message.
245    *
246    * If this counter > 0, we could (but don't have to) send a new key.
247    *
248    * Once the @e ratchet_counter is larger than
249    * #ratchet_messages (or @e ratchet_expiration time has past), and
250    * @e ratchet_allowed is #GNUNET_YES, we advance the ratchet.
251    */
252   unsigned int ratchet_counter;
253
254 };
255
256
257 /**
258  * Struct used to save messages in a non-ready tunnel to send once connected.
259  */
260 struct CadetTunnelQueueEntry
261 {
262   /**
263    * We are entries in a DLL
264    */
265   struct CadetTunnelQueueEntry *next;
266
267   /**
268    * We are entries in a DLL
269    */
270   struct CadetTunnelQueueEntry *prev;
271
272   /**
273    * Tunnel these messages belong in.
274    */
275   struct CadetTunnel *t;
276
277   /**
278    * Continuation to call once sent (on the channel layer).
279    */
280   GNUNET_SCHEDULER_TaskCallback cont;
281
282   /**
283    * Closure for @c cont.
284    */
285   void *cont_cls;
286
287   /**
288    * Envelope of message to send follows.
289    */
290   struct GNUNET_MQ_Envelope *env;
291
292   /**
293    * Where to put the connection identifier into the payload
294    * of the message in @e env once we have it?
295    */
296   struct GNUNET_CADET_ConnectionTunnelIdentifier *cid;
297 };
298
299
300 /**
301  * Struct containing all information regarding a tunnel to a peer.
302  */
303 struct CadetTunnel
304 {
305   /**
306    * Destination of the tunnel.
307    */
308   struct CadetPeer *destination;
309
310   /**
311    * Peer's ephemeral key, to recreate @c e_key and @c d_key when own
312    * ephemeral key changes.
313    */
314   struct GNUNET_CRYPTO_EcdhePublicKey peers_ephemeral_key;
315
316   /**
317    * Encryption ("our") key. It is only "confirmed" if kx_ctx is NULL.
318    */
319   struct GNUNET_CRYPTO_SymmetricSessionKey e_key;
320
321   /**
322    * Decryption ("their") key. It is only "confirmed" if kx_ctx is NULL.
323    */
324   struct GNUNET_CRYPTO_SymmetricSessionKey d_key;
325
326   /**
327    * Axolotl info.
328    */
329   struct CadetTunnelAxolotl ax;
330
331   /**
332    * Unverified Axolotl info, used only if we got a fresh KX (not a
333    * KX_AUTH) while our end of the tunnel was still up.  In this case,
334    * we keep the fresh KX around but do not put it into action until
335    * we got encrypted payload that assures us of the authenticity of
336    * the KX.
337    */
338   struct CadetTunnelAxolotl *unverified_ax;
339
340   /**
341    * Task scheduled if there are no more channels using the tunnel.
342    */
343   struct GNUNET_SCHEDULER_Task *destroy_task;
344
345   /**
346    * Task to trim connections if too many are present.
347    */
348   struct GNUNET_SCHEDULER_Task *maintain_connections_task;
349
350   /**
351    * Task to send messages from queue (if possible).
352    */
353   struct GNUNET_SCHEDULER_Task *send_task;
354
355   /**
356    * Task to trigger KX.
357    */
358   struct GNUNET_SCHEDULER_Task *kx_task;
359
360   /**
361    * Tokenizer for decrypted messages.
362    */
363   struct GNUNET_MessageStreamTokenizer *mst;
364
365   /**
366    * Dispatcher for decrypted messages only (do NOT use for sending!).
367    */
368   struct GNUNET_MQ_Handle *mq;
369
370   /**
371    * DLL of ready connections that are actively used to reach the destination peer.
372    */
373   struct CadetTConnection *connection_ready_head;
374
375   /**
376    * DLL of ready connections that are actively used to reach the destination peer.
377    */
378   struct CadetTConnection *connection_ready_tail;
379
380   /**
381    * DLL of connections that we maintain that might be used to reach the destination peer.
382    */
383   struct CadetTConnection *connection_busy_head;
384
385   /**
386    * DLL of connections that we maintain that might be used to reach the destination peer.
387    */
388   struct CadetTConnection *connection_busy_tail;
389
390   /**
391    * Channels inside this tunnel. Maps
392    * `struct GNUNET_CADET_ChannelTunnelNumber` to a `struct CadetChannel`.
393    */
394   struct GNUNET_CONTAINER_MultiHashMap32 *channels;
395
396   /**
397    * Channel ID for the next created channel in this tunnel.
398    */
399   struct GNUNET_CADET_ChannelTunnelNumber next_ctn;
400
401   /**
402    * Queued messages, to transmit once tunnel gets connected.
403    */
404   struct CadetTunnelQueueEntry *tq_head;
405
406   /**
407    * Queued messages, to transmit once tunnel gets connected.
408    */
409   struct CadetTunnelQueueEntry *tq_tail;
410
411   /**
412    * How long do we wait until we retry the KX?
413    */
414   struct GNUNET_TIME_Relative kx_retry_delay;
415
416   /**
417    * When do we try the next KX?
418    */
419   struct GNUNET_TIME_Absolute next_kx_attempt;
420
421   /**
422    * Number of connections in the @e connection_ready_head DLL.
423    */
424   unsigned int num_ready_connections;
425
426   /**
427    * Number of connections in the @e connection_busy_head DLL.
428    */
429   unsigned int num_busy_connections;
430
431   /**
432    * How often have we tried and failed to decrypt a message using
433    * the unverified KX material from @e unverified_ax?  Used to
434    * stop trying after #MAX_UNVERIFIED_ATTEMPTS.
435    */
436   unsigned int unverified_attempts;
437
438   /**
439    * Number of entries in the @e tq_head DLL.
440    */
441   unsigned int tq_len;
442
443   /**
444    * State of the tunnel encryption.
445    */
446   enum CadetTunnelEState estate;
447
448   /**
449    * Force triggering KX_AUTH independent of @e estate.
450    */
451   int kx_auth_requested;
452
453 };
454
455
456 /**
457  * Connection @a ct is now unready, clear it's ready flag
458  * and move it from the ready DLL to the busy DLL.
459  *
460  * @param ct connection to move to unready status
461  */
462 static void
463 mark_connection_unready (struct CadetTConnection *ct)
464 {
465   struct CadetTunnel *t = ct->t;
466
467   GNUNET_assert (GNUNET_YES == ct->is_ready);
468   GNUNET_CONTAINER_DLL_remove (t->connection_ready_head,
469                                t->connection_ready_tail,
470                                ct);
471   GNUNET_assert (0 < t->num_ready_connections);
472   t->num_ready_connections--;
473   ct->is_ready = GNUNET_NO;
474   GNUNET_CONTAINER_DLL_insert (t->connection_busy_head,
475                                t->connection_busy_tail,
476                                ct);
477   t->num_busy_connections++;
478 }
479
480
481 /**
482  * Get the static string for the peer this tunnel is directed.
483  *
484  * @param t Tunnel.
485  *
486  * @return Static string the destination peer's ID.
487  */
488 const char *
489 GCT_2s (const struct CadetTunnel *t)
490 {
491   static char buf[64];
492
493   if (NULL == t)
494     return "Tunnel(NULL)";
495   GNUNET_snprintf (buf,
496                    sizeof (buf),
497                    "Tunnel %s",
498                    GNUNET_i2s (GCP_get_id (t->destination)));
499   return buf;
500 }
501
502
503 /**
504  * Get string description for tunnel encryption state.
505  *
506  * @param es Tunnel state.
507  *
508  * @return String representation.
509  */
510 static const char *
511 estate2s (enum CadetTunnelEState es)
512 {
513   static char buf[32];
514
515   switch (es)
516   {
517   case CADET_TUNNEL_KEY_UNINITIALIZED:
518     return "CADET_TUNNEL_KEY_UNINITIALIZED";
519   case CADET_TUNNEL_KEY_AX_RECV:
520     return "CADET_TUNNEL_KEY_AX_RECV";
521   case CADET_TUNNEL_KEY_AX_SENT:
522     return "CADET_TUNNEL_KEY_AX_SENT";
523   case CADET_TUNNEL_KEY_AX_SENT_AND_RECV:
524     return "CADET_TUNNEL_KEY_AX_SENT_AND_RECV";
525   case CADET_TUNNEL_KEY_AX_AUTH_SENT:
526     return "CADET_TUNNEL_KEY_AX_AUTH_SENT";
527   case CADET_TUNNEL_KEY_OK:
528     return "CADET_TUNNEL_KEY_OK";
529   default:
530     GNUNET_snprintf (buf,
531                      sizeof (buf),
532                      "%u (UNKNOWN STATE)",
533                      es);
534     return buf;
535   }
536 }
537
538
539 /**
540  * Return the peer to which this tunnel goes.
541  *
542  * @param t a tunnel
543  * @return the destination of the tunnel
544  */
545 struct CadetPeer *
546 GCT_get_destination (struct CadetTunnel *t)
547 {
548   return t->destination;
549 }
550
551
552 /**
553  * Count channels of a tunnel.
554  *
555  * @param t Tunnel on which to count.
556  *
557  * @return Number of channels.
558  */
559 unsigned int
560 GCT_count_channels (struct CadetTunnel *t)
561 {
562   return GNUNET_CONTAINER_multihashmap32_size (t->channels);
563 }
564
565
566 /**
567  * Lookup a channel by its @a ctn.
568  *
569  * @param t tunnel to look in
570  * @param ctn number of channel to find
571  * @return NULL if channel does not exist
572  */
573 struct CadetChannel *
574 lookup_channel (struct CadetTunnel *t,
575                 struct GNUNET_CADET_ChannelTunnelNumber ctn)
576 {
577   return GNUNET_CONTAINER_multihashmap32_get (t->channels,
578                                               ntohl (ctn.cn));
579 }
580
581
582 /**
583  * Count all created connections of a tunnel. Not necessarily ready connections!
584  *
585  * @param t Tunnel on which to count.
586  *
587  * @return Number of connections created, either being established or ready.
588  */
589 unsigned int
590 GCT_count_any_connections (const struct CadetTunnel *t)
591 {
592   return t->num_ready_connections + t->num_busy_connections;
593 }
594
595
596 /**
597  * Find first connection that is ready in the list of
598  * our connections.  Picks ready connections round-robin.
599  *
600  * @param t tunnel to search
601  * @return NULL if we have no connection that is ready
602  */
603 static struct CadetTConnection *
604 get_ready_connection (struct CadetTunnel *t)
605 {
606   return t->connection_ready_head;
607 }
608
609
610 /**
611  * Get the encryption state of a tunnel.
612  *
613  * @param t Tunnel.
614  *
615  * @return Tunnel's encryption state.
616  */
617 enum CadetTunnelEState
618 GCT_get_estate (struct CadetTunnel *t)
619 {
620   return t->estate;
621 }
622
623
624 /**
625  * Called when either we have a new connection, or a new message in the
626  * queue, or some existing connection has transmission capacity.  Looks
627  * at our message queue and if there is a message, picks a connection
628  * to send it on.
629  *
630  * @param cls the `struct CadetTunnel` to process messages on
631  */
632 static void
633 trigger_transmissions (void *cls);
634
635
636 /* ************************************** start core crypto ***************************** */
637
638
639 /**
640  * Create a new Axolotl ephemeral (ratchet) key.
641  *
642  * @param ax key material to update
643  */
644 static void
645 new_ephemeral (struct CadetTunnelAxolotl *ax)
646 {
647   GNUNET_free_non_null (ax->DHRs);
648   LOG (GNUNET_ERROR_TYPE_DEBUG,
649        "Creating new ephemeral ratchet key (DHRs)\n");
650   ax->DHRs = GNUNET_CRYPTO_ecdhe_key_create ();
651 }
652
653
654 /**
655  * Calculate HMAC.
656  *
657  * @param plaintext Content to HMAC.
658  * @param size Size of @c plaintext.
659  * @param iv Initialization vector for the message.
660  * @param key Key to use.
661  * @param hmac[out] Destination to store the HMAC.
662  */
663 static void
664 t_hmac (const void *plaintext,
665         size_t size,
666         uint32_t iv,
667         const struct GNUNET_CRYPTO_SymmetricSessionKey *key,
668         struct GNUNET_ShortHashCode *hmac)
669 {
670   static const char ctx[] = "cadet authentication key";
671   struct GNUNET_CRYPTO_AuthKey auth_key;
672   struct GNUNET_HashCode hash;
673
674   GNUNET_CRYPTO_hmac_derive_key (&auth_key,
675                                  key,
676                                  &iv, sizeof (iv),
677                                  key, sizeof (*key),
678                                  ctx, sizeof (ctx),
679                                  NULL);
680   /* Two step: GNUNET_ShortHash is only 256 bits,
681      GNUNET_HashCode is 512, so we truncate. */
682   GNUNET_CRYPTO_hmac (&auth_key,
683                       plaintext,
684                       size,
685                       &hash);
686   GNUNET_memcpy (hmac,
687                  &hash,
688                  sizeof (*hmac));
689 }
690
691
692 /**
693  * Perform a HMAC.
694  *
695  * @param key Key to use.
696  * @param[out] hash Resulting HMAC.
697  * @param source Source key material (data to HMAC).
698  * @param len Length of @a source.
699  */
700 static void
701 t_ax_hmac_hash (const struct GNUNET_CRYPTO_SymmetricSessionKey *key,
702                 struct GNUNET_HashCode *hash,
703                 const void *source,
704                 unsigned int len)
705 {
706   static const char ctx[] = "axolotl HMAC-HASH";
707   struct GNUNET_CRYPTO_AuthKey auth_key;
708
709   GNUNET_CRYPTO_hmac_derive_key (&auth_key,
710                                  key,
711                                  ctx, sizeof (ctx),
712                                  NULL);
713   GNUNET_CRYPTO_hmac (&auth_key,
714                       source,
715                       len,
716                       hash);
717 }
718
719
720 /**
721  * Derive a symmetric encryption key from an HMAC-HASH.
722  *
723  * @param key Key to use for the HMAC.
724  * @param[out] out Key to generate.
725  * @param source Source key material (data to HMAC).
726  * @param len Length of @a source.
727  */
728 static void
729 t_hmac_derive_key (const struct GNUNET_CRYPTO_SymmetricSessionKey *key,
730                    struct GNUNET_CRYPTO_SymmetricSessionKey *out,
731                    const void *source,
732                    unsigned int len)
733 {
734   static const char ctx[] = "axolotl derive key";
735   struct GNUNET_HashCode h;
736
737   t_ax_hmac_hash (key,
738                   &h,
739                   source,
740                   len);
741   GNUNET_CRYPTO_kdf (out, sizeof (*out),
742                      ctx, sizeof (ctx),
743                      &h, sizeof (h),
744                      NULL);
745 }
746
747
748 /**
749  * Encrypt data with the axolotl tunnel key.
750  *
751  * @param ax key material to use.
752  * @param dst Destination with @a size bytes for the encrypted data.
753  * @param src Source of the plaintext. Can overlap with @c dst, must contain @a size bytes
754  * @param size Size of the buffers at @a src and @a dst
755  */
756 static void
757 t_ax_encrypt (struct CadetTunnelAxolotl *ax,
758               void *dst,
759               const void *src,
760               size_t size)
761 {
762   struct GNUNET_CRYPTO_SymmetricSessionKey MK;
763   struct GNUNET_CRYPTO_SymmetricInitializationVector iv;
764   size_t out_size;
765
766   ax->ratchet_counter++;
767   if ( (GNUNET_YES == ax->ratchet_allowed) &&
768        ( (ratchet_messages <= ax->ratchet_counter) ||
769          (0 == GNUNET_TIME_absolute_get_remaining (ax->ratchet_expiration).rel_value_us)) )
770   {
771     ax->ratchet_flag = GNUNET_YES;
772   }
773   if (GNUNET_YES == ax->ratchet_flag)
774   {
775     /* Advance ratchet */
776     struct GNUNET_CRYPTO_SymmetricSessionKey keys[3];
777     struct GNUNET_HashCode dh;
778     struct GNUNET_HashCode hmac;
779     static const char ctx[] = "axolotl ratchet";
780
781     new_ephemeral (ax);
782     ax->HKs = ax->NHKs;
783
784     /* RK, NHKs, CKs = KDF( HMAC-HASH(RK, DH(DHRs, DHRr)) ) */
785     GNUNET_CRYPTO_ecc_ecdh (ax->DHRs,
786                             &ax->DHRr,
787                             &dh);
788     t_ax_hmac_hash (&ax->RK,
789                     &hmac,
790                     &dh,
791                     sizeof (dh));
792     GNUNET_CRYPTO_kdf (keys, sizeof (keys),
793                        ctx, sizeof (ctx),
794                        &hmac, sizeof (hmac),
795                        NULL);
796     ax->RK = keys[0];
797     ax->NHKs = keys[1];
798     ax->CKs = keys[2];
799
800     ax->PNs = ax->Ns;
801     ax->Ns = 0;
802     ax->ratchet_flag = GNUNET_NO;
803     ax->ratchet_allowed = GNUNET_NO;
804     ax->ratchet_counter = 0;
805     ax->ratchet_expiration
806       = GNUNET_TIME_absolute_add (GNUNET_TIME_absolute_get(),
807                                   ratchet_time);
808   }
809
810   t_hmac_derive_key (&ax->CKs,
811                      &MK,
812                      "0",
813                      1);
814   GNUNET_CRYPTO_symmetric_derive_iv (&iv,
815                                      &MK,
816                                      NULL, 0,
817                                      NULL);
818
819   out_size = GNUNET_CRYPTO_symmetric_encrypt (src,
820                                               size,
821                                               &MK,
822                                               &iv,
823                                               dst);
824   GNUNET_assert (size == out_size);
825   t_hmac_derive_key (&ax->CKs,
826                      &ax->CKs,
827                      "1",
828                      1);
829 }
830
831
832 /**
833  * Decrypt data with the axolotl tunnel key.
834  *
835  * @param ax key material to use.
836  * @param dst Destination for the decrypted data, must contain @a size bytes.
837  * @param src Source of the ciphertext. Can overlap with @c dst, must contain @a size bytes.
838  * @param size Size of the @a src and @a dst buffers
839  */
840 static void
841 t_ax_decrypt (struct CadetTunnelAxolotl *ax,
842               void *dst,
843               const void *src,
844               size_t size)
845 {
846   struct GNUNET_CRYPTO_SymmetricSessionKey MK;
847   struct GNUNET_CRYPTO_SymmetricInitializationVector iv;
848   size_t out_size;
849
850   t_hmac_derive_key (&ax->CKr,
851                      &MK,
852                      "0",
853                      1);
854   GNUNET_CRYPTO_symmetric_derive_iv (&iv,
855                                      &MK,
856                                      NULL, 0,
857                                      NULL);
858   GNUNET_assert (size >= sizeof (struct GNUNET_MessageHeader));
859   out_size = GNUNET_CRYPTO_symmetric_decrypt (src,
860                                               size,
861                                               &MK,
862                                               &iv,
863                                               dst);
864   GNUNET_assert (out_size == size);
865   t_hmac_derive_key (&ax->CKr,
866                      &ax->CKr,
867                      "1",
868                      1);
869 }
870
871
872 /**
873  * Encrypt header with the axolotl header key.
874  *
875  * @param ax key material to use.
876  * @param[in|out] msg Message whose header to encrypt.
877  */
878 static void
879 t_h_encrypt (struct CadetTunnelAxolotl *ax,
880              struct GNUNET_CADET_TunnelEncryptedMessage *msg)
881 {
882   struct GNUNET_CRYPTO_SymmetricInitializationVector iv;
883   size_t out_size;
884
885   GNUNET_CRYPTO_symmetric_derive_iv (&iv,
886                                      &ax->HKs,
887                                      NULL, 0,
888                                      NULL);
889   out_size = GNUNET_CRYPTO_symmetric_encrypt (&msg->ax_header,
890                                               sizeof (struct GNUNET_CADET_AxHeader),
891                                               &ax->HKs,
892                                               &iv,
893                                               &msg->ax_header);
894   GNUNET_assert (sizeof (struct GNUNET_CADET_AxHeader) == out_size);
895 }
896
897
898 /**
899  * Decrypt header with the current axolotl header key.
900  *
901  * @param ax key material to use.
902  * @param src Message whose header to decrypt.
903  * @param dst Where to decrypt header to.
904  */
905 static void
906 t_h_decrypt (struct CadetTunnelAxolotl *ax,
907              const struct GNUNET_CADET_TunnelEncryptedMessage *src,
908              struct GNUNET_CADET_TunnelEncryptedMessage *dst)
909 {
910   struct GNUNET_CRYPTO_SymmetricInitializationVector iv;
911   size_t out_size;
912
913   GNUNET_CRYPTO_symmetric_derive_iv (&iv,
914                                      &ax->HKr,
915                                      NULL, 0,
916                                      NULL);
917   out_size = GNUNET_CRYPTO_symmetric_decrypt (&src->ax_header.Ns,
918                                               sizeof (struct GNUNET_CADET_AxHeader),
919                                               &ax->HKr,
920                                               &iv,
921                                               &dst->ax_header.Ns);
922   GNUNET_assert (sizeof (struct GNUNET_CADET_AxHeader) == out_size);
923 }
924
925
926 /**
927  * Delete a key from the list of skipped keys.
928  *
929  * @param ax key material to delete @a key from.
930  * @param key Key to delete.
931  */
932 static void
933 delete_skipped_key (struct CadetTunnelAxolotl *ax,
934                     struct CadetTunnelSkippedKey *key)
935 {
936   GNUNET_CONTAINER_DLL_remove (ax->skipped_head,
937                                ax->skipped_tail,
938                                key);
939   GNUNET_free (key);
940   ax->skipped--;
941 }
942
943
944 /**
945  * Decrypt and verify data with the appropriate tunnel key and verify that the
946  * data has not been altered since it was sent by the remote peer.
947  *
948  * @param ax key material to use.
949  * @param dst Destination for the plaintext.
950  * @param src Source of the message. Can overlap with @c dst.
951  * @param size Size of the message.
952  * @return Size of the decrypted data, -1 if an error was encountered.
953  */
954 static ssize_t
955 try_old_ax_keys (struct CadetTunnelAxolotl *ax,
956                  void *dst,
957                  const struct GNUNET_CADET_TunnelEncryptedMessage *src,
958                  size_t size)
959 {
960   struct CadetTunnelSkippedKey *key;
961   struct GNUNET_ShortHashCode *hmac;
962   struct GNUNET_CRYPTO_SymmetricInitializationVector iv;
963   struct GNUNET_CADET_TunnelEncryptedMessage plaintext_header;
964   struct GNUNET_CRYPTO_SymmetricSessionKey *valid_HK;
965   size_t esize;
966   size_t res;
967   size_t len;
968   unsigned int N;
969
970   LOG (GNUNET_ERROR_TYPE_DEBUG,
971        "Trying skipped keys\n");
972   hmac = &plaintext_header.hmac;
973   esize = size - sizeof (struct GNUNET_CADET_TunnelEncryptedMessage);
974
975   /* Find a correct Header Key */
976   valid_HK = NULL;
977   for (key = ax->skipped_head; NULL != key; key = key->next)
978   {
979     t_hmac (&src->ax_header,
980             sizeof (struct GNUNET_CADET_AxHeader) + esize,
981             0,
982             &key->HK,
983             hmac);
984     if (0 == memcmp (hmac,
985                      &src->hmac,
986                      sizeof (*hmac)))
987     {
988       valid_HK = &key->HK;
989       break;
990     }
991   }
992   if (NULL == key)
993     return -1;
994
995   /* Should've been checked in -cadet_connection.c handle_cadet_encrypted. */
996   GNUNET_assert (size > sizeof (struct GNUNET_CADET_TunnelEncryptedMessage));
997   len = size - sizeof (struct GNUNET_CADET_TunnelEncryptedMessage);
998   GNUNET_assert (len >= sizeof (struct GNUNET_MessageHeader));
999
1000   /* Decrypt header */
1001   GNUNET_CRYPTO_symmetric_derive_iv (&iv,
1002                                      &key->HK,
1003                                      NULL, 0,
1004                                      NULL);
1005   res = GNUNET_CRYPTO_symmetric_decrypt (&src->ax_header.Ns,
1006                                          sizeof (struct GNUNET_CADET_AxHeader),
1007                                          &key->HK,
1008                                          &iv,
1009                                          &plaintext_header.ax_header.Ns);
1010   GNUNET_assert (sizeof (struct GNUNET_CADET_AxHeader) == res);
1011
1012   /* Find the correct message key */
1013   N = ntohl (plaintext_header.ax_header.Ns);
1014   while ( (NULL != key) &&
1015           (N != key->Kn) )
1016     key = key->next;
1017   if ( (NULL == key) ||
1018        (0 != memcmp (&key->HK,
1019                      valid_HK,
1020                      sizeof (*valid_HK))) )
1021     return -1;
1022
1023   /* Decrypt payload */
1024   GNUNET_CRYPTO_symmetric_derive_iv (&iv,
1025                                      &key->MK,
1026                                      NULL,
1027                                      0,
1028                                      NULL);
1029   res = GNUNET_CRYPTO_symmetric_decrypt (&src[1],
1030                                          len,
1031                                          &key->MK,
1032                                          &iv,
1033                                          dst);
1034   delete_skipped_key (ax,
1035                       key);
1036   return res;
1037 }
1038
1039
1040 /**
1041  * Delete a key from the list of skipped keys.
1042  *
1043  * @param ax key material to delete from.
1044  * @param HKr Header Key to use.
1045  */
1046 static void
1047 store_skipped_key (struct CadetTunnelAxolotl *ax,
1048                    const struct GNUNET_CRYPTO_SymmetricSessionKey *HKr)
1049 {
1050   struct CadetTunnelSkippedKey *key;
1051
1052   key = GNUNET_new (struct CadetTunnelSkippedKey);
1053   key->timestamp = GNUNET_TIME_absolute_get ();
1054   key->Kn = ax->Nr;
1055   key->HK = ax->HKr;
1056   t_hmac_derive_key (&ax->CKr,
1057                      &key->MK,
1058                      "0",
1059                      1);
1060   t_hmac_derive_key (&ax->CKr,
1061                      &ax->CKr,
1062                      "1",
1063                      1);
1064   GNUNET_CONTAINER_DLL_insert (ax->skipped_head,
1065                                ax->skipped_tail,
1066                                key);
1067   ax->skipped++;
1068   ax->Nr++;
1069 }
1070
1071
1072 /**
1073  * Stage skipped AX keys and calculate the message key.
1074  * Stores each HK and MK for skipped messages.
1075  *
1076  * @param ax key material to use
1077  * @param HKr Header key.
1078  * @param Np Received meesage number.
1079  * @return #GNUNET_OK if keys were stored.
1080  *         #GNUNET_SYSERR if an error ocurred (@a Np not expected).
1081  */
1082 static int
1083 store_ax_keys (struct CadetTunnelAxolotl *ax,
1084                const struct GNUNET_CRYPTO_SymmetricSessionKey *HKr,
1085                uint32_t Np)
1086 {
1087   int gap;
1088
1089   gap = Np - ax->Nr;
1090   LOG (GNUNET_ERROR_TYPE_DEBUG,
1091        "Storing skipped keys [%u, %u)\n",
1092        ax->Nr,
1093        Np);
1094   if (MAX_KEY_GAP < gap)
1095   {
1096     /* Avoid DoS (forcing peer to do more than #MAX_KEY_GAP HMAC operations) */
1097     /* TODO: start new key exchange on return */
1098     GNUNET_break_op (0);
1099     LOG (GNUNET_ERROR_TYPE_WARNING,
1100          "Got message %u, expected %u+\n",
1101          Np,
1102          ax->Nr);
1103     return GNUNET_SYSERR;
1104   }
1105   if (0 > gap)
1106   {
1107     /* Delayed message: don't store keys, flag to try old keys. */
1108     return GNUNET_SYSERR;
1109   }
1110
1111   while (ax->Nr < Np)
1112     store_skipped_key (ax,
1113                        HKr);
1114
1115   while (ax->skipped > MAX_SKIPPED_KEYS)
1116     delete_skipped_key (ax,
1117                         ax->skipped_tail);
1118   return GNUNET_OK;
1119 }
1120
1121
1122 /**
1123  * Decrypt and verify data with the appropriate tunnel key and verify that the
1124  * data has not been altered since it was sent by the remote peer.
1125  *
1126  * @param ax key material to use
1127  * @param dst Destination for the plaintext.
1128  * @param src Source of the message. Can overlap with @c dst.
1129  * @param size Size of the message.
1130  * @return Size of the decrypted data, -1 if an error was encountered.
1131  */
1132 static ssize_t
1133 t_ax_decrypt_and_validate (struct CadetTunnelAxolotl *ax,
1134                            void *dst,
1135                            const struct GNUNET_CADET_TunnelEncryptedMessage *src,
1136                            size_t size)
1137 {
1138   struct GNUNET_ShortHashCode msg_hmac;
1139   struct GNUNET_HashCode hmac;
1140   struct GNUNET_CADET_TunnelEncryptedMessage plaintext_header;
1141   uint32_t Np;
1142   uint32_t PNp;
1143   size_t esize; /* Size of encryped payload */
1144
1145   esize = size - sizeof (struct GNUNET_CADET_TunnelEncryptedMessage);
1146
1147   /* Try current HK */
1148   t_hmac (&src->ax_header,
1149           sizeof (struct GNUNET_CADET_AxHeader) + esize,
1150           0, &ax->HKr,
1151           &msg_hmac);
1152   if (0 != memcmp (&msg_hmac,
1153                    &src->hmac,
1154                    sizeof (msg_hmac)))
1155   {
1156     static const char ctx[] = "axolotl ratchet";
1157     struct GNUNET_CRYPTO_SymmetricSessionKey keys[3]; /* RKp, NHKp, CKp */
1158     struct GNUNET_CRYPTO_SymmetricSessionKey HK;
1159     struct GNUNET_HashCode dh;
1160     struct GNUNET_CRYPTO_EcdhePublicKey *DHRp;
1161
1162     /* Try Next HK */
1163     t_hmac (&src->ax_header,
1164             sizeof (struct GNUNET_CADET_AxHeader) + esize,
1165             0,
1166             &ax->NHKr,
1167             &msg_hmac);
1168     if (0 != memcmp (&msg_hmac,
1169                      &src->hmac,
1170                      sizeof (msg_hmac)))
1171     {
1172       /* Try the skipped keys, if that fails, we're out of luck. */
1173       return try_old_ax_keys (ax,
1174                               dst,
1175                               src,
1176                               size);
1177     }
1178     HK = ax->HKr;
1179     ax->HKr = ax->NHKr;
1180     t_h_decrypt (ax,
1181                  src,
1182                  &plaintext_header);
1183     Np = ntohl (plaintext_header.ax_header.Ns);
1184     PNp = ntohl (plaintext_header.ax_header.PNs);
1185     DHRp = &plaintext_header.ax_header.DHRs;
1186     store_ax_keys (ax,
1187                    &HK,
1188                    PNp);
1189
1190     /* RKp, NHKp, CKp = KDF (HMAC-HASH (RK, DH (DHRp, DHRs))) */
1191     GNUNET_CRYPTO_ecc_ecdh (ax->DHRs,
1192                             DHRp,
1193                             &dh);
1194     t_ax_hmac_hash (&ax->RK,
1195                     &hmac,
1196                     &dh, sizeof (dh));
1197     GNUNET_CRYPTO_kdf (keys, sizeof (keys),
1198                        ctx, sizeof (ctx),
1199                        &hmac, sizeof (hmac),
1200                        NULL);
1201
1202     /* Commit "purported" keys */
1203     ax->RK = keys[0];
1204     ax->NHKr = keys[1];
1205     ax->CKr = keys[2];
1206     ax->DHRr = *DHRp;
1207     ax->Nr = 0;
1208     ax->ratchet_allowed = GNUNET_YES;
1209   }
1210   else
1211   {
1212     t_h_decrypt (ax,
1213                  src,
1214                  &plaintext_header);
1215     Np = ntohl (plaintext_header.ax_header.Ns);
1216     PNp = ntohl (plaintext_header.ax_header.PNs);
1217   }
1218   if ( (Np != ax->Nr) &&
1219        (GNUNET_OK != store_ax_keys (ax,
1220                                     &ax->HKr,
1221                                     Np)) )
1222   {
1223     /* Try the skipped keys, if that fails, we're out of luck. */
1224     return try_old_ax_keys (ax,
1225                             dst,
1226                             src,
1227                             size);
1228   }
1229
1230   t_ax_decrypt (ax,
1231                 dst,
1232                 &src[1],
1233                 esize);
1234   ax->Nr = Np + 1;
1235   return esize;
1236 }
1237
1238
1239 /**
1240  * Our tunnel became ready for the first time, notify channels
1241  * that have been waiting.
1242  *
1243  * @param cls our tunnel, not used
1244  * @param key unique ID of the channel, not used
1245  * @param value the `struct CadetChannel` to notify
1246  * @return #GNUNET_OK (continue to iterate)
1247  */
1248 static int
1249 notify_tunnel_up_cb (void *cls,
1250                      uint32_t key,
1251                      void *value)
1252 {
1253   struct CadetChannel *ch = value;
1254
1255   GCCH_tunnel_up (ch);
1256   return GNUNET_OK;
1257 }
1258
1259
1260 /**
1261  * Change the tunnel encryption state.
1262  * If the encryption state changes to OK, stop the rekey task.
1263  *
1264  * @param t Tunnel whose encryption state to change, or NULL.
1265  * @param state New encryption state.
1266  */
1267 void
1268 GCT_change_estate (struct CadetTunnel *t,
1269                    enum CadetTunnelEState state)
1270 {
1271   enum CadetTunnelEState old = t->estate;
1272
1273   t->estate = state;
1274   LOG (GNUNET_ERROR_TYPE_DEBUG,
1275        "%s estate changed from %s to %s\n",
1276        GCT_2s (t),
1277        estate2s (old),
1278        estate2s (state));
1279
1280   if ( (CADET_TUNNEL_KEY_OK != old) &&
1281        (CADET_TUNNEL_KEY_OK == t->estate) )
1282   {
1283     if (NULL != t->kx_task)
1284     {
1285       GNUNET_SCHEDULER_cancel (t->kx_task);
1286       t->kx_task = NULL;
1287     }
1288     /* notify all channels that have been waiting */
1289     GNUNET_CONTAINER_multihashmap32_iterate (t->channels,
1290                                              &notify_tunnel_up_cb,
1291                                              t);
1292     if (NULL != t->send_task)
1293       GNUNET_SCHEDULER_cancel (t->send_task);
1294     t->send_task = GNUNET_SCHEDULER_add_now (&trigger_transmissions,
1295                                              t);
1296   }
1297 }
1298
1299
1300 /**
1301  * Send a KX message.
1302  *
1303  * @param t tunnel on which to send the KX_AUTH
1304  * @param ct Tunnel and connection on which to send the KX_AUTH, NULL if
1305  *           we are to find one that is ready.
1306  * @param ax axolotl key context to use
1307  */
1308 static void
1309 send_kx (struct CadetTunnel *t,
1310          struct CadetTConnection *ct,
1311          struct CadetTunnelAxolotl *ax)
1312 {
1313   struct CadetConnection *cc;
1314   struct GNUNET_MQ_Envelope *env;
1315   struct GNUNET_CADET_TunnelKeyExchangeMessage *msg;
1316   enum GNUNET_CADET_KX_Flags flags;
1317
1318   if (NULL == ct)
1319     ct = get_ready_connection (t);
1320   if (NULL == ct)
1321   {
1322     LOG (GNUNET_ERROR_TYPE_DEBUG,
1323          "Wanted to send %s in state %s, but no connection is ready, deferring\n",
1324          GCT_2s (t),
1325          estate2s (t->estate));
1326     t->next_kx_attempt = GNUNET_TIME_absolute_get ();
1327     return;
1328   }
1329   cc = ct->cc;
1330   LOG (GNUNET_ERROR_TYPE_DEBUG,
1331        "Sending KX on %s via %s using %s in state %s\n",
1332        GCT_2s (t),
1333        GCC_2s (cc),
1334        estate2s (t->estate));
1335   env = GNUNET_MQ_msg (msg,
1336                        GNUNET_MESSAGE_TYPE_CADET_TUNNEL_KX);
1337   flags = GNUNET_CADET_KX_FLAG_FORCE_REPLY; /* always for KX */
1338   msg->flags = htonl (flags);
1339   msg->cid = *GCC_get_id (cc);
1340   GNUNET_CRYPTO_ecdhe_key_get_public (ax->kx_0,
1341                                       &msg->ephemeral_key);
1342   GNUNET_CRYPTO_ecdhe_key_get_public (ax->DHRs,
1343                                       &msg->ratchet_key);
1344   mark_connection_unready (ct);
1345   t->kx_retry_delay = GNUNET_TIME_STD_BACKOFF (t->kx_retry_delay);
1346   t->next_kx_attempt = GNUNET_TIME_relative_to_absolute (t->kx_retry_delay);
1347   if (CADET_TUNNEL_KEY_UNINITIALIZED == t->estate)
1348     GCT_change_estate (t,
1349                        CADET_TUNNEL_KEY_AX_SENT);
1350   else if (CADET_TUNNEL_KEY_AX_RECV == t->estate)
1351     GCT_change_estate (t,
1352                        CADET_TUNNEL_KEY_AX_SENT_AND_RECV);
1353   GCC_transmit (cc,
1354                 env);
1355 }
1356
1357
1358 /**
1359  * Send a KX_AUTH message.
1360  *
1361  * @param t tunnel on which to send the KX_AUTH
1362  * @param ct Tunnel and connection on which to send the KX_AUTH, NULL if
1363  *           we are to find one that is ready.
1364  * @param ax axolotl key context to use
1365  * @param force_reply Force the other peer to reply with a KX_AUTH message
1366  *         (set if we would like to transmit right now, but cannot)
1367  */
1368 static void
1369 send_kx_auth (struct CadetTunnel *t,
1370               struct CadetTConnection *ct,
1371               struct CadetTunnelAxolotl *ax,
1372               int force_reply)
1373 {
1374   struct CadetConnection *cc;
1375   struct GNUNET_MQ_Envelope *env;
1376   struct GNUNET_CADET_TunnelKeyExchangeAuthMessage *msg;
1377   enum GNUNET_CADET_KX_Flags flags;
1378
1379   if ( (NULL == ct) ||
1380        (GNUNET_NO == ct->is_ready) )
1381     ct = get_ready_connection (t);
1382   if (NULL == ct)
1383   {
1384     LOG (GNUNET_ERROR_TYPE_DEBUG,
1385          "Wanted to send KX_AUTH on %s, but no connection is ready, deferring\n",
1386          GCT_2s (t));
1387     t->next_kx_attempt = GNUNET_TIME_absolute_get ();
1388     t->kx_auth_requested = GNUNET_YES; /* queue KX_AUTH independent of estate */
1389     return;
1390   }
1391   t->kx_auth_requested = GNUNET_NO; /* clear flag */
1392   cc = ct->cc;
1393   LOG (GNUNET_ERROR_TYPE_DEBUG,
1394        "Sending KX_AUTH on %s using %s\n",
1395        GCT_2s (t),
1396        GCC_2s (ct->cc));
1397
1398   env = GNUNET_MQ_msg (msg,
1399                        GNUNET_MESSAGE_TYPE_CADET_TUNNEL_KX_AUTH);
1400   flags = GNUNET_CADET_KX_FLAG_NONE;
1401   if (GNUNET_YES == force_reply)
1402     flags |= GNUNET_CADET_KX_FLAG_FORCE_REPLY;
1403   msg->kx.flags = htonl (flags);
1404   msg->kx.cid = *GCC_get_id (cc);
1405   GNUNET_CRYPTO_ecdhe_key_get_public (ax->kx_0,
1406                                       &msg->kx.ephemeral_key);
1407   GNUNET_CRYPTO_ecdhe_key_get_public (ax->DHRs,
1408                                       &msg->kx.ratchet_key);
1409   /* Compute authenticator (this is the main difference to #send_kx()) */
1410   GNUNET_CRYPTO_hash (&ax->RK,
1411                       sizeof (ax->RK),
1412                       &msg->auth);
1413
1414   /* Compute when to be triggered again; actual job will
1415      be scheduled via #connection_ready_cb() */
1416   t->kx_retry_delay
1417     = GNUNET_TIME_STD_BACKOFF (t->kx_retry_delay);
1418   t->next_kx_attempt
1419     = GNUNET_TIME_relative_to_absolute (t->kx_retry_delay);
1420
1421   /* Send via cc, mark it as unready */
1422   mark_connection_unready (ct);
1423
1424   /* Update state machine, unless we are already OK */
1425   if (CADET_TUNNEL_KEY_OK != t->estate)
1426     GCT_change_estate (t,
1427                        CADET_TUNNEL_KEY_AX_AUTH_SENT);
1428
1429   GCC_transmit (cc,
1430                 env);
1431 }
1432
1433
1434 /**
1435  * Cleanup state used by @a ax.
1436  *
1437  * @param ax state to free, but not memory of @a ax itself
1438  */
1439 static void
1440 cleanup_ax (struct CadetTunnelAxolotl *ax)
1441 {
1442   while (NULL != ax->skipped_head)
1443     delete_skipped_key (ax,
1444                         ax->skipped_head);
1445   GNUNET_assert (0 == ax->skipped);
1446   GNUNET_free_non_null (ax->kx_0);
1447   GNUNET_free_non_null (ax->DHRs);
1448 }
1449
1450
1451 /**
1452  * Update our Axolotl key state based on the KX data we received.
1453  * Computes the new chain keys, and root keys, etc, and also checks
1454  * wether this is a replay of the current chain.
1455  *
1456  * @param[in|out] axolotl chain key state to recompute
1457  * @param pid peer identity of the other peer
1458  * @param ephemeral_key ephemeral public key of the other peer
1459  * @param ratchet_key senders next ephemeral public key
1460  * @return #GNUNET_OK on success, #GNUNET_NO if the resulting
1461  *       root key is already in @a ax and thus the KX is useless;
1462  *       #GNUNET_SYSERR on hard errors (i.e. @a pid is #my_full_id)
1463  */
1464 static int
1465 update_ax_by_kx (struct CadetTunnelAxolotl *ax,
1466                  const struct GNUNET_PeerIdentity *pid,
1467                  const struct GNUNET_CRYPTO_EcdhePublicKey *ephemeral_key,
1468                  const struct GNUNET_CRYPTO_EcdhePublicKey *ratchet_key)
1469 {
1470   struct GNUNET_HashCode key_material[3];
1471   struct GNUNET_CRYPTO_SymmetricSessionKey keys[5];
1472   const char salt[] = "CADET Axolotl salt";
1473   int am_I_alice;
1474
1475   if (0 > GNUNET_CRYPTO_cmp_peer_identity (&my_full_id,
1476                                            pid))
1477     am_I_alice = GNUNET_YES;
1478   else if (0 < GNUNET_CRYPTO_cmp_peer_identity (&my_full_id,
1479                                                 pid))
1480     am_I_alice = GNUNET_NO;
1481   else
1482   {
1483     GNUNET_break_op (0);
1484     return GNUNET_SYSERR;
1485   }
1486
1487   if (0 == memcmp (&ax->DHRr,
1488                    ratchet_key,
1489                    sizeof (*ratchet_key)))
1490   {
1491     LOG (GNUNET_ERROR_TYPE_DEBUG,
1492          "Ratchet key already known. Ignoring KX.\n");
1493     return GNUNET_NO;
1494   }
1495
1496   ax->DHRr = *ratchet_key;
1497
1498   /* ECDH A B0 */
1499   if (GNUNET_YES == am_I_alice)
1500   {
1501     GNUNET_CRYPTO_eddsa_ecdh (my_private_key,      /* A */
1502                               ephemeral_key, /* B0 */
1503                               &key_material[0]);
1504   }
1505   else
1506   {
1507     GNUNET_CRYPTO_ecdh_eddsa (ax->kx_0,            /* B0 */
1508                               &pid->public_key,    /* A */
1509                               &key_material[0]);
1510   }
1511
1512   /* ECDH A0 B */
1513   if (GNUNET_YES == am_I_alice)
1514   {
1515     GNUNET_CRYPTO_ecdh_eddsa (ax->kx_0,            /* A0 */
1516                               &pid->public_key,    /* B */
1517                               &key_material[1]);
1518   }
1519   else
1520   {
1521     GNUNET_CRYPTO_eddsa_ecdh (my_private_key,      /* A */
1522                               ephemeral_key, /* B0 */
1523                               &key_material[1]);
1524
1525
1526   }
1527
1528   /* ECDH A0 B0 */
1529   /* (This is the triple-DH, we could probably safely skip this,
1530      as A0/B0 are already in the key material.) */
1531   GNUNET_CRYPTO_ecc_ecdh (ax->kx_0,             /* A0 or B0 */
1532                           ephemeral_key,  /* B0 or A0 */
1533                           &key_material[2]);
1534
1535   /* KDF */
1536   GNUNET_CRYPTO_kdf (keys, sizeof (keys),
1537                      salt, sizeof (salt),
1538                      &key_material, sizeof (key_material),
1539                      NULL);
1540
1541   if (0 == memcmp (&ax->RK,
1542                    &keys[0],
1543                    sizeof (ax->RK)))
1544   {
1545     LOG (GNUNET_ERROR_TYPE_DEBUG,
1546          "Root key of handshake already known. Ignoring KX.\n");
1547     return GNUNET_NO;
1548   }
1549
1550   ax->RK = keys[0];
1551   if (GNUNET_YES == am_I_alice)
1552   {
1553     ax->HKr = keys[1];
1554     ax->NHKs = keys[2];
1555     ax->NHKr = keys[3];
1556     ax->CKr = keys[4];
1557     ax->ratchet_flag = GNUNET_YES;
1558   }
1559   else
1560   {
1561     ax->HKs = keys[1];
1562     ax->NHKr = keys[2];
1563     ax->NHKs = keys[3];
1564     ax->CKs = keys[4];
1565     ax->ratchet_flag = GNUNET_NO;
1566     ax->ratchet_expiration
1567       = GNUNET_TIME_absolute_add (GNUNET_TIME_absolute_get(),
1568                                   ratchet_time);
1569   }
1570   return GNUNET_OK;
1571 }
1572
1573
1574 /**
1575  * Try to redo the KX or KX_AUTH handshake, if we can.
1576  *
1577  * @param cls the `struct CadetTunnel` to do KX for.
1578  */
1579 static void
1580 retry_kx (void *cls)
1581 {
1582   struct CadetTunnel *t = cls;
1583   struct CadetTunnelAxolotl *ax;
1584
1585   t->kx_task = NULL;
1586   LOG (GNUNET_ERROR_TYPE_DEBUG,
1587        "Trying to make KX progress on %s in state %s\n",
1588        GCT_2s (t),
1589        estate2s (t->estate));
1590   switch (t->estate)
1591   {
1592   case CADET_TUNNEL_KEY_UNINITIALIZED: /* first attempt */
1593   case CADET_TUNNEL_KEY_AX_SENT:       /* trying again */
1594     send_kx (t,
1595              NULL,
1596              &t->ax);
1597     break;
1598   case CADET_TUNNEL_KEY_AX_RECV:
1599   case CADET_TUNNEL_KEY_AX_SENT_AND_RECV:
1600     /* We are responding, so only require reply
1601        if WE have a channel waiting. */
1602     if (NULL != t->unverified_ax)
1603     {
1604       /* Send AX_AUTH so we might get this one verified */
1605       ax = t->unverified_ax;
1606     }
1607     else
1608     {
1609       /* How can this be? */
1610       GNUNET_break (0);
1611       ax = &t->ax;
1612     }
1613     send_kx_auth (t,
1614                   NULL,
1615                   ax,
1616                   (0 == GCT_count_channels (t))
1617                   ? GNUNET_NO
1618                   : GNUNET_YES);
1619     break;
1620   case CADET_TUNNEL_KEY_AX_AUTH_SENT:
1621     /* We are responding, so only require reply
1622        if WE have a channel waiting. */
1623     if (NULL != t->unverified_ax)
1624     {
1625       /* Send AX_AUTH so we might get this one verified */
1626       ax = t->unverified_ax;
1627     }
1628     else
1629     {
1630       /* How can this be? */
1631       GNUNET_break (0);
1632       ax = &t->ax;
1633     }
1634     send_kx_auth (t,
1635                   NULL,
1636                   ax,
1637                   (0 == GCT_count_channels (t))
1638                   ? GNUNET_NO
1639                   : GNUNET_YES);
1640     break;
1641   case CADET_TUNNEL_KEY_OK:
1642     /* Must have been the *other* peer asking us to
1643        respond with a KX_AUTH. */
1644     if (NULL != t->unverified_ax)
1645     {
1646       /* Sending AX_AUTH in response to AX so we might get this one verified */
1647       ax = t->unverified_ax;
1648     }
1649     else
1650     {
1651       /* Sending AX_AUTH in response to AX_AUTH */
1652       ax = &t->ax;
1653     }
1654     send_kx_auth (t,
1655                   NULL,
1656                   ax,
1657                   GNUNET_NO);
1658     break;
1659   }
1660 }
1661
1662
1663 /**
1664  * Handle KX message that lacks authentication (and which will thus
1665  * only be considered authenticated after we respond with our own
1666  * KX_AUTH and finally successfully decrypt payload).
1667  *
1668  * @param ct connection/tunnel combo that received encrypted message
1669  * @param msg the key exchange message
1670  */
1671 void
1672 GCT_handle_kx (struct CadetTConnection *ct,
1673                const struct GNUNET_CADET_TunnelKeyExchangeMessage *msg)
1674 {
1675   struct CadetTunnel *t = ct->t;
1676   struct CadetTunnelAxolotl *ax;
1677   int ret;
1678
1679   if (0 ==
1680       memcmp (&t->ax.DHRr,
1681               &msg->ratchet_key,
1682               sizeof (msg->ratchet_key)))
1683   {
1684     LOG (GNUNET_ERROR_TYPE_DEBUG,
1685          "Got duplicate KX. Firing back KX_AUTH.\n");
1686     send_kx_auth (t,
1687                   ct,
1688                   &t->ax,
1689                   GNUNET_NO);
1690     return;
1691   }
1692
1693   /* We only keep ONE unverified KX around, so if there is an existing one,
1694      clean it up. */
1695   if (NULL != t->unverified_ax)
1696   {
1697     if (0 ==
1698         memcmp (&t->unverified_ax->DHRr,
1699                 &msg->ratchet_key,
1700                 sizeof (msg->ratchet_key)))
1701     {
1702       LOG (GNUNET_ERROR_TYPE_DEBUG,
1703            "Got duplicate unverified KX on %s. Fire back KX_AUTH again.\n",
1704            GCT_2s (t));
1705       send_kx_auth (t,
1706                     ct,
1707                     t->unverified_ax,
1708                     GNUNET_NO);
1709       return;
1710     }
1711     LOG (GNUNET_ERROR_TYPE_DEBUG,
1712          "Dropping old unverified KX state. Got a fresh KX for %s.\n",
1713          GCT_2s (t));
1714     memset (t->unverified_ax,
1715             0,
1716             sizeof (struct CadetTunnelAxolotl));
1717     t->unverified_ax->DHRs = t->ax.DHRs;
1718     t->unverified_ax->kx_0 = t->ax.kx_0;
1719   }
1720   else
1721   {
1722     LOG (GNUNET_ERROR_TYPE_DEBUG,
1723          "Creating fresh unverified KX for %s.\n",
1724          GCT_2s (t));
1725     t->unverified_ax = GNUNET_new (struct CadetTunnelAxolotl);
1726     t->unverified_ax->DHRs = t->ax.DHRs;
1727     t->unverified_ax->kx_0 = t->ax.kx_0;
1728   }
1729   /* Set as the 'current' RK/DHRr the one we are currently using,
1730      so that the duplicate-detection logic of
1731      #update_ax_by_kx can work. */
1732   t->unverified_ax->RK = t->ax.RK;
1733   t->unverified_ax->DHRr = t->ax.DHRr;
1734   t->unverified_attempts = 0;
1735   ax = t->unverified_ax;
1736
1737   /* Update 'ax' by the new key material */
1738   ret = update_ax_by_kx (ax,
1739                          GCP_get_id (t->destination),
1740                          &msg->ephemeral_key,
1741                          &msg->ratchet_key);
1742   GNUNET_break (GNUNET_SYSERR != ret);
1743   if (GNUNET_OK != ret)
1744     return; /* duplicate KX, nothing to do */
1745
1746   /* move ahead in our state machine */
1747   if (CADET_TUNNEL_KEY_UNINITIALIZED == t->estate)
1748     GCT_change_estate (t,
1749                        CADET_TUNNEL_KEY_AX_RECV);
1750   else if (CADET_TUNNEL_KEY_AX_SENT == t->estate)
1751     GCT_change_estate (t,
1752                        CADET_TUNNEL_KEY_AX_SENT_AND_RECV);
1753
1754   /* KX is still not done, try again our end. */
1755   if (CADET_TUNNEL_KEY_OK != t->estate)
1756   {
1757     if (NULL != t->kx_task)
1758       GNUNET_SCHEDULER_cancel (t->kx_task);
1759     t->kx_task
1760       = GNUNET_SCHEDULER_add_now (&retry_kx,
1761                                   t);
1762   }
1763 }
1764
1765
1766 /**
1767  * Handle KX_AUTH message.
1768  *
1769  * @param ct connection/tunnel combo that received encrypted message
1770  * @param msg the key exchange message
1771  */
1772 void
1773 GCT_handle_kx_auth (struct CadetTConnection *ct,
1774                     const struct GNUNET_CADET_TunnelKeyExchangeAuthMessage *msg)
1775 {
1776   struct CadetTunnel *t = ct->t;
1777   struct CadetTunnelAxolotl ax_tmp;
1778   struct GNUNET_HashCode kx_auth;
1779   int ret;
1780
1781   if ( (CADET_TUNNEL_KEY_UNINITIALIZED == t->estate) ||
1782        (CADET_TUNNEL_KEY_AX_RECV == t->estate) )
1783   {
1784     /* Confusing, we got a KX_AUTH before we even send our own
1785        KX. This should not happen. We'll send our own KX ASAP anyway,
1786        so let's ignore this here. */
1787     GNUNET_break_op (0);
1788     return;
1789   }
1790   LOG (GNUNET_ERROR_TYPE_DEBUG,
1791        "Handling KX_AUTH message for %s\n",
1792        GCT_2s (t));
1793
1794   /* We do everything in ax_tmp until we've checked the authentication
1795      so we don't clobber anything we care about by accident. */
1796   ax_tmp = t->ax;
1797
1798   /* Update 'ax' by the new key material */
1799   ret = update_ax_by_kx (&ax_tmp,
1800                          GCP_get_id (t->destination),
1801                          &msg->kx.ephemeral_key,
1802                          &msg->kx.ratchet_key);
1803   GNUNET_break (GNUNET_OK == ret);
1804   GNUNET_CRYPTO_hash (&ax_tmp.RK,
1805                       sizeof (ax_tmp.RK),
1806                       &kx_auth);
1807   if (0 != memcmp (&kx_auth,
1808                    &msg->auth,
1809                    sizeof (kx_auth)))
1810   {
1811     /* This KX_AUTH is not using the latest KX/KX_AUTH data
1812        we transmitted to the sender, refuse it! */
1813     GNUNET_break_op (0);
1814     return;
1815   }
1816   /* Yep, we're good. */
1817   t->ax = ax_tmp;
1818   if (NULL != t->unverified_ax)
1819   {
1820     /* We got some "stale" KX before, drop that. */
1821     t->unverified_ax->DHRs = NULL; /* aliased with ax.DHRs */
1822     t->unverified_ax->kx_0 = NULL; /* aliased with ax.DHRs */
1823     cleanup_ax (t->unverified_ax);
1824     GNUNET_free (t->unverified_ax);
1825     t->unverified_ax = NULL;
1826   }
1827
1828   /* move ahead in our state machine */
1829   switch (t->estate)
1830   {
1831   case CADET_TUNNEL_KEY_UNINITIALIZED:
1832   case CADET_TUNNEL_KEY_AX_RECV:
1833     /* Checked above, this is impossible. */
1834     GNUNET_assert (0);
1835     break;
1836   case CADET_TUNNEL_KEY_AX_SENT:      /* This is the normal case */
1837   case CADET_TUNNEL_KEY_AX_SENT_AND_RECV: /* both peers started KX */
1838   case CADET_TUNNEL_KEY_AX_AUTH_SENT: /* both peers now did KX_AUTH */
1839     GCT_change_estate (t,
1840                        CADET_TUNNEL_KEY_OK);
1841     break;
1842   case CADET_TUNNEL_KEY_OK:
1843     /* Did not expect another KX_AUTH, but so what, still acceptable.
1844        Nothing to do here. */
1845     break;
1846   }
1847 }
1848
1849
1850
1851 /* ************************************** end core crypto ***************************** */
1852
1853
1854 /**
1855  * Compute the next free channel tunnel number for this tunnel.
1856  *
1857  * @param t the tunnel
1858  * @return unused number that can uniquely identify a channel in the tunnel
1859  */
1860 static struct GNUNET_CADET_ChannelTunnelNumber
1861 get_next_free_ctn (struct CadetTunnel *t)
1862 {
1863 #define HIGH_BIT 0x8000000
1864   struct GNUNET_CADET_ChannelTunnelNumber ret;
1865   uint32_t ctn;
1866   int cmp;
1867   uint32_t highbit;
1868
1869   cmp = GNUNET_CRYPTO_cmp_peer_identity (&my_full_id,
1870                                          GCP_get_id (GCT_get_destination (t)));
1871   if (0 < cmp)
1872     highbit = HIGH_BIT;
1873   else if (0 > cmp)
1874     highbit = 0;
1875   else
1876     GNUNET_assert (0); // loopback must never go here!
1877   ctn = ntohl (t->next_ctn.cn);
1878   while (NULL !=
1879          GNUNET_CONTAINER_multihashmap32_get (t->channels,
1880                                               ctn))
1881   {
1882     ctn = ((ctn + 1) & (~ HIGH_BIT)) | highbit;
1883   }
1884   t->next_ctn.cn = htonl (((ctn + 1) & (~ HIGH_BIT)) | highbit);
1885   ret.cn = ntohl (ctn);
1886   return ret;
1887 }
1888
1889
1890 /**
1891  * Add a channel to a tunnel, and notify channel that we are ready
1892  * for transmission if we are already up.  Otherwise that notification
1893  * will be done later in #notify_tunnel_up_cb().
1894  *
1895  * @param t Tunnel.
1896  * @param ch Channel
1897  * @return unique number identifying @a ch within @a t
1898  */
1899 struct GNUNET_CADET_ChannelTunnelNumber
1900 GCT_add_channel (struct CadetTunnel *t,
1901                  struct CadetChannel *ch)
1902 {
1903   struct GNUNET_CADET_ChannelTunnelNumber ctn;
1904
1905   ctn = get_next_free_ctn (t);
1906   GNUNET_assert (GNUNET_YES ==
1907                  GNUNET_CONTAINER_multihashmap32_put (t->channels,
1908                                                       ntohl (ctn.cn),
1909                                                       ch,
1910                                                       GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY));
1911   LOG (GNUNET_ERROR_TYPE_DEBUG,
1912        "Adding %s to %s\n",
1913        GCCH_2s (ch),
1914        GCT_2s (t));
1915   switch (t->estate)
1916   {
1917   case CADET_TUNNEL_KEY_UNINITIALIZED:
1918     /* waiting for connection to start KX */
1919     break;
1920   case CADET_TUNNEL_KEY_AX_RECV:
1921   case CADET_TUNNEL_KEY_AX_SENT:
1922   case CADET_TUNNEL_KEY_AX_SENT_AND_RECV:
1923     /* we're currently waiting for KX to complete */
1924     break;
1925   case CADET_TUNNEL_KEY_AX_AUTH_SENT:
1926     /* waiting for OTHER peer to send us data,
1927        we might need to prompt more aggressively! */
1928     if (NULL == t->kx_task)
1929       t->kx_task
1930         = GNUNET_SCHEDULER_add_at (t->next_kx_attempt,
1931                                    &retry_kx,
1932                                    t);
1933     break;
1934   case CADET_TUNNEL_KEY_OK:
1935     /* We are ready. Tell the new channel that we are up. */
1936     GCCH_tunnel_up (ch);
1937     break;
1938   }
1939   return ctn;
1940 }
1941
1942
1943 /**
1944  * We lost a connection, remove it from our list and clean up
1945  * the connection object itself.
1946  *
1947  * @param ct binding of connection to tunnel of the connection that was lost.
1948  */
1949 void
1950 GCT_connection_lost (struct CadetTConnection *ct)
1951 {
1952   struct CadetTunnel *t = ct->t;
1953
1954   if (GNUNET_YES == ct->is_ready)
1955     GNUNET_CONTAINER_DLL_remove (t->connection_ready_head,
1956                                  t->connection_ready_tail,
1957                                  ct);
1958   else
1959     GNUNET_CONTAINER_DLL_remove (t->connection_busy_head,
1960                                  t->connection_busy_tail,
1961                                  ct);
1962   GNUNET_free (ct);
1963 }
1964
1965
1966 /**
1967  * Clean up connection @a ct of a tunnel.
1968  *
1969  * @param cls the `struct CadetTunnel`
1970  * @param ct connection to clean up
1971  */
1972 static void
1973 destroy_t_connection (void *cls,
1974                       struct CadetTConnection *ct)
1975 {
1976   struct CadetTunnel *t = cls;
1977   struct CadetConnection *cc = ct->cc;
1978
1979   GNUNET_assert (ct->t == t);
1980   GCT_connection_lost (ct);
1981   GCC_destroy_without_tunnel (cc);
1982 }
1983
1984
1985 /**
1986  * This tunnel is no longer used, destroy it.
1987  *
1988  * @param cls the idle tunnel
1989  */
1990 static void
1991 destroy_tunnel (void *cls)
1992 {
1993   struct CadetTunnel *t = cls;
1994   struct CadetTunnelQueueEntry *tq;
1995
1996   t->destroy_task = NULL;
1997   LOG (GNUNET_ERROR_TYPE_DEBUG,
1998        "Destroying idle %s\n",
1999        GCT_2s (t));
2000   GNUNET_assert (0 == GCT_count_channels (t));
2001   GCT_iterate_connections (t,
2002                            &destroy_t_connection,
2003                            t);
2004   GNUNET_assert (NULL == t->connection_ready_head);
2005   GNUNET_assert (NULL == t->connection_busy_head);
2006   while (NULL != (tq = t->tq_head))
2007   {
2008     if (NULL != tq->cont)
2009       tq->cont (tq->cont_cls);
2010     GCT_send_cancel (tq);
2011   }
2012   GCP_drop_tunnel (t->destination,
2013                    t);
2014   GNUNET_CONTAINER_multihashmap32_destroy (t->channels);
2015   if (NULL != t->maintain_connections_task)
2016   {
2017     GNUNET_SCHEDULER_cancel (t->maintain_connections_task);
2018     t->maintain_connections_task = NULL;
2019   }
2020   if (NULL != t->send_task)
2021   {
2022     GNUNET_SCHEDULER_cancel (t->send_task);
2023     t->send_task = NULL;
2024   }
2025   if (NULL != t->kx_task)
2026   {
2027     GNUNET_SCHEDULER_cancel (t->kx_task);
2028     t->kx_task = NULL;
2029   }
2030   GNUNET_MST_destroy (t->mst);
2031   GNUNET_MQ_destroy (t->mq);
2032   if (NULL != t->unverified_ax)
2033   {
2034     t->unverified_ax->DHRs = NULL; /* aliased with ax.DHRs */
2035     t->unverified_ax->kx_0 = NULL; /* aliased with ax.DHRs */
2036     cleanup_ax (t->unverified_ax);
2037     GNUNET_free (t->unverified_ax);
2038   }
2039   cleanup_ax (&t->ax);
2040   GNUNET_assert (NULL == t->destroy_task);
2041   GNUNET_free (t);
2042 }
2043
2044
2045 /**
2046  * Remove a channel from a tunnel.
2047  *
2048  * @param t Tunnel.
2049  * @param ch Channel
2050  * @param ctn unique number identifying @a ch within @a t
2051  */
2052 void
2053 GCT_remove_channel (struct CadetTunnel *t,
2054                     struct CadetChannel *ch,
2055                     struct GNUNET_CADET_ChannelTunnelNumber ctn)
2056 {
2057   LOG (GNUNET_ERROR_TYPE_DEBUG,
2058        "Removing %s from %s\n",
2059        GCCH_2s (ch),
2060        GCT_2s (t));
2061   GNUNET_assert (GNUNET_YES ==
2062                  GNUNET_CONTAINER_multihashmap32_remove (t->channels,
2063                                                          ntohl (ctn.cn),
2064                                                          ch));
2065   if ( (0 ==
2066         GCT_count_channels (t)) &&
2067        (NULL == t->destroy_task) )
2068   {
2069     t->destroy_task
2070       = GNUNET_SCHEDULER_add_delayed (IDLE_DESTROY_DELAY,
2071                                       &destroy_tunnel,
2072                                       t);
2073   }
2074 }
2075
2076
2077 /**
2078  * Destroy remaining channels during shutdown.
2079  *
2080  * @param cls the `struct CadetTunnel` of the channel
2081  * @param key key of the channel
2082  * @param value the `struct CadetChannel`
2083  * @return #GNUNET_OK (continue to iterate)
2084  */
2085 static int
2086 destroy_remaining_channels (void *cls,
2087                             uint32_t key,
2088                             void *value)
2089 {
2090   struct CadetChannel *ch = value;
2091
2092   GCCH_handle_remote_destroy (ch);
2093   return GNUNET_OK;
2094 }
2095
2096
2097 /**
2098  * Destroys the tunnel @a t now, without delay. Used during shutdown.
2099  *
2100  * @param t tunnel to destroy
2101  */
2102 void
2103 GCT_destroy_tunnel_now (struct CadetTunnel *t)
2104 {
2105   GNUNET_assert (GNUNET_YES == shutting_down);
2106   GNUNET_CONTAINER_multihashmap32_iterate (t->channels,
2107                                            &destroy_remaining_channels,
2108                                            t);
2109   GNUNET_assert (0 ==
2110                  GCT_count_channels (t));
2111   if (NULL != t->destroy_task)
2112   {
2113     GNUNET_SCHEDULER_cancel (t->destroy_task);
2114     t->destroy_task = NULL;
2115   }
2116   destroy_tunnel (t);
2117 }
2118
2119
2120 /**
2121  * Send normal payload from queue in @a t via connection @a ct.
2122  * Does nothing if our payload queue is empty.
2123  *
2124  * @param t tunnel to send data from
2125  * @param ct connection to use for transmission (is ready)
2126  */
2127 static void
2128 try_send_normal_payload (struct CadetTunnel *t,
2129                          struct CadetTConnection *ct)
2130 {
2131   struct CadetTunnelQueueEntry *tq;
2132
2133   GNUNET_assert (GNUNET_YES == ct->is_ready);
2134   tq = t->tq_head;
2135   if (NULL == tq)
2136   {
2137     /* no messages pending right now */
2138     LOG (GNUNET_ERROR_TYPE_DEBUG,
2139          "Not sending payload of %s on ready %s (nothing pending)\n",
2140          GCT_2s (t),
2141          GCC_2s (ct->cc));
2142     return;
2143   }
2144   /* ready to send message 'tq' on tunnel 'ct' */
2145   GNUNET_assert (t == tq->t);
2146   GNUNET_CONTAINER_DLL_remove (t->tq_head,
2147                                t->tq_tail,
2148                                tq);
2149   if (NULL != tq->cid)
2150     *tq->cid = *GCC_get_id (ct->cc);
2151   mark_connection_unready (ct);
2152   LOG (GNUNET_ERROR_TYPE_DEBUG,
2153        "Sending payload of %s on %s\n",
2154        GCT_2s (t),
2155        GCC_2s (ct->cc));
2156   GCC_transmit (ct->cc,
2157                 tq->env);
2158   if (NULL != tq->cont)
2159     tq->cont (tq->cont_cls);
2160   GNUNET_free (tq);
2161 }
2162
2163
2164 /**
2165  * A connection is @a is_ready for transmission.  Looks at our message
2166  * queue and if there is a message, sends it out via the connection.
2167  *
2168  * @param cls the `struct CadetTConnection` that is @a is_ready
2169  * @param is_ready #GNUNET_YES if connection are now ready,
2170  *                 #GNUNET_NO if connection are no longer ready
2171  */
2172 static void
2173 connection_ready_cb (void *cls,
2174                      int is_ready)
2175 {
2176   struct CadetTConnection *ct = cls;
2177   struct CadetTunnel *t = ct->t;
2178
2179   if (GNUNET_NO == is_ready)
2180   {
2181     LOG (GNUNET_ERROR_TYPE_DEBUG,
2182          "%s no longer ready for %s\n",
2183          GCC_2s (ct->cc),
2184          GCT_2s (t));
2185     mark_connection_unready (ct);
2186     return;
2187   }
2188   GNUNET_assert (GNUNET_NO == ct->is_ready);
2189   GNUNET_CONTAINER_DLL_remove (t->connection_busy_head,
2190                                t->connection_busy_tail,
2191                                ct);
2192   GNUNET_assert (0 < t->num_busy_connections);
2193   t->num_busy_connections--;
2194   ct->is_ready = GNUNET_YES;
2195   GNUNET_CONTAINER_DLL_insert_tail (t->connection_ready_head,
2196                                     t->connection_ready_tail,
2197                                     ct);
2198   t->num_ready_connections++;
2199
2200   LOG (GNUNET_ERROR_TYPE_DEBUG,
2201        "%s now ready for %s in state %s\n",
2202        GCC_2s (ct->cc),
2203        GCT_2s (t),
2204        estate2s (t->estate));
2205   switch (t->estate)
2206   {
2207   case CADET_TUNNEL_KEY_UNINITIALIZED:
2208     /* Do not begin KX if WE have no channels waiting! */
2209     if (0 == GCT_count_channels (t))
2210       return;
2211     /* We are uninitialized, just transmit immediately,
2212        without undue delay. */
2213     if (NULL != t->kx_task)
2214     {
2215       GNUNET_SCHEDULER_cancel (t->kx_task);
2216       t->kx_task = NULL;
2217     }
2218     send_kx (t,
2219              ct,
2220              &t->ax);
2221     break;
2222   case CADET_TUNNEL_KEY_AX_RECV:
2223   case CADET_TUNNEL_KEY_AX_SENT:
2224   case CADET_TUNNEL_KEY_AX_SENT_AND_RECV:
2225   case CADET_TUNNEL_KEY_AX_AUTH_SENT:
2226     /* we're currently waiting for KX to complete, schedule job */
2227     if (NULL == t->kx_task)
2228       t->kx_task
2229         = GNUNET_SCHEDULER_add_at (t->next_kx_attempt,
2230                                    &retry_kx,
2231                                    t);
2232     break;
2233   case CADET_TUNNEL_KEY_OK:
2234     if (GNUNET_YES == t->kx_auth_requested)
2235     {
2236       if (NULL != t->kx_task)
2237       {
2238         GNUNET_SCHEDULER_cancel (t->kx_task);
2239         t->kx_task = NULL;
2240       }
2241       send_kx_auth (t,
2242                     ct,
2243                     &t->ax,
2244                     GNUNET_NO);
2245       return;
2246     }
2247     try_send_normal_payload (t,
2248                              ct);
2249     break;
2250   }
2251 }
2252
2253
2254 /**
2255  * Called when either we have a new connection, or a new message in the
2256  * queue, or some existing connection has transmission capacity.  Looks
2257  * at our message queue and if there is a message, picks a connection
2258  * to send it on.
2259  *
2260  * @param cls the `struct CadetTunnel` to process messages on
2261  */
2262 static void
2263 trigger_transmissions (void *cls)
2264 {
2265   struct CadetTunnel *t = cls;
2266   struct CadetTConnection *ct;
2267
2268   t->send_task = NULL;
2269   if (NULL == t->tq_head)
2270     return; /* no messages pending right now */
2271   ct = get_ready_connection (t);
2272   if (NULL == ct)
2273     return; /* no connections ready */
2274   try_send_normal_payload (t,
2275                            ct);
2276 }
2277
2278
2279 /**
2280  * Closure for #evaluate_connection. Used to assemble summary information
2281  * about the existing connections so we can evaluate a new path.
2282  */
2283 struct EvaluationSummary
2284 {
2285
2286   /**
2287    * Minimum length of any of our connections, `UINT_MAX` if we have none.
2288    */
2289   unsigned int min_length;
2290
2291   /**
2292    * Maximum length of any of our connections, 0 if we have none.
2293    */
2294   unsigned int max_length;
2295
2296   /**
2297    * Minimum desirability of any of our connections, UINT64_MAX if we have none.
2298    */
2299   GNUNET_CONTAINER_HeapCostType min_desire;
2300
2301   /**
2302    * Maximum desirability of any of our connections, 0 if we have none.
2303    */
2304   GNUNET_CONTAINER_HeapCostType max_desire;
2305
2306   /**
2307    * Path we are comparing against for #evaluate_connection, can be NULL.
2308    */
2309   struct CadetPeerPath *path;
2310
2311   /**
2312    * Connection deemed the "worst" so far encountered by #evaluate_connection,
2313    * NULL if we did not yet encounter any connections.
2314    */
2315   struct CadetTConnection *worst;
2316
2317   /**
2318    * Numeric score of @e worst, only set if @e worst is non-NULL.
2319    */
2320   double worst_score;
2321
2322   /**
2323    * Set to #GNUNET_YES if we have a connection over @e path already.
2324    */
2325   int duplicate;
2326
2327 };
2328
2329
2330 /**
2331  * Evaluate a connection, updating our summary information in @a cls about
2332  * what kinds of connections we have.
2333  *
2334  * @param cls the `struct EvaluationSummary *` to update
2335  * @param ct a connection to include in the summary
2336  */
2337 static void
2338 evaluate_connection (void *cls,
2339                      struct CadetTConnection *ct)
2340 {
2341   struct EvaluationSummary *es = cls;
2342   struct CadetConnection *cc = ct->cc;
2343   struct CadetPeerPath *ps = GCC_get_path (cc);
2344   GNUNET_CONTAINER_HeapCostType ct_desirability;
2345   uint32_t ct_length;
2346   double score;
2347
2348   if (ps == es->path)
2349   {
2350     LOG (GNUNET_ERROR_TYPE_DEBUG,
2351          "Ignoring duplicate path %s.\n",
2352          GCPP_2s (es->path));
2353     es->duplicate = GNUNET_YES;
2354     return;
2355   }
2356   ct_desirability = GCPP_get_desirability (ps);
2357   ct_length = GCPP_get_length (ps);
2358
2359   /* FIXME: calculate score on more than path,
2360      include connection performance metrics like
2361      last successful transmission, uptime, etc. */
2362   score = ct_desirability + ct_length; /* FIXME: weigh these as well! */
2363
2364   if ( (NULL == es->worst) ||
2365        (score < es->worst_score) )
2366   {
2367     es->worst = ct;
2368     es->worst_score = score;
2369   }
2370   es->min_length = GNUNET_MIN (es->min_length,
2371                                ct_length);
2372   es->max_length = GNUNET_MAX (es->max_length,
2373                                ct_length);
2374   es->min_desire = GNUNET_MIN (es->min_desire,
2375                                ct_desirability);
2376   es->max_desire = GNUNET_MAX (es->max_desire,
2377                                ct_desirability);
2378 }
2379
2380
2381 /**
2382  * Consider using the path @a p for the tunnel @a t.
2383  * The tunnel destination is at offset @a off in path @a p.
2384  *
2385  * @param cls our tunnel
2386  * @param path a path to our destination
2387  * @param off offset of the destination on path @a path
2388  * @return #GNUNET_YES (should keep iterating)
2389  */
2390 static int
2391 consider_path_cb (void *cls,
2392                   struct CadetPeerPath *path,
2393                   unsigned int off)
2394 {
2395   struct CadetTunnel *t = cls;
2396   struct EvaluationSummary es;
2397   struct CadetTConnection *ct;
2398
2399   es.min_length = UINT_MAX;
2400   es.max_length = 0;
2401   es.max_desire = 0;
2402   es.min_desire = UINT64_MAX;
2403   es.path = path;
2404   es.duplicate = GNUNET_NO;
2405
2406   /* Compute evaluation summary over existing connections. */
2407   GCT_iterate_connections (t,
2408                            &evaluate_connection,
2409                            &es);
2410   if (GNUNET_YES == es.duplicate)
2411     return GNUNET_YES;
2412
2413   /* FIXME: not sure we should really just count
2414      'num_connections' here, as they may all have
2415      consistently failed to connect. */
2416
2417   /* We iterate by increasing path length; if we have enough paths and
2418      this one is more than twice as long than what we are currently
2419      using, then ignore all of these super-long ones! */
2420   if ( (GCT_count_any_connections (t) > DESIRED_CONNECTIONS_PER_TUNNEL) &&
2421        (es.min_length * 2 < off) &&
2422        (es.max_length < off) )
2423   {
2424     LOG (GNUNET_ERROR_TYPE_DEBUG,
2425          "Ignoring paths of length %u, they are way too long.\n",
2426          es.min_length * 2);
2427     return GNUNET_NO;
2428   }
2429   /* If we have enough paths and this one looks no better, ignore it. */
2430   if ( (GCT_count_any_connections (t) >= DESIRED_CONNECTIONS_PER_TUNNEL) &&
2431        (es.min_length < GCPP_get_length (path)) &&
2432        (es.min_desire > GCPP_get_desirability (path)) &&
2433        (es.max_length < off) )
2434   {
2435     LOG (GNUNET_ERROR_TYPE_DEBUG,
2436          "Ignoring path (%u/%llu) to %s, got something better already.\n",
2437          GCPP_get_length (path),
2438          (unsigned long long) GCPP_get_desirability (path),
2439          GCP_2s (t->destination));
2440     return GNUNET_YES;
2441   }
2442
2443   /* Path is interesting (better by some metric, or we don't have
2444      enough paths yet). */
2445   ct = GNUNET_new (struct CadetTConnection);
2446   ct->created = GNUNET_TIME_absolute_get ();
2447   ct->t = t;
2448   ct->cc = GCC_create (t->destination,
2449                        path,
2450                        GNUNET_CADET_OPTION_DEFAULT, /* FIXME: set based on what channels want/need! */
2451                        ct,
2452                        &connection_ready_cb,
2453                        ct);
2454
2455   /* FIXME: schedule job to kill connection (and path?)  if it takes
2456      too long to get ready! (And track performance data on how long
2457      other connections took with the tunnel!)
2458      => Note: to be done within 'connection'-logic! */
2459   GNUNET_CONTAINER_DLL_insert (t->connection_busy_head,
2460                                t->connection_busy_tail,
2461                                ct);
2462   t->num_busy_connections++;
2463   LOG (GNUNET_ERROR_TYPE_DEBUG,
2464        "Found interesting path %s for %s, created %s\n",
2465        GCPP_2s (path),
2466        GCT_2s (t),
2467        GCC_2s (ct->cc));
2468   return GNUNET_YES;
2469 }
2470
2471
2472 /**
2473  * Function called to maintain the connections underlying our tunnel.
2474  * Tries to maintain (incl. tear down) connections for the tunnel, and
2475  * if there is a significant change, may trigger transmissions.
2476  *
2477  * Basically, needs to check if there are connections that perform
2478  * badly, and if so eventually kill them and trigger a replacement.
2479  * The strategy is to open one more connection than
2480  * #DESIRED_CONNECTIONS_PER_TUNNEL, and then periodically kick out the
2481  * least-performing one, and then inquire for new ones.
2482  *
2483  * @param cls the `struct CadetTunnel`
2484  */
2485 static void
2486 maintain_connections_cb (void *cls)
2487 {
2488   struct CadetTunnel *t = cls;
2489   struct GNUNET_TIME_Relative delay;
2490   struct EvaluationSummary es;
2491
2492   t->maintain_connections_task = NULL;
2493   LOG (GNUNET_ERROR_TYPE_DEBUG,
2494        "Performing connection maintenance for %s.\n",
2495        GCT_2s (t));
2496
2497   es.min_length = UINT_MAX;
2498   es.max_length = 0;
2499   es.max_desire = 0;
2500   es.min_desire = UINT64_MAX;
2501   es.path = NULL;
2502   es.worst = NULL;
2503   es.duplicate = GNUNET_NO;
2504   GCT_iterate_connections (t,
2505                            &evaluate_connection,
2506                            &es);
2507   if ( (NULL != es.worst) &&
2508        (GCT_count_any_connections (t) > DESIRED_CONNECTIONS_PER_TUNNEL) )
2509   {
2510     /* Clear out worst-performing connection 'es.worst'. */
2511     destroy_t_connection (t,
2512                           es.worst);
2513   }
2514
2515   /* Consider additional paths */
2516   (void) GCP_iterate_paths (t->destination,
2517                             &consider_path_cb,
2518                             t);
2519
2520   /* FIXME: calculate when to try again based on how well we are doing;
2521      in particular, if we have to few connections, we might be able
2522      to do without this (as PATHS should tell us whenever a new path
2523      is available instantly; however, need to make sure this job is
2524      restarted after that happens).
2525      Furthermore, if the paths we do know are in a reasonably narrow
2526      quality band and are plentyful, we might also consider us stabilized
2527      and then reduce the frequency accordingly.  */
2528   delay = GNUNET_TIME_UNIT_MINUTES;
2529   t->maintain_connections_task
2530     = GNUNET_SCHEDULER_add_delayed (delay,
2531                                     &maintain_connections_cb,
2532                                     t);
2533 }
2534
2535
2536 /**
2537  * Consider using the path @a p for the tunnel @a t.
2538  * The tunnel destination is at offset @a off in path @a p.
2539  *
2540  * @param cls our tunnel
2541  * @param path a path to our destination
2542  * @param off offset of the destination on path @a path
2543  */
2544 void
2545 GCT_consider_path (struct CadetTunnel *t,
2546                    struct CadetPeerPath *p,
2547                    unsigned int off)
2548 {
2549   (void) consider_path_cb (t,
2550                            p,
2551                            off);
2552 }
2553
2554
2555 /**
2556  * We got a keepalive. Track in statistics.
2557  *
2558  * @param cls the `struct CadetTunnel` for which we decrypted the message
2559  * @param msg  the message we received on the tunnel
2560  */
2561 static void
2562 handle_plaintext_keepalive (void *cls,
2563                             const struct GNUNET_MessageHeader *msg)
2564 {
2565   struct CadetTunnel *t = cls;
2566
2567   LOG (GNUNET_ERROR_TYPE_DEBUG,
2568        "Received KEEPALIVE on %s\n",
2569        GCT_2s (t));
2570   GNUNET_STATISTICS_update (stats,
2571                             "# keepalives received",
2572                             1,
2573                             GNUNET_NO);
2574 }
2575
2576
2577 /**
2578  * Check that @a msg is well-formed.
2579  *
2580  * @param cls the `struct CadetTunnel` for which we decrypted the message
2581  * @param msg  the message we received on the tunnel
2582  * @return #GNUNET_OK (any variable-size payload goes)
2583  */
2584 static int
2585 check_plaintext_data (void *cls,
2586                       const struct GNUNET_CADET_ChannelAppDataMessage *msg)
2587 {
2588   return GNUNET_OK;
2589 }
2590
2591
2592 /**
2593  * We received payload data for a channel.  Locate the channel
2594  * and process the data, or return an error if the channel is unknown.
2595  *
2596  * @param cls the `struct CadetTunnel` for which we decrypted the message
2597  * @param msg the message we received on the tunnel
2598  */
2599 static void
2600 handle_plaintext_data (void *cls,
2601                        const struct GNUNET_CADET_ChannelAppDataMessage *msg)
2602 {
2603   struct CadetTunnel *t = cls;
2604   struct CadetChannel *ch;
2605
2606   ch = lookup_channel (t,
2607                        msg->ctn);
2608   if (NULL == ch)
2609   {
2610     /* We don't know about such a channel, might have been destroyed on our
2611        end in the meantime, or never existed. Send back a DESTROY. */
2612     LOG (GNUNET_ERROR_TYPE_DEBUG,
2613          "Receicved %u bytes of application data for unknown channel %u, sending DESTROY\n",
2614          (unsigned int) (ntohs (msg->header.size) - sizeof (*msg)),
2615          ntohl (msg->ctn.cn));
2616     GCT_send_channel_destroy (t,
2617                               msg->ctn);
2618     return;
2619   }
2620   GCCH_handle_channel_plaintext_data (ch,
2621                                       msg);
2622 }
2623
2624
2625 /**
2626  * We received an acknowledgement for data we sent on a channel.
2627  * Locate the channel and process it, or return an error if the
2628  * channel is unknown.
2629  *
2630  * @param cls the `struct CadetTunnel` for which we decrypted the message
2631  * @param ack the message we received on the tunnel
2632  */
2633 static void
2634 handle_plaintext_data_ack (void *cls,
2635                            const struct GNUNET_CADET_ChannelDataAckMessage *ack)
2636 {
2637   struct CadetTunnel *t = cls;
2638   struct CadetChannel *ch;
2639
2640   ch = lookup_channel (t,
2641                        ack->ctn);
2642   if (NULL == ch)
2643   {
2644     /* We don't know about such a channel, might have been destroyed on our
2645        end in the meantime, or never existed. Send back a DESTROY. */
2646     LOG (GNUNET_ERROR_TYPE_DEBUG,
2647          "Receicved DATA_ACK for unknown channel %u, sending DESTROY\n",
2648          ntohl (ack->ctn.cn));
2649     GCT_send_channel_destroy (t,
2650                               ack->ctn);
2651     return;
2652   }
2653   GCCH_handle_channel_plaintext_data_ack (ch,
2654                                           ack);
2655 }
2656
2657
2658 /**
2659  * We have received a request to open a channel to a port from
2660  * another peer.  Creates the incoming channel.
2661  *
2662  * @param cls the `struct CadetTunnel` for which we decrypted the message
2663  * @param copen the message we received on the tunnel
2664  */
2665 static void
2666 handle_plaintext_channel_open (void *cls,
2667                                const struct GNUNET_CADET_ChannelOpenMessage *copen)
2668 {
2669   struct CadetTunnel *t = cls;
2670   struct CadetChannel *ch;
2671
2672   ch = GNUNET_CONTAINER_multihashmap32_get (t->channels,
2673                                             ntohl (copen->ctn.cn));
2674   if (NULL != ch)
2675   {
2676     LOG (GNUNET_ERROR_TYPE_DEBUG,
2677          "Receicved duplicate channel OPEN on port %s from %s (%s), resending ACK\n",
2678          GNUNET_h2s (&copen->port),
2679          GCT_2s (t),
2680          GCCH_2s (ch));
2681     GCCH_handle_duplicate_open (ch);
2682     return;
2683   }
2684   LOG (GNUNET_ERROR_TYPE_DEBUG,
2685        "Receicved channel OPEN on port %s from %s\n",
2686        GNUNET_h2s (&copen->port),
2687        GCT_2s (t));
2688   ch = GCCH_channel_incoming_new (t,
2689                                   copen->ctn,
2690                                   &copen->port,
2691                                   ntohl (copen->opt));
2692   GNUNET_assert (GNUNET_OK ==
2693                  GNUNET_CONTAINER_multihashmap32_put (t->channels,
2694                                                       ntohl (copen->ctn.cn),
2695                                                       ch,
2696                                                       GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY));
2697 }
2698
2699
2700 /**
2701  * Send a DESTROY message via the tunnel.
2702  *
2703  * @param t the tunnel to transmit over
2704  * @param ctn ID of the channel to destroy
2705  */
2706 void
2707 GCT_send_channel_destroy (struct CadetTunnel *t,
2708                           struct GNUNET_CADET_ChannelTunnelNumber ctn)
2709 {
2710   struct GNUNET_CADET_ChannelManageMessage msg;
2711
2712   LOG (GNUNET_ERROR_TYPE_DEBUG,
2713        "Sending DESTORY message for channel ID %u\n",
2714        ntohl (ctn.cn));
2715   msg.header.size = htons (sizeof (msg));
2716   msg.header.type = htons (GNUNET_MESSAGE_TYPE_CADET_CHANNEL_DESTROY);
2717   msg.reserved = htonl (0);
2718   msg.ctn = ctn;
2719   GCT_send (t,
2720             &msg.header,
2721             NULL,
2722             NULL);
2723 }
2724
2725
2726 /**
2727  * We have received confirmation from the target peer that the
2728  * given channel could be established (the port is open).
2729  * Tell the client.
2730  *
2731  * @param cls the `struct CadetTunnel` for which we decrypted the message
2732  * @param cm the message we received on the tunnel
2733  */
2734 static void
2735 handle_plaintext_channel_open_ack (void *cls,
2736                                    const struct GNUNET_CADET_ChannelManageMessage *cm)
2737 {
2738   struct CadetTunnel *t = cls;
2739   struct CadetChannel *ch;
2740
2741   ch = lookup_channel (t,
2742                        cm->ctn);
2743   if (NULL == ch)
2744   {
2745     /* We don't know about such a channel, might have been destroyed on our
2746        end in the meantime, or never existed. Send back a DESTROY. */
2747     LOG (GNUNET_ERROR_TYPE_DEBUG,
2748          "Received channel OPEN_ACK for unknown channel %u, sending DESTROY\n",
2749          ntohl (cm->ctn.cn));
2750     GCT_send_channel_destroy (t,
2751                               cm->ctn);
2752     return;
2753   }
2754   LOG (GNUNET_ERROR_TYPE_DEBUG,
2755        "Received channel OPEN_ACK on channel %s from %s\n",
2756        GCCH_2s (ch),
2757        GCT_2s (t));
2758   GCCH_handle_channel_open_ack (ch);
2759 }
2760
2761
2762 /**
2763  * We received a message saying that a channel should be destroyed.
2764  * Pass it on to the correct channel.
2765  *
2766  * @param cls the `struct CadetTunnel` for which we decrypted the message
2767  * @param cm the message we received on the tunnel
2768  */
2769 static void
2770 handle_plaintext_channel_destroy (void *cls,
2771                                   const struct GNUNET_CADET_ChannelManageMessage *cm)
2772 {
2773   struct CadetTunnel *t = cls;
2774   struct CadetChannel *ch;
2775
2776   ch = lookup_channel (t,
2777                        cm->ctn);
2778   if (NULL == ch)
2779   {
2780     /* We don't know about such a channel, might have been destroyed on our
2781        end in the meantime, or never existed. */
2782     LOG (GNUNET_ERROR_TYPE_DEBUG,
2783          "Received channel DESTORY for unknown channel %u. Ignoring.\n",
2784          ntohl (cm->ctn.cn));
2785     return;
2786   }
2787   LOG (GNUNET_ERROR_TYPE_DEBUG,
2788        "Receicved channel DESTROY on %s from %s\n",
2789        GCCH_2s (ch),
2790        GCT_2s (t));
2791   GCCH_handle_remote_destroy (ch);
2792 }
2793
2794
2795 /**
2796  * Handles a message we decrypted, by injecting it into
2797  * our message queue (which will do the dispatching).
2798  *
2799  * @param cls the `struct CadetTunnel` that got the message
2800  * @param msg the message
2801  * @return #GNUNET_OK (continue to process)
2802  */
2803 static int
2804 handle_decrypted (void *cls,
2805                   const struct GNUNET_MessageHeader *msg)
2806 {
2807   struct CadetTunnel *t = cls;
2808
2809   GNUNET_MQ_inject_message (t->mq,
2810                             msg);
2811   return GNUNET_OK;
2812 }
2813
2814
2815 /**
2816  * Function called if we had an error processing
2817  * an incoming decrypted message.
2818  *
2819  * @param cls the `struct CadetTunnel`
2820  * @param error error code
2821  */
2822 static void
2823 decrypted_error_cb (void *cls,
2824                     enum GNUNET_MQ_Error error)
2825 {
2826   GNUNET_break_op (0);
2827 }
2828
2829
2830 /**
2831  * Create a tunnel to @a destionation.  Must only be called
2832  * from within #GCP_get_tunnel().
2833  *
2834  * @param destination where to create the tunnel to
2835  * @return new tunnel to @a destination
2836  */
2837 struct CadetTunnel *
2838 GCT_create_tunnel (struct CadetPeer *destination)
2839 {
2840   struct CadetTunnel *t = GNUNET_new (struct CadetTunnel);
2841   struct GNUNET_MQ_MessageHandler handlers[] = {
2842     GNUNET_MQ_hd_fixed_size (plaintext_keepalive,
2843                              GNUNET_MESSAGE_TYPE_CADET_CHANNEL_KEEPALIVE,
2844                              struct GNUNET_MessageHeader,
2845                              t),
2846     GNUNET_MQ_hd_var_size (plaintext_data,
2847                            GNUNET_MESSAGE_TYPE_CADET_CHANNEL_APP_DATA,
2848                            struct GNUNET_CADET_ChannelAppDataMessage,
2849                            t),
2850     GNUNET_MQ_hd_fixed_size (plaintext_data_ack,
2851                              GNUNET_MESSAGE_TYPE_CADET_CHANNEL_APP_DATA_ACK,
2852                              struct GNUNET_CADET_ChannelDataAckMessage,
2853                              t),
2854     GNUNET_MQ_hd_fixed_size (plaintext_channel_open,
2855                              GNUNET_MESSAGE_TYPE_CADET_CHANNEL_OPEN,
2856                              struct GNUNET_CADET_ChannelOpenMessage,
2857                              t),
2858     GNUNET_MQ_hd_fixed_size (plaintext_channel_open_ack,
2859                              GNUNET_MESSAGE_TYPE_CADET_CHANNEL_OPEN_ACK,
2860                              struct GNUNET_CADET_ChannelManageMessage,
2861                              t),
2862     GNUNET_MQ_hd_fixed_size (plaintext_channel_destroy,
2863                              GNUNET_MESSAGE_TYPE_CADET_CHANNEL_DESTROY,
2864                              struct GNUNET_CADET_ChannelManageMessage,
2865                              t),
2866     GNUNET_MQ_handler_end ()
2867   };
2868
2869   t->kx_retry_delay = INITIAL_KX_RETRY_DELAY;
2870   new_ephemeral (&t->ax);
2871   t->ax.kx_0 = GNUNET_CRYPTO_ecdhe_key_create ();
2872   t->destination = destination;
2873   t->channels = GNUNET_CONTAINER_multihashmap32_create (8);
2874   t->maintain_connections_task
2875     = GNUNET_SCHEDULER_add_now (&maintain_connections_cb,
2876                                 t);
2877   t->mq = GNUNET_MQ_queue_for_callbacks (NULL,
2878                                          NULL,
2879                                          NULL,
2880                                          NULL,
2881                                          handlers,
2882                                          &decrypted_error_cb,
2883                                          t);
2884   t->mst = GNUNET_MST_create (&handle_decrypted,
2885                               t);
2886   return t;
2887 }
2888
2889
2890 /**
2891  * Add a @a connection to the @a tunnel.
2892  *
2893  * @param t a tunnel
2894  * @param cid connection identifer to use for the connection
2895  * @param options options for the connection
2896  * @param path path to use for the connection
2897  * @return #GNUNET_OK on success,
2898  *         #GNUNET_SYSERR on failure (duplicate connection)
2899  */
2900 int
2901 GCT_add_inbound_connection (struct CadetTunnel *t,
2902                             const struct GNUNET_CADET_ConnectionTunnelIdentifier *cid,
2903                             enum GNUNET_CADET_ChannelOption options,
2904                             struct CadetPeerPath *path)
2905 {
2906   struct CadetTConnection *ct;
2907
2908   ct = GNUNET_new (struct CadetTConnection);
2909   ct->created = GNUNET_TIME_absolute_get ();
2910   ct->t = t;
2911   ct->cc = GCC_create_inbound (t->destination,
2912                                path,
2913                                options,
2914                                ct,
2915                                cid,
2916                                &connection_ready_cb,
2917                                ct);
2918   if (NULL == ct->cc)
2919   {
2920     LOG (GNUNET_ERROR_TYPE_DEBUG,
2921          "%s refused inbound %s (duplicate)\n",
2922          GCT_2s (t),
2923          GCC_2s (ct->cc));
2924     GNUNET_free (ct);
2925     return GNUNET_SYSERR;
2926   }
2927   /* FIXME: schedule job to kill connection (and path?)  if it takes
2928      too long to get ready! (And track performance data on how long
2929      other connections took with the tunnel!)
2930      => Note: to be done within 'connection'-logic! */
2931   GNUNET_CONTAINER_DLL_insert (t->connection_busy_head,
2932                                t->connection_busy_tail,
2933                                ct);
2934   t->num_busy_connections++;
2935   LOG (GNUNET_ERROR_TYPE_DEBUG,
2936        "%s has new %s\n",
2937        GCT_2s (t),
2938        GCC_2s (ct->cc));
2939   return GNUNET_OK;
2940 }
2941
2942
2943 /**
2944  * Handle encrypted message.
2945  *
2946  * @param ct connection/tunnel combo that received encrypted message
2947  * @param msg the encrypted message to decrypt
2948  */
2949 void
2950 GCT_handle_encrypted (struct CadetTConnection *ct,
2951                       const struct GNUNET_CADET_TunnelEncryptedMessage *msg)
2952 {
2953   struct CadetTunnel *t = ct->t;
2954   uint16_t size = ntohs (msg->header.size);
2955   char cbuf [size] GNUNET_ALIGN;
2956   ssize_t decrypted_size;
2957
2958   LOG (GNUNET_ERROR_TYPE_DEBUG,
2959        "%s received %u bytes of encrypted data in state %d\n",
2960        GCT_2s (t),
2961        (unsigned int) size,
2962        t->estate);
2963
2964   switch (t->estate)
2965   {
2966   case CADET_TUNNEL_KEY_UNINITIALIZED:
2967   case CADET_TUNNEL_KEY_AX_RECV:
2968     /* We did not even SEND our KX, how can the other peer
2969        send us encrypted data? */
2970     GNUNET_break_op (0);
2971     return;
2972   case CADET_TUNNEL_KEY_AX_SENT_AND_RECV:
2973     /* We send KX, and other peer send KX to us at the same time.
2974        Neither KX is AUTH'ed, so let's try KX_AUTH this time. */
2975     GNUNET_STATISTICS_update (stats,
2976                               "# received encrypted without KX_AUTH",
2977                               1,
2978                               GNUNET_NO);
2979     if (NULL != t->kx_task)
2980     {
2981       GNUNET_SCHEDULER_cancel (t->kx_task);
2982       t->kx_task = NULL;
2983     }
2984     send_kx_auth (t,
2985                   ct,
2986                   &t->ax,
2987                   GNUNET_YES);
2988     return;
2989   case CADET_TUNNEL_KEY_AX_SENT:
2990     /* We did not get the KX of the other peer, but that
2991        might have been lost.  Send our KX again immediately. */
2992     GNUNET_STATISTICS_update (stats,
2993                               "# received encrypted without KX",
2994                               1,
2995                               GNUNET_NO);
2996     if (NULL != t->kx_task)
2997     {
2998       GNUNET_SCHEDULER_cancel (t->kx_task);
2999       t->kx_task = NULL;
3000     }
3001     send_kx (t,
3002              ct,
3003              &t->ax);
3004     return;
3005   case CADET_TUNNEL_KEY_AX_AUTH_SENT:
3006     /* Great, first payload, we might graduate to OK! */
3007   case CADET_TUNNEL_KEY_OK:
3008     /* We are up and running, all good. */
3009     break;
3010   }
3011
3012   GNUNET_STATISTICS_update (stats,
3013                             "# received encrypted",
3014                             1,
3015                             GNUNET_NO);
3016   decrypted_size = -1;
3017   if (CADET_TUNNEL_KEY_OK == t->estate)
3018   {
3019     /* We have well-established key material available,
3020        try that. (This is the common case.) */
3021     decrypted_size = t_ax_decrypt_and_validate (&t->ax,
3022                                                 cbuf,
3023                                                 msg,
3024                                                 size);
3025   }
3026
3027   if ( (-1 == decrypted_size) &&
3028        (NULL != t->unverified_ax) )
3029   {
3030     /* We have un-authenticated KX material available. We should try
3031        this as a back-up option, in case the sender crashed and
3032        switched keys. */
3033     decrypted_size = t_ax_decrypt_and_validate (t->unverified_ax,
3034                                                 cbuf,
3035                                                 msg,
3036                                                 size);
3037     if (-1 != decrypted_size)
3038     {
3039       /* It worked! Treat this as authentication of the AX data! */
3040       t->ax.DHRs = NULL; /* aliased with ax.DHRs */
3041       t->ax.kx_0 = NULL; /* aliased with ax.DHRs */
3042       cleanup_ax (&t->ax);
3043       t->ax = *t->unverified_ax;
3044       GNUNET_free (t->unverified_ax);
3045       t->unverified_ax = NULL;
3046     }
3047     if (CADET_TUNNEL_KEY_AX_AUTH_SENT == t->estate)
3048     {
3049       /* First time it worked, move tunnel into production! */
3050       GCT_change_estate (t,
3051                          CADET_TUNNEL_KEY_OK);
3052       if (NULL != t->send_task)
3053         GNUNET_SCHEDULER_cancel (t->send_task);
3054       t->send_task = GNUNET_SCHEDULER_add_now (&trigger_transmissions,
3055                                                t);
3056     }
3057   }
3058   if (NULL != t->unverified_ax)
3059   {
3060     /* We had unverified KX material that was useless; so increment
3061        counter and eventually move to ignore it.  Note that we even do
3062        this increment if we successfully decrypted with the old KX
3063        material and thus didn't even both with the new one.  This is
3064        the ideal case, as a malicious injection of bogus KX data
3065        basically only causes us to increment a counter a few times. */
3066     t->unverified_attempts++;
3067     LOG (GNUNET_ERROR_TYPE_DEBUG,
3068          "Failed to decrypt message with unverified KX data %u times\n",
3069          t->unverified_attempts);
3070     if (t->unverified_attempts > MAX_UNVERIFIED_ATTEMPTS)
3071     {
3072       t->unverified_ax->DHRs = NULL; /* aliased with ax.DHRs */
3073       t->unverified_ax->kx_0 = NULL; /* aliased with ax.DHRs */
3074       cleanup_ax (t->unverified_ax);
3075       GNUNET_free (t->unverified_ax);
3076       t->unverified_ax = NULL;
3077     }
3078   }
3079
3080   if (-1 == decrypted_size)
3081   {
3082     /* Decryption failed for good, complain. */
3083     GNUNET_break_op (0);
3084     LOG (GNUNET_ERROR_TYPE_WARNING,
3085          "%s failed to decrypt and validate encrypted data\n",
3086          GCT_2s (t));
3087     GNUNET_STATISTICS_update (stats,
3088                               "# unable to decrypt",
3089                               1,
3090                               GNUNET_NO);
3091     return;
3092   }
3093
3094   /* The MST will ultimately call #handle_decrypted() on each message. */
3095   GNUNET_break_op (GNUNET_OK ==
3096                    GNUNET_MST_from_buffer (t->mst,
3097                                            cbuf,
3098                                            decrypted_size,
3099                                            GNUNET_YES,
3100                                            GNUNET_NO));
3101 }
3102
3103
3104 /**
3105  * Sends an already built message on a tunnel, encrypting it and
3106  * choosing the best connection if not provided.
3107  *
3108  * @param message Message to send. Function modifies it.
3109  * @param t Tunnel on which this message is transmitted.
3110  * @param cont Continuation to call once message is really sent.
3111  * @param cont_cls Closure for @c cont.
3112  * @return Handle to cancel message
3113  */
3114 struct CadetTunnelQueueEntry *
3115 GCT_send (struct CadetTunnel *t,
3116           const struct GNUNET_MessageHeader *message,
3117           GNUNET_SCHEDULER_TaskCallback cont,
3118           void *cont_cls)
3119 {
3120   struct CadetTunnelQueueEntry *tq;
3121   uint16_t payload_size;
3122   struct GNUNET_MQ_Envelope *env;
3123   struct GNUNET_CADET_TunnelEncryptedMessage *ax_msg;
3124
3125   if (CADET_TUNNEL_KEY_OK != t->estate)
3126   {
3127     GNUNET_break (0);
3128     return NULL;
3129   }
3130   payload_size = ntohs (message->size);
3131   LOG (GNUNET_ERROR_TYPE_DEBUG,
3132        "Encrypting %u bytes for %s\n",
3133        (unsigned int) payload_size,
3134        GCT_2s (t));
3135   env = GNUNET_MQ_msg_extra (ax_msg,
3136                              payload_size,
3137                              GNUNET_MESSAGE_TYPE_CADET_TUNNEL_ENCRYPTED);
3138   t_ax_encrypt (&t->ax,
3139                 &ax_msg[1],
3140                 message,
3141                 payload_size);
3142   ax_msg->ax_header.Ns = htonl (t->ax.Ns++);
3143   ax_msg->ax_header.PNs = htonl (t->ax.PNs);
3144   /* FIXME: we should do this once, not once per message;
3145      this is a point multiplication, and DHRs does not
3146      change all the time. */
3147   GNUNET_CRYPTO_ecdhe_key_get_public (t->ax.DHRs,
3148                                       &ax_msg->ax_header.DHRs);
3149   t_h_encrypt (&t->ax,
3150                ax_msg);
3151   t_hmac (&ax_msg->ax_header,
3152           sizeof (struct GNUNET_CADET_AxHeader) + payload_size,
3153           0,
3154           &t->ax.HKs,
3155           &ax_msg->hmac);
3156
3157   tq = GNUNET_malloc (sizeof (*tq));
3158   tq->t = t;
3159   tq->env = env;
3160   tq->cid = &ax_msg->cid; /* will initialize 'ax_msg->cid' once we know the connection */
3161   tq->cont = cont;
3162   tq->cont_cls = cont_cls;
3163   GNUNET_CONTAINER_DLL_insert_tail (t->tq_head,
3164                                     t->tq_tail,
3165                                     tq);
3166   if (NULL != t->send_task)
3167     GNUNET_SCHEDULER_cancel (t->send_task);
3168   t->send_task
3169     = GNUNET_SCHEDULER_add_now (&trigger_transmissions,
3170                                 t);
3171   return tq;
3172 }
3173
3174
3175 /**
3176  * Cancel a previously sent message while it's in the queue.
3177  *
3178  * ONLY can be called before the continuation given to the send
3179  * function is called. Once the continuation is called, the message is
3180  * no longer in the queue!
3181  *
3182  * @param tq Handle to the queue entry to cancel.
3183  */
3184 void
3185 GCT_send_cancel (struct CadetTunnelQueueEntry *tq)
3186 {
3187   struct CadetTunnel *t = tq->t;
3188
3189   GNUNET_CONTAINER_DLL_remove (t->tq_head,
3190                                t->tq_tail,
3191                                tq);
3192   GNUNET_MQ_discard (tq->env);
3193   GNUNET_free (tq);
3194 }
3195
3196
3197 /**
3198  * Iterate over all connections of a tunnel.
3199  *
3200  * @param t Tunnel whose connections to iterate.
3201  * @param iter Iterator.
3202  * @param iter_cls Closure for @c iter.
3203  */
3204 void
3205 GCT_iterate_connections (struct CadetTunnel *t,
3206                          GCT_ConnectionIterator iter,
3207                          void *iter_cls)
3208 {
3209   struct CadetTConnection *n;
3210   for (struct CadetTConnection *ct = t->connection_ready_head;
3211        NULL != ct;
3212        ct = n)
3213   {
3214     n = ct->next;
3215     iter (iter_cls,
3216           ct);
3217   }
3218   for (struct CadetTConnection *ct = t->connection_busy_head;
3219        NULL != ct;
3220        ct = n)
3221   {
3222     n = ct->next;
3223     iter (iter_cls,
3224           ct);
3225   }
3226 }
3227
3228
3229 /**
3230  * Closure for #iterate_channels_cb.
3231  */
3232 struct ChanIterCls
3233 {
3234   /**
3235    * Function to call.
3236    */
3237   GCT_ChannelIterator iter;
3238
3239   /**
3240    * Closure for @e iter.
3241    */
3242   void *iter_cls;
3243 };
3244
3245
3246 /**
3247  * Helper function for #GCT_iterate_channels.
3248  *
3249  * @param cls the `struct ChanIterCls`
3250  * @param key unused
3251  * @param value a `struct CadetChannel`
3252  * @return #GNUNET_OK
3253  */
3254 static int
3255 iterate_channels_cb (void *cls,
3256                      uint32_t key,
3257                      void *value)
3258 {
3259   struct ChanIterCls *ctx = cls;
3260   struct CadetChannel *ch = value;
3261
3262   ctx->iter (ctx->iter_cls,
3263              ch);
3264   return GNUNET_OK;
3265 }
3266
3267
3268 /**
3269  * Iterate over all channels of a tunnel.
3270  *
3271  * @param t Tunnel whose channels to iterate.
3272  * @param iter Iterator.
3273  * @param iter_cls Closure for @c iter.
3274  */
3275 void
3276 GCT_iterate_channels (struct CadetTunnel *t,
3277                       GCT_ChannelIterator iter,
3278                       void *iter_cls)
3279 {
3280   struct ChanIterCls ctx;
3281
3282   ctx.iter = iter;
3283   ctx.iter_cls = iter_cls;
3284   GNUNET_CONTAINER_multihashmap32_iterate (t->channels,
3285                                            &iterate_channels_cb,
3286                                            &ctx);
3287
3288 }
3289
3290
3291 /**
3292  * Call #GCCH_debug() on a channel.
3293  *
3294  * @param cls points to the log level to use
3295  * @param key unused
3296  * @param value the `struct CadetChannel` to dump
3297  * @return #GNUNET_OK (continue iteration)
3298  */
3299 static int
3300 debug_channel (void *cls,
3301                uint32_t key,
3302                void *value)
3303 {
3304   const enum GNUNET_ErrorType *level = cls;
3305   struct CadetChannel *ch = value;
3306
3307   GCCH_debug (ch, *level);
3308   return GNUNET_OK;
3309 }
3310
3311
3312 #define LOG2(level, ...) GNUNET_log_from_nocheck(level,"cadet-tun",__VA_ARGS__)
3313
3314
3315 /**
3316  * Log all possible info about the tunnel state.
3317  *
3318  * @param t Tunnel to debug.
3319  * @param level Debug level to use.
3320  */
3321 void
3322 GCT_debug (const struct CadetTunnel *t,
3323            enum GNUNET_ErrorType level)
3324 {
3325   struct CadetTConnection *iter_c;
3326   int do_log;
3327
3328   do_log = GNUNET_get_log_call_status (level & (~GNUNET_ERROR_TYPE_BULK),
3329                                        "cadet-tun",
3330                                        __FILE__, __FUNCTION__, __LINE__);
3331   if (0 == do_log)
3332     return;
3333
3334   LOG2 (level,
3335         "TTT TUNNEL TOWARDS %s in estate %s tq_len: %u #cons: %u\n",
3336         GCT_2s (t),
3337         estate2s (t->estate),
3338         t->tq_len,
3339         GCT_count_any_connections (t));
3340   LOG2 (level,
3341         "TTT channels:\n");
3342   GNUNET_CONTAINER_multihashmap32_iterate (t->channels,
3343                                            &debug_channel,
3344                                            &level);
3345   LOG2 (level,
3346         "TTT connections:\n");
3347   for (iter_c = t->connection_ready_head; NULL != iter_c; iter_c = iter_c->next)
3348     GCC_debug (iter_c->cc,
3349                level);
3350   for (iter_c = t->connection_busy_head; NULL != iter_c; iter_c = iter_c->next)
3351     GCC_debug (iter_c->cc,
3352                level);
3353
3354   LOG2 (level,
3355         "TTT TUNNEL END\n");
3356 }
3357
3358
3359 /* end of gnunet-service-cadet-new_tunnels.c */