-logging
[oweals/gnunet.git] / src / cadet / gnunet-service-cadet_tunnel.c
1 /*
2      This file is part of GNUnet.
3      Copyright (C) 2013 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
18      Boston, MA 02110-1301, USA.
19 */
20
21 #include "platform.h"
22 #include "gnunet_util_lib.h"
23
24 #include "gnunet_signatures.h"
25 #include "gnunet_statistics_service.h"
26
27 #include "cadet_protocol.h"
28 #include "cadet_path.h"
29
30 #include "gnunet-service-cadet_tunnel.h"
31 #include "gnunet-service-cadet_connection.h"
32 #include "gnunet-service-cadet_channel.h"
33 #include "gnunet-service-cadet_peer.h"
34
35 #define LOG(level, ...) GNUNET_log_from(level,"cadet-tun",__VA_ARGS__)
36 #define LOG2(level, ...) GNUNET_log_from_nocheck(level,"cadet-tun",__VA_ARGS__)
37
38 #define REKEY_WAIT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 5)
39
40 #if !defined(GNUNET_CULL_LOGGING)
41 #define DUMP_KEYS_TO_STDERR GNUNET_YES
42 #else
43 #define DUMP_KEYS_TO_STDERR GNUNET_NO
44 #endif
45
46 #define MIN_TUNNEL_BUFFER       8
47 #define MAX_TUNNEL_BUFFER       64
48 #define MAX_SKIPPED_KEYS        64
49 #define MAX_KEY_GAP             256
50 #define AX_HEADER_SIZE (sizeof (uint32_t) * 2\
51                         + sizeof (struct GNUNET_CRYPTO_EcdhePublicKey))
52
53
54 /******************************************************************************/
55 /********************************   STRUCTS  **********************************/
56 /******************************************************************************/
57
58 struct CadetTChannel
59 {
60   struct CadetTChannel *next;
61   struct CadetTChannel *prev;
62   struct CadetChannel *ch;
63 };
64
65
66 /**
67  * Connection list and metadata.
68  */
69 struct CadetTConnection
70 {
71   /**
72    * Next in DLL.
73    */
74   struct CadetTConnection *next;
75
76   /**
77    * Prev in DLL.
78    */
79   struct CadetTConnection *prev;
80
81   /**
82    * Connection handle.
83    */
84   struct CadetConnection *c;
85
86   /**
87    * Creation time, to keep oldest connection alive.
88    */
89   struct GNUNET_TIME_Absolute created;
90
91   /**
92    * Connection throughput, to keep fastest connection alive.
93    */
94   uint32_t throughput;
95 };
96
97 /**
98  * Structure used during a Key eXchange.
99  */
100 struct CadetTunnelKXCtx
101 {
102   /**
103    * Encryption ("our") old "confirmed" key, for encrypting traffic sent by us
104    * end before the key exchange is finished or times out.
105    */
106   struct GNUNET_CRYPTO_SymmetricSessionKey e_key_old;
107
108   /**
109    * Decryption ("their") old "confirmed" key, for decrypting traffic sent by
110    * the other end before the key exchange started.
111    */
112   struct GNUNET_CRYPTO_SymmetricSessionKey d_key_old;
113
114   /**
115    * Same as @c e_key_old, for the case of two simultaneous KX.
116    * This can happen if cadet decides to start a re-key while the peer has also
117    * started its re-key (due to network delay this is impossible to avoid).
118    * In this case, the key material generated with the peer's old ephemeral
119    * *might* (but doesn't have to) be incorrect.
120    * Since no more than two re-keys can happen simultaneously, this is enough.
121    */
122   struct GNUNET_CRYPTO_SymmetricSessionKey e_key_old2;
123
124   /**
125    * Same as @c d_key_old, for the case described in @c e_key_old2.
126    */
127   struct GNUNET_CRYPTO_SymmetricSessionKey d_key_old2;
128
129   /**
130    * Challenge to send and expect in the PONG.
131    */
132   uint32_t challenge;
133
134   /**
135    * When the rekey started. One minute after this the new key will be used.
136    */
137   struct GNUNET_TIME_Absolute rekey_start_time;
138
139   /**
140    * Task for delayed destruction of the Key eXchange context, to allow delayed
141    * messages with the old key to be decrypted successfully.
142    */
143   struct GNUNET_SCHEDULER_Task *finish_task;
144 };
145
146 /**
147  * Encryption systems possible.
148  */
149 enum CadetTunnelEncryption
150 {
151   /**
152    * Default Axolotl system.
153    */
154   CADET_Axolotl,
155
156   /**
157    * Fallback OTR-style encryption.
158    */
159   CADET_OTR
160 };
161
162 /**
163  * Struct to old keys for skipped messages while advancing the Axolotl ratchet.
164  */
165 struct CadetTunnelSkippedKey
166 {
167   /**
168    * DLL next.
169    */
170   struct CadetTunnelSkippedKey *next;
171
172   /**
173    * DLL prev.
174    */
175   struct CadetTunnelSkippedKey *prev;
176
177   /**
178    * When was this key stored (for timeout).
179    */
180   struct GNUNET_TIME_Absolute timestamp;
181
182   /**
183    * Header key.
184    */
185   struct GNUNET_CRYPTO_SymmetricSessionKey HK;
186
187   /**
188    * Message key.
189    */
190   struct GNUNET_CRYPTO_SymmetricSessionKey MK;
191 };
192
193
194 /**
195  * Axolotl data, according to https://github.com/trevp/axolotl/wiki .
196  */
197 struct CadetTunnelAxolotl
198 {
199   /**
200    * A (double linked) list of stored message keys and associated header keys
201    * for "skipped" messages, i.e. messages that have not been
202    * received despite the reception of more recent messages, (head).
203    */
204   struct CadetTunnelSkippedKey *skipped_head;
205
206   /**
207    * Skipped messages' keys DLL, tail.
208    */
209   struct CadetTunnelSkippedKey *skipped_tail;
210
211   /**
212    * Elements in @a skipped_head <-> @a skipped_tail.
213    */
214   unsigned int skipped;
215
216   /**
217    * 32-byte root key which gets updated by DH ratchet.
218    */
219   struct GNUNET_CRYPTO_SymmetricSessionKey RK;
220
221   /**
222    * 32-byte header key (send).
223    */
224   struct GNUNET_CRYPTO_SymmetricSessionKey HKs;
225
226   /**
227    * 32-byte header key (recv)
228    */
229   struct GNUNET_CRYPTO_SymmetricSessionKey HKr;
230
231   /**
232    * 32-byte next header key (send).
233    */
234   struct GNUNET_CRYPTO_SymmetricSessionKey NHKs;
235
236   /**
237    * 32-byte next header key (recv).
238    */
239   struct GNUNET_CRYPTO_SymmetricSessionKey NHKr;
240
241   /**
242    * 32-byte chain keys (used for forward-secrecy updating, send).
243    */
244   struct GNUNET_CRYPTO_SymmetricSessionKey CKs;
245
246   /**
247    * 32-byte chain keys (used for forward-secrecy updating, recv).
248    */
249   struct GNUNET_CRYPTO_SymmetricSessionKey CKr;
250
251   /**
252    * ECDH for key exchange (A0 / B0).
253    */
254   struct GNUNET_CRYPTO_EcdhePrivateKey *kx_0;
255
256   /**
257    * ECDH Ratchet key (send).
258    */
259   struct GNUNET_CRYPTO_EcdhePrivateKey *DHRs;
260
261   /**
262    * ECDH Ratchet key (recv).
263    */
264   struct GNUNET_CRYPTO_EcdhePublicKey DHRr;
265
266   /**
267    * Message number (reset to 0 with each new ratchet, next message to send).
268    */
269   uint32_t Ns;
270
271   /**
272    * Message number (reset to 0 with each new ratchet, next message to recv).
273    */
274   uint32_t Nr;
275
276   /**
277    * Previous message numbers (# of msgs sent under prev ratchet)
278    */
279   uint32_t PNs;
280
281   /**
282    * True (#GNUNET_YES) if we have to send a new ratchet key in next msg.
283    */
284   int ratchet_flag;
285
286   /**
287    * Number of messages recieved since our last ratchet advance.
288    * - If this counter = 0, we cannot send a new ratchet key in next msg.
289    * - If this counter > 0, we can (but don't yet have to) send a new key.
290    */
291   unsigned int ratchet_allowed;
292
293   /**
294    * Number of messages recieved since our last ratchet advance.
295    * - If this counter = 0, we cannot send a new ratchet key in next msg.
296    * - If this counter > 0, we can (but don't yet have to) send a new key.
297    */
298   unsigned int ratchet_counter;
299
300   /**
301    * When does this ratchet expire and a new one is triggered.
302    */
303   struct GNUNET_TIME_Absolute ratchet_expiration;
304 };
305
306 /**
307  * Struct containing all information regarding a tunnel to a peer.
308  */
309 struct CadetTunnel
310 {
311   /**
312    * Endpoint of the tunnel.
313    */
314   struct CadetPeer *peer;
315
316   /**
317    * Type of encryption used in the tunnel.
318    */
319   enum CadetTunnelEncryption enc_type;
320
321   /**
322    * Axolotl info.
323    */
324   struct CadetTunnelAxolotl *ax;
325
326   /**
327    * State of the tunnel connectivity.
328    */
329   enum CadetTunnelCState cstate;
330
331   /**
332    * State of the tunnel encryption.
333    */
334   enum CadetTunnelEState estate;
335
336   /**
337    * Key eXchange context.
338    */
339   struct CadetTunnelKXCtx *kx_ctx;
340
341   /**
342    * Peer's ephemeral key, to recreate @c e_key and @c d_key when own ephemeral
343    * key changes.
344    */
345   struct GNUNET_CRYPTO_EcdhePublicKey peers_ephemeral_key;
346
347   /**
348    * Encryption ("our") key. It is only "confirmed" if kx_ctx is NULL.
349    */
350   struct GNUNET_CRYPTO_SymmetricSessionKey e_key;
351
352   /**
353    * Decryption ("their") key. It is only "confirmed" if kx_ctx is NULL.
354    */
355   struct GNUNET_CRYPTO_SymmetricSessionKey d_key;
356
357   /**
358    * Task to start the rekey process.
359    */
360   struct GNUNET_SCHEDULER_Task * rekey_task;
361
362   /**
363    * Paths that are actively used to reach the destination peer.
364    */
365   struct CadetTConnection *connection_head;
366   struct CadetTConnection *connection_tail;
367
368   /**
369    * Next connection number.
370    */
371   uint32_t next_cid;
372
373   /**
374    * Channels inside this tunnel.
375    */
376   struct CadetTChannel *channel_head;
377   struct CadetTChannel *channel_tail;
378
379   /**
380    * Channel ID for the next created channel.
381    */
382   CADET_ChannelNumber next_chid;
383
384   /**
385    * Destroy flag: if true, destroy on last message.
386    */
387   struct GNUNET_SCHEDULER_Task * destroy_task;
388
389   /**
390    * Queued messages, to transmit once tunnel gets connected.
391    */
392   struct CadetTunnelDelayed *tq_head;
393   struct CadetTunnelDelayed *tq_tail;
394
395   /**
396    * Task to trim connections if too many are present.
397    */
398   struct GNUNET_SCHEDULER_Task * trim_connections_task;
399
400   /**
401    * Ephemeral message in the queue (to avoid queueing more than one).
402    */
403   struct CadetConnectionQueue *ephm_h;
404
405   /**
406    * Pong message in the queue.
407    */
408   struct CadetConnectionQueue *pong_h;
409 };
410
411
412 /**
413  * Struct used to save messages in a non-ready tunnel to send once connected.
414  */
415 struct CadetTunnelDelayed
416 {
417   /**
418    * DLL
419    */
420   struct CadetTunnelDelayed *next;
421   struct CadetTunnelDelayed *prev;
422
423   /**
424    * Tunnel.
425    */
426   struct CadetTunnel *t;
427
428   /**
429    * Tunnel queue given to the channel to cancel request. Update on send_queued.
430    */
431   struct CadetTunnelQueue *tq;
432
433   /**
434    * Message to send.
435    */
436   /* struct GNUNET_MessageHeader *msg; */
437 };
438
439
440 /**
441  * Handle for messages queued but not yet sent.
442  */
443 struct CadetTunnelQueue
444 {
445   /**
446    * Connection queue handle, to cancel if necessary.
447    */
448   struct CadetConnectionQueue *cq;
449
450   /**
451    * Handle in case message hasn't been given to a connection yet.
452    */
453   struct CadetTunnelDelayed *tqd;
454
455   /**
456    * Continuation to call once sent.
457    */
458   GCT_sent cont;
459
460   /**
461    * Closure for @c cont.
462    */
463   void *cont_cls;
464 };
465
466
467 /******************************************************************************/
468 /*******************************   GLOBALS  ***********************************/
469 /******************************************************************************/
470
471 /**
472  * Global handle to the statistics service.
473  */
474 extern struct GNUNET_STATISTICS_Handle *stats;
475
476 /**
477  * Local peer own ID (memory efficient handle).
478  */
479 extern GNUNET_PEER_Id myid;
480
481 /**
482  * Local peer own ID (full value).
483  */
484 extern struct GNUNET_PeerIdentity my_full_id;
485
486
487 /**
488  * Don't try to recover tunnels if shutting down.
489  */
490 extern int shutting_down;
491
492
493 /**
494  * Set of all tunnels, in order to trigger a new exchange on rekey.
495  * Indexed by peer's ID.
496  */
497 static struct GNUNET_CONTAINER_MultiPeerMap *tunnels;
498
499 /**
500  * Default TTL for payload packets.
501  */
502 static unsigned long long default_ttl;
503
504 /**
505  * Own Peer ID private key.
506  */
507 const static struct GNUNET_CRYPTO_EddsaPrivateKey *id_key;
508
509
510 /********************************  AXOLOTL ************************************/
511
512 /**
513  * How many messages are needed to trigger a ratchet advance.
514  */
515 static unsigned long long ratchet_messages;
516
517 /**
518  * How long until we trigger a ratched advance.
519  */
520 static struct GNUNET_TIME_Relative ratchet_time;
521
522
523 /********************************    OTR   ***********************************/
524
525 /**
526  * Own global OTR ephemeral private key.
527  */
528 static struct GNUNET_CRYPTO_EcdhePrivateKey *otr_ephemeral_key;
529
530 /**
531  * Cached message used to perform a OTR key exchange.
532  */
533 static struct GNUNET_CADET_KX_Ephemeral otr_kx_msg;
534
535 /**
536  * Task to generate a new OTR ephemeral key.
537  */
538 static struct GNUNET_SCHEDULER_Task *rekey_task;
539
540 /**
541  * OTR Rekey period.
542  */
543 static struct GNUNET_TIME_Relative rekey_period;
544
545
546 /******************************************************************************/
547 /********************************   STATIC  ***********************************/
548 /******************************************************************************/
549
550 /**
551  * Get string description for tunnel connectivity state.
552  *
553  * @param cs Tunnel state.
554  *
555  * @return String representation.
556  */
557 static const char *
558 cstate2s (enum CadetTunnelCState cs)
559 {
560   static char buf[32];
561
562   switch (cs)
563   {
564     case CADET_TUNNEL_NEW:
565       return "CADET_TUNNEL_NEW";
566     case CADET_TUNNEL_SEARCHING:
567       return "CADET_TUNNEL_SEARCHING";
568     case CADET_TUNNEL_WAITING:
569       return "CADET_TUNNEL_WAITING";
570     case CADET_TUNNEL_READY:
571       return "CADET_TUNNEL_READY";
572     case CADET_TUNNEL_SHUTDOWN:
573       return "CADET_TUNNEL_SHUTDOWN";
574     default:
575       SPRINTF (buf, "%u (UNKNOWN STATE)", cs);
576       return buf;
577   }
578   return "";
579 }
580
581
582 /**
583  * Get string description for tunnel encryption state.
584  *
585  * @param es Tunnel state.
586  *
587  * @return String representation.
588  */
589 static const char *
590 estate2s (enum CadetTunnelEState es)
591 {
592   static char buf[32];
593
594   switch (es)
595   {
596     case CADET_TUNNEL_KEY_UNINITIALIZED:
597       return "CADET_TUNNEL_KEY_UNINITIALIZED";
598     case CADET_TUNNEL_KEY_SENT:
599       return "CADET_TUNNEL_KEY_SENT";
600     case CADET_TUNNEL_KEY_PING:
601       return "CADET_TUNNEL_KEY_PING";
602     case CADET_TUNNEL_KEY_OK:
603       return "CADET_TUNNEL_KEY_OK";
604     case CADET_TUNNEL_KEY_REKEY:
605       return "CADET_TUNNEL_KEY_REKEY";
606     default:
607       SPRINTF (buf, "%u (UNKNOWN STATE)", es);
608       return buf;
609   }
610   return "";
611 }
612
613
614 /**
615  * @brief Check if tunnel is ready to send traffic.
616  *
617  * Tunnel must be connected and with encryption correctly set up.
618  *
619  * @param t Tunnel to check.
620  *
621  * @return #GNUNET_YES if ready, #GNUNET_NO otherwise
622  */
623 static int
624 is_ready (struct CadetTunnel *t)
625 {
626   int ready;
627   int conn_ok;
628   int enc_ok;
629
630   conn_ok = CADET_TUNNEL_READY == t->cstate;
631   enc_ok = CADET_TUNNEL_KEY_OK == t->estate
632            || CADET_TUNNEL_KEY_REKEY == t->estate
633            || (CADET_TUNNEL_KEY_PING == t->estate
634                && CADET_Axolotl == t->enc_type);
635   ready = conn_ok && enc_ok;
636   ready = ready || GCT_is_loopback (t);
637   return ready;
638 }
639
640
641 /**
642  * Check if a key is invalid (NULL pointer or all 0)
643  *
644  * @param key Key to check.
645  *
646  * @return #GNUNET_YES if key is null, #GNUNET_NO if exists and is not 0.
647  */
648 static int
649 is_key_null (struct GNUNET_CRYPTO_SymmetricSessionKey *key)
650 {
651   struct GNUNET_CRYPTO_SymmetricSessionKey null_key;
652
653   if (NULL == key)
654     return GNUNET_YES;
655
656   memset (&null_key, 0, sizeof (null_key));
657   if (0 == memcmp (key, &null_key, sizeof (null_key)))
658     return GNUNET_YES;
659   return GNUNET_NO;
660 }
661
662
663 /**
664  * Ephemeral key message purpose size.
665  *
666  * @return Size of the part of the ephemeral key message that must be signed.
667  */
668 static size_t
669 ephemeral_purpose_size (void)
670 {
671   return sizeof (struct GNUNET_CRYPTO_EccSignaturePurpose) +
672          sizeof (struct GNUNET_TIME_AbsoluteNBO) +
673          sizeof (struct GNUNET_TIME_AbsoluteNBO) +
674          sizeof (struct GNUNET_CRYPTO_EcdhePublicKey) +
675          sizeof (struct GNUNET_PeerIdentity);
676 }
677
678
679 /**
680  * Size of the encrypted part of a ping message.
681  *
682  * @return Size of the encrypted part of a ping message.
683  */
684 static size_t
685 ping_encryption_size (void)
686 {
687   return sizeof (uint32_t);
688 }
689
690
691 /**
692  * Get the channel's buffer. ONLY FOR NON-LOOPBACK CHANNELS!!
693  *
694  * @param tch Tunnel's channel handle.
695  *
696  * @return Amount of messages the channel can still buffer towards the client.
697  */
698 static unsigned int
699 get_channel_buffer (const struct CadetTChannel *tch)
700 {
701   int fwd;
702
703   /* If channel is incoming, is terminal in the FWD direction and fwd is YES */
704   fwd = GCCH_is_terminal (tch->ch, GNUNET_YES);
705
706   return GCCH_get_buffer (tch->ch, fwd);
707 }
708
709
710 /**
711  * Get the channel's allowance status.
712  *
713  * @param tch Tunnel's channel handle.
714  *
715  * @return #GNUNET_YES if we allowed the client to send data to us.
716  */
717 static int
718 get_channel_allowed (const struct CadetTChannel *tch)
719 {
720   int fwd;
721
722   /* If channel is outgoing, is origin in the FWD direction and fwd is YES */
723   fwd = GCCH_is_origin (tch->ch, GNUNET_YES);
724
725   return GCCH_get_allowed (tch->ch, fwd);
726 }
727
728
729 /**
730  * Get the connection's buffer.
731  *
732  * @param tc Tunnel's connection handle.
733  *
734  * @return Amount of messages the connection can still buffer.
735  */
736 static unsigned int
737 get_connection_buffer (const struct CadetTConnection *tc)
738 {
739   int fwd;
740
741   /* If connection is outgoing, is origin in the FWD direction and fwd is YES */
742   fwd = GCC_is_origin (tc->c, GNUNET_YES);
743
744   return GCC_get_buffer (tc->c, fwd);
745 }
746
747
748 /**
749  * Get the connection's allowance.
750  *
751  * @param tc Tunnel's connection handle.
752  *
753  * @return Amount of messages we have allowed the next peer to send us.
754  */
755 static unsigned int
756 get_connection_allowed (const struct CadetTConnection *tc)
757 {
758   int fwd;
759
760   /* If connection is outgoing, is origin in the FWD direction and fwd is YES */
761   fwd = GCC_is_origin (tc->c, GNUNET_YES);
762
763   return GCC_get_allowed (tc->c, fwd);
764 }
765
766
767 /**
768  * Check that a ephemeral key message s well formed and correctly signed.
769  *
770  * @param t Tunnel on which the message came.
771  * @param msg The ephemeral key message.
772  *
773  * @return #GNUNET_OK if message is fine, #GNUNET_SYSERR otherwise.
774  */
775 int
776 check_ephemeral (struct CadetTunnel *t,
777                  const struct GNUNET_CADET_KX_Ephemeral *msg)
778 {
779   /* Check message size */
780   if (ntohs (msg->header.size) != sizeof (struct GNUNET_CADET_KX_Ephemeral))
781   {
782     /* This is probably an old "MESH" version. */
783     LOG (GNUNET_ERROR_TYPE_INFO,
784          "Expected ephemeral of size %u, got %u\n",
785          sizeof (struct GNUNET_CADET_KX_Ephemeral),
786          ntohs (msg->header.size));
787     return GNUNET_SYSERR;
788   }
789
790   /* Check signature size */
791   if (ntohl (msg->purpose.size) != ephemeral_purpose_size ())
792   {
793     LOG (GNUNET_ERROR_TYPE_WARNING,
794          "Expected signature purpose of size %u, got %u\n",
795          ephemeral_purpose_size (),
796          ntohs (msg->purpose.size));
797     return GNUNET_SYSERR;
798   }
799
800   /* Check origin */
801   if (0 != memcmp (&msg->origin_identity,
802                    GCP_get_id (t->peer),
803                    sizeof (struct GNUNET_PeerIdentity)))
804   {
805     LOG (GNUNET_ERROR_TYPE_WARNING,
806          "Unexpected origin, got %s\n",
807          GNUNET_i2s (&msg->origin_identity));
808     return GNUNET_SYSERR;
809   }
810
811   /* Check signature */
812   if (GNUNET_OK !=
813       GNUNET_CRYPTO_eddsa_verify (GNUNET_SIGNATURE_PURPOSE_CADET_KX,
814                                   &msg->purpose,
815                                   &msg->signature,
816                                   &msg->origin_identity.public_key))
817   {
818     LOG (GNUNET_ERROR_TYPE_WARNING, "Signature invalid\n");
819     return GNUNET_SYSERR;
820   }
821
822   return GNUNET_OK;
823 }
824
825
826 /**
827  * Select the best key to use for encryption (send), based on KX status.
828  *
829  * Normally, return the current key. If there is a KX in progress and the old
830  * key is fresh enough, return the old key.
831  *
832  * @param t Tunnel to choose the key from.
833  *
834  * @return The optimal key to encrypt/hmac outgoing traffic.
835  */
836 static const struct GNUNET_CRYPTO_SymmetricSessionKey *
837 select_key (const struct CadetTunnel *t)
838 {
839   const struct GNUNET_CRYPTO_SymmetricSessionKey *key;
840
841   if (NULL != t->kx_ctx
842       && NULL == t->kx_ctx->finish_task)
843   {
844     struct GNUNET_TIME_Relative age;
845
846     age = GNUNET_TIME_absolute_get_duration (t->kx_ctx->rekey_start_time);
847     LOG (GNUNET_ERROR_TYPE_DEBUG,
848          "  key exchange in progress, started %s ago\n",
849          GNUNET_STRINGS_relative_time_to_string (age, GNUNET_YES));
850     // FIXME make duration of old keys configurable
851     if (age.rel_value_us < GNUNET_TIME_UNIT_MINUTES.rel_value_us)
852     {
853       LOG (GNUNET_ERROR_TYPE_DEBUG, "  using old key\n");
854       key = &t->kx_ctx->e_key_old;
855     }
856     else
857     {
858       LOG (GNUNET_ERROR_TYPE_DEBUG, "  using new key (old key too old)\n");
859       key = &t->e_key;
860     }
861   }
862   else
863   {
864     LOG (GNUNET_ERROR_TYPE_DEBUG, "  no KX: using current key\n");
865     key = &t->e_key;
866   }
867   return key;
868 }
869
870
871 /**
872  * Create a new Axolotl ephemeral (ratchet) key.
873  *
874  * @param t Tunnel.
875  */
876 static void
877 new_ephemeral (struct CadetTunnel *t)
878 {
879   GNUNET_free_non_null (t->ax->DHRs);
880   t->ax->DHRs = GNUNET_CRYPTO_ecdhe_key_create();
881 }
882
883
884 /**
885  * Calculate HMAC.
886  *
887  * @param plaintext Content to HMAC.
888  * @param size Size of @c plaintext.
889  * @param iv Initialization vector for the message.
890  * @param key Key to use.
891  * @param hmac[out] Destination to store the HMAC.
892  */
893 static void
894 t_hmac (const void *plaintext, size_t size,
895         uint32_t iv, const struct GNUNET_CRYPTO_SymmetricSessionKey *key,
896         struct GNUNET_CADET_Hash *hmac)
897 {
898   static const char ctx[] = "cadet authentication key";
899   struct GNUNET_CRYPTO_AuthKey auth_key;
900   struct GNUNET_HashCode hash;
901
902 #if DUMP_KEYS_TO_STDERR
903   LOG (GNUNET_ERROR_TYPE_INFO, "  HMAC %u bytes with key %s\n", size,
904        GNUNET_i2s ((struct GNUNET_PeerIdentity *) key));
905 #endif
906   GNUNET_CRYPTO_hmac_derive_key (&auth_key, key,
907                                  &iv, sizeof (iv),
908                                  key, sizeof (*key),
909                                  ctx, sizeof (ctx),
910                                  NULL);
911   /* Two step: CADET_Hash is only 256 bits, HashCode is 512. */
912   GNUNET_CRYPTO_hmac (&auth_key, plaintext, size, &hash);
913   memcpy (hmac, &hash, sizeof (*hmac));
914 }
915
916
917 /**
918  * Encrypt daforce_newest_keyta with the tunnel key.
919  *
920  * @param t Tunnel whose key to use.
921  * @param dst Destination for the encrypted data.
922  * @param src Source of the plaintext. Can overlap with @c dst.
923  * @param size Size of the plaintext.
924  * @param iv Initialization Vector to use.
925  * @param force_newest_key Force the use of the newest key, otherwise
926  *                         CADET will use the old key when allowed.
927  *                         This can happen in the case when a KX is going on
928  *                         and the old one hasn't expired.
929  */
930 static int
931 t_encrypt (struct CadetTunnel *t, void *dst, const void *src,
932            size_t size, uint32_t iv, int force_newest_key)
933 {
934   struct GNUNET_CRYPTO_SymmetricInitializationVector siv;
935   const struct GNUNET_CRYPTO_SymmetricSessionKey *key;
936   size_t out_size;
937
938   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_encrypt start\n");
939
940   key = GNUNET_YES == force_newest_key ? &t->e_key : select_key (t);
941   #if DUMP_KEYS_TO_STDERR
942   LOG (GNUNET_ERROR_TYPE_INFO, "  ENC with key %s\n",
943        GNUNET_i2s ((struct GNUNET_PeerIdentity *) key));
944   #endif
945   GNUNET_CRYPTO_symmetric_derive_iv (&siv, key, &iv, sizeof (iv), NULL);
946   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_encrypt IV derived\n");
947   out_size = GNUNET_CRYPTO_symmetric_encrypt (src, size, key, &siv, dst);
948   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_encrypt end\n");
949
950   return out_size;
951 }
952
953
954 /**
955  * Perform a HMAC.
956  *
957  * @param key Key to use.
958  * @param hash[out] Resulting HMAC.
959  * @param source Source key material (data to HMAC).
960  * @param len Length of @a source.
961  */
962 static void
963 t_ax_hmac_hash (struct GNUNET_CRYPTO_SymmetricSessionKey *key,
964                 struct GNUNET_HashCode *hash,
965                 void *source, unsigned int len)
966 {
967   static const char ctx[] = "axolotl HMAC-HASH";
968   struct GNUNET_CRYPTO_AuthKey auth_key;
969
970   GNUNET_CRYPTO_hmac_derive_key (&auth_key, key,
971                                  ctx, sizeof (ctx),
972                                  NULL);
973   GNUNET_CRYPTO_hmac (&auth_key, source, len, hash);
974 }
975
976
977 /**
978  * Derive a key from a HMAC-HASH.
979  *
980  * @param key Key to use for the HMAC.
981  * @param out Key to generate.
982  * @param source Source key material (data to HMAC).
983  * @param len Length of @a source.
984  */
985 static void
986 t_hmac_derive_key (struct GNUNET_CRYPTO_SymmetricSessionKey *key,
987                    struct GNUNET_CRYPTO_SymmetricSessionKey *out,
988                    void *source, unsigned int len)
989 {
990   static const char ctx[] = "axolotl derive key";
991   struct GNUNET_HashCode h;
992
993   t_ax_hmac_hash (key, &h, source, len);
994   GNUNET_CRYPTO_kdf (out, sizeof (*out), ctx, sizeof (ctx),
995                      &h, sizeof (h), NULL);
996 }
997
998
999 /**
1000  * Encrypt data with the axolotl tunnel key.
1001  *
1002  * @param t Tunnel whose key to use.
1003  * @param dst Destination for the encrypted data.
1004  * @param src Source of the plaintext. Can overlap with @c dst.
1005  * @param size Size of the plaintext.
1006  *
1007  * @return Size of the encrypted data.
1008  */
1009 static int
1010 t_ax_encrypt (struct CadetTunnel *t, void *dst, const void *src, size_t size)
1011 {
1012   struct GNUNET_CRYPTO_SymmetricSessionKey MK;
1013   struct GNUNET_CRYPTO_SymmetricInitializationVector iv;
1014   struct CadetTunnelAxolotl *ax;
1015   size_t out_size;
1016
1017   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_ax_encrypt start\n");
1018
1019   ax = t->ax;
1020
1021   ax->ratchet_counter++;
1022   if (GNUNET_YES == ax->ratchet_allowed
1023       && (ratchet_messages <= ax->ratchet_counter
1024           || 0 == GNUNET_TIME_absolute_get_remaining (ax->ratchet_expiration).rel_value_us))
1025   {
1026     ax->ratchet_flag = GNUNET_YES;
1027   }
1028
1029   if (GNUNET_YES == ax->ratchet_flag)
1030   {
1031     /* Advance ratchet */
1032     struct GNUNET_CRYPTO_SymmetricSessionKey keys[3];
1033     struct GNUNET_HashCode dh;
1034     struct GNUNET_HashCode hmac;
1035     static const char ctx[] = "axolotl ratchet";
1036
1037     new_ephemeral (t);
1038     ax->HKs = ax->NHKs;
1039
1040     /* RK, NHKs, CKs = KDF( HMAC-HASH(RK, DH(DHRs, DHRr)) ) */
1041     GNUNET_CRYPTO_ecc_ecdh (ax->DHRs, &ax->DHRr, &dh);
1042     t_ax_hmac_hash (&ax->RK, &hmac, &dh, sizeof (dh));
1043     GNUNET_CRYPTO_kdf (keys, sizeof (keys), ctx, sizeof (ctx),
1044                        &hmac, sizeof (hmac), NULL);
1045     ax->RK = keys[0];
1046     ax->NHKs = keys[1];
1047     ax->CKs = keys[2];
1048
1049     ax->PNs = ax->Ns;
1050     ax->Ns = 0;
1051     ax->ratchet_flag = GNUNET_NO;
1052     ax->ratchet_allowed = GNUNET_NO;
1053     ax->ratchet_counter = 0;
1054     ax->ratchet_expiration =
1055       GNUNET_TIME_absolute_add (GNUNET_TIME_absolute_get(), ratchet_time);
1056   }
1057
1058   t_hmac_derive_key (&ax->CKs, &MK, "0", 1);
1059   GNUNET_CRYPTO_symmetric_derive_iv (&iv, &MK, NULL, 0, NULL);
1060
1061   #if DUMP_KEYS_TO_STDERR
1062   LOG (GNUNET_ERROR_TYPE_INFO, "  CKs: %s\n",
1063        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &ax->CKs));
1064   LOG (GNUNET_ERROR_TYPE_INFO, "  AX_ENC with key %u: %s\n", ax->Ns,
1065        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &MK));
1066   #endif
1067
1068   out_size = GNUNET_CRYPTO_symmetric_encrypt (src, size, &MK, &iv, dst);
1069
1070   t_hmac_derive_key (&ax->CKs, &ax->CKs, "1", 1);
1071
1072   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_ax_encrypt end\n");
1073
1074   return out_size;
1075 }
1076
1077
1078 /**
1079  * Decrypt data with the axolotl tunnel key.
1080  *
1081  * @param t Tunnel whose key to use.
1082  * @param dst Destination for the decrypted data.
1083  * @param src Source of the ciphertext. Can overlap with @c dst.
1084  * @param size Size of the ciphertext.
1085  *
1086  * @return Size of the decrypted data.
1087  */
1088 static int
1089 t_ax_decrypt (struct CadetTunnel *t, void *dst, const void *src, size_t size)
1090 {
1091   struct GNUNET_CRYPTO_SymmetricSessionKey MK;
1092   struct GNUNET_CRYPTO_SymmetricInitializationVector iv;
1093   struct CadetTunnelAxolotl *ax;
1094   size_t out_size;
1095
1096   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_ax_decrypt start\n");
1097
1098   ax = t->ax;
1099
1100   t_hmac_derive_key (&ax->CKr, &MK, "0", 1);
1101   GNUNET_CRYPTO_symmetric_derive_iv (&iv, &MK, NULL, 0, NULL);
1102
1103   #if DUMP_KEYS_TO_STDERR
1104   LOG (GNUNET_ERROR_TYPE_INFO, "  CKr: %s\n",
1105        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &ax->CKr));
1106   LOG (GNUNET_ERROR_TYPE_INFO, "  AX_DEC with key %u: %s\n", ax->Nr,
1107        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &MK));
1108   #endif
1109
1110   GNUNET_assert (size >= sizeof (struct GNUNET_MessageHeader));
1111   out_size = GNUNET_CRYPTO_symmetric_decrypt (src, size, &MK, &iv, dst);
1112   GNUNET_assert (out_size == size);
1113
1114   t_hmac_derive_key (&ax->CKr, &ax->CKr, "1", 1);
1115
1116   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_ax_decrypt end\n");
1117
1118   return out_size;
1119 }
1120
1121
1122 /**
1123  * Encrypt header with the axolotl header key.
1124  *
1125  * @param t Tunnel whose key to use.
1126  * @param msg Message whose header to encrypt.
1127  */
1128 static void
1129 t_h_encrypt (struct CadetTunnel *t, struct GNUNET_CADET_AX *msg)
1130 {
1131   struct GNUNET_CRYPTO_SymmetricInitializationVector iv;
1132   struct CadetTunnelAxolotl *ax;
1133   size_t out_size;
1134
1135   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_h_encrypt start\n");
1136
1137   ax = t->ax;
1138   GNUNET_CRYPTO_symmetric_derive_iv (&iv, &ax->HKs, NULL, 0, NULL);
1139
1140   #if DUMP_KEYS_TO_STDERR
1141   LOG (GNUNET_ERROR_TYPE_INFO, "  AX_ENC_H with key %s\n",
1142        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &ax->HKs));
1143   #endif
1144
1145   out_size = GNUNET_CRYPTO_symmetric_encrypt (&msg->Ns, AX_HEADER_SIZE,
1146                                               &ax->HKs, &iv, &msg->Ns);
1147
1148   GNUNET_assert (AX_HEADER_SIZE == out_size);
1149
1150   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_ax_encrypt end\n");
1151 }
1152
1153
1154 /**
1155  * Decrypt header with the current axolotl header key.
1156  *
1157  * @param t Tunnel whose current ax HK to use.
1158  * @param src Message whose header to decrypt.
1159  * @param dst Where to decrypt header to.
1160  */
1161 static void
1162 t_h_decrypt (struct CadetTunnel *t, const struct GNUNET_CADET_AX *src,
1163              struct GNUNET_CADET_AX *dst)
1164 {
1165   struct GNUNET_CRYPTO_SymmetricInitializationVector iv;
1166   struct CadetTunnelAxolotl *ax;
1167   size_t out_size;
1168
1169   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_h_decrypt start\n");
1170
1171   ax = t->ax;
1172   GNUNET_CRYPTO_symmetric_derive_iv (&iv, &ax->HKr, NULL, 0, NULL);
1173
1174   #if DUMP_KEYS_TO_STDERR
1175   LOG (GNUNET_ERROR_TYPE_INFO, "  AX_DEC_H with key %s\n",
1176        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &ax->HKr));
1177   #endif
1178
1179   out_size = GNUNET_CRYPTO_symmetric_decrypt (&src->Ns, AX_HEADER_SIZE,
1180                                               &ax->HKr, &iv, &dst->Ns);
1181
1182   GNUNET_assert (AX_HEADER_SIZE == out_size);
1183
1184   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_ax_decrypt end\n");
1185 }
1186
1187
1188 /**
1189  * Decrypt and verify data with the appropriate tunnel key.
1190  *
1191  * @param key Key to use.
1192  * @param dst Destination for the plaintext.
1193  * @param src Source of the encrypted data. Can overlap with @c dst.
1194  * @param size Size of the encrypted data.
1195  * @param iv Initialization Vector to use.
1196  *
1197  * @return Size of the decrypted data, -1 if an error was encountered.
1198  */
1199 static int
1200 decrypt (const struct GNUNET_CRYPTO_SymmetricSessionKey *key,
1201          void *dst, const void *src, size_t size, uint32_t iv)
1202 {
1203   struct GNUNET_CRYPTO_SymmetricInitializationVector siv;
1204   size_t out_size;
1205
1206   LOG (GNUNET_ERROR_TYPE_DEBUG, "  decrypt start\n");
1207   LOG (GNUNET_ERROR_TYPE_DEBUG, "  decrypt iv\n");
1208   GNUNET_CRYPTO_symmetric_derive_iv (&siv, key, &iv, sizeof (iv), NULL);
1209   LOG (GNUNET_ERROR_TYPE_DEBUG, "  decrypt iv done\n");
1210   out_size = GNUNET_CRYPTO_symmetric_decrypt (src, size, key, &siv, dst);
1211   LOG (GNUNET_ERROR_TYPE_DEBUG, "  decrypt end\n");
1212
1213   return out_size;
1214 }
1215
1216
1217 /**
1218  * Decrypt and verify data with the most recent tunnel key.
1219  *
1220  * @param t Tunnel whose key to use.
1221  * @param dst Destination for the plaintext.
1222  * @param src Source of the encrypted data. Can overlap with @c dst.
1223  * @param size Size of the encrypted data.
1224  * @param iv Initialization Vector to use.
1225  *
1226  * @return Size of the decrypted data, -1 if an error was encountered.
1227  */
1228 static int
1229 t_decrypt (struct CadetTunnel *t, void *dst, const void *src,
1230            size_t size, uint32_t iv)
1231 {
1232   size_t out_size;
1233
1234 #if DUMP_KEYS_TO_STDERR
1235   LOG (GNUNET_ERROR_TYPE_DEBUG, "  t_decrypt with %s\n",
1236        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &t->d_key));
1237 #endif
1238   if (CADET_TUNNEL_KEY_UNINITIALIZED == t->estate)
1239   {
1240     GNUNET_STATISTICS_update (stats, "# non decryptable data", 1, GNUNET_NO);
1241     LOG (GNUNET_ERROR_TYPE_WARNING,
1242          "got data on %s without a valid key\n",
1243          GCT_2s (t));
1244     GCT_debug (t, GNUNET_ERROR_TYPE_WARNING);
1245     return -1;
1246   }
1247
1248   out_size = decrypt (&t->d_key, dst, src, size, iv);
1249
1250   return out_size;
1251 }
1252
1253
1254 /**
1255  * Decrypt and verify data with the appropriate tunnel key and verify that the
1256  * data has not been altered since it was sent by the remote peer.
1257  *
1258  * @param t Tunnel whose key to use.
1259  * @param dst Destination for the plaintext.
1260  * @param src Source of the encrypted data. Can overlap with @c dst.
1261  * @param size Size of the encrypted data.
1262  * @param iv Initialization Vector to use.
1263  * @param msg_hmac HMAC of the message, cannot be NULL.
1264  *
1265  * @return Size of the decrypted data, -1 if an error was encountered.
1266  */
1267 static int
1268 t_decrypt_and_validate (struct CadetTunnel *t,
1269                         void *dst, const void *src,
1270                         size_t size, uint32_t iv,
1271                         const struct GNUNET_CADET_Hash *msg_hmac)
1272 {
1273   struct GNUNET_CRYPTO_SymmetricSessionKey *key;
1274   struct GNUNET_CADET_Hash hmac;
1275   int decrypted_size;
1276
1277   /* Try primary (newest) key */
1278   key = &t->d_key;
1279   decrypted_size = decrypt (key, dst, src, size, iv);
1280   t_hmac (src, size, iv, key, &hmac);
1281   if (0 == memcmp (msg_hmac, &hmac, sizeof (hmac)))
1282     return decrypted_size;
1283
1284   /* If no key exchange is going on, we just failed. */
1285   if (NULL == t->kx_ctx)
1286   {
1287     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1288                 "Failed checksum validation on tunnel %s with no KX\n",
1289                 GCT_2s (t));
1290     GNUNET_STATISTICS_update (stats, "# wrong HMAC no KX", 1, GNUNET_NO);
1291     return -1;
1292   }
1293
1294   /* Try secondary key, from previous KX period. */
1295   key = &t->kx_ctx->d_key_old;
1296   decrypted_size = decrypt (key, dst, src, size, iv);
1297   t_hmac (src, size, iv, key, &hmac);
1298   if (0 == memcmp (msg_hmac, &hmac, sizeof (hmac)))
1299     return decrypted_size;
1300
1301   /* Hail Mary, try tertiary, key, in case of parallel re-keys. */
1302   key = &t->kx_ctx->d_key_old2;
1303   decrypted_size = decrypt (key, dst, src, size, iv);
1304   t_hmac (src, size, iv, key, &hmac);
1305   if (0 == memcmp (msg_hmac, &hmac, sizeof (hmac)))
1306     return decrypted_size;
1307
1308   GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1309               "Failed checksum validation on tunnel %s with KX\n",
1310               GCT_2s (t));
1311   GNUNET_STATISTICS_update (stats, "# wrong HMAC with KX", 1, GNUNET_NO);
1312   return -1;
1313 }
1314
1315
1316 /**
1317  * Decrypt and verify data with the appropriate tunnel key and verify that the
1318  * data has not been altered since it was sent by the remote peer.
1319  *
1320  * @param t Tunnel whose key to use.
1321  * @param dst Destination for the plaintext.
1322  * @param src Source of the message. Can overlap with @c dst.
1323  * @param size Size of the message.
1324  *
1325  * @return Size of the decrypted data, -1 if an error was encountered.
1326  */
1327 static int
1328 try_old_ax_keys (struct CadetTunnel *t, struct GNUNET_CADET_AX *dst,
1329                  const struct GNUNET_CADET_AX *src, size_t size)
1330 {
1331   struct CadetTunnelSkippedKey *key;
1332   struct GNUNET_CADET_Hash hmac;
1333   struct GNUNET_CRYPTO_SymmetricInitializationVector iv;
1334   size_t res;
1335   size_t len;
1336
1337
1338   for (key = t->ax->skipped_head; NULL != key; key = key->next)
1339   {
1340     t_hmac (&src->Ns, AX_HEADER_SIZE, 0, &key->HK, &hmac);
1341     if (0 != memcmp (&hmac, &src->hmac, sizeof (hmac)))
1342       break;
1343   }
1344   if (NULL == key)
1345     return -1;
1346
1347   #if DUMP_KEYS_TO_STDERR
1348   LOG (GNUNET_ERROR_TYPE_INFO, "  AX_DEC with skipped key %s\n",
1349        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &key->MK));
1350   #endif
1351
1352   GNUNET_assert (size > sizeof (struct GNUNET_CADET_AX));
1353   len = size - sizeof (struct GNUNET_CADET_AX);
1354   GNUNET_CRYPTO_symmetric_derive_iv (&iv, &key->MK, NULL, 0, NULL);
1355   res = GNUNET_CRYPTO_symmetric_decrypt (&src[1], len, &key->MK, &iv, &dst[1]);
1356
1357   GNUNET_CONTAINER_DLL_remove (t->ax->skipped_head, t->ax->skipped_tail, key);
1358   t->ax->skipped--;
1359   GNUNET_free (key);
1360
1361   return res;
1362 }
1363
1364
1365 /**
1366  * Delete a key from the list of skipped keys.
1367  *
1368  * @param t Tunnel to delete from.
1369  * @param HKr Header Key to use.
1370  */
1371 static void
1372 store_skipped_key (struct CadetTunnel *t,
1373                    const struct GNUNET_CRYPTO_SymmetricSessionKey *HKr)
1374 {
1375   struct CadetTunnelSkippedKey *key;
1376
1377   key = GNUNET_new (struct CadetTunnelSkippedKey);
1378   key->timestamp = GNUNET_TIME_absolute_get ();
1379   t_hmac_derive_key (&t->ax->CKr, &key->MK, "0", 1);
1380   #if DUMP_KEYS_TO_STDERR
1381   LOG (GNUNET_ERROR_TYPE_INFO, "    storing MK for Nr %u: %s\n",
1382        t->ax->Nr, GNUNET_i2s ((struct GNUNET_PeerIdentity *) &key->MK));
1383   LOG (GNUNET_ERROR_TYPE_INFO, "    for CKr: %s\n",
1384        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &t->ax->CKr));
1385   #endif
1386   t_hmac_derive_key (&t->ax->CKr, &t->ax->CKr, "1", 1);
1387   GNUNET_CONTAINER_DLL_insert (t->ax->skipped_head, t->ax->skipped_tail, key);
1388   t->ax->Nr++;
1389   t->ax->skipped++;
1390 }
1391
1392
1393 /**
1394  * Delete a key from the list of skipped keys.
1395  *
1396  * @param t Tunnel to delete from.
1397  * @param key Key to delete.
1398  */
1399 static void
1400 delete_skipped_key (struct CadetTunnel *t, struct CadetTunnelSkippedKey *key)
1401 {
1402   GNUNET_CONTAINER_DLL_remove (t->ax->skipped_head, t->ax->skipped_tail, key);
1403   GNUNET_free (key);
1404   t->ax->skipped--;
1405 }
1406
1407
1408 /**
1409  * Stage skipped AX keys and calculate the message key.
1410  *
1411  * Stores each HK and MK for skipped messages.
1412  *
1413  * @param t Tunnel where to stage the keys.
1414  * @param HKr Header key.
1415  * @param Np Received meesage number.
1416  */
1417 static void
1418 store_ax_keys (struct CadetTunnel *t,
1419                const struct GNUNET_CRYPTO_SymmetricSessionKey *HKr,
1420                uint32_t Np)
1421 {
1422   int gap;
1423
1424   gap = Np - t->ax->Nr;
1425   if (MAX_KEY_GAP < gap || 0 > gap)
1426   {
1427     /* Avoid DoS (forcing peer to do 2*33 chain HMAC operations) */
1428     /* TODO: start new key exchange on return */
1429     GNUNET_break_op (0);
1430     return;
1431   }
1432
1433   while (t->ax->Nr < Np)
1434     store_skipped_key (t, HKr);
1435
1436   while (t->ax->skipped > MAX_SKIPPED_KEYS)
1437     delete_skipped_key (t, t->ax->skipped_tail);
1438 }
1439
1440
1441 /**
1442  * Decrypt and verify data with the appropriate tunnel key and verify that the
1443  * data has not been altered since it was sent by the remote peer.
1444  *
1445  * @param t Tunnel whose key to use.
1446  * @param dst Destination for the plaintext.
1447  * @param src Source of the message. Can overlap with @c dst.
1448  * @param size Size of the message.
1449  *
1450  * @return Size of the decrypted data, -1 if an error was encountered.
1451  */
1452 static int
1453 t_ax_decrypt_and_validate (struct CadetTunnel *t, void *dst,
1454                            const struct GNUNET_CADET_AX *src, size_t size)
1455 {
1456   struct CadetTunnelAxolotl *ax;
1457   struct GNUNET_CADET_Hash msg_hmac;
1458   struct GNUNET_HashCode hmac;
1459   struct GNUNET_CADET_AX *dstmsg;
1460   uint32_t Np;
1461   uint32_t PNp;
1462   size_t esize;
1463   size_t osize;
1464
1465   ax = t->ax;
1466   dstmsg = dst;
1467   esize = size - sizeof (struct GNUNET_CADET_AX);
1468
1469   if (NULL == ax)
1470     return -1;
1471
1472   /* Try current HK */
1473   t_hmac (&src->Ns, AX_HEADER_SIZE + esize, 0, &ax->HKr, &msg_hmac);
1474   if (0 != memcmp (&msg_hmac, &src->hmac, sizeof (msg_hmac)))
1475   {
1476     static const char ctx[] = "axolotl ratchet";
1477     struct GNUNET_CRYPTO_SymmetricSessionKey keys[3]; /* RKp, NHKp, CKp */
1478     struct GNUNET_CRYPTO_SymmetricSessionKey HK;
1479     struct GNUNET_HashCode dh;
1480     struct GNUNET_CRYPTO_EcdhePublicKey *DHRp;
1481
1482     /* Try Next HK */
1483     t_hmac (&src->Ns, AX_HEADER_SIZE + esize, 0, &ax->NHKr, &msg_hmac);
1484     if (0 != memcmp (&msg_hmac, &src->hmac, sizeof (msg_hmac)))
1485     {
1486       /* Try the skipped keys, if that fails, we're out of luck. */
1487       return try_old_ax_keys (t, dst, src, size);
1488     }
1489     LOG (GNUNET_ERROR_TYPE_INFO, "next HK\n");
1490
1491     HK = ax->HKr;
1492     ax->HKr = ax->NHKr;
1493     t_h_decrypt (t, src, dstmsg);
1494     Np = ntohl (dstmsg->Ns);
1495     PNp = ntohl (dstmsg->PNs);
1496     DHRp = &dstmsg->DHRs;
1497     store_ax_keys (t, &HK, PNp);
1498
1499     /* RKp, NHKp, CKp = KDF (HMAC-HASH (RK, DH (DHRp, DHRs))) */
1500     GNUNET_CRYPTO_ecc_ecdh (ax->DHRs, DHRp, &dh);
1501     t_ax_hmac_hash (&ax->RK, &hmac, &dh, sizeof (dh));
1502     GNUNET_CRYPTO_kdf (keys, sizeof (keys), ctx, sizeof (ctx),
1503                        &hmac, sizeof (hmac), NULL);
1504
1505     /* Commit "purported" keys */
1506     ax->RK = keys[0];
1507     ax->NHKr = keys[1];
1508     ax->CKr = keys[2];
1509     ax->DHRr = *DHRp;
1510     ax->Nr = 0;
1511     ax->ratchet_allowed = GNUNET_YES;
1512   }
1513   else
1514   {
1515     LOG (GNUNET_ERROR_TYPE_DEBUG, "current HK\n");
1516     t_h_decrypt (t, src, dstmsg);
1517     Np = ntohl (dstmsg->Ns);
1518     PNp = ntohl (dstmsg->PNs);
1519   }
1520
1521   if (Np > ax->Nr)
1522     store_ax_keys (t, &ax->HKr, Np);
1523
1524   ax->Nr = Np + 1;
1525
1526   osize = t_ax_decrypt (t, dst, &src[1], esize);
1527   if (osize != esize)
1528   {
1529     GNUNET_break_op (0);
1530     return -1;
1531   }
1532
1533   return osize;
1534 }
1535
1536
1537 /**
1538  * Create key material by doing ECDH on the local and remote ephemeral keys.
1539  *
1540  * @param key_material Where to store the key material.
1541  * @param ephemeral Peer's public ephemeral key.
1542  *
1543  * @return GNUNET_OK if it went fine, GNUNET_SYSERR otherwise.
1544  */
1545 static int
1546 derive_otr_key_material (struct GNUNET_HashCode *key_material,
1547                          const struct GNUNET_CRYPTO_EcdhePublicKey *ephemeral)
1548 {
1549   if (GNUNET_OK !=
1550       GNUNET_CRYPTO_ecc_ecdh (otr_ephemeral_key, ephemeral, key_material))
1551   {
1552     GNUNET_break (0);
1553     return GNUNET_SYSERR;
1554   }
1555   return GNUNET_OK;
1556 }
1557
1558
1559 /**
1560  * Create a symmetic key from the identities of both ends and the key material
1561  * from ECDH.
1562  *
1563  * @param key Destination for the generated key.
1564  * @param sender ID of the peer that will encrypt with @c key.
1565  * @param receiver ID of the peer that will decrypt with @c key.
1566  * @param key_material Hash created with ECDH with the ephemeral keys.
1567  */
1568 void
1569 derive_symmertic (struct GNUNET_CRYPTO_SymmetricSessionKey *key,
1570                   const struct GNUNET_PeerIdentity *sender,
1571                   const struct GNUNET_PeerIdentity *receiver,
1572                   const struct GNUNET_HashCode *key_material)
1573 {
1574   const char salt[] = "CADET kx salt";
1575
1576   GNUNET_CRYPTO_kdf (key, sizeof (struct GNUNET_CRYPTO_SymmetricSessionKey),
1577                      salt, sizeof (salt),
1578                      key_material, sizeof (struct GNUNET_HashCode),
1579                      sender, sizeof (struct GNUNET_PeerIdentity),
1580                      receiver, sizeof (struct GNUNET_PeerIdentity),
1581                      NULL);
1582 }
1583
1584
1585 /**
1586  * Derive the tunnel's keys using our own and the peer's ephemeral keys.
1587  *
1588  * @param t Tunnel for which to create the keys.
1589  *
1590  * @return GNUNET_OK if successful, GNUNET_SYSERR otherwise.
1591  */
1592 static int
1593 create_otr_keys (struct CadetTunnel *t)
1594 {
1595   struct GNUNET_HashCode km;
1596
1597   if (GNUNET_OK != derive_otr_key_material (&km, &t->peers_ephemeral_key))
1598     return GNUNET_SYSERR;
1599   derive_symmertic (&t->e_key, &my_full_id, GCP_get_id (t->peer), &km);
1600   derive_symmertic (&t->d_key, GCP_get_id (t->peer), &my_full_id, &km);
1601   #if DUMP_KEYS_TO_STDERR
1602   LOG (GNUNET_ERROR_TYPE_INFO, "ME: %s\n",
1603        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &otr_kx_msg.ephemeral_key));
1604   LOG (GNUNET_ERROR_TYPE_INFO, "PE: %s\n",
1605        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &t->peers_ephemeral_key));
1606   LOG (GNUNET_ERROR_TYPE_INFO, "KM: %s\n", GNUNET_h2s (&km));
1607   LOG (GNUNET_ERROR_TYPE_INFO, "EK: %s\n",
1608        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &t->e_key));
1609   LOG (GNUNET_ERROR_TYPE_INFO, "DK: %s\n",
1610        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &t->d_key));
1611   #endif
1612   return GNUNET_OK;
1613 }
1614
1615
1616 /**
1617  * Create a new Key eXchange context for the tunnel.
1618  *
1619  * If the old keys were verified, keep them for old traffic. Create a new KX
1620  * timestamp and a new nonce.
1621  *
1622  * @param t Tunnel for which to create the KX ctx.
1623  *
1624  * @return GNUNET_OK if successful, GNUNET_SYSERR otherwise.
1625  */
1626 static int
1627 create_kx_ctx (struct CadetTunnel *t)
1628 {
1629   LOG (GNUNET_ERROR_TYPE_INFO, "  new kx ctx for %s\n", GCT_2s (t));
1630
1631   if (NULL != t->kx_ctx)
1632   {
1633     if (NULL != t->kx_ctx->finish_task)
1634     {
1635       LOG (GNUNET_ERROR_TYPE_INFO, "  resetting exisiting finish task\n");
1636       GNUNET_SCHEDULER_cancel (t->kx_ctx->finish_task);
1637       t->kx_ctx->finish_task = NULL;
1638     }
1639   }
1640   else
1641   {
1642     t->kx_ctx = GNUNET_new (struct CadetTunnelKXCtx);
1643     t->kx_ctx->challenge = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE,
1644                                                      UINT32_MAX);
1645   }
1646
1647   if (CADET_TUNNEL_KEY_OK == t->estate)
1648   {
1649     LOG (GNUNET_ERROR_TYPE_INFO, "  backing up keys\n");
1650     t->kx_ctx->d_key_old = t->d_key;
1651     t->kx_ctx->e_key_old = t->e_key;
1652   }
1653   else
1654     LOG (GNUNET_ERROR_TYPE_INFO, "  old keys not valid, not saving\n");
1655   t->kx_ctx->rekey_start_time = GNUNET_TIME_absolute_get ();
1656   return create_otr_keys (t);
1657 }
1658
1659
1660 /**
1661  * @brief Finish the Key eXchange and destroy the old keys.
1662  *
1663  * @param cls Closure (Tunnel for which to finish the KX).
1664  * @param tc Task context.
1665  */
1666 static void
1667 finish_kx (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1668 {
1669   struct CadetTunnel *t = cls;
1670
1671   LOG (GNUNET_ERROR_TYPE_INFO, "finish KX for %s\n", GCT_2s (t));
1672
1673   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
1674   {
1675     LOG (GNUNET_ERROR_TYPE_INFO, "  shutdown\n");
1676     return;
1677   }
1678
1679   GNUNET_free (t->kx_ctx);
1680   t->kx_ctx = NULL;
1681 }
1682
1683
1684 /**
1685  * Destroy a Key eXchange context for the tunnel. This function only schedules
1686  * the destruction, the freeing of the memory (and clearing of old key material)
1687  * happens after a delay!
1688  *
1689  * @param t Tunnel whose KX ctx to destroy.
1690  */
1691 static void
1692 destroy_kx_ctx (struct CadetTunnel *t)
1693 {
1694   struct GNUNET_TIME_Relative delay;
1695
1696   if (NULL == t->kx_ctx || NULL != t->kx_ctx->finish_task)
1697     return;
1698
1699   if (is_key_null (&t->kx_ctx->e_key_old))
1700   {
1701     t->kx_ctx->finish_task = GNUNET_SCHEDULER_add_now (finish_kx, t);
1702     return;
1703   }
1704
1705   delay = GNUNET_TIME_relative_divide (rekey_period, 4);
1706   delay = GNUNET_TIME_relative_min (delay, GNUNET_TIME_UNIT_MINUTES);
1707
1708   t->kx_ctx->finish_task = GNUNET_SCHEDULER_add_delayed (delay, finish_kx, t);
1709 }
1710
1711
1712
1713 /**
1714  * Pick a connection on which send the next data message.
1715  *
1716  * @param t Tunnel on which to send the message.
1717  *
1718  * @return The connection on which to send the next message.
1719  */
1720 static struct CadetConnection *
1721 tunnel_get_connection (struct CadetTunnel *t)
1722 {
1723   struct CadetTConnection *iter;
1724   struct CadetConnection *best;
1725   unsigned int qn;
1726   unsigned int lowest_q;
1727
1728   LOG (GNUNET_ERROR_TYPE_DEBUG, "tunnel_get_connection %s\n", GCT_2s (t));
1729   best = NULL;
1730   lowest_q = UINT_MAX;
1731   for (iter = t->connection_head; NULL != iter; iter = iter->next)
1732   {
1733     LOG (GNUNET_ERROR_TYPE_DEBUG, "  connection %s: %u\n",
1734          GCC_2s (iter->c), GCC_get_state (iter->c));
1735     if (CADET_CONNECTION_READY == GCC_get_state (iter->c))
1736     {
1737       qn = GCC_get_qn (iter->c, GCC_is_origin (iter->c, GNUNET_YES));
1738       LOG (GNUNET_ERROR_TYPE_DEBUG, "    q_n %u, \n", qn);
1739       if (qn < lowest_q)
1740       {
1741         best = iter->c;
1742         lowest_q = qn;
1743       }
1744     }
1745   }
1746   LOG (GNUNET_ERROR_TYPE_DEBUG, " selected: connection %s\n", GCC_2s (best));
1747   return best;
1748 }
1749
1750
1751 /**
1752  * Callback called when a queued message is sent.
1753  *
1754  * Calculates the average time and connection packet tracking.
1755  *
1756  * @param cls Closure (TunnelQueue handle).
1757  * @param c Connection this message was on.
1758  * @param q Connection queue handle (unused).
1759  * @param type Type of message sent.
1760  * @param fwd Was this a FWD going message?
1761  * @param size Size of the message.
1762  */
1763 static void
1764 tun_message_sent (void *cls,
1765               struct CadetConnection *c,
1766               struct CadetConnectionQueue *q,
1767               uint16_t type, int fwd, size_t size)
1768 {
1769   struct CadetTunnelQueue *qt = cls;
1770   struct CadetTunnel *t;
1771
1772   LOG (GNUNET_ERROR_TYPE_DEBUG, "tun_message_sent\n");
1773
1774   GNUNET_assert (NULL != qt->cont);
1775   t = NULL == c ? NULL : GCC_get_tunnel (c);
1776   qt->cont (qt->cont_cls, t, qt, type, size);
1777   GNUNET_free (qt);
1778 }
1779
1780
1781 static unsigned int
1782 count_queued_data (const struct CadetTunnel *t)
1783 {
1784   struct CadetTunnelDelayed *iter;
1785   unsigned int count;
1786
1787   for (count = 0, iter = t->tq_head; iter != NULL; iter = iter->next)
1788     count++;
1789
1790   return count;
1791 }
1792
1793 /**
1794  * Delete a queued message: either was sent or the channel was destroyed
1795  * before the tunnel's key exchange had a chance to finish.
1796  *
1797  * @param tqd Delayed queue handle.
1798  */
1799 static void
1800 unqueue_data (struct CadetTunnelDelayed *tqd)
1801 {
1802   GNUNET_CONTAINER_DLL_remove (tqd->t->tq_head, tqd->t->tq_tail, tqd);
1803   GNUNET_free (tqd);
1804 }
1805
1806
1807 /**
1808  * Cache a message to be sent once tunnel is online.
1809  *
1810  * @param t Tunnel to hold the message.
1811  * @param msg Message itself (copy will be made).
1812  */
1813 static struct CadetTunnelDelayed *
1814 queue_data (struct CadetTunnel *t, const struct GNUNET_MessageHeader *msg)
1815 {
1816   struct CadetTunnelDelayed *tqd;
1817   uint16_t size = ntohs (msg->size);
1818
1819   LOG (GNUNET_ERROR_TYPE_DEBUG, "queue data on Tunnel %s\n", GCT_2s (t));
1820
1821   GNUNET_assert (GNUNET_NO == is_ready (t));
1822
1823   tqd = GNUNET_malloc (sizeof (struct CadetTunnelDelayed) + size);
1824
1825   tqd->t = t;
1826   memcpy (&tqd[1], msg, size);
1827   GNUNET_CONTAINER_DLL_insert_tail (t->tq_head, t->tq_tail, tqd);
1828   return tqd;
1829 }
1830
1831
1832 /**
1833  * Sends an already built message on a tunnel, encrypting it and
1834  * choosing the best connection.
1835  *
1836  * @param message Message to send. Function modifies it.
1837  * @param t Tunnel on which this message is transmitted.
1838  * @param c Connection to use (autoselect if NULL).
1839  * @param force Force the tunnel to take the message (buffer overfill).
1840  * @param cont Continuation to call once message is really sent.
1841  * @param cont_cls Closure for @c cont.
1842  * @param existing_q In case this a transmission of previously queued data,
1843  *                   this should be TunnelQueue given to the client.
1844  *                   Otherwise, NULL.
1845  *
1846  * @return Handle to cancel message.
1847  *         NULL if @c cont is NULL or an error happens and message is dropped.
1848  */
1849 static struct CadetTunnelQueue *
1850 send_prebuilt_message (const struct GNUNET_MessageHeader *message,
1851                        struct CadetTunnel *t, struct CadetConnection *c,
1852                        int force, GCT_sent cont, void *cont_cls,
1853                        struct CadetTunnelQueue *existing_q)
1854 {
1855   struct GNUNET_MessageHeader *msg;
1856   struct GNUNET_CADET_Encrypted *otr_msg;
1857   struct GNUNET_CADET_AX *ax_msg;
1858   struct CadetTunnelQueue *tq;
1859   size_t size = ntohs (message->size);
1860   const uint16_t max_overhead = sizeof (struct GNUNET_CADET_Encrypted)
1861                                 + sizeof (struct GNUNET_CADET_AX);
1862   char cbuf[max_overhead + size];
1863   size_t esize;
1864   uint32_t mid;
1865   uint32_t iv;
1866   uint16_t type;
1867   int fwd;
1868
1869   LOG (GNUNET_ERROR_TYPE_DEBUG, "GMT Send on Tunnel %s\n", GCT_2s (t));
1870
1871   if (GNUNET_NO == is_ready (t))
1872   {
1873     struct CadetTunnelDelayed *tqd;
1874     /* A non null existing_q indicates sending of queued data.
1875      * Should only happen after tunnel becomes ready.
1876      */
1877     GNUNET_assert (NULL == existing_q);
1878     tqd = queue_data (t, message);
1879     if (NULL == cont)
1880       return NULL;
1881     tq = GNUNET_new (struct CadetTunnelQueue);
1882     tq->tqd = tqd;
1883     tqd->tq = tq;
1884     tq->cont = cont;
1885     tq->cont_cls = cont_cls;
1886     return tq;
1887   }
1888
1889   GNUNET_assert (GNUNET_NO == GCT_is_loopback (t));
1890
1891   if (CADET_Axolotl == t->enc_type)
1892   {
1893     ax_msg = (struct GNUNET_CADET_AX *) cbuf;
1894     msg = &ax_msg->header;
1895     msg->size = htons (sizeof (struct GNUNET_CADET_AX) + size);
1896     msg->type = htons (GNUNET_MESSAGE_TYPE_CADET_AX);
1897     ax_msg->reserved = 0;
1898     esize = t_ax_encrypt (t, &ax_msg[1], message, size);
1899     ax_msg->Ns = htonl (t->ax->Ns++);
1900     ax_msg->PNs = htonl (t->ax->PNs);
1901     GNUNET_CRYPTO_ecdhe_key_get_public (t->ax->DHRs, &ax_msg->DHRs);
1902     t_h_encrypt (t, ax_msg);
1903     t_hmac (&ax_msg->Ns, AX_HEADER_SIZE + esize, 0, &t->ax->HKs, &ax_msg->hmac);
1904   }
1905   else
1906   {
1907     otr_msg = (struct GNUNET_CADET_Encrypted *) cbuf;
1908     msg = &otr_msg->header;
1909     iv = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE, UINT32_MAX);
1910     otr_msg->iv = iv;
1911     esize = t_encrypt (t, &otr_msg[1], message, size, iv, GNUNET_NO);
1912     t_hmac (&otr_msg[1], size, iv, select_key (t), &otr_msg->hmac);
1913     msg->size = htons (sizeof (struct GNUNET_CADET_Encrypted) + size);
1914     msg->type = htons (GNUNET_MESSAGE_TYPE_CADET_ENCRYPTED);
1915     otr_msg->ttl = htonl (default_ttl);
1916   }
1917   GNUNET_assert (esize == size);
1918
1919   if (NULL == c)
1920     c = tunnel_get_connection (t);
1921   if (NULL == c)
1922   {
1923     /* Why is tunnel 'ready'? Should have been queued! */
1924     if (NULL != t->destroy_task)
1925     {
1926       GNUNET_break (0);
1927       GCT_debug (t, GNUNET_ERROR_TYPE_WARNING);
1928     }
1929     return NULL; /* Drop... */
1930   }
1931
1932   mid = 0;
1933   type = ntohs (message->type);
1934   switch (type)
1935   {
1936     case GNUNET_MESSAGE_TYPE_CADET_DATA:
1937     case GNUNET_MESSAGE_TYPE_CADET_DATA_ACK:
1938       if (GNUNET_MESSAGE_TYPE_CADET_DATA == type)
1939         mid = ntohl (((struct GNUNET_CADET_Data *) message)->mid);
1940       else
1941         mid = ntohl (((struct GNUNET_CADET_DataACK *) message)->mid);
1942       /* Fall thru */
1943     case GNUNET_MESSAGE_TYPE_CADET_KEEPALIVE:
1944     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_CREATE:
1945     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_DESTROY:
1946     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_ACK:
1947     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_NACK:
1948       break;
1949     default:
1950       GNUNET_break (0);
1951       LOG (GNUNET_ERROR_TYPE_ERROR, "type %s not valid\n", GC_m2s (type));
1952   }
1953   LOG (GNUNET_ERROR_TYPE_DEBUG, "type %s\n", GC_m2s (type));
1954
1955   fwd = GCC_is_origin (c, GNUNET_YES);
1956
1957   if (NULL == cont)
1958   {
1959     GNUNET_break (NULL == GCC_send_prebuilt_message (msg, type,
1960                                                      mid, c, fwd, force, NULL, NULL));
1961     return NULL;
1962   }
1963   if (NULL == existing_q)
1964   {
1965     tq = GNUNET_new (struct CadetTunnelQueue); /* FIXME valgrind: leak*/
1966   }
1967   else
1968   {
1969     tq = existing_q;
1970     tq->tqd = NULL;
1971   }
1972   tq->cq = GCC_send_prebuilt_message (msg, type, mid, c, fwd, force,
1973                                       &tun_message_sent, tq);
1974   GNUNET_assert (NULL != tq->cq);
1975   tq->cont = cont;
1976   tq->cont_cls = cont_cls;
1977
1978   return tq;
1979 }
1980
1981
1982 /**
1983  * Send all cached messages that we can, tunnel is online.
1984  *
1985  * @param t Tunnel that holds the messages. Cannot be loopback.
1986  */
1987 static void
1988 send_queued_data (struct CadetTunnel *t)
1989 {
1990   struct CadetTunnelDelayed *tqd;
1991   struct CadetTunnelDelayed *next;
1992   unsigned int room;
1993
1994   LOG (GNUNET_ERROR_TYPE_INFO, "Send queued data, tunnel %s\n", GCT_2s (t));
1995
1996   if (GCT_is_loopback (t))
1997   {
1998     GNUNET_break (0);
1999     return;
2000   }
2001
2002   if (GNUNET_NO == is_ready (t))
2003   {
2004     LOG (GNUNET_ERROR_TYPE_WARNING, "  not ready yet: %s/%s\n",
2005          estate2s (t->estate), cstate2s (t->cstate));
2006     return;
2007   }
2008
2009   room = GCT_get_connections_buffer (t);
2010   LOG (GNUNET_ERROR_TYPE_DEBUG, "  buffer space: %u\n", room);
2011   LOG (GNUNET_ERROR_TYPE_DEBUG, "  tq head: %p\n", t->tq_head);
2012   for (tqd = t->tq_head; NULL != tqd && room > 0; tqd = next)
2013   {
2014     LOG (GNUNET_ERROR_TYPE_DEBUG, " sending queued data\n");
2015     next = tqd->next;
2016     room--;
2017     send_prebuilt_message ((struct GNUNET_MessageHeader *) &tqd[1],
2018                            tqd->t, NULL, GNUNET_YES,
2019                            NULL != tqd->tq ? tqd->tq->cont : NULL,
2020                            NULL != tqd->tq ? tqd->tq->cont_cls : NULL,
2021                            tqd->tq);
2022     unqueue_data (tqd);
2023   }
2024   LOG (GNUNET_ERROR_TYPE_DEBUG, "GCT_send_queued_data end\n", GCP_2s (t->peer));
2025 }
2026
2027
2028 /**
2029  * @brief Resend the AX KX until we complete the handshake.
2030  *
2031  * @param cls Closure (tunnel).
2032  * @param tc Task context.
2033  */
2034 static void
2035 ax_kx_resend (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
2036 {
2037   struct CadetTunnel *t = cls;
2038
2039   t->rekey_task = NULL;
2040
2041   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
2042     return;
2043
2044   if (CADET_TUNNEL_KEY_OK == t->estate)
2045   {
2046     /* Should have been canceled on estate change */
2047     GNUNET_break (0);
2048     return;
2049   }
2050
2051   GCT_send_ax_kx (t, GNUNET_YES);
2052 }
2053
2054
2055 /**
2056  * Callback called when a queued message is sent.
2057  *
2058  * @param cls Closure.
2059  * @param c Connection this message was on.
2060  * @param type Type of message sent.
2061  * @param fwd Was this a FWD going message?
2062  * @param size Size of the message.
2063  */
2064 static void
2065 ephm_sent (void *cls,
2066            struct CadetConnection *c,
2067            struct CadetConnectionQueue *q,
2068            uint16_t type, int fwd, size_t size)
2069 {
2070   struct CadetTunnel *t = cls;
2071   LOG (GNUNET_ERROR_TYPE_DEBUG, "ephemeral sent %s\n", GC_m2s (type));
2072
2073   t->ephm_h = NULL;
2074
2075   if (CADET_TUNNEL_KEY_OK == t->estate)
2076     return;
2077
2078   if (CADET_Axolotl == t->enc_type)
2079   {
2080     if (NULL != t->rekey_task)
2081     {
2082       GNUNET_break (0);
2083       GCT_debug (t, GNUNET_ERROR_TYPE_WARNING);
2084       GNUNET_SCHEDULER_cancel (t->rekey_task);
2085     }
2086     t->rekey_task = GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS,
2087                                                   &ax_kx_resend, t);
2088   }
2089 }
2090
2091
2092 /**
2093  * Callback called when a queued message is sent.
2094  *
2095  * @param cls Closure.
2096  * @param c Connection this message was on.
2097  * @param type Type of message sent.
2098  * @param fwd Was this a FWD going message?
2099  * @param size Size of the message.
2100  */
2101 static void
2102 pong_sent (void *cls,
2103            struct CadetConnection *c,
2104            struct CadetConnectionQueue *q,
2105            uint16_t type, int fwd, size_t size)
2106 {
2107   struct CadetTunnel *t = cls;
2108   LOG (GNUNET_ERROR_TYPE_DEBUG, "pong_sent %s\n", GC_m2s (type));
2109
2110   t->pong_h = NULL;
2111 }
2112
2113
2114 /**
2115  * Sends key exchange message on a tunnel, choosing the best connection.
2116  * Should not be called on loopback tunnels.
2117  *
2118  * @param t Tunnel on which this message is transmitted.
2119  * @param message Message to send. Function modifies it.
2120  *
2121  * @return Handle to the message in the connection queue.
2122  */
2123 static struct CadetConnectionQueue *
2124 send_kx (struct CadetTunnel *t,
2125          const struct GNUNET_MessageHeader *message)
2126 {
2127   struct CadetConnection *c;
2128   struct GNUNET_CADET_KX *msg;
2129   size_t size = ntohs (message->size);
2130   char cbuf[sizeof (struct GNUNET_CADET_KX) + size];
2131   uint16_t type;
2132   int fwd;
2133   GCC_sent cont;
2134
2135   LOG (GNUNET_ERROR_TYPE_DEBUG, "GMT KX on Tunnel %s\n", GCT_2s (t));
2136
2137   /* Avoid loopback. */
2138   if (GCT_is_loopback (t))
2139   {
2140     GNUNET_break (0);
2141     return NULL;
2142   }
2143   type = ntohs (message->type);
2144
2145   /* Even if tunnel is "being destroyed", send anyway.
2146    * Could be a response to a rekey initiated by remote peer,
2147    * who is trying to create a new channel!
2148    */
2149
2150   /* Must have a connection, or be looking for one. */
2151   if (NULL == t->connection_head)
2152   {
2153     LOG (GNUNET_ERROR_TYPE_DEBUG, "%s with no connection\n", GC_m2s (type));
2154     if (CADET_TUNNEL_SEARCHING != t->cstate)
2155     {
2156       GNUNET_break (0);
2157       GCT_debug (t, GNUNET_ERROR_TYPE_ERROR);
2158       GCP_debug (t->peer, GNUNET_ERROR_TYPE_ERROR);
2159     }
2160     return NULL;
2161   }
2162
2163   msg = (struct GNUNET_CADET_KX *) cbuf;
2164   msg->header.type = htons (GNUNET_MESSAGE_TYPE_CADET_KX);
2165   msg->header.size = htons (sizeof (struct GNUNET_CADET_KX) + size);
2166   c = tunnel_get_connection (t);
2167   if (NULL == c)
2168   {
2169     if (NULL == t->destroy_task && CADET_TUNNEL_READY == t->cstate)
2170     {
2171       GNUNET_break (0);
2172       GCT_debug (t, GNUNET_ERROR_TYPE_ERROR);
2173     }
2174     return NULL;
2175   }
2176   switch (type)
2177   {
2178     case GNUNET_MESSAGE_TYPE_CADET_KX_EPHEMERAL:
2179     case GNUNET_MESSAGE_TYPE_CADET_AX_KX:
2180       GNUNET_assert (NULL == t->ephm_h);
2181       cont = &ephm_sent;
2182       break;
2183     case GNUNET_MESSAGE_TYPE_CADET_KX_PONG:
2184       GNUNET_assert (NULL == t->pong_h);
2185       cont = &pong_sent;
2186       break;
2187
2188     default:
2189       LOG (GNUNET_ERROR_TYPE_DEBUG, "unkown type %s\n", GC_m2s (type));
2190       GNUNET_assert (0);
2191   }
2192   memcpy (&msg[1], message, size);
2193
2194   fwd = GCC_is_origin (c, GNUNET_YES);
2195
2196   return GCC_send_prebuilt_message (&msg->header, type, 0, c,
2197                                     fwd, GNUNET_YES,
2198                                     cont, t);
2199 }
2200
2201
2202 /**
2203  * Send the ephemeral key on a tunnel.
2204  *
2205  * @param t Tunnel on which to send the key.
2206  */
2207 static void
2208 send_ephemeral (struct CadetTunnel *t)
2209 {
2210   LOG (GNUNET_ERROR_TYPE_INFO, "===> EPHM for %s\n", GCT_2s (t));
2211   if (NULL != t->ephm_h)
2212   {
2213     LOG (GNUNET_ERROR_TYPE_INFO, "     already queued\n");
2214     return;
2215   }
2216
2217   otr_kx_msg.sender_status = htonl (t->estate);
2218   otr_kx_msg.iv = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE, UINT32_MAX);
2219   otr_kx_msg.nonce = t->kx_ctx->challenge;
2220   LOG (GNUNET_ERROR_TYPE_DEBUG, "  send nonce c %u\n", otr_kx_msg.nonce);
2221   t_encrypt (t, &otr_kx_msg.nonce, &otr_kx_msg.nonce,
2222              ping_encryption_size(), otr_kx_msg.iv, GNUNET_YES);
2223   LOG (GNUNET_ERROR_TYPE_DEBUG, "  send nonce e %u\n", otr_kx_msg.nonce);
2224   t->ephm_h = send_kx (t, &otr_kx_msg.header);
2225 }
2226
2227
2228 /**
2229  * Send a pong message on a tunnel.
2230  *d_
2231  * @param t Tunnel on which to send the pong.
2232  * @param challenge Value sent in the ping that we have to send back.
2233  */
2234 static void
2235 send_pong (struct CadetTunnel *t, uint32_t challenge)
2236 {
2237   struct GNUNET_CADET_KX_Pong msg;
2238
2239   LOG (GNUNET_ERROR_TYPE_INFO, "===> PONG for %s\n", GCT_2s (t));
2240   if (NULL != t->pong_h)
2241   {
2242     LOG (GNUNET_ERROR_TYPE_INFO, "     already queued\n");
2243     return;
2244   }
2245   msg.header.size = htons (sizeof (msg));
2246   msg.header.type = htons (GNUNET_MESSAGE_TYPE_CADET_KX_PONG);
2247   msg.iv = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE, UINT32_MAX);
2248   msg.nonce = challenge;
2249   LOG (GNUNET_ERROR_TYPE_DEBUG, "  sending %u\n", msg.nonce);
2250   t_encrypt (t, &msg.nonce, &msg.nonce,
2251              sizeof (msg.nonce), msg.iv, GNUNET_YES);
2252   LOG (GNUNET_ERROR_TYPE_DEBUG, "  e sending %u\n", msg.nonce);
2253
2254   t->pong_h = send_kx (t, &msg.header);
2255 }
2256
2257
2258 /**
2259  * Initiate a rekey with the remote peer.
2260  *
2261  * @param cls Closure (tunnel).
2262  * @param tc TaskContext.
2263  */
2264 static void
2265 rekey_tunnel (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
2266 {
2267   struct CadetTunnel *t = cls;
2268
2269   t->rekey_task = NULL;
2270
2271   LOG (GNUNET_ERROR_TYPE_INFO, "Re-key Tunnel %s\n", GCT_2s (t));
2272   if (NULL != tc && 0 != (GNUNET_SCHEDULER_REASON_SHUTDOWN & tc->reason))
2273     return;
2274
2275   GNUNET_assert (NULL != t->kx_ctx);
2276   struct GNUNET_TIME_Relative duration;
2277
2278   duration = GNUNET_TIME_absolute_get_duration (t->kx_ctx->rekey_start_time);
2279   LOG (GNUNET_ERROR_TYPE_DEBUG, " kx started %s ago\n",
2280         GNUNET_STRINGS_relative_time_to_string (duration, GNUNET_YES));
2281
2282   // FIXME make duration of old keys configurable
2283   if (duration.rel_value_us >= GNUNET_TIME_UNIT_MINUTES.rel_value_us)
2284   {
2285     LOG (GNUNET_ERROR_TYPE_DEBUG, " deleting old keys\n");
2286     memset (&t->kx_ctx->d_key_old, 0, sizeof (t->kx_ctx->d_key_old));
2287     memset (&t->kx_ctx->e_key_old, 0, sizeof (t->kx_ctx->e_key_old));
2288   }
2289
2290   send_ephemeral (t);
2291
2292   switch (t->estate)
2293   {
2294     case CADET_TUNNEL_KEY_UNINITIALIZED:
2295       GCT_change_estate (t, CADET_TUNNEL_KEY_SENT);
2296       break;
2297
2298     case CADET_TUNNEL_KEY_SENT:
2299       break;
2300
2301     case CADET_TUNNEL_KEY_OK:
2302       /* Inconsistent!
2303        * - state should have changed during rekey_iterator
2304        * - task should have been canceled at pong_handle
2305        */
2306       GNUNET_break (0);
2307       GCT_change_estate (t, CADET_TUNNEL_KEY_REKEY);
2308       break;
2309
2310     case CADET_TUNNEL_KEY_PING:
2311     case CADET_TUNNEL_KEY_REKEY:
2312       break;
2313
2314     default:
2315       LOG (GNUNET_ERROR_TYPE_DEBUG, "Unexpected state %u\n", t->estate);
2316   }
2317
2318   // FIXME exponential backoff
2319   struct GNUNET_TIME_Relative delay;
2320
2321   delay = GNUNET_TIME_relative_divide (rekey_period, 16);
2322   delay = GNUNET_TIME_relative_min (delay, REKEY_WAIT);
2323   LOG (GNUNET_ERROR_TYPE_DEBUG, "  next call in %s\n",
2324        GNUNET_STRINGS_relative_time_to_string (delay, GNUNET_YES));
2325   t->rekey_task = GNUNET_SCHEDULER_add_delayed (delay, &rekey_tunnel, t);
2326 }
2327
2328
2329 /**
2330  * Our ephemeral key has changed, create new session key on all tunnels.
2331  *
2332  * Each tunnel will start the Key Exchange with a random delay between
2333  * 0 and number_of_tunnels*100 milliseconds, so there are 10 key exchanges
2334  * per second, on average.
2335  *
2336  * @param cls Closure (size of the hashmap).
2337  * @param key Current public key.
2338  * @param value Value in the hash map (tunnel).
2339  *
2340  * @return #GNUNET_YES, so we should continue to iterate,
2341  */
2342 static int
2343 rekey_iterator (void *cls,
2344                 const struct GNUNET_PeerIdentity *key,
2345                 void *value)
2346 {
2347   struct CadetTunnel *t = value;
2348   struct GNUNET_TIME_Relative delay;
2349   long n = (long) cls;
2350   uint32_t r;
2351
2352   if (NULL != t->rekey_task)
2353     return GNUNET_YES;
2354
2355   if (GNUNET_YES == GCT_is_loopback (t))
2356     return GNUNET_YES;
2357
2358   if (CADET_OTR != t->enc_type)
2359     return GNUNET_YES;
2360
2361   r = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, (uint32_t) n * 100);
2362   delay = GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MILLISECONDS, r);
2363   t->rekey_task = GNUNET_SCHEDULER_add_delayed (delay, &rekey_tunnel, t);
2364   if (GNUNET_OK == create_kx_ctx (t))
2365     GCT_change_estate (t, CADET_TUNNEL_KEY_REKEY);
2366   else
2367   {
2368     GNUNET_break (0);
2369     // FIXME restart kx
2370   }
2371
2372   return GNUNET_YES;
2373 }
2374
2375
2376 /**
2377  * Create a new ephemeral key and key message, schedule next rekeying.
2378  *
2379  * @param cls Closure (unused).
2380  * @param tc TaskContext.
2381  */
2382 static void
2383 global_otr_rekey (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
2384 {
2385   struct GNUNET_TIME_Absolute time;
2386   long n;
2387
2388   rekey_task = NULL;
2389
2390   if (0 != (GNUNET_SCHEDULER_REASON_SHUTDOWN & tc->reason))
2391     return;
2392
2393   GNUNET_free_non_null (otr_ephemeral_key);
2394   otr_ephemeral_key = GNUNET_CRYPTO_ecdhe_key_create ();
2395
2396   time = GNUNET_TIME_absolute_get ();
2397   otr_kx_msg.creation_time = GNUNET_TIME_absolute_hton (time);
2398   time = GNUNET_TIME_absolute_add (time, rekey_period);
2399   time = GNUNET_TIME_absolute_add (time, GNUNET_TIME_UNIT_MINUTES);
2400   otr_kx_msg.expiration_time = GNUNET_TIME_absolute_hton (time);
2401   GNUNET_CRYPTO_ecdhe_key_get_public (otr_ephemeral_key, &otr_kx_msg.ephemeral_key);
2402   LOG (GNUNET_ERROR_TYPE_INFO, "GLOBAL OTR RE-KEY, NEW EPHM: %s\n",
2403        GNUNET_i2s ((struct GNUNET_PeerIdentity *) &otr_kx_msg.ephemeral_key));
2404
2405   GNUNET_assert (GNUNET_OK ==
2406                  GNUNET_CRYPTO_eddsa_sign (id_key,
2407                                            &otr_kx_msg.purpose,
2408                                            &otr_kx_msg.signature));
2409
2410   n = (long) GNUNET_CONTAINER_multipeermap_size (tunnels);
2411   GNUNET_CONTAINER_multipeermap_iterate (tunnels, &rekey_iterator, (void *) n);
2412
2413   rekey_task = GNUNET_SCHEDULER_add_delayed (rekey_period,
2414                                              &global_otr_rekey, NULL);
2415 }
2416
2417
2418 /**
2419  * Called only on shutdown, destroy every tunnel.
2420  *
2421  * @param cls Closure (unused).
2422  * @param key Current public key.
2423  * @param value Value in the hash map (tunnel).
2424  *
2425  * @return #GNUNET_YES, so we should continue to iterate,
2426  */
2427 static int
2428 destroy_iterator (void *cls,
2429                 const struct GNUNET_PeerIdentity *key,
2430                 void *value)
2431 {
2432   struct CadetTunnel *t = value;
2433
2434   LOG (GNUNET_ERROR_TYPE_DEBUG, "GCT_shutdown destroying tunnel at %p\n", t);
2435   GCT_destroy (t);
2436   return GNUNET_YES;
2437 }
2438
2439
2440 /**
2441  * Notify remote peer that we don't know a channel he is talking about,
2442  * probably CHANNEL_DESTROY was missed.
2443  *
2444  * @param t Tunnel on which to notify.
2445  * @param gid ID of the channel.
2446  */
2447 static void
2448 send_channel_destroy (struct CadetTunnel *t, unsigned int gid)
2449 {
2450   struct GNUNET_CADET_ChannelManage msg;
2451
2452   msg.header.type = htons (GNUNET_MESSAGE_TYPE_CADET_CHANNEL_DESTROY);
2453   msg.header.size = htons (sizeof (msg));
2454   msg.chid = htonl (gid);
2455
2456   LOG (GNUNET_ERROR_TYPE_DEBUG,
2457        "WARNING destroying unknown channel %u on tunnel %s\n",
2458        gid, GCT_2s (t));
2459   send_prebuilt_message (&msg.header, t, NULL, GNUNET_YES, NULL, NULL, NULL);
2460 }
2461
2462
2463 /**
2464  * Demultiplex data per channel and call appropriate channel handler.
2465  *
2466  * @param t Tunnel on which the data came.
2467  * @param msg Data message.
2468  * @param fwd Is this message fwd? This only is meaningful in loopback channels.
2469  *            #GNUNET_YES if message is FWD on the respective channel (loopback)
2470  *            #GNUNET_NO if message is BCK on the respective channel (loopback)
2471  *            #GNUNET_SYSERR if message on a one-ended channel (remote)
2472  */
2473 static void
2474 handle_data (struct CadetTunnel *t,
2475              const struct GNUNET_CADET_Data *msg,
2476              int fwd)
2477 {
2478   struct CadetChannel *ch;
2479   char buf[128];
2480   size_t size;
2481   uint16_t type;
2482
2483   /* Check size */
2484   size = ntohs (msg->header.size);
2485   if (size <
2486       sizeof (struct GNUNET_CADET_Data) +
2487       sizeof (struct GNUNET_MessageHeader))
2488   {
2489     GNUNET_break (0);
2490     return;
2491   }
2492   type = ntohs (msg[1].header.type);
2493   LOG (GNUNET_ERROR_TYPE_DEBUG, " payload of type %s\n", GC_m2s (type));
2494   sprintf (buf, "# received payload of type %hu", type);
2495   GNUNET_STATISTICS_update (stats, buf, 1, GNUNET_NO);
2496
2497
2498   /* Check channel */
2499   ch = GCT_get_channel (t, ntohl (msg->chid));
2500   if (NULL == ch)
2501   {
2502     GNUNET_STATISTICS_update (stats, "# data on unknown channel",
2503                               1, GNUNET_NO);
2504     LOG (GNUNET_ERROR_TYPE_DEBUG, "WARNING channel 0x%X unknown\n",
2505          ntohl (msg->chid));
2506     send_channel_destroy (t, ntohl (msg->chid));
2507     return;
2508   }
2509
2510   GCCH_handle_data (ch, msg, fwd);
2511 }
2512
2513
2514 /**
2515  * Demultiplex data ACKs per channel and update appropriate channel buffer info.
2516  *
2517  * @param t Tunnel on which the DATA ACK came.
2518  * @param msg DATA ACK message.
2519  * @param fwd Is this message fwd? This only is meaningful in loopback channels.
2520  *            #GNUNET_YES if message is FWD on the respective channel (loopback)
2521  *            #GNUNET_NO if message is BCK on the respective channel (loopback)
2522  *            #GNUNET_SYSERR if message on a one-ended channel (remote)
2523  */
2524 static void
2525 handle_data_ack (struct CadetTunnel *t,
2526                  const struct GNUNET_CADET_DataACK *msg,
2527                  int fwd)
2528 {
2529   struct CadetChannel *ch;
2530   size_t size;
2531
2532   /* Check size */
2533   size = ntohs (msg->header.size);
2534   if (size != sizeof (struct GNUNET_CADET_DataACK))
2535   {
2536     GNUNET_break (0);
2537     return;
2538   }
2539
2540   /* Check channel */
2541   ch = GCT_get_channel (t, ntohl (msg->chid));
2542   if (NULL == ch)
2543   {
2544     GNUNET_STATISTICS_update (stats, "# data ack on unknown channel",
2545                               1, GNUNET_NO);
2546     LOG (GNUNET_ERROR_TYPE_DEBUG, "WARNING channel %u unknown\n",
2547          ntohl (msg->chid));
2548     return;
2549   }
2550
2551   GCCH_handle_data_ack (ch, msg, fwd);
2552 }
2553
2554
2555 /**
2556  * Handle channel create.
2557  *
2558  * @param t Tunnel on which the data came.
2559  * @param msg Data message.
2560  */
2561 static void
2562 handle_ch_create (struct CadetTunnel *t,
2563                   const struct GNUNET_CADET_ChannelCreate *msg)
2564 {
2565   struct CadetChannel *ch;
2566   size_t size;
2567
2568   /* Check size */
2569   size = ntohs (msg->header.size);
2570   if (size != sizeof (struct GNUNET_CADET_ChannelCreate))
2571   {
2572     GNUNET_break (0);
2573     return;
2574   }
2575
2576   /* Check channel */
2577   ch = GCT_get_channel (t, ntohl (msg->chid));
2578   if (NULL != ch && ! GCT_is_loopback (t))
2579   {
2580     /* Probably a retransmission, safe to ignore */
2581     LOG (GNUNET_ERROR_TYPE_DEBUG, "   already exists...\n");
2582   }
2583   ch = GCCH_handle_create (t, msg);
2584   if (NULL != ch)
2585     GCT_add_channel (t, ch);
2586 }
2587
2588
2589
2590 /**
2591  * Handle channel NACK: check correctness and call channel handler for NACKs.
2592  *
2593  * @param t Tunnel on which the NACK came.
2594  * @param msg NACK message.
2595  */
2596 static void
2597 handle_ch_nack (struct CadetTunnel *t,
2598                 const struct GNUNET_CADET_ChannelManage *msg)
2599 {
2600   struct CadetChannel *ch;
2601   size_t size;
2602
2603   /* Check size */
2604   size = ntohs (msg->header.size);
2605   if (size != sizeof (struct GNUNET_CADET_ChannelManage))
2606   {
2607     GNUNET_break (0);
2608     return;
2609   }
2610
2611   /* Check channel */
2612   ch = GCT_get_channel (t, ntohl (msg->chid));
2613   if (NULL == ch)
2614   {
2615     GNUNET_STATISTICS_update (stats, "# channel NACK on unknown channel",
2616                               1, GNUNET_NO);
2617     LOG (GNUNET_ERROR_TYPE_DEBUG, "WARNING channel %u unknown\n",
2618          ntohl (msg->chid));
2619     return;
2620   }
2621
2622   GCCH_handle_nack (ch);
2623 }
2624
2625
2626 /**
2627  * Handle a CHANNEL ACK (SYNACK/ACK).
2628  *
2629  * @param t Tunnel on which the CHANNEL ACK came.
2630  * @param msg CHANNEL ACK message.
2631  * @param fwd Is this message fwd? This only is meaningful in loopback channels.
2632  *            #GNUNET_YES if message is FWD on the respective channel (loopback)
2633  *            #GNUNET_NO if message is BCK on the respective channel (loopback)
2634  *            #GNUNET_SYSERR if message on a one-ended channel (remote)
2635  */
2636 static void
2637 handle_ch_ack (struct CadetTunnel *t,
2638                const struct GNUNET_CADET_ChannelManage *msg,
2639                int fwd)
2640 {
2641   struct CadetChannel *ch;
2642   size_t size;
2643
2644   /* Check size */
2645   size = ntohs (msg->header.size);
2646   if (size != sizeof (struct GNUNET_CADET_ChannelManage))
2647   {
2648     GNUNET_break (0);
2649     return;
2650   }
2651
2652   /* Check channel */
2653   ch = GCT_get_channel (t, ntohl (msg->chid));
2654   if (NULL == ch)
2655   {
2656     GNUNET_STATISTICS_update (stats, "# channel ack on unknown channel",
2657                               1, GNUNET_NO);
2658     LOG (GNUNET_ERROR_TYPE_DEBUG, "WARNING channel %u unknown\n",
2659          ntohl (msg->chid));
2660     return;
2661   }
2662
2663   GCCH_handle_ack (ch, msg, fwd);
2664 }
2665
2666
2667 /**
2668  * Handle a channel destruction message.
2669  *
2670  * @param t Tunnel on which the message came.
2671  * @param msg Channel destroy message.
2672  * @param fwd Is this message fwd? This only is meaningful in loopback channels.
2673  *            #GNUNET_YES if message is FWD on the respective channel (loopback)
2674  *            #GNUNET_NO if message is BCK on the respective channel (loopback)
2675  *            #GNUNET_SYSERR if message on a one-ended channel (remote)
2676  */
2677 static void
2678 handle_ch_destroy (struct CadetTunnel *t,
2679                    const struct GNUNET_CADET_ChannelManage *msg,
2680                    int fwd)
2681 {
2682   struct CadetChannel *ch;
2683   size_t size;
2684
2685   /* Check size */
2686   size = ntohs (msg->header.size);
2687   if (size != sizeof (struct GNUNET_CADET_ChannelManage))
2688   {
2689     GNUNET_break (0);
2690     return;
2691   }
2692
2693   /* Check channel */
2694   ch = GCT_get_channel (t, ntohl (msg->chid));
2695   if (NULL == ch)
2696   {
2697     /* Probably a retransmission, safe to ignore */
2698     return;
2699   }
2700
2701   GCCH_handle_destroy (ch, msg, fwd);
2702 }
2703
2704
2705 /**
2706  * Free Axolotl data.
2707  *
2708  * @param t Tunnel.
2709  */
2710 static void
2711 destroy_ax (struct CadetTunnel *t)
2712 {
2713   if (NULL == t->ax)
2714     return;
2715
2716   GNUNET_free_non_null (t->ax->DHRs);
2717   GNUNET_free_non_null (t->ax->kx_0);
2718   while (NULL != t->ax->skipped_head)
2719     delete_skipped_key (t, t->ax->skipped_head);
2720   GNUNET_assert (0 == t->ax->skipped);
2721
2722   GNUNET_free (t->ax);
2723   t->ax = NULL;
2724
2725   if (NULL != t->rekey_task)
2726   {
2727     GNUNET_SCHEDULER_cancel (t->rekey_task);
2728     t->rekey_task = NULL;
2729   }
2730   if (NULL != t->ephm_h)
2731   {
2732     GCC_cancel (t->ephm_h);
2733     t->ephm_h = NULL;
2734   }
2735 }
2736
2737
2738 /**
2739  * The peer's ephemeral key has changed: update the symmetrical keys.
2740  *
2741  * @param t Tunnel this message came on.
2742  * @param msg Key eXchange message.
2743  */
2744 static void
2745 handle_ephemeral (struct CadetTunnel *t,
2746                   const struct GNUNET_CADET_KX_Ephemeral *msg)
2747 {
2748   LOG (GNUNET_ERROR_TYPE_INFO, "<=== EPHM for %s\n", GCT_2s (t));
2749
2750   /* Some old versions are still around, don't log as error. */
2751   if (GNUNET_OK != check_ephemeral (t, msg))
2752     return;
2753
2754   /* If we get a proper OTR-style ephemeral, fallback to old crypto. */
2755   if (NULL != t->ax)
2756   {
2757     destroy_ax (t);
2758     t->enc_type = CADET_OTR;
2759     if (NULL != t->rekey_task)
2760       GNUNET_SCHEDULER_cancel (t->rekey_task);
2761     if (GNUNET_OK != create_kx_ctx (t))
2762     {
2763       // FIXME restart kx
2764       GNUNET_break (0);
2765       return;
2766     }
2767     rekey_tunnel (t, NULL);
2768     GNUNET_STATISTICS_update (stats, "# otr-downgrades", -1, GNUNET_NO);
2769   }
2770
2771   /**
2772    * If the key is different from what we know, derive the new E/D keys.
2773    * Else destroy the rekey ctx (duplicate EPHM after successful KX).
2774    */
2775   if (0 != memcmp (&t->peers_ephemeral_key, &msg->ephemeral_key,
2776                    sizeof (msg->ephemeral_key)))
2777   {
2778     #if DUMP_KEYS_TO_STDERR
2779     LOG (GNUNET_ERROR_TYPE_INFO, "OLD: %s\n",
2780          GNUNET_i2s ((struct GNUNET_PeerIdentity *) &t->peers_ephemeral_key));
2781     LOG (GNUNET_ERROR_TYPE_INFO, "NEW: %s\n",
2782          GNUNET_i2s ((struct GNUNET_PeerIdentity *) &msg->ephemeral_key));
2783     #endif
2784     t->peers_ephemeral_key = msg->ephemeral_key;
2785
2786     if (GNUNET_OK != create_kx_ctx (t))
2787     {
2788       // FIXME restart kx
2789       GNUNET_break (0);
2790       return;
2791     }
2792
2793     if (CADET_TUNNEL_KEY_OK == t->estate)
2794     {
2795       GCT_change_estate (t, CADET_TUNNEL_KEY_REKEY);
2796     }
2797     if (NULL != t->rekey_task)
2798       GNUNET_SCHEDULER_cancel (t->rekey_task);
2799     t->rekey_task = GNUNET_SCHEDULER_add_now (rekey_tunnel, t);
2800   }
2801   if (CADET_TUNNEL_KEY_SENT == t->estate)
2802   {
2803     LOG (GNUNET_ERROR_TYPE_DEBUG, "  our key was sent, sending challenge\n");
2804     send_ephemeral (t);
2805     GCT_change_estate (t, CADET_TUNNEL_KEY_PING);
2806   }
2807
2808   if (CADET_TUNNEL_KEY_UNINITIALIZED != ntohl(msg->sender_status))
2809   {
2810     uint32_t nonce;
2811
2812     LOG (GNUNET_ERROR_TYPE_DEBUG, "  recv nonce e %u\n", msg->nonce);
2813     t_decrypt (t, &nonce, &msg->nonce, ping_encryption_size (), msg->iv);
2814     LOG (GNUNET_ERROR_TYPE_DEBUG, "  recv nonce c %u\n", nonce);
2815     send_pong (t, nonce);
2816   }
2817 }
2818
2819
2820 /**
2821  * Peer has answer to our challenge.
2822  * If answer is successful, consider the key exchange finished and clean
2823  * up all related state.
2824  *
2825  * @param t Tunnel this message came on.
2826  * @param msg Key eXchange Pong message.
2827  */
2828 static void
2829 handle_pong (struct CadetTunnel *t,
2830              const struct GNUNET_CADET_KX_Pong *msg)
2831 {
2832   uint32_t challenge;
2833
2834   LOG (GNUNET_ERROR_TYPE_INFO, "<=== PONG for %s\n", GCT_2s (t));
2835   if (NULL == t->rekey_task)
2836   {
2837     GNUNET_STATISTICS_update (stats, "# duplicate PONG messages", 1, GNUNET_NO);
2838     return;
2839   }
2840   if (NULL == t->kx_ctx)
2841   {
2842     GNUNET_STATISTICS_update (stats, "# stray PONG messages", 1, GNUNET_NO);
2843     return;
2844   }
2845
2846   t_decrypt (t, &challenge, &msg->nonce, sizeof (uint32_t), msg->iv);
2847   if (challenge != t->kx_ctx->challenge)
2848   {
2849     LOG (GNUNET_ERROR_TYPE_WARNING, "Wrong PONG challenge on %s\n", GCT_2s (t));
2850     LOG (GNUNET_ERROR_TYPE_DEBUG, "PONG: %u (e: %u). Expected: %u.\n",
2851          challenge, msg->nonce, t->kx_ctx->challenge);
2852     send_ephemeral (t);
2853     return;
2854   }
2855   GNUNET_SCHEDULER_cancel (t->rekey_task);
2856   t->rekey_task = NULL;
2857
2858   /* Don't free the old keys right away, but after a delay.
2859    * Rationale: the KX could have happened over a very fast connection,
2860    * with payload traffic still signed with the old key stuck in a slower
2861    * connection.
2862    * Don't keep the keys longer than 1/4 the rekey period, and no longer than
2863    * one minute.
2864    */
2865   destroy_kx_ctx (t);
2866   GCT_change_estate (t, CADET_TUNNEL_KEY_OK);
2867 }
2868
2869
2870 /**
2871  * Handle Axolotl handshake.
2872  *
2873  * @param t Tunnel this message came on.
2874  * @param msg Key eXchange Pong message.
2875  */
2876 static void
2877 handle_kx_ax (struct CadetTunnel *t, const struct GNUNET_CADET_AX_KX *msg)
2878 {
2879   struct CadetTunnelAxolotl *ax;
2880   struct GNUNET_HashCode key_material[3];
2881   struct GNUNET_CRYPTO_SymmetricSessionKey keys[5];
2882   const char salt[] = "CADET Axolotl salt";
2883   const struct GNUNET_PeerIdentity *pid;
2884   int am_I_alice;
2885
2886   LOG (GNUNET_ERROR_TYPE_INFO, "<=== AX_KX on %s\n", GCT_2s (t));
2887
2888   if (NULL == t->ax)
2889   {
2890     /* Something is wrong if ax is NULL. Whose fault it is? */
2891     GNUNET_break_op (CADET_OTR == t->enc_type);
2892     GNUNET_break (CADET_Axolotl == t->enc_type);
2893     return;
2894   }
2895
2896   pid = GCT_get_destination (t);
2897   if (0 > GNUNET_CRYPTO_cmp_peer_identity (&my_full_id, pid))
2898     am_I_alice = GNUNET_YES;
2899   else if (0 < GNUNET_CRYPTO_cmp_peer_identity (&my_full_id, pid))
2900     am_I_alice = GNUNET_NO;
2901   else
2902   {
2903     GNUNET_break_op (0);
2904     return;
2905   }
2906
2907   if (GNUNET_CADET_AX_KX_FLAG_FORCE_REPLY ==
2908       (GNUNET_CADET_AX_KX_FLAG_FORCE_REPLY & ntohl (msg->flags)))
2909     GCT_send_ax_kx (t, GNUNET_NO);
2910
2911   if (CADET_TUNNEL_KEY_OK == t->estate)
2912     return;
2913
2914   LOG (GNUNET_ERROR_TYPE_INFO, " is Alice? %s\n", am_I_alice ? "YES" : "NO");
2915
2916   ax = t->ax;
2917   ax->DHRr = msg->ratchet_key;
2918
2919   /* ECDH A B0 */
2920   if (GNUNET_YES == am_I_alice)
2921   {
2922     GNUNET_CRYPTO_eddsa_ecdh (id_key,              /* A */
2923                               &msg->ephemeral_key,  /* B0 */
2924                               &key_material[0]);
2925   }
2926   else
2927   {
2928     GNUNET_CRYPTO_ecdh_eddsa (ax->kx_0,            /* B0 */
2929                               &pid->public_key,    /* A */
2930                               &key_material[0]);
2931   }
2932
2933   /* ECDH A0 B */
2934   if (GNUNET_YES == am_I_alice)
2935   {
2936     GNUNET_CRYPTO_ecdh_eddsa (ax->kx_0,            /* A0 */
2937                               &pid->public_key,    /* B */
2938                               &key_material[1]);
2939   }
2940   else
2941   {
2942     GNUNET_CRYPTO_eddsa_ecdh (id_key,              /* A */
2943                               &msg->ephemeral_key,  /* B0 */
2944                               &key_material[1]);
2945
2946
2947   }
2948
2949   /* ECDH A0 B0 */
2950   /* (This is the triple-DH, we could probably safely skip this,
2951      as A0/B0 are already in the key material.) */
2952   GNUNET_CRYPTO_ecc_ecdh (ax->kx_0,             /* A0 or B0 */
2953                           &msg->ephemeral_key,  /* B0 or A0 */
2954                           &key_material[2]);
2955
2956   #if DUMP_KEYS_TO_STDERR
2957   {
2958     unsigned int i;
2959     for (i = 0; i < 3; i++)
2960       LOG (GNUNET_ERROR_TYPE_INFO, "km[%u]: %s\n",
2961            i, GNUNET_h2s (&key_material[i]));
2962   }
2963   #endif
2964
2965   /* KDF */
2966   GNUNET_CRYPTO_kdf (keys, sizeof (keys),
2967                      salt, sizeof (salt),
2968                      &key_material, sizeof (key_material), NULL);
2969
2970   ax->RK = keys[0];
2971   if (GNUNET_YES == am_I_alice)
2972   {
2973     ax->HKr = keys[1];
2974     ax->NHKs = keys[2];
2975     ax->NHKr = keys[3];
2976     ax->CKr = keys[4];
2977     ax->ratchet_flag = GNUNET_YES;
2978   }
2979   else
2980   {
2981     ax->HKs = keys[1];
2982     ax->NHKr = keys[2];
2983     ax->NHKs = keys[3];
2984     ax->CKs = keys[4];
2985     ax->ratchet_flag = GNUNET_NO;
2986     ax->ratchet_allowed = GNUNET_NO;
2987     ax->ratchet_counter = 0;
2988     ax->ratchet_expiration =
2989       GNUNET_TIME_absolute_add (GNUNET_TIME_absolute_get(), ratchet_time);
2990   }
2991   GCT_change_estate (t, CADET_TUNNEL_KEY_PING);
2992   send_queued_data (t);
2993 }
2994
2995
2996 /**
2997  * Demultiplex by message type and call appropriate handler for a message
2998  * towards a channel of a local tunnel.
2999  *
3000  * @param t Tunnel this message came on.
3001  * @param msgh Message header.
3002  * @param fwd Is this message fwd? This only is meaningful in loopback channels.
3003  *            #GNUNET_YES if message is FWD on the respective channel (loopback)
3004  *            #GNUNET_NO if message is BCK on the respective channel (loopback)
3005  *            #GNUNET_SYSERR if message on a one-ended channel (remote)
3006  */
3007 static void
3008 handle_decrypted (struct CadetTunnel *t,
3009                   const struct GNUNET_MessageHeader *msgh,
3010                   int fwd)
3011 {
3012   uint16_t type;
3013   char buf[256];
3014
3015   type = ntohs (msgh->type);
3016   LOG (GNUNET_ERROR_TYPE_INFO, "<=== %s on %s\n", GC_m2s (type), GCT_2s (t));
3017   sprintf (buf, "# received encrypted of type %hu (%s)", type, GC_m2s (type));
3018   GNUNET_STATISTICS_update (stats, buf, 1, GNUNET_NO);
3019
3020
3021   switch (type)
3022   {
3023     case GNUNET_MESSAGE_TYPE_CADET_KEEPALIVE:
3024       /* Do nothing, connection aleady got updated. */
3025       GNUNET_STATISTICS_update (stats, "# keepalives received", 1, GNUNET_NO);
3026       break;
3027
3028     case GNUNET_MESSAGE_TYPE_CADET_DATA:
3029       /* Don't send hop ACK, wait for client to ACK */
3030       handle_data (t, (struct GNUNET_CADET_Data *) msgh, fwd);
3031       break;
3032
3033     case GNUNET_MESSAGE_TYPE_CADET_DATA_ACK:
3034       handle_data_ack (t, (struct GNUNET_CADET_DataACK *) msgh, fwd);
3035       break;
3036
3037     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_CREATE:
3038       handle_ch_create (t, (struct GNUNET_CADET_ChannelCreate *) msgh);
3039       break;
3040
3041     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_NACK:
3042       handle_ch_nack (t, (struct GNUNET_CADET_ChannelManage *) msgh);
3043       break;
3044
3045     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_ACK:
3046       handle_ch_ack (t, (struct GNUNET_CADET_ChannelManage *) msgh, fwd);
3047       break;
3048
3049     case GNUNET_MESSAGE_TYPE_CADET_CHANNEL_DESTROY:
3050       handle_ch_destroy (t, (struct GNUNET_CADET_ChannelManage *) msgh, fwd);
3051       break;
3052
3053     default:
3054       GNUNET_break_op (0);
3055       LOG (GNUNET_ERROR_TYPE_WARNING,
3056            "end-to-end message not known (%u)\n",
3057            ntohs (msgh->type));
3058       GCT_debug (t, GNUNET_ERROR_TYPE_WARNING);
3059   }
3060 }
3061
3062
3063 /******************************************************************************/
3064 /********************************    API    ***********************************/
3065 /******************************************************************************/
3066 /**
3067  * Decrypt old format and demultiplex by message type. Call appropriate handler
3068  * for a message towards a channel of a local tunnel.
3069  *
3070  * @param t Tunnel this message came on.
3071  * @param msg Message header.
3072  */
3073 void
3074 GCT_handle_encrypted (struct CadetTunnel *t,
3075                       const struct GNUNET_MessageHeader *msg)
3076 {
3077   uint16_t size = ntohs (msg->size);
3078   char cbuf [size];
3079   size_t payload_size;
3080   int decrypted_size;
3081   uint16_t type;
3082   const struct GNUNET_MessageHeader *msgh;
3083   unsigned int off;
3084
3085   type = ntohs (msg->type);
3086   switch (type)
3087   {
3088   case GNUNET_MESSAGE_TYPE_CADET_ENCRYPTED:
3089     {
3090       const struct GNUNET_CADET_Encrypted *emsg;
3091
3092       GNUNET_STATISTICS_update (stats, "# received OTR", 1, GNUNET_NO);
3093       emsg = (const struct GNUNET_CADET_Encrypted *) msg;
3094       payload_size = size - sizeof (struct GNUNET_CADET_Encrypted);
3095       decrypted_size = t_decrypt_and_validate (t, cbuf, &emsg[1], payload_size,
3096                                                emsg->iv, &emsg->hmac);
3097     }
3098     break;
3099   case GNUNET_MESSAGE_TYPE_CADET_AX:
3100     {
3101       const struct GNUNET_CADET_AX *emsg;
3102
3103       GNUNET_STATISTICS_update (stats, "# received Axolotl", 1, GNUNET_NO);
3104       emsg = (const struct GNUNET_CADET_AX *) msg;
3105       decrypted_size = t_ax_decrypt_and_validate (t, cbuf, emsg, size);
3106     }
3107     break;
3108   default:
3109     GNUNET_break_op (0);
3110     return;
3111   }
3112
3113   if (-1 == decrypted_size)
3114   {
3115     GNUNET_break_op (0);
3116     GNUNET_STATISTICS_update (stats, "# unable to decrypt", 1, GNUNET_NO);
3117     LOG (GNUNET_ERROR_TYPE_WARNING, "Wrong crypto on tunnel %s\n", GCT_2s (t));
3118     GCT_debug (t, GNUNET_ERROR_TYPE_WARNING);
3119     return;
3120   }
3121   GCT_change_estate (t, CADET_TUNNEL_KEY_OK);
3122
3123   /* FIXME: this is bad, as the structs returned from
3124      this loop may be unaligned, see util's MST for
3125      how to do this right. */
3126   off = 0;
3127   while (off < decrypted_size)
3128   {
3129     uint16_t msize;
3130
3131     msgh = (const struct GNUNET_MessageHeader *) &cbuf[off];
3132     msize = ntohs (msgh->size);
3133     if (msize < sizeof (struct GNUNET_MessageHeader))
3134     {
3135       GNUNET_break_op (0);
3136       return;
3137     }
3138     handle_decrypted (t, msgh, GNUNET_SYSERR);
3139     off += msize;
3140   }
3141 }
3142
3143
3144 /**
3145  * Demultiplex an encapsulated KX message by message type.
3146  *
3147  * @param t Tunnel on which the message came.
3148  * @param message Payload of KX message.
3149  */
3150 void
3151 GCT_handle_kx (struct CadetTunnel *t,
3152                const struct GNUNET_MessageHeader *message)
3153 {
3154   uint16_t type;
3155   char buf[256];
3156
3157   type = ntohs (message->type);
3158   LOG (GNUNET_ERROR_TYPE_DEBUG, "kx message received: %s\n", GC_m2s (type));
3159   sprintf (buf, "# received KX of type %hu (%s)", type, GC_m2s (type));
3160   GNUNET_STATISTICS_update (stats, buf, 1, GNUNET_NO);
3161   switch (type)
3162   {
3163     case GNUNET_MESSAGE_TYPE_CADET_KX_EPHEMERAL:
3164       handle_ephemeral (t, (const struct GNUNET_CADET_KX_Ephemeral *) message);
3165       break;
3166
3167     case GNUNET_MESSAGE_TYPE_CADET_KX_PONG:
3168       handle_pong (t, (const struct GNUNET_CADET_KX_Pong *) message);
3169       break;
3170
3171     case GNUNET_MESSAGE_TYPE_CADET_AX_KX:
3172       handle_kx_ax (t, (const struct GNUNET_CADET_AX_KX *) message);
3173       break;
3174
3175     default:
3176       GNUNET_break_op (0);
3177       LOG (GNUNET_ERROR_TYPE_WARNING, "kx message %s unknown\n", GC_m2s (type));
3178   }
3179 }
3180
3181 /**
3182  * Initialize the tunnel subsystem.
3183  *
3184  * @param c Configuration handle.
3185  * @param key ECC private key, to derive all other keys and do crypto.
3186  */
3187 void
3188 GCT_init (const struct GNUNET_CONFIGURATION_Handle *c,
3189           const struct GNUNET_CRYPTO_EddsaPrivateKey *key)
3190 {
3191   int expected_overhead;
3192
3193   LOG (GNUNET_ERROR_TYPE_DEBUG, "init\n");
3194
3195   expected_overhead = 0;
3196   expected_overhead += sizeof (struct GNUNET_CADET_Encrypted);
3197   expected_overhead += sizeof (struct GNUNET_CADET_Data);
3198   expected_overhead += sizeof (struct GNUNET_CADET_ACK);
3199   GNUNET_assert (GNUNET_CONSTANTS_CADET_P2P_OVERHEAD == expected_overhead);
3200
3201   if (GNUNET_OK !=
3202       GNUNET_CONFIGURATION_get_value_number (c, "CADET", "DEFAULT_TTL",
3203                                              &default_ttl))
3204   {
3205     GNUNET_log_config_invalid (GNUNET_ERROR_TYPE_DEBUG,
3206                                "CADET", "DEFAULT_TTL", "USING DEFAULT");
3207     default_ttl = 64;
3208   }
3209   if (GNUNET_OK !=
3210       GNUNET_CONFIGURATION_get_value_time (c, "CADET", "REKEY_PERIOD",
3211                                            &rekey_period))
3212   {
3213     rekey_period = GNUNET_TIME_UNIT_DAYS;
3214   }
3215   if (GNUNET_OK !=
3216       GNUNET_CONFIGURATION_get_value_number (c, "CADET", "RATCHET_MESSAGES",
3217                                              &ratchet_messages))
3218   {
3219     GNUNET_log_config_invalid (GNUNET_ERROR_TYPE_WARNING,
3220                                "CADET", "RATCHET_MESSAGES", "USING DEFAULT");
3221     ratchet_messages = 64;
3222   }
3223   if (GNUNET_OK !=
3224       GNUNET_CONFIGURATION_get_value_time (c, "CADET", "RATCHET_TIME",
3225                                            &ratchet_time))
3226   {
3227     GNUNET_log_config_invalid (GNUNET_ERROR_TYPE_WARNING,
3228                                "CADET", "RATCHET_TIME", "USING DEFAULT");
3229     ratchet_time = GNUNET_TIME_UNIT_HOURS;
3230   }
3231
3232
3233   id_key = key;
3234
3235   otr_kx_msg.header.size = htons (sizeof (otr_kx_msg));
3236   otr_kx_msg.header.type = htons (GNUNET_MESSAGE_TYPE_CADET_KX_EPHEMERAL);
3237   otr_kx_msg.purpose.purpose = htonl (GNUNET_SIGNATURE_PURPOSE_CADET_KX);
3238   otr_kx_msg.purpose.size = htonl (ephemeral_purpose_size ());
3239   otr_kx_msg.origin_identity = my_full_id;
3240   rekey_task = GNUNET_SCHEDULER_add_now (&global_otr_rekey, NULL);
3241   tunnels = GNUNET_CONTAINER_multipeermap_create (128, GNUNET_YES);
3242 }
3243
3244
3245 /**
3246  * Shut down the tunnel subsystem.
3247  */
3248 void
3249 GCT_shutdown (void)
3250 {
3251   if (NULL != rekey_task)
3252   {
3253     GNUNET_SCHEDULER_cancel (rekey_task);
3254     rekey_task = NULL;
3255   }
3256   GNUNET_CONTAINER_multipeermap_iterate (tunnels, &destroy_iterator, NULL);
3257   GNUNET_CONTAINER_multipeermap_destroy (tunnels);
3258 }
3259
3260
3261 /**
3262  * Create a tunnel.
3263  *
3264  * @param destination Peer this tunnel is towards.
3265  */
3266 struct CadetTunnel *
3267 GCT_new (struct CadetPeer *destination)
3268 {
3269   struct CadetTunnel *t;
3270
3271   t = GNUNET_new (struct CadetTunnel);
3272   t->next_chid = 0;
3273   t->peer = destination;
3274
3275   if (GNUNET_OK !=
3276       GNUNET_CONTAINER_multipeermap_put (tunnels, GCP_get_id (destination), t,
3277                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
3278   {
3279     GNUNET_break (0);
3280     GNUNET_free (t);
3281     return NULL;
3282   }
3283   t->ax = GNUNET_new (struct CadetTunnelAxolotl);
3284   new_ephemeral (t);
3285   t->ax->kx_0 = GNUNET_CRYPTO_ecdhe_key_create ();
3286   return t;
3287 }
3288
3289
3290 /**
3291  * Change the tunnel's connection state.
3292  *
3293  * @param t Tunnel whose connection state to change.
3294  * @param cstate New connection state.
3295  */
3296 void
3297 GCT_change_cstate (struct CadetTunnel* t, enum CadetTunnelCState cstate)
3298 {
3299   if (NULL == t)
3300     return;
3301   LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel %s cstate %s => %s\n",
3302        GCP_2s (t->peer), cstate2s (t->cstate), cstate2s (cstate));
3303   if (myid != GCP_get_short_id (t->peer) &&
3304       CADET_TUNNEL_READY != t->cstate &&
3305       CADET_TUNNEL_READY == cstate)
3306   {
3307     t->cstate = cstate;
3308     if (CADET_TUNNEL_KEY_OK == t->estate)
3309     {
3310       LOG (GNUNET_ERROR_TYPE_DEBUG, "  cstate triggered send queued data\n");
3311       send_queued_data (t);
3312     }
3313     else if (CADET_TUNNEL_KEY_UNINITIALIZED == t->estate)
3314     {
3315       LOG (GNUNET_ERROR_TYPE_DEBUG, "  cstate triggered kx\n");
3316       GCT_send_ax_kx (t, GNUNET_NO);
3317     }
3318     else
3319     {
3320       LOG (GNUNET_ERROR_TYPE_DEBUG, "estate %s\n", estate2s (t->estate));
3321     }
3322   }
3323   t->cstate = cstate;
3324
3325   if (CADET_TUNNEL_READY == cstate
3326       && CONNECTIONS_PER_TUNNEL <= GCT_count_connections (t))
3327   {
3328     LOG (GNUNET_ERROR_TYPE_DEBUG, "  cstate triggered stop dht\n");
3329     GCP_stop_search (t->peer);
3330   }
3331 }
3332
3333
3334 /**
3335  * Change the tunnel encryption state.
3336  *
3337  * If the encryption state changes to OK, stop the rekey task.
3338  *
3339  * @param t Tunnel whose encryption state to change, or NULL.
3340  * @param state New encryption state.
3341  */
3342 void
3343 GCT_change_estate (struct CadetTunnel* t, enum CadetTunnelEState state)
3344 {
3345   enum CadetTunnelEState old;
3346
3347   if (NULL == t)
3348     return;
3349
3350   old = t->estate;
3351   t->estate = state;
3352   LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel %s estate was %s\n",
3353        GCP_2s (t->peer), estate2s (old));
3354   LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel %s estate is now %s\n",
3355        GCP_2s (t->peer), estate2s (t->estate));
3356
3357   if (CADET_TUNNEL_KEY_OK != old && CADET_TUNNEL_KEY_OK == t->estate)
3358   {
3359     if (NULL != t->rekey_task)
3360     {
3361       GNUNET_SCHEDULER_cancel (t->rekey_task);
3362       t->rekey_task = NULL;
3363     }
3364     /* Send queued data if tunnel is not loopback */
3365     if (myid != GCP_get_short_id (t->peer))
3366       send_queued_data (t);
3367   }
3368 }
3369
3370
3371 /**
3372  * @brief Check if tunnel has too many connections, and remove one if necessary.
3373  *
3374  * Currently this means the newest connection, unless it is a direct one.
3375  * Implemented as a task to avoid freeing a connection that is in the middle
3376  * of being created/processed.
3377  *
3378  * @param cls Closure (Tunnel to check).
3379  * @param tc Task context.
3380  */
3381 static void
3382 trim_connections (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
3383 {
3384   struct CadetTunnel *t = cls;
3385
3386   t->trim_connections_task = NULL;
3387
3388   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
3389     return;
3390
3391   if (GCT_count_connections (t) > 2 * CONNECTIONS_PER_TUNNEL)
3392   {
3393     struct CadetTConnection *iter;
3394     struct CadetTConnection *c;
3395
3396     for (c = iter = t->connection_head; NULL != iter; iter = iter->next)
3397     {
3398       if ((iter->created.abs_value_us > c->created.abs_value_us)
3399           && GNUNET_NO == GCC_is_direct (iter->c))
3400       {
3401         c = iter;
3402       }
3403     }
3404     if (NULL != c)
3405     {
3406       LOG (GNUNET_ERROR_TYPE_DEBUG, "Too many connections on tunnel %s\n",
3407            GCT_2s (t));
3408       LOG (GNUNET_ERROR_TYPE_DEBUG, "Destroying connection %s\n",
3409            GCC_2s (c->c));
3410       GCC_destroy (c->c);
3411     }
3412     else
3413     {
3414       GNUNET_break (0);
3415     }
3416   }
3417 }
3418
3419
3420 /**
3421  * Add a connection to a tunnel.
3422  *
3423  * @param t Tunnel.
3424  * @param c Connection.
3425  */
3426 void
3427 GCT_add_connection (struct CadetTunnel *t, struct CadetConnection *c)
3428 {
3429   struct CadetTConnection *aux;
3430
3431   GNUNET_assert (NULL != c);
3432
3433   LOG (GNUNET_ERROR_TYPE_DEBUG, "add connection %s\n", GCC_2s (c));
3434   LOG (GNUNET_ERROR_TYPE_DEBUG, " to tunnel %s\n", GCT_2s (t));
3435   for (aux = t->connection_head; aux != NULL; aux = aux->next)
3436     if (aux->c == c)
3437       return;
3438
3439   aux = GNUNET_new (struct CadetTConnection);
3440   aux->c = c;
3441   aux->created = GNUNET_TIME_absolute_get ();
3442
3443   GNUNET_CONTAINER_DLL_insert (t->connection_head, t->connection_tail, aux);
3444
3445   if (CADET_TUNNEL_SEARCHING == t->cstate)
3446     GCT_change_cstate (t, CADET_TUNNEL_WAITING);
3447
3448   if (NULL != t->trim_connections_task)
3449     t->trim_connections_task = GNUNET_SCHEDULER_add_now (&trim_connections, t);
3450 }
3451
3452
3453 /**
3454  * Remove a connection from a tunnel.
3455  *
3456  * @param t Tunnel.
3457  * @param c Connection.
3458  */
3459 void
3460 GCT_remove_connection (struct CadetTunnel *t,
3461                        struct CadetConnection *c)
3462 {
3463   struct CadetTConnection *aux;
3464   struct CadetTConnection *next;
3465   unsigned int conns;
3466
3467   LOG (GNUNET_ERROR_TYPE_DEBUG, "Removing connection %s from tunnel %s\n",
3468        GCC_2s (c), GCT_2s (t));
3469   for (aux = t->connection_head; aux != NULL; aux = next)
3470   {
3471     next = aux->next;
3472     if (aux->c == c)
3473     {
3474       GNUNET_CONTAINER_DLL_remove (t->connection_head, t->connection_tail, aux);
3475       GNUNET_free (aux);
3476     }
3477   }
3478
3479   conns = GCT_count_connections (t);
3480   if (0 == conns
3481       && NULL == t->destroy_task
3482       && CADET_TUNNEL_SHUTDOWN != t->cstate
3483       && GNUNET_NO == shutting_down)
3484   {
3485     if (0 == GCT_count_any_connections (t))
3486       GCT_change_cstate (t, CADET_TUNNEL_SEARCHING);
3487     else
3488       GCT_change_cstate (t, CADET_TUNNEL_WAITING);
3489   }
3490
3491   /* Start new connections if needed */
3492   if (CONNECTIONS_PER_TUNNEL > conns
3493       && NULL == t->destroy_task
3494       && CADET_TUNNEL_SHUTDOWN != t->cstate
3495       && GNUNET_NO == shutting_down)
3496   {
3497     LOG (GNUNET_ERROR_TYPE_DEBUG, "  too few connections, getting new ones\n");
3498     GCP_connect (t->peer); /* Will change cstate to WAITING when possible */
3499     return;
3500   }
3501
3502   /* If not marked as ready, no change is needed */
3503   if (CADET_TUNNEL_READY != t->cstate)
3504     return;
3505
3506   /* Check if any connection is ready to maintain cstate */
3507   for (aux = t->connection_head; aux != NULL; aux = aux->next)
3508     if (CADET_CONNECTION_READY == GCC_get_state (aux->c))
3509       return;
3510 }
3511
3512
3513 /**
3514  * Add a channel to a tunnel.
3515  *
3516  * @param t Tunnel.
3517  * @param ch Channel.
3518  */
3519 void
3520 GCT_add_channel (struct CadetTunnel *t, struct CadetChannel *ch)
3521 {
3522   struct CadetTChannel *aux;
3523
3524   GNUNET_assert (NULL != ch);
3525
3526   LOG (GNUNET_ERROR_TYPE_DEBUG, "Adding channel %p to tunnel %p\n", ch, t);
3527
3528   for (aux = t->channel_head; aux != NULL; aux = aux->next)
3529   {
3530     LOG (GNUNET_ERROR_TYPE_DEBUG, "  already there %p\n", aux->ch);
3531     if (aux->ch == ch)
3532       return;
3533   }
3534
3535   aux = GNUNET_new (struct CadetTChannel);
3536   aux->ch = ch;
3537   LOG (GNUNET_ERROR_TYPE_DEBUG, " adding %p to %p\n", aux, t->channel_head);
3538   GNUNET_CONTAINER_DLL_insert_tail (t->channel_head, t->channel_tail, aux);
3539
3540   if (NULL != t->destroy_task)
3541   {
3542     GNUNET_SCHEDULER_cancel (t->destroy_task);
3543     t->destroy_task = NULL;
3544     LOG (GNUNET_ERROR_TYPE_DEBUG, " undo destroy!\n");
3545   }
3546 }
3547
3548
3549 /**
3550  * Remove a channel from a tunnel.
3551  *
3552  * @param t Tunnel.
3553  * @param ch Channel.
3554  */
3555 void
3556 GCT_remove_channel (struct CadetTunnel *t, struct CadetChannel *ch)
3557 {
3558   struct CadetTChannel *aux;
3559
3560   LOG (GNUNET_ERROR_TYPE_DEBUG, "Removing channel %p from tunnel %p\n", ch, t);
3561   for (aux = t->channel_head; aux != NULL; aux = aux->next)
3562   {
3563     if (aux->ch == ch)
3564     {
3565       LOG (GNUNET_ERROR_TYPE_DEBUG, " found! %s\n", GCCH_2s (ch));
3566       GNUNET_CONTAINER_DLL_remove (t->channel_head, t->channel_tail, aux);
3567       GNUNET_free (aux);
3568       return;
3569     }
3570   }
3571 }
3572
3573
3574 /**
3575  * Search for a channel by global ID.
3576  *
3577  * @param t Tunnel containing the channel.
3578  * @param chid Public channel number.
3579  *
3580  * @return channel handler, NULL if doesn't exist
3581  */
3582 struct CadetChannel *
3583 GCT_get_channel (struct CadetTunnel *t, CADET_ChannelNumber chid)
3584 {
3585   struct CadetTChannel *iter;
3586
3587   if (NULL == t)
3588     return NULL;
3589
3590   for (iter = t->channel_head; NULL != iter; iter = iter->next)
3591   {
3592     if (GCCH_get_id (iter->ch) == chid)
3593       break;
3594   }
3595
3596   return NULL == iter ? NULL : iter->ch;
3597 }
3598
3599
3600 /**
3601  * @brief Destroy a tunnel and free all resources.
3602  *
3603  * Should only be called a while after the tunnel has been marked as destroyed,
3604  * in case there is a new channel added to the same peer shortly after marking
3605  * the tunnel. This way we avoid a new public key handshake.
3606  *
3607  * @param cls Closure (tunnel to destroy).
3608  * @param tc Task context.
3609  */
3610 static void
3611 delayed_destroy (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
3612 {
3613   struct CadetTunnel *t = cls;
3614   struct CadetTConnection *iter;
3615
3616   LOG (GNUNET_ERROR_TYPE_DEBUG, "delayed destroying tunnel %p\n", t);
3617   if (0 != (GNUNET_SCHEDULER_REASON_SHUTDOWN & tc->reason))
3618   {
3619     LOG (GNUNET_ERROR_TYPE_WARNING,
3620          "Not destroying tunnel, due to shutdown. "
3621          "Tunnel at %p should have been freed by GCT_shutdown\n", t);
3622     return;
3623   }
3624   t->destroy_task = NULL;
3625   t->cstate = CADET_TUNNEL_SHUTDOWN;
3626
3627   for (iter = t->connection_head; NULL != iter; iter = iter->next)
3628   {
3629     GCC_send_destroy (iter->c);
3630   }
3631   GCT_destroy (t);
3632 }
3633
3634
3635 /**
3636  * Tunnel is empty: destroy it.
3637  *
3638  * Notifies all connections about the destruction.
3639  *
3640  * @param t Tunnel to destroy.
3641  */
3642 void
3643 GCT_destroy_empty (struct CadetTunnel *t)
3644 {
3645   if (GNUNET_YES == shutting_down)
3646     return; /* Will be destroyed immediately anyway */
3647
3648   if (NULL != t->destroy_task)
3649   {
3650     LOG (GNUNET_ERROR_TYPE_WARNING,
3651          "Tunnel %s is already scheduled for destruction. Tunnel debug dump:\n",
3652          GCT_2s (t));
3653     GCT_debug (t, GNUNET_ERROR_TYPE_WARNING);
3654     GNUNET_break (0);
3655     /* should never happen, tunnel can only become empty once, and the
3656      * task identifier should be NO_TASK (cleaned when the tunnel was created
3657      * or became un-empty)
3658      */
3659     return;
3660   }
3661
3662   LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel %s empty: scheduling destruction\n",
3663        GCT_2s (t));
3664
3665   // FIXME make delay a config option
3666   t->destroy_task = GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_MINUTES,
3667                                                   &delayed_destroy, t);
3668   LOG (GNUNET_ERROR_TYPE_DEBUG, "Scheduled destroy of %p as %llu\n",
3669        t, t->destroy_task);
3670 }
3671
3672
3673 /**
3674  * Destroy tunnel if empty (no more channels).
3675  *
3676  * @param t Tunnel to destroy if empty.
3677  */
3678 void
3679 GCT_destroy_if_empty (struct CadetTunnel *t)
3680 {
3681   LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel %s destroy if empty\n", GCT_2s (t));
3682   if (0 < GCT_count_channels (t))
3683     return;
3684
3685   GCT_destroy_empty (t);
3686 }
3687
3688
3689 /**
3690  * Destroy the tunnel.
3691  *
3692  * This function does not generate any warning traffic to clients or peers.
3693  *
3694  * Tasks:
3695  * Cancel messages belonging to this tunnel queued to neighbors.
3696  * Free any allocated resources linked to the tunnel.
3697  *
3698  * @param t The tunnel to destroy.
3699  */
3700 void
3701 GCT_destroy (struct CadetTunnel *t)
3702 {
3703   struct CadetTConnection *iter_c;
3704   struct CadetTConnection *next_c;
3705   struct CadetTChannel *iter_ch;
3706   struct CadetTChannel *next_ch;
3707   unsigned int keepalives_queued;
3708
3709   if (NULL == t)
3710     return;
3711
3712   LOG (GNUNET_ERROR_TYPE_DEBUG, "destroying tunnel %s\n", GCP_2s (t->peer));
3713
3714   GNUNET_break (GNUNET_YES ==
3715                 GNUNET_CONTAINER_multipeermap_remove (tunnels,
3716                                                       GCP_get_id (t->peer), t));
3717
3718   for (iter_c = t->connection_head; NULL != iter_c; iter_c = next_c)
3719   {
3720     next_c = iter_c->next;
3721     GCC_destroy (iter_c->c);
3722   }
3723   for (iter_ch = t->channel_head; NULL != iter_ch; iter_ch = next_ch)
3724   {
3725     next_ch = iter_ch->next;
3726     GCCH_destroy (iter_ch->ch);
3727     /* Should only happen on shutdown, but it's ok. */
3728   }
3729   keepalives_queued = 0;
3730   while (NULL != t->tq_head)
3731   {
3732     /* Should have been cleaned by destuction of channel. */
3733     struct GNUNET_MessageHeader *mh;
3734     uint16_t type;
3735
3736     mh = (struct GNUNET_MessageHeader *) &t->tq_head[1];
3737     type = ntohs (mh->type);
3738     if (0 == keepalives_queued && GNUNET_MESSAGE_TYPE_CADET_KEEPALIVE == type)
3739     {
3740       keepalives_queued = 1;
3741       LOG (GNUNET_ERROR_TYPE_DEBUG,
3742            "one keepalive left behind on tunnel shutdown\n");
3743     }
3744     else
3745     {
3746       GNUNET_break (0);
3747       LOG (GNUNET_ERROR_TYPE_ERROR,
3748            "message left behind on tunnel shutdown: %s\n",
3749            GC_m2s (type));
3750     }
3751     unqueue_data (t->tq_head);
3752   }
3753
3754
3755   if (NULL != t->destroy_task)
3756   {
3757     LOG (GNUNET_ERROR_TYPE_DEBUG, "cancelling dest: %llX\n", t->destroy_task);
3758     GNUNET_SCHEDULER_cancel (t->destroy_task);
3759     t->destroy_task = NULL;
3760   }
3761
3762   if (NULL != t->trim_connections_task)
3763   {
3764     LOG (GNUNET_ERROR_TYPE_DEBUG, "cancelling trim: %llX\n",
3765          t->trim_connections_task);
3766     GNUNET_SCHEDULER_cancel (t->trim_connections_task);
3767     t->trim_connections_task = NULL;
3768   }
3769
3770   GNUNET_STATISTICS_update (stats, "# tunnels", -1, GNUNET_NO);
3771   GCP_set_tunnel (t->peer, NULL);
3772
3773   if (NULL != t->rekey_task)
3774   {
3775     GNUNET_SCHEDULER_cancel (t->rekey_task);
3776     t->rekey_task = NULL;
3777   }
3778   if (NULL != t->kx_ctx)
3779   {
3780     if (NULL != t->kx_ctx->finish_task)
3781       GNUNET_SCHEDULER_cancel (t->kx_ctx->finish_task);
3782     GNUNET_free (t->kx_ctx);
3783   }
3784
3785   if (NULL != t->ax)
3786     destroy_ax (t);
3787
3788   GNUNET_free (t);
3789 }
3790
3791
3792 /**
3793  * @brief Use the given path for the tunnel.
3794  * Update the next and prev hops (and RCs).
3795  * (Re)start the path refresh in case the tunnel is locally owned.
3796  *
3797  * @param t Tunnel to update.
3798  * @param p Path to use.
3799  *
3800  * @return Connection created.
3801  */
3802 struct CadetConnection *
3803 GCT_use_path (struct CadetTunnel *t, struct CadetPeerPath *p)
3804 {
3805   struct CadetConnection *c;
3806   struct GNUNET_CADET_Hash cid;
3807   unsigned int own_pos;
3808
3809   if (NULL == t || NULL == p)
3810   {
3811     GNUNET_break (0);
3812     return NULL;
3813   }
3814
3815   if (CADET_TUNNEL_SHUTDOWN == t->cstate)
3816   {
3817     GNUNET_break (0);
3818     return NULL;
3819   }
3820
3821   for (own_pos = 0; own_pos < p->length; own_pos++)
3822   {
3823     if (p->peers[own_pos] == myid)
3824       break;
3825   }
3826   if (own_pos >= p->length)
3827   {
3828     GNUNET_break_op (0);
3829     return NULL;
3830   }
3831
3832   GNUNET_CRYPTO_random_block (GNUNET_CRYPTO_QUALITY_NONCE, &cid, sizeof (cid));
3833   c = GCC_new (&cid, t, p, own_pos);
3834   if (NULL == c)
3835   {
3836     /* Path was flawed */
3837     return NULL;
3838   }
3839   GCT_add_connection (t, c);
3840   return c;
3841 }
3842
3843
3844 /**
3845  * Count all created connections of a tunnel. Not necessarily ready connections!
3846  *
3847  * @param t Tunnel on which to count.
3848  *
3849  * @return Number of connections created, either being established or ready.
3850  */
3851 unsigned int
3852 GCT_count_any_connections (struct CadetTunnel *t)
3853 {
3854   struct CadetTConnection *iter;
3855   unsigned int count;
3856
3857   if (NULL == t)
3858     return 0;
3859
3860   for (count = 0, iter = t->connection_head; NULL != iter; iter = iter->next)
3861     count++;
3862
3863   return count;
3864 }
3865
3866
3867 /**
3868  * Count established (ready) connections of a tunnel.
3869  *
3870  * @param t Tunnel on which to count.
3871  *
3872  * @return Number of connections.
3873  */
3874 unsigned int
3875 GCT_count_connections (struct CadetTunnel *t)
3876 {
3877   struct CadetTConnection *iter;
3878   unsigned int count;
3879
3880   if (NULL == t)
3881     return 0;
3882
3883   for (count = 0, iter = t->connection_head; NULL != iter; iter = iter->next)
3884     if (CADET_CONNECTION_READY == GCC_get_state (iter->c))
3885       count++;
3886
3887   return count;
3888 }
3889
3890
3891 /**
3892  * Count channels of a tunnel.
3893  *
3894  * @param t Tunnel on which to count.
3895  *
3896  * @return Number of channels.
3897  */
3898 unsigned int
3899 GCT_count_channels (struct CadetTunnel *t)
3900 {
3901   struct CadetTChannel *iter;
3902   unsigned int count;
3903
3904   for (count = 0, iter = t->channel_head;
3905        NULL != iter;
3906        iter = iter->next, count++) /* skip */;
3907
3908   return count;
3909 }
3910
3911
3912 /**
3913  * Get the connectivity state of a tunnel.
3914  *
3915  * @param t Tunnel.
3916  *
3917  * @return Tunnel's connectivity state.
3918  */
3919 enum CadetTunnelCState
3920 GCT_get_cstate (struct CadetTunnel *t)
3921 {
3922   if (NULL == t)
3923   {
3924     GNUNET_assert (0);
3925     return (enum CadetTunnelCState) -1;
3926   }
3927   return t->cstate;
3928 }
3929
3930
3931 /**
3932  * Get the encryption state of a tunnel.
3933  *
3934  * @param t Tunnel.
3935  *
3936  * @return Tunnel's encryption state.
3937  */
3938 enum CadetTunnelEState
3939 GCT_get_estate (struct CadetTunnel *t)
3940 {
3941   if (NULL == t)
3942   {
3943     GNUNET_break (0);
3944     return (enum CadetTunnelEState) -1;
3945   }
3946   return t->estate;
3947 }
3948
3949 /**
3950  * Get the maximum buffer space for a tunnel towards a local client.
3951  *
3952  * @param t Tunnel.
3953  *
3954  * @return Biggest buffer space offered by any channel in the tunnel.
3955  */
3956 unsigned int
3957 GCT_get_channels_buffer (struct CadetTunnel *t)
3958 {
3959   struct CadetTChannel *iter;
3960   unsigned int buffer;
3961   unsigned int ch_buf;
3962
3963   if (NULL == t->channel_head)
3964   {
3965     /* Probably getting buffer for a channel create/handshake. */
3966     LOG (GNUNET_ERROR_TYPE_DEBUG, "  no channels, allow max\n");
3967     return MIN_TUNNEL_BUFFER;
3968   }
3969
3970   buffer = 0;
3971   for (iter = t->channel_head; NULL != iter; iter = iter->next)
3972   {
3973     ch_buf = get_channel_buffer (iter);
3974     if (ch_buf > buffer)
3975       buffer = ch_buf;
3976   }
3977   if (MIN_TUNNEL_BUFFER > buffer)
3978     return MIN_TUNNEL_BUFFER;
3979
3980   if (MAX_TUNNEL_BUFFER < buffer)
3981   {
3982     GNUNET_break (0);
3983     return MAX_TUNNEL_BUFFER;
3984   }
3985   return buffer;
3986 }
3987
3988
3989 /**
3990  * Get the total buffer space for a tunnel for P2P traffic.
3991  *
3992  * @param t Tunnel.
3993  *
3994  * @return Buffer space offered by all connections in the tunnel.
3995  */
3996 unsigned int
3997 GCT_get_connections_buffer (struct CadetTunnel *t)
3998 {
3999   struct CadetTConnection *iter;
4000   unsigned int buffer;
4001
4002   if (GNUNET_NO == is_ready (t))
4003   {
4004     if (count_queued_data (t) >= 3)
4005       return 0;
4006     else
4007       return 1;
4008   }
4009
4010   buffer = 0;
4011   for (iter = t->connection_head; NULL != iter; iter = iter->next)
4012   {
4013     if (GCC_get_state (iter->c) != CADET_CONNECTION_READY)
4014     {
4015       continue;
4016     }
4017     buffer += get_connection_buffer (iter);
4018   }
4019
4020   return buffer;
4021 }
4022
4023
4024 /**
4025  * Get the tunnel's destination.
4026  *
4027  * @param t Tunnel.
4028  *
4029  * @return ID of the destination peer.
4030  */
4031 const struct GNUNET_PeerIdentity *
4032 GCT_get_destination (struct CadetTunnel *t)
4033 {
4034   return GCP_get_id (t->peer);
4035 }
4036
4037
4038 /**
4039  * Get the tunnel's next free global channel ID.
4040  *
4041  * @param t Tunnel.
4042  *
4043  * @return GID of a channel free to use.
4044  */
4045 CADET_ChannelNumber
4046 GCT_get_next_chid (struct CadetTunnel *t)
4047 {
4048   CADET_ChannelNumber chid;
4049   CADET_ChannelNumber mask;
4050   int result;
4051
4052   /* Set bit 30 depending on the ID relationship. Bit 31 is always 0 for GID.
4053    * If our ID is bigger or loopback tunnel, start at 0, bit 30 = 0
4054    * If peer's ID is bigger, start at 0x4... bit 30 = 1
4055    */
4056   result = GNUNET_CRYPTO_cmp_peer_identity (&my_full_id, GCP_get_id (t->peer));
4057   if (0 > result)
4058     mask = 0x40000000;
4059   else
4060     mask = 0x0;
4061   t->next_chid |= mask;
4062
4063   while (NULL != GCT_get_channel (t, t->next_chid))
4064   {
4065     LOG (GNUNET_ERROR_TYPE_DEBUG, "Channel %u exists...\n", t->next_chid);
4066     t->next_chid = (t->next_chid + 1) & ~GNUNET_CADET_LOCAL_CHANNEL_ID_CLI;
4067     t->next_chid |= mask;
4068   }
4069   chid = t->next_chid;
4070   t->next_chid = (t->next_chid + 1) & ~GNUNET_CADET_LOCAL_CHANNEL_ID_CLI;
4071   t->next_chid |= mask;
4072
4073   return chid;
4074 }
4075
4076
4077 /**
4078  * Send ACK on one or more channels due to buffer in connections.
4079  *
4080  * @param t Channel which has some free buffer space.
4081  */
4082 void
4083 GCT_unchoke_channels (struct CadetTunnel *t)
4084 {
4085   struct CadetTChannel *iter;
4086   unsigned int buffer;
4087   unsigned int channels = GCT_count_channels (t);
4088   unsigned int choked_n;
4089   struct CadetChannel *choked[channels];
4090
4091   LOG (GNUNET_ERROR_TYPE_DEBUG, "GCT_unchoke_channels on %s\n", GCT_2s (t));
4092   LOG (GNUNET_ERROR_TYPE_DEBUG, " head: %p\n", t->channel_head);
4093   if (NULL != t->channel_head)
4094     LOG (GNUNET_ERROR_TYPE_DEBUG, " head ch: %p\n", t->channel_head->ch);
4095
4096   if (NULL != t->tq_head)
4097     send_queued_data (t);
4098
4099   /* Get buffer space */
4100   buffer = GCT_get_connections_buffer (t);
4101   if (0 == buffer)
4102   {
4103     return;
4104   }
4105
4106   /* Count and remember choked channels */
4107   choked_n = 0;
4108   for (iter = t->channel_head; NULL != iter; iter = iter->next)
4109   {
4110     if (GNUNET_NO == get_channel_allowed (iter))
4111     {
4112       choked[choked_n++] = iter->ch;
4113     }
4114   }
4115
4116   /* Unchoke random channels */
4117   while (0 < buffer && 0 < choked_n)
4118   {
4119     unsigned int r = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK,
4120                                                choked_n);
4121     GCCH_allow_client (choked[r], GCCH_is_origin (choked[r], GNUNET_YES));
4122     choked_n--;
4123     buffer--;
4124     choked[r] = choked[choked_n];
4125   }
4126 }
4127
4128
4129 /**
4130  * Send ACK on one or more connections due to buffer space to the client.
4131  *
4132  * Iterates all connections of the tunnel and sends ACKs appropriately.
4133  *
4134  * @param t Tunnel.
4135  */
4136 void
4137 GCT_send_connection_acks (struct CadetTunnel *t)
4138 {
4139   struct CadetTConnection *iter;
4140   uint32_t allowed;
4141   uint32_t to_allow;
4142   uint32_t allow_per_connection;
4143   unsigned int cs;
4144   unsigned int buffer;
4145
4146   LOG (GNUNET_ERROR_TYPE_DEBUG, "Tunnel send connection ACKs on %s\n",
4147        GCT_2s (t));
4148
4149   if (NULL == t)
4150   {
4151     GNUNET_break (0);
4152     return;
4153   }
4154
4155   if (CADET_TUNNEL_READY != t->cstate)
4156     return;
4157
4158   buffer = GCT_get_channels_buffer (t);
4159   LOG (GNUNET_ERROR_TYPE_DEBUG, "  buffer %u\n", buffer);
4160
4161   /* Count connections, how many messages are already allowed */
4162   cs = GCT_count_connections (t);
4163   for (allowed = 0, iter = t->connection_head; NULL != iter; iter = iter->next)
4164   {
4165     allowed += get_connection_allowed (iter);
4166   }
4167   LOG (GNUNET_ERROR_TYPE_DEBUG, "  allowed %u\n", allowed);
4168
4169   /* Make sure there is no overflow */
4170   if (allowed > buffer)
4171     return;
4172
4173   /* Authorize connections to send more data */
4174   to_allow = buffer - allowed;
4175
4176   for (iter = t->connection_head;
4177        NULL != iter && to_allow > 0;
4178        iter = iter->next)
4179   {
4180     if (CADET_CONNECTION_READY != GCC_get_state (iter->c)
4181         || get_connection_allowed (iter) > 64 / 3)
4182     {
4183       continue;
4184     }
4185     allow_per_connection = to_allow/cs;
4186     to_allow -= allow_per_connection;
4187     cs--;
4188     GCC_allow (iter->c, allow_per_connection,
4189                GCC_is_origin (iter->c, GNUNET_NO));
4190   }
4191
4192   if (0 != to_allow)
4193   {
4194     /* Since we don't allow if it's allowed to send 64/3, this can happen. */
4195     LOG (GNUNET_ERROR_TYPE_DEBUG, "  reminding to_allow: %u\n", to_allow);
4196   }
4197 }
4198
4199
4200 /**
4201  * Cancel a previously sent message while it's in the queue.
4202  *
4203  * ONLY can be called before the continuation given to the send function
4204  * is called. Once the continuation is called, the message is no longer in the
4205  * queue.
4206  *
4207  * @param q Handle to the queue.
4208  */
4209 void
4210 GCT_cancel (struct CadetTunnelQueue *q)
4211 {
4212   if (NULL != q->cq)
4213   {
4214     GNUNET_assert (NULL == q->tqd);
4215     GCC_cancel (q->cq);
4216     /* tun_message_sent() will be called and free q */
4217   }
4218   else if (NULL != q->tqd)
4219   {
4220     unqueue_data (q->tqd);
4221     q->tqd = NULL;
4222     if (NULL != q->cont)
4223       q->cont (q->cont_cls, NULL, q, 0, 0);
4224     GNUNET_free (q);
4225   }
4226   else
4227   {
4228     GNUNET_break (0);
4229   }
4230 }
4231
4232
4233 /**
4234  * Check if the tunnel has queued traffic.
4235  *
4236  * @param t Tunnel to check.
4237  *
4238  * @return #GNUNET_YES if there is queued traffic
4239  *         #GNUNET_NO otherwise
4240  */
4241 int
4242 GCT_has_queued_traffic (struct CadetTunnel *t)
4243 {
4244   return (NULL != t->tq_head) ? GNUNET_YES : GNUNET_NO;
4245 }
4246
4247
4248 /**
4249  * Sends an already built message on a tunnel, encrypting it and
4250  * choosing the best connection if not provided.
4251  *
4252  * @param message Message to send. Function modifies it.
4253  * @param t Tunnel on which this message is transmitted.
4254  * @param c Connection to use (autoselect if NULL).
4255  * @param force Force the tunnel to take the message (buffer overfill).
4256  * @param cont Continuation to call once message is really sent.
4257  * @param cont_cls Closure for @c cont.
4258  *
4259  * @return Handle to cancel message. NULL if @c cont is NULL.
4260  */
4261 struct CadetTunnelQueue *
4262 GCT_send_prebuilt_message (const struct GNUNET_MessageHeader *message,
4263                            struct CadetTunnel *t, struct CadetConnection *c,
4264                            int force, GCT_sent cont, void *cont_cls)
4265 {
4266   return send_prebuilt_message (message, t, c, force, cont, cont_cls, NULL);
4267 }
4268
4269
4270 /**
4271  * Send an Axolotl KX message.
4272  *
4273  * @param t Tunnel on which to send it.
4274  * @param force_reply Force the other peer to reply with a KX message.
4275  */
4276 void
4277 GCT_send_ax_kx (struct CadetTunnel *t, int force_reply)
4278 {
4279   struct GNUNET_CADET_AX_KX msg;
4280   enum GNUNET_CADET_AX_KX_Flags flags;
4281
4282   LOG (GNUNET_ERROR_TYPE_INFO, "===> AX_KX for %s\n", GCT_2s (t));
4283   if (NULL != t->ephm_h)
4284   {
4285     LOG (GNUNET_ERROR_TYPE_INFO, "     already queued\n");
4286     return;
4287   }
4288
4289   msg.header.size = htons (sizeof (msg));
4290   msg.header.type = htons (GNUNET_MESSAGE_TYPE_CADET_AX_KX);
4291   flags = GNUNET_CADET_AX_KX_FLAG_NONE;
4292   if (force_reply)
4293     flags |= GNUNET_CADET_AX_KX_FLAG_FORCE_REPLY;
4294   msg.flags = htonl (flags);
4295   GNUNET_CRYPTO_ecdhe_key_get_public (t->ax->kx_0, &msg.ephemeral_key);
4296   GNUNET_CRYPTO_ecdhe_key_get_public (t->ax->DHRs, &msg.ratchet_key);
4297
4298   t->ephm_h = send_kx (t, &msg.header);
4299   if (CADET_TUNNEL_KEY_OK != t->estate)
4300     GCT_change_estate (t, CADET_TUNNEL_KEY_SENT);
4301 }
4302
4303
4304 /**
4305  * Sends an already built and encrypted message on a tunnel, choosing the best
4306  * connection. Useful for re-queueing messages queued on a destroyed connection.
4307  *
4308  * @param message Message to send. Function modifies it.
4309  * @param t Tunnel on which this message is transmitted.
4310  */
4311 void
4312 GCT_resend_message (const struct GNUNET_MessageHeader *message,
4313                     struct CadetTunnel *t)
4314 {
4315   struct CadetConnection *c;
4316   int fwd;
4317
4318   c = tunnel_get_connection (t);
4319   if (NULL == c)
4320   {
4321     /* TODO queue in tunnel, marked as encrypted */
4322     LOG (GNUNET_ERROR_TYPE_DEBUG, "No connection available, dropping.\n");
4323     return;
4324   }
4325   fwd = GCC_is_origin (c, GNUNET_YES);
4326   GNUNET_break (NULL == GCC_send_prebuilt_message (message, 0, 0, c, fwd,
4327                                                    GNUNET_YES, NULL, NULL));
4328 }
4329
4330
4331 /**
4332  * Is the tunnel directed towards the local peer?
4333  *
4334  * @param t Tunnel.
4335  *
4336  * @return #GNUNET_YES if it is loopback.
4337  */
4338 int
4339 GCT_is_loopback (const struct CadetTunnel *t)
4340 {
4341   return (myid == GCP_get_short_id (t->peer));
4342 }
4343
4344
4345 /**
4346  * Is the tunnel this path already?
4347  *
4348  * @param t Tunnel.
4349  * @param p Path.
4350  *
4351  * @return #GNUNET_YES a connection uses this path.
4352  */
4353 int
4354 GCT_is_path_used (const struct CadetTunnel *t, const struct CadetPeerPath *p)
4355 {
4356   struct CadetTConnection *iter;
4357
4358   for (iter = t->connection_head; NULL != iter; iter = iter->next)
4359     if (path_equivalent (GCC_get_path (iter->c), p))
4360       return GNUNET_YES;
4361
4362   return GNUNET_NO;
4363 }
4364
4365
4366 /**
4367  * Get a cost of a path for a tunnel considering existing connections.
4368  *
4369  * @param t Tunnel.
4370  * @param path Candidate path.
4371  *
4372  * @return Cost of the path (path length + number of overlapping nodes)
4373  */
4374 unsigned int
4375 GCT_get_path_cost (const struct CadetTunnel *t,
4376                    const struct CadetPeerPath *path)
4377 {
4378   struct CadetTConnection *iter;
4379   const struct CadetPeerPath *aux;
4380   unsigned int overlap;
4381   unsigned int i;
4382   unsigned int j;
4383
4384   if (NULL == path)
4385     return 0;
4386
4387   overlap = 0;
4388   GNUNET_assert (NULL != t);
4389
4390   for (i = 0; i < path->length; i++)
4391   {
4392     for (iter = t->connection_head; NULL != iter; iter = iter->next)
4393     {
4394       aux = GCC_get_path (iter->c);
4395       if (NULL == aux)
4396         continue;
4397
4398       for (j = 0; j < aux->length; j++)
4399       {
4400         if (path->peers[i] == aux->peers[j])
4401         {
4402           overlap++;
4403           break;
4404         }
4405       }
4406     }
4407   }
4408   return path->length + overlap;
4409 }
4410
4411
4412 /**
4413  * Get the static string for the peer this tunnel is directed.
4414  *
4415  * @param t Tunnel.
4416  *
4417  * @return Static string the destination peer's ID.
4418  */
4419 const char *
4420 GCT_2s (const struct CadetTunnel *t)
4421 {
4422   if (NULL == t)
4423     return "(NULL)";
4424
4425   return GCP_2s (t->peer);
4426 }
4427
4428
4429 /******************************************************************************/
4430 /*****************************    INFO/DEBUG    *******************************/
4431 /******************************************************************************/
4432
4433 static void
4434 ax_debug (const struct CadetTunnelAxolotl *ax, enum GNUNET_ErrorType level)
4435 {
4436   struct GNUNET_CRYPTO_EcdhePublicKey pub;
4437   struct CadetTunnelSkippedKey *iter;
4438
4439   LOG2 (level, "TTT  RK  \t %s\n",
4440         GNUNET_i2s ((struct GNUNET_PeerIdentity *) &ax->RK));
4441
4442   LOG2 (level, "TTT  HKs \t %s\n",
4443         GNUNET_i2s ((struct GNUNET_PeerIdentity *) &ax->HKs));
4444   LOG2 (level, "TTT  HKr \t %s\n",
4445         GNUNET_i2s ((struct GNUNET_PeerIdentity *) &ax->HKr));
4446   LOG2 (level, "TTT  NHKs\t %s\n",
4447         GNUNET_i2s ((struct GNUNET_PeerIdentity *) &ax->NHKs));
4448   LOG2 (level, "TTT  NHKr\t %s\n",
4449         GNUNET_i2s ((struct GNUNET_PeerIdentity *) &ax->NHKr));
4450
4451   LOG2 (level, "TTT  CKs \t %s\n",
4452         GNUNET_i2s ((struct GNUNET_PeerIdentity *) &ax->CKs));
4453   LOG2 (level, "TTT  CKr \t %s\n",
4454         GNUNET_i2s ((struct GNUNET_PeerIdentity *) &ax->CKr));
4455
4456   GNUNET_CRYPTO_ecdhe_key_get_public (ax->DHRs, &pub);
4457   LOG2 (level, "TTT  DHRs\t %s\n",
4458         GNUNET_i2s ((struct GNUNET_PeerIdentity *) &pub));
4459   LOG2 (level, "TTT  DHRr\t %s\n",
4460         GNUNET_i2s ((struct GNUNET_PeerIdentity *) &ax->DHRr));
4461
4462   LOG2 (level, "TTT  Nr\t %u\tNs\t%u\n", ax->Nr, ax->Ns);
4463   LOG2 (level, "TTT  PNs\t %u\tSkipped\t%u\n", ax->PNs, ax->skipped);
4464   LOG2 (level, "TTT  Ratchet\t%u\n", ax->ratchet_flag);
4465
4466   for (iter = ax->skipped_head; NULL != iter; iter = iter->next)
4467   {
4468     LOG2 (level, "TTT    HK\t %s\n",
4469           GNUNET_i2s ((struct GNUNET_PeerIdentity *) &iter->HK));
4470     LOG2 (level, "TTT    MK\t %s\n",
4471           GNUNET_i2s ((struct GNUNET_PeerIdentity *) &iter->MK));
4472   }
4473 }
4474
4475 /**
4476  * Log all possible info about the tunnel state.
4477  *
4478  * @param t Tunnel to debug.
4479  * @param level Debug level to use.
4480  */
4481 void
4482 GCT_debug (const struct CadetTunnel *t, enum GNUNET_ErrorType level)
4483 {
4484   struct CadetTChannel *iterch;
4485   struct CadetTConnection *iterc;
4486   int do_log;
4487
4488   do_log = GNUNET_get_log_call_status (level & (~GNUNET_ERROR_TYPE_BULK),
4489                                        "cadet-tun",
4490                                        __FILE__, __FUNCTION__, __LINE__);
4491   if (0 == do_log)
4492     return;
4493
4494   LOG2 (level, "TTT DEBUG TUNNEL TOWARDS %s\n", GCT_2s (t));
4495   LOG2 (level, "TTT  cstate %s, estate %s\n",
4496        cstate2s (t->cstate), estate2s (t->estate));
4497   LOG2 (level, "TTT  kx_ctx %p, rekey_task %u, finish task %u\n",
4498         t->kx_ctx, t->rekey_task, t->kx_ctx ? t->kx_ctx->finish_task : 0);
4499 #if DUMP_KEYS_TO_STDERR
4500   if (CADET_Axolotl == t->enc_type)
4501   {
4502     ax_debug (t->ax, level);
4503   }
4504   else
4505   {
4506     LOG2 (level, "TTT  my EPHM\t %s\n",
4507           GNUNET_i2s ((struct GNUNET_PeerIdentity *) &otr_kx_msg.ephemeral_key));
4508     LOG2 (level, "TTT  peers EPHM:\t %s\n",
4509           GNUNET_i2s ((struct GNUNET_PeerIdentity *) &t->peers_ephemeral_key));
4510     LOG2 (level, "TTT  ENC key:\t %s\n",
4511           GNUNET_i2s ((struct GNUNET_PeerIdentity *) &t->e_key));
4512     LOG2 (level, "TTT  DEC key:\t %s\n",
4513           GNUNET_i2s ((struct GNUNET_PeerIdentity *) &t->d_key));
4514     if (t->kx_ctx)
4515     {
4516       LOG2 (level, "TTT  OLD ENC key:\t %s\n",
4517             GNUNET_i2s ((struct GNUNET_PeerIdentity *) &t->kx_ctx->e_key_old));
4518       LOG2 (level, "TTT  OLD DEC key:\t %s\n",
4519             GNUNET_i2s ((struct GNUNET_PeerIdentity *) &t->kx_ctx->d_key_old));
4520     }
4521   }
4522 #endif
4523   LOG2 (level, "TTT  tq_head %p, tq_tail %p\n", t->tq_head, t->tq_tail);
4524   LOG2 (level, "TTT  destroy %p\n", t->destroy_task);
4525
4526   LOG2 (level, "TTT  channels:\n");
4527   for (iterch = t->channel_head; NULL != iterch; iterch = iterch->next)
4528   {
4529     LOG2 (level, "TTT  - %s\n", GCCH_2s (iterch->ch));
4530   }
4531
4532   LOG2 (level, "TTT  connections:\n");
4533   for (iterc = t->connection_head; NULL != iterc; iterc = iterc->next)
4534   {
4535     GCC_debug (iterc->c, level);
4536   }
4537
4538   LOG2 (level, "TTT DEBUG TUNNEL END\n");
4539 }
4540
4541
4542 /**
4543  * Iterate all tunnels.
4544  *
4545  * @param iter Iterator.
4546  * @param cls Closure for @c iter.
4547  */
4548 void
4549 GCT_iterate_all (GNUNET_CONTAINER_PeerMapIterator iter, void *cls)
4550 {
4551   GNUNET_CONTAINER_multipeermap_iterate (tunnels, iter, cls);
4552 }
4553
4554
4555 /**
4556  * Count all tunnels.
4557  *
4558  * @return Number of tunnels to remote peers kept by this peer.
4559  */
4560 unsigned int
4561 GCT_count_all (void)
4562 {
4563   return GNUNET_CONTAINER_multipeermap_size (tunnels);
4564 }
4565
4566
4567 /**
4568  * Iterate all connections of a tunnel.
4569  *
4570  * @param t Tunnel whose connections to iterate.
4571  * @param iter Iterator.
4572  * @param cls Closure for @c iter.
4573  */
4574 void
4575 GCT_iterate_connections (struct CadetTunnel *t, GCT_conn_iter iter, void *cls)
4576 {
4577   struct CadetTConnection *ct;
4578
4579   for (ct = t->connection_head; NULL != ct; ct = ct->next)
4580     iter (cls, ct->c);
4581 }
4582
4583
4584 /**
4585  * Iterate all channels of a tunnel.
4586  *
4587  * @param t Tunnel whose channels to iterate.
4588  * @param iter Iterator.
4589  * @param cls Closure for @c iter.
4590  */
4591 void
4592 GCT_iterate_channels (struct CadetTunnel *t, GCT_chan_iter iter, void *cls)
4593 {
4594   struct CadetTChannel *cht;
4595
4596   for (cht = t->channel_head; NULL != cht; cht = cht->next)
4597     iter (cls, cht->ch);
4598 }