towards fixing blacklisting APIs and implementation
[oweals/gnunet.git] / src / core / gnunet-service-core.c
1 /*
2      This file is part of GNUnet.
3      (C) 2009 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 2, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file core/gnunet-service-core.c
23  * @brief high-level P2P messaging
24  * @author Christian Grothoff
25  *
26  * Considerations for later:
27  * - check that hostkey used by transport (for HELLOs) is the
28  *   same as the hostkey that we are using!
29  * - add code to send PINGs if we are about to time-out otherwise
30  * - optimize lookup (many O(n) list traversals
31  *   could ideally be changed to O(1) hash map lookups)
32  */
33 #include "platform.h"
34 #include "gnunet_constants.h"
35 #include "gnunet_util_lib.h"
36 #include "gnunet_hello_lib.h"
37 #include "gnunet_peerinfo_service.h"
38 #include "gnunet_protocols.h"
39 #include "gnunet_signatures.h"
40 #include "gnunet_statistics_service.h"
41 #include "gnunet_transport_service.h"
42 #include "core.h"
43
44
45 #define DEBUG_HANDSHAKE GNUNET_YES
46
47 #define DEBUG_CORE_QUOTA GNUNET_YES
48
49 /**
50  * Receive and send buffer windows grow over time.  For
51  * how long can 'unused' bandwidth accumulate before we
52  * need to cap it?  (specified in seconds).
53  */
54 #define MAX_WINDOW_TIME_S (5 * 60)
55
56 /**
57  * How many messages do we queue up at most for optional
58  * notifications to a client?  (this can cause notifications
59  * about outgoing messages to be dropped).
60  */
61 #define MAX_NOTIFY_QUEUE 16
62
63 /**
64  * Minimum bandwidth (out) to assign to any connected peer.
65  * Should be rather low; values larger than DEFAULT_BW_IN_OUT make no
66  * sense.
67  */
68 #define MIN_BANDWIDTH_PER_PEER GNUNET_CONSTANTS_DEFAULT_BW_IN_OUT
69
70 /**
71  * After how much time past the "official" expiration time do
72  * we discard messages?  Should not be zero since we may 
73  * intentionally defer transmission until close to the deadline
74  * and then may be slightly past the deadline due to inaccuracy
75  * in sleep and our own CPU consumption.
76  */
77 #define PAST_EXPIRATION_DISCARD_TIME GNUNET_TIME_UNIT_SECONDS
78
79 /**
80  * What is the maximum delay for a SET_KEY message?
81  */
82 #define MAX_SET_KEY_DELAY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 5)
83
84 /**
85  * What how long do we wait for SET_KEY confirmation initially?
86  */
87 #define INITIAL_SET_KEY_RETRY_FREQUENCY GNUNET_TIME_relative_multiply (MAX_SET_KEY_DELAY, 3)
88
89 /**
90  * What is the maximum delay for a PING message?
91  */
92 #define MAX_PING_DELAY GNUNET_TIME_relative_multiply (MAX_SET_KEY_DELAY, 2)
93
94 /**
95  * What is the maximum delay for a PONG message?
96  */
97 #define MAX_PONG_DELAY GNUNET_TIME_relative_multiply (MAX_PING_DELAY, 2)
98
99 /**
100  * What is the minimum frequency for a PING message?
101  */
102 #define MIN_PING_FREQUENCY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 5)
103
104 /**
105  * How often do we recalculate bandwidth quotas?
106  */
107 #define QUOTA_UPDATE_FREQUENCY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 5)
108
109 /**
110  * What is the priority for a SET_KEY message?
111  */
112 #define SET_KEY_PRIORITY 0xFFFFFF
113
114 /**
115  * What is the priority for a PING message?
116  */
117 #define PING_PRIORITY 0xFFFFFF
118
119 /**
120  * What is the priority for a PONG message?
121  */
122 #define PONG_PRIORITY 0xFFFFFF
123
124 /**
125  * How many messages do we queue per peer at most?  Must be at
126  * least two.
127  */
128 #define MAX_PEER_QUEUE_SIZE 16
129
130 /**
131  * How many non-mandatory messages do we queue per client at most?
132  */
133 #define MAX_CLIENT_QUEUE_SIZE 32
134
135 /**
136  * What is the maximum age of a message for us to consider
137  * processing it?  Note that this looks at the timestamp used
138  * by the other peer, so clock skew between machines does
139  * come into play here.  So this should be picked high enough
140  * so that a little bit of clock skew does not prevent peers
141  * from connecting to us.
142  */
143 #define MAX_MESSAGE_AGE GNUNET_TIME_UNIT_DAYS
144
145 /**
146  * What is the maximum size for encrypted messages?  Note that this
147  * number imposes a clear limit on the maximum size of any message.
148  * Set to a value close to 64k but not so close that transports will
149  * have trouble with their headers.
150  */
151 #define MAX_ENCRYPTED_MESSAGE_SIZE (63 * 1024)
152
153
154 /**
155  * State machine for our P2P encryption handshake.  Everyone starts in
156  * "DOWN", if we receive the other peer's key (other peer initiated)
157  * we start in state RECEIVED (since we will immediately send our
158  * own); otherwise we start in SENT.  If we get back a PONG from
159  * within either state, we move up to CONFIRMED (the PONG will always
160  * be sent back encrypted with the key we sent to the other peer).
161  */
162 enum PeerStateMachine
163 {
164   PEER_STATE_DOWN,
165   PEER_STATE_KEY_SENT,
166   PEER_STATE_KEY_RECEIVED,
167   PEER_STATE_KEY_CONFIRMED
168 };
169
170
171 /**
172  * Number of bytes (at the beginning) of "struct EncryptedMessage"
173  * that are NOT encrypted.
174  */
175 #define ENCRYPTED_HEADER_SIZE (sizeof(struct GNUNET_MessageHeader) + sizeof(uint32_t))
176
177
178 /**
179  * Encapsulation for encrypted messages exchanged between
180  * peers.  Followed by the actual encrypted data.
181  */
182 struct EncryptedMessage
183 {
184   /**
185    * Message type is either CORE_ENCRYPTED_MESSAGE.
186    */
187   struct GNUNET_MessageHeader header;
188
189   /**
190    * Random value used for IV generation.  ENCRYPTED_HEADER_SIZE must
191    * be set to the offset of the *next* field.
192    */
193   uint32_t iv_seed GNUNET_PACKED;
194
195   /**
196    * Hash of the plaintext (starting at 'sequence_number'), used to
197    * verify message integrity.  Everything after this hash (including
198    * this hash itself) will be encrypted.  
199    */
200   GNUNET_HashCode plaintext_hash;
201
202   /**
203    * Sequence number, in network byte order.  This field
204    * must be the first encrypted/decrypted field and the
205    * first byte that is hashed for the plaintext hash.
206    */
207   uint32_t sequence_number GNUNET_PACKED;
208
209   /**
210    * Desired bandwidth (how much we should send to this peer / how
211    * much is the sender willing to receive)?
212    */
213   struct GNUNET_BANDWIDTH_Value32NBO inbound_bw_limit;
214
215   /**
216    * Timestamp.  Used to prevent reply of ancient messages
217    * (recent messages are caught with the sequence number).
218    */
219   struct GNUNET_TIME_AbsoluteNBO timestamp;
220
221 };
222
223
224 /**
225  * We're sending an (encrypted) PING to the other peer to check if he
226  * can decrypt.  The other peer should respond with a PONG with the
227  * same content, except this time encrypted with the receiver's key.
228  */
229 struct PingMessage
230 {
231   /**
232    * Message type is CORE_PING.
233    */
234   struct GNUNET_MessageHeader header;
235
236   /**
237    * Random number chosen to make reply harder.
238    */
239   uint32_t challenge GNUNET_PACKED;
240
241   /**
242    * Intended target of the PING, used primarily to check
243    * that decryption actually worked.
244    */
245   struct GNUNET_PeerIdentity target;
246 };
247
248
249
250 /**
251  * Response to a PING.  Includes data from the original PING
252  * plus initial bandwidth quota information.
253  */
254 struct PongMessage
255 {
256   /**
257    * Message type is CORE_PONG.
258    */
259   struct GNUNET_MessageHeader header;
260
261   /**
262    * Random number proochosen to make reply harder.  Must be
263    * first field after header (this is where we start to encrypt!).
264    */
265   uint32_t challenge GNUNET_PACKED;
266
267   /**
268    * Must be zero.
269    */
270   uint32_t reserved GNUNET_PACKED;
271
272   /**
273    * Desired bandwidth (how much we should send to this
274    * peer / how much is the sender willing to receive).
275    */
276   struct GNUNET_BANDWIDTH_Value32NBO inbound_bw_limit;
277
278   /**
279    * Intended target of the PING, used primarily to check
280    * that decryption actually worked.
281    */
282   struct GNUNET_PeerIdentity target;
283 };
284
285
286 /**
287  * Message transmitted to set (or update) a session key.
288  */
289 struct SetKeyMessage
290 {
291
292   /**
293    * Message type is either CORE_SET_KEY.
294    */
295   struct GNUNET_MessageHeader header;
296
297   /**
298    * Status of the sender (should be in "enum PeerStateMachine"), nbo.
299    */
300   int32_t sender_status GNUNET_PACKED;
301
302   /**
303    * Purpose of the signature, will be
304    * GNUNET_SIGNATURE_PURPOSE_SET_KEY.
305    */
306   struct GNUNET_CRYPTO_RsaSignaturePurpose purpose;
307
308   /**
309    * At what time was this key created?
310    */
311   struct GNUNET_TIME_AbsoluteNBO creation_time;
312
313   /**
314    * The encrypted session key.
315    */
316   struct GNUNET_CRYPTO_RsaEncryptedData encrypted_key;
317
318   /**
319    * Who is the intended recipient?
320    */
321   struct GNUNET_PeerIdentity target;
322
323   /**
324    * Signature of the stuff above (starting at purpose).
325    */
326   struct GNUNET_CRYPTO_RsaSignature signature;
327
328 };
329
330
331 /**
332  * Message waiting for transmission. This struct
333  * is followed by the actual content of the message.
334  */
335 struct MessageEntry
336 {
337
338   /**
339    * We keep messages in a doubly linked list.
340    */
341   struct MessageEntry *next;
342
343   /**
344    * We keep messages in a doubly linked list.
345    */
346   struct MessageEntry *prev;
347
348   /**
349    * By when are we supposed to transmit this message?
350    */
351   struct GNUNET_TIME_Absolute deadline;
352
353   /**
354    * By when are we supposed to transmit this message (after
355    * giving slack)?
356    */
357   struct GNUNET_TIME_Absolute slack_deadline;
358
359   /**
360    * How important is this message to us?
361    */
362   unsigned int priority;
363
364   /**
365    * How long is the message? (number of bytes following
366    * the "struct MessageEntry", but not including the
367    * size of "struct MessageEntry" itself!)
368    */
369   uint16_t size;
370
371   /**
372    * Was this message selected for transmission in the
373    * current round? GNUNET_YES or GNUNET_NO.
374    */
375   int8_t do_transmit;
376
377   /**
378    * Did we give this message some slack (delayed sending) previously
379    * (and hence should not give it any more slack)? GNUNET_YES or
380    * GNUNET_NO.
381    */
382   int8_t got_slack;
383
384 };
385
386
387 struct Neighbour
388 {
389   /**
390    * We keep neighbours in a linked list (for now).
391    */
392   struct Neighbour *next;
393
394   /**
395    * Unencrypted messages destined for this peer.
396    */
397   struct MessageEntry *messages;
398
399   /**
400    * Head of the batched, encrypted message queue (already ordered,
401    * transmit starting with the head).
402    */
403   struct MessageEntry *encrypted_head;
404
405   /**
406    * Tail of the batched, encrypted message queue (already ordered,
407    * append new messages to tail)
408    */
409   struct MessageEntry *encrypted_tail;
410
411   /**
412    * Handle for pending requests for transmission to this peer
413    * with the transport service.  NULL if no request is pending.
414    */
415   struct GNUNET_TRANSPORT_TransmitHandle *th;
416
417   /**
418    * Public key of the neighbour, NULL if we don't have it yet.
419    */
420   struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded *public_key;
421
422   /**
423    * We received a PING message before we got the "public_key"
424    * (or the SET_KEY).  We keep it here until we have a key
425    * to decrypt it.  NULL if no PING is pending.
426    */
427   struct PingMessage *pending_ping;
428
429   /**
430    * We received a PONG message before we got the "public_key"
431    * (or the SET_KEY).  We keep it here until we have a key
432    * to decrypt it.  NULL if no PONG is pending.
433    */
434   struct PongMessage *pending_pong;
435
436   /**
437    * Non-NULL if we are currently looking up HELLOs for this peer.
438    * for this peer.
439    */
440   struct GNUNET_PEERINFO_IteratorContext *pitr;
441
442   /**
443    * SetKeyMessage to transmit, NULL if we are not currently trying
444    * to send one.
445    */
446   struct SetKeyMessage *skm;
447
448   /**
449    * Identity of the neighbour.
450    */
451   struct GNUNET_PeerIdentity peer;
452
453   /**
454    * Key we use to encrypt our messages for the other peer
455    * (initialized by us when we do the handshake).
456    */
457   struct GNUNET_CRYPTO_AesSessionKey encrypt_key;
458
459   /**
460    * Key we use to decrypt messages from the other peer
461    * (given to us by the other peer during the handshake).
462    */
463   struct GNUNET_CRYPTO_AesSessionKey decrypt_key;
464
465   /**
466    * ID of task used for re-trying plaintext scheduling.
467    */
468   GNUNET_SCHEDULER_TaskIdentifier retry_plaintext_task;
469
470   /**
471    * ID of task used for re-trying SET_KEY and PING message.
472    */
473   GNUNET_SCHEDULER_TaskIdentifier retry_set_key_task;
474
475   /**
476    * ID of task used for updating bandwidth quota for this neighbour.
477    */
478   GNUNET_SCHEDULER_TaskIdentifier quota_update_task;
479
480   /**
481    * ID of task used for sending keep-alive pings.
482    */
483   GNUNET_SCHEDULER_TaskIdentifier keep_alive_task;
484
485   /**
486    * ID of task used for cleaning up dead neighbour entries.
487    */
488   GNUNET_SCHEDULER_TaskIdentifier dead_clean_task;
489
490   /**
491    * At what time did we generate our encryption key?
492    */
493   struct GNUNET_TIME_Absolute encrypt_key_created;
494
495   /**
496    * At what time did the other peer generate the decryption key?
497    */
498   struct GNUNET_TIME_Absolute decrypt_key_created;
499
500   /**
501    * At what time did we initially establish (as in, complete session
502    * key handshake) this connection?  Should be zero if status != KEY_CONFIRMED.
503    */
504   struct GNUNET_TIME_Absolute time_established;
505
506   /**
507    * At what time did we last receive an encrypted message from the
508    * other peer?  Should be zero if status != KEY_CONFIRMED.
509    */
510   struct GNUNET_TIME_Absolute last_activity;
511
512   /**
513    * Last latency observed from this peer.
514    */
515   struct GNUNET_TIME_Relative last_latency;
516
517   /**
518    * At what frequency are we currently re-trying SET_KEY messages?
519    */
520   struct GNUNET_TIME_Relative set_key_retry_frequency;
521
522   /**
523    * Tracking bandwidth for sending to this peer.
524    */
525   struct GNUNET_BANDWIDTH_Tracker available_send_window;
526
527   /**
528    * Tracking bandwidth for receiving from this peer.
529    */
530   struct GNUNET_BANDWIDTH_Tracker available_recv_window;
531
532   /**
533    * How valueable were the messages of this peer recently?
534    */
535   unsigned long long current_preference;
536
537   /**
538    * Bit map indicating which of the 32 sequence numbers before the last
539    * were received (good for accepting out-of-order packets and
540    * estimating reliability of the connection)
541    */
542   unsigned int last_packets_bitmap;
543
544   /**
545    * last sequence number received on this connection (highest)
546    */
547   uint32_t last_sequence_number_received;
548
549   /**
550    * last sequence number transmitted
551    */
552   uint32_t last_sequence_number_sent;
553
554   /**
555    * Available bandwidth in for this peer (current target).
556    */
557   struct GNUNET_BANDWIDTH_Value32NBO bw_in;    
558
559   /**
560    * Available bandwidth out for this peer (current target).
561    */
562   struct GNUNET_BANDWIDTH_Value32NBO bw_out;  
563
564   /**
565    * Internal bandwidth limit set for this peer (initially typically
566    * set to "-1").  Actual "bw_out" is MIN of
567    * "bpm_out_internal_limit" and "bw_out_external_limit".
568    */
569   struct GNUNET_BANDWIDTH_Value32NBO bw_out_internal_limit;
570
571   /**
572    * External bandwidth limit set for this peer by the
573    * peer that we are communicating with.  "bw_out" is MIN of
574    * "bw_out_internal_limit" and "bw_out_external_limit".
575    */
576   struct GNUNET_BANDWIDTH_Value32NBO bw_out_external_limit;
577
578   /**
579    * What was our PING challenge number (for this peer)?
580    */
581   uint32_t ping_challenge;
582
583   /**
584    * What was the last distance to this peer as reported by the transports?
585    */
586   uint32_t last_distance;
587
588   /**
589    * What is our connection status?
590    */
591   enum PeerStateMachine status;
592
593   /**
594    * Are we currently connected to this neighbour?
595    */ 
596   int is_connected;
597
598 };
599
600
601 /**
602  * Data structure for each client connected to the core service.
603  */
604 struct Client
605 {
606   /**
607    * Clients are kept in a linked list.
608    */
609   struct Client *next;
610
611   /**
612    * Handle for the client with the server API.
613    */
614   struct GNUNET_SERVER_Client *client_handle;
615
616   /**
617    * Array of the types of messages this peer cares
618    * about (with "tcnt" entries).  Allocated as part
619    * of this client struct, do not free!
620    */
621   const uint16_t *types;
622
623   /**
624    * Options for messages this client cares about,
625    * see GNUNET_CORE_OPTION_ values.
626    */
627   uint32_t options;
628
629   /**
630    * Number of types of incoming messages this client
631    * specifically cares about.  Size of the "types" array.
632    */
633   unsigned int tcnt;
634
635 };
636
637
638 /**
639  * Our public key.
640  */
641 static struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded my_public_key;
642
643 /**
644  * Our identity.
645  */
646 static struct GNUNET_PeerIdentity my_identity;
647
648 /**
649  * Our private key.
650  */
651 static struct GNUNET_CRYPTO_RsaPrivateKey *my_private_key;
652
653 /**
654  * Our scheduler.
655  */
656 struct GNUNET_SCHEDULER_Handle *sched;
657
658 /**
659  * Our configuration.
660  */
661 const struct GNUNET_CONFIGURATION_Handle *cfg;
662
663 /**
664  * Our server.
665  */
666 static struct GNUNET_SERVER_Handle *server;
667
668 /**
669  * Transport service.
670  */
671 static struct GNUNET_TRANSPORT_Handle *transport;
672
673 /**
674  * Linked list of our clients.
675  */
676 static struct Client *clients;
677
678 /**
679  * Context for notifications we need to send to our clients.
680  */
681 static struct GNUNET_SERVER_NotificationContext *notifier;
682
683 /**
684  * We keep neighbours in a linked list (for now).
685  */
686 static struct Neighbour *neighbours;
687
688 /**
689  * For creating statistics.
690  */
691 static struct GNUNET_STATISTICS_Handle *stats;
692
693 /**
694  * Sum of all preferences among all neighbours.
695  */
696 static unsigned long long preference_sum;
697
698 /**
699  * Total number of neighbours we have.
700  */
701 static unsigned int neighbour_count;
702
703 /**
704  * How much inbound bandwidth are we supposed to be using per second?
705  * FIXME: this value is not used!
706  */
707 static unsigned long long bandwidth_target_in_bps;
708
709 /**
710  * How much outbound bandwidth are we supposed to be using per second?
711  */
712 static unsigned long long bandwidth_target_out_bps;
713
714
715
716 /**
717  * A preference value for a neighbour was update.  Update
718  * the preference sum accordingly.
719  *
720  * @param inc how much was a preference value increased?
721  */
722 static void
723 update_preference_sum (unsigned long long inc)
724 {
725   struct Neighbour *n;
726   unsigned long long os;
727
728   os = preference_sum;
729   preference_sum += inc;
730   if (preference_sum >= os)
731     return; /* done! */
732   /* overflow! compensate by cutting all values in half! */
733   preference_sum = 0;
734   n = neighbours;
735   while (n != NULL)
736     {
737       n->current_preference /= 2;
738       preference_sum += n->current_preference;
739       n = n->next;
740     }    
741   GNUNET_STATISTICS_set (stats, gettext_noop ("# total peer preference"), preference_sum, GNUNET_NO);
742 }
743
744
745 /**
746  * Find the entry for the given neighbour.
747  *
748  * @param peer identity of the neighbour
749  * @return NULL if we are not connected, otherwise the
750  *         neighbour's entry.
751  */
752 static struct Neighbour *
753 find_neighbour (const struct GNUNET_PeerIdentity *peer)
754 {
755   struct Neighbour *ret;
756
757   ret = neighbours;
758   while ((ret != NULL) &&
759          (0 != memcmp (&ret->peer,
760                        peer, sizeof (struct GNUNET_PeerIdentity))))
761     ret = ret->next;
762   return ret;
763 }
764
765
766 /**
767  * Send a message to one of our clients.
768  *
769  * @param client target for the message
770  * @param msg message to transmit
771  * @param can_drop could this message be dropped if the
772  *        client's queue is getting too large?
773  */
774 static void
775 send_to_client (struct Client *client,
776                 const struct GNUNET_MessageHeader *msg, 
777                 int can_drop)
778 {
779 #if DEBUG_CORE_CLIENT
780   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
781               "Preparing to send message of type %u to client.\n",
782               (unsigned int) ntohs (msg->type));
783 #endif  
784   GNUNET_SERVER_notification_context_unicast (notifier,
785                                               client->client_handle,
786                                               msg,
787                                               can_drop);
788 }
789
790
791 /**
792  * Send a message to all of our current clients that have
793  * the right options set.
794  * 
795  * @param msg message to multicast
796  * @param can_drop can this message be discarded if the queue is too long
797  * @param options mask to use 
798  */
799 static void
800 send_to_all_clients (const struct GNUNET_MessageHeader *msg, 
801                      int can_drop,
802                      int options)
803 {
804   struct Client *c;
805
806   c = clients;
807   while (c != NULL)
808     {
809       if (0 != (c->options & options))
810         {
811 #if DEBUG_CORE_CLIENT
812           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
813                       "Sending message of type %u to client.\n",
814                       (unsigned int) ntohs (msg->type));
815 #endif
816           send_to_client (c, msg, can_drop);
817         }
818       c = c->next;
819     }
820 }
821
822
823 /**
824  * Handle CORE_INIT request.
825  */
826 static void
827 handle_client_init (void *cls,
828                     struct GNUNET_SERVER_Client *client,
829                     const struct GNUNET_MessageHeader *message)
830 {
831   const struct InitMessage *im;
832   struct InitReplyMessage irm;
833   struct Client *c;
834   uint16_t msize;
835   const uint16_t *types;
836   uint16_t *wtypes;
837   struct Neighbour *n;
838   struct ConnectNotifyMessage cnm;
839   unsigned int i;
840
841 #if DEBUG_CORE_CLIENT
842   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
843               "Client connecting to core service with `%s' message\n",
844               "INIT");
845 #endif
846   /* check that we don't have an entry already */
847   c = clients;
848   while (c != NULL)
849     {
850       if (client == c->client_handle)
851         {
852           GNUNET_break (0);
853           GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
854           return;
855         }
856       c = c->next;
857     }
858   msize = ntohs (message->size);
859   if (msize < sizeof (struct InitMessage))
860     {
861       GNUNET_break (0);
862       GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
863       return;
864     }
865   GNUNET_SERVER_notification_context_add (notifier, client);
866   im = (const struct InitMessage *) message;
867   types = (const uint16_t *) &im[1];
868   msize -= sizeof (struct InitMessage);
869   c = GNUNET_malloc (sizeof (struct Client) + msize);
870   c->client_handle = client;
871   c->next = clients;
872   clients = c;
873   c->tcnt = msize / sizeof (uint16_t);
874   c->types = (const uint16_t *) &c[1];
875   wtypes = (uint16_t *) &c[1];
876   for (i=0;i<c->tcnt;i++)
877     wtypes[i] = ntohs (types[i]);
878   c->options = ntohl (im->options);
879 #if DEBUG_CORE_CLIENT
880   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
881               "Client %p is interested in %u message types\n",
882               c,
883               (unsigned int) c->tcnt);
884 #endif
885   /* send init reply message */
886   irm.header.size = htons (sizeof (struct InitReplyMessage));
887   irm.header.type = htons (GNUNET_MESSAGE_TYPE_CORE_INIT_REPLY);
888   irm.reserved = htonl (0);
889   memcpy (&irm.publicKey,
890           &my_public_key,
891           sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded));
892 #if DEBUG_CORE_CLIENT
893   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
894               "Sending `%s' message to client.\n", "INIT_REPLY");
895 #endif
896   send_to_client (c, &irm.header, GNUNET_NO);
897   if (0 != (c->options & GNUNET_CORE_OPTION_SEND_CONNECT))
898     {
899       /* notify new client about existing neighbours */
900       cnm.header.size = htons (sizeof (struct ConnectNotifyMessage));
901       cnm.header.type = htons (GNUNET_MESSAGE_TYPE_CORE_NOTIFY_CONNECT);
902       n = neighbours;
903       while (n != NULL)
904         {
905           if (n->status == PEER_STATE_KEY_CONFIRMED)
906             {
907 #if DEBUG_CORE_CLIENT
908               GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
909                           "Sending `%s' message to client.\n", "NOTIFY_CONNECT");
910 #endif
911               cnm.distance = htonl (n->last_distance);
912               cnm.latency = GNUNET_TIME_relative_hton (n->last_latency);
913               cnm.peer = n->peer;
914               send_to_client (c, &cnm.header, GNUNET_NO);
915             }
916           n = n->next;
917         }
918     }
919   GNUNET_SERVER_receive_done (client, GNUNET_OK);
920 }
921
922
923 /**
924  * A client disconnected, clean up.
925  *
926  * @param cls closure
927  * @param client identification of the client
928  */
929 static void
930 handle_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
931 {
932   struct Client *pos;
933   struct Client *prev;
934
935   if (client == NULL)
936     return;
937 #if DEBUG_CORE_CLIENT
938   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
939               "Client %p has disconnected from core service.\n",
940               client);
941 #endif
942   prev = NULL;
943   pos = clients;
944   while (pos != NULL)
945     {
946       if (client == pos->client_handle)
947         {
948           if (prev == NULL)
949             clients = pos->next;
950           else
951             prev->next = pos->next;
952           GNUNET_free (pos);
953           return;
954         }
955       prev = pos;
956       pos = pos->next;
957     }
958   /* client never sent INIT */
959 }
960
961
962 /**
963  * Handle REQUEST_INFO request.
964  */
965 static void
966 handle_client_request_info (void *cls,
967                             struct GNUNET_SERVER_Client *client,
968                             const struct GNUNET_MessageHeader *message)
969 {
970   const struct RequestInfoMessage *rcm;
971   struct Neighbour *n;
972   struct ConfigurationInfoMessage cim;
973   int32_t want_reserv;
974   int32_t got_reserv;
975   unsigned long long old_preference;
976   struct GNUNET_SERVER_TransmitContext *tc;
977
978 #if DEBUG_CORE_CLIENT
979   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
980               "Core service receives `%s' request.\n", "REQUEST_INFO");
981 #endif
982   rcm = (const struct RequestInfoMessage *) message;
983   n = find_neighbour (&rcm->peer);
984   memset (&cim, 0, sizeof (cim));
985   if (n != NULL) 
986     {
987       want_reserv = ntohl (rcm->reserve_inbound);
988       if (n->bw_out_internal_limit.value__ != rcm->limit_outbound.value__)
989         {
990           n->bw_out_internal_limit = rcm->limit_outbound;
991           n->bw_out = GNUNET_BANDWIDTH_value_min (n->bw_out_internal_limit,
992                                                   n->bw_out_external_limit);
993           GNUNET_BANDWIDTH_tracker_update_quota (&n->available_recv_window,
994                                                  n->bw_out);
995           GNUNET_TRANSPORT_set_quota (transport,
996                                       &n->peer,
997                                       n->bw_in,
998                                       n->bw_out,
999                                       GNUNET_TIME_UNIT_FOREVER_REL,
1000                                       NULL, NULL); 
1001         }
1002       if (want_reserv < 0)
1003         {
1004           got_reserv = want_reserv;
1005         }
1006       else if (want_reserv > 0)
1007         {
1008           if (GNUNET_BANDWIDTH_tracker_get_delay (&n->available_recv_window,
1009                                                   want_reserv).value == 0)
1010             got_reserv = want_reserv;
1011           else
1012             got_reserv = 0; /* all or nothing */
1013         }
1014       else
1015         got_reserv = 0;
1016       GNUNET_BANDWIDTH_tracker_consume (&n->available_recv_window,
1017                                         got_reserv);
1018       old_preference = n->current_preference;
1019       n->current_preference += GNUNET_ntohll(rcm->preference_change);
1020       if (old_preference > n->current_preference) 
1021         {
1022           /* overflow; cap at maximum value */
1023           n->current_preference = (unsigned long long) -1;
1024         }
1025       update_preference_sum (n->current_preference - old_preference);
1026 #if DEBUG_CORE_QUOTA
1027       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1028                   "Received reservation request for %d bytes for peer `%4s', reserved %d bytes\n",
1029                   (int) want_reserv,
1030                   GNUNET_i2s (&rcm->peer),
1031                   (int) got_reserv);
1032 #endif
1033       cim.reserved_amount = htonl (got_reserv);
1034       cim.bw_in = n->bw_in;
1035       cim.bw_out = n->bw_out;
1036       cim.preference = n->current_preference;
1037     }
1038   cim.header.size = htons (sizeof (struct ConfigurationInfoMessage));
1039   cim.header.type = htons (GNUNET_MESSAGE_TYPE_CORE_CONFIGURATION_INFO);
1040   cim.peer = rcm->peer;
1041
1042 #if DEBUG_CORE_CLIENT
1043   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1044               "Sending `%s' message to client.\n", "CONFIGURATION_INFO");
1045 #endif
1046   tc = GNUNET_SERVER_transmit_context_create (client);
1047   GNUNET_SERVER_transmit_context_append_message (tc, &cim.header);
1048   GNUNET_SERVER_transmit_context_run (tc,
1049                                       GNUNET_TIME_UNIT_FOREVER_REL);
1050 }
1051
1052
1053 /**
1054  * Free the given entry for the neighbour (it has
1055  * already been removed from the list at this point).
1056  *
1057  * @param n neighbour to free
1058  */
1059 static void
1060 free_neighbour (struct Neighbour *n)
1061 {
1062   struct MessageEntry *m;
1063
1064   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1065               "Destroying neighbour entry for peer `%4s'\n",
1066               GNUNET_i2s (&n->peer));
1067   if (n->pitr != NULL)
1068     {
1069       GNUNET_PEERINFO_iterate_cancel (n->pitr);
1070       n->pitr = NULL;
1071     }
1072   if (n->skm != NULL)
1073     {
1074       GNUNET_free (n->skm);
1075       n->skm = NULL;
1076     }
1077   while (NULL != (m = n->messages))
1078     {
1079       n->messages = m->next;
1080       GNUNET_free (m);
1081     }
1082   while (NULL != (m = n->encrypted_head))
1083     {
1084       GNUNET_CONTAINER_DLL_remove (n->encrypted_head,
1085                                    n->encrypted_tail,
1086                                    m);
1087       GNUNET_free (m);
1088     }
1089   if (NULL != n->th)
1090     {
1091       GNUNET_TRANSPORT_notify_transmit_ready_cancel (n->th);
1092       n->th = NULL;
1093     }
1094   if (n->retry_plaintext_task != GNUNET_SCHEDULER_NO_TASK)
1095     GNUNET_SCHEDULER_cancel (sched, n->retry_plaintext_task);
1096   if (n->retry_set_key_task != GNUNET_SCHEDULER_NO_TASK)
1097     GNUNET_SCHEDULER_cancel (sched, n->retry_set_key_task);
1098   if (n->quota_update_task != GNUNET_SCHEDULER_NO_TASK)
1099     GNUNET_SCHEDULER_cancel (sched, n->quota_update_task);
1100   if (n->dead_clean_task != GNUNET_SCHEDULER_NO_TASK)
1101     GNUNET_SCHEDULER_cancel (sched, n->dead_clean_task);
1102   if (n->keep_alive_task != GNUNET_SCHEDULER_NO_TASK)    
1103       GNUNET_SCHEDULER_cancel (sched, n->keep_alive_task);
1104   if (n->status == PEER_STATE_KEY_CONFIRMED)
1105     GNUNET_STATISTICS_update (stats, gettext_noop ("# established sessions"), -1, GNUNET_NO);
1106   GNUNET_free_non_null (n->public_key);
1107   GNUNET_free_non_null (n->pending_ping);
1108   GNUNET_free_non_null (n->pending_pong);
1109   GNUNET_free (n);
1110 }
1111
1112
1113 /**
1114  * Check if we have encrypted messages for the specified neighbour
1115  * pending, and if so, check with the transport about sending them
1116  * out.
1117  *
1118  * @param n neighbour to check.
1119  */
1120 static void process_encrypted_neighbour_queue (struct Neighbour *n);
1121
1122
1123 /**
1124  * Encrypt size bytes from in and write the result to out.  Use the
1125  * key for outbound traffic of the given neighbour.
1126  *
1127  * @param n neighbour we are sending to
1128  * @param iv initialization vector to use
1129  * @param in ciphertext
1130  * @param out plaintext
1131  * @param size size of in/out
1132  * @return GNUNET_OK on success
1133  */
1134 static int
1135 do_encrypt (struct Neighbour *n,
1136             const GNUNET_HashCode * iv,
1137             const void *in, void *out, size_t size)
1138 {
1139   if (size != (uint16_t) size)
1140     {
1141       GNUNET_break (0);
1142       return GNUNET_NO;
1143     }
1144   GNUNET_assert (size ==
1145                  GNUNET_CRYPTO_aes_encrypt (in,
1146                                             (uint16_t) size,
1147                                             &n->encrypt_key,
1148                                             (const struct
1149                                              GNUNET_CRYPTO_AesInitializationVector
1150                                              *) iv, out));
1151   GNUNET_STATISTICS_update (stats, gettext_noop ("# bytes encrypted"), size, GNUNET_NO);
1152 #if DEBUG_CORE
1153   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1154               "Encrypted %u bytes for `%4s' using key %u\n", 
1155               (unsigned int) size,
1156               GNUNET_i2s (&n->peer),
1157               (unsigned int) n->encrypt_key.crc32);
1158 #endif
1159   return GNUNET_OK;
1160 }
1161
1162
1163 /**
1164  * Consider freeing the given neighbour since we may not need
1165  * to keep it around anymore.
1166  *
1167  * @param n neighbour to consider discarding
1168  */
1169 static void
1170 consider_free_neighbour (struct Neighbour *n);
1171
1172
1173 /**
1174  * Task triggered when a neighbour entry is about to time out 
1175  * (and we should prevent this by sending a PING).
1176  *
1177  * @param cls the 'struct Neighbour'
1178  * @param tc scheduler context (not used)
1179  */
1180 static void
1181 send_keep_alive (void *cls,
1182                  const struct GNUNET_SCHEDULER_TaskContext *tc)
1183 {
1184   struct Neighbour *n = cls;
1185   struct GNUNET_TIME_Relative retry;
1186   struct GNUNET_TIME_Relative left;
1187   struct MessageEntry *me;
1188   struct PingMessage pp;
1189   struct PingMessage *pm;
1190
1191   n->keep_alive_task = GNUNET_SCHEDULER_NO_TASK;
1192   /* send PING */
1193   me = GNUNET_malloc (sizeof (struct MessageEntry) +
1194                       sizeof (struct PingMessage));
1195   me->deadline = GNUNET_TIME_relative_to_absolute (MAX_PING_DELAY);
1196   me->priority = PING_PRIORITY;
1197   me->size = sizeof (struct PingMessage);
1198   GNUNET_CONTAINER_DLL_insert_after (n->encrypted_head,
1199                                      n->encrypted_tail,
1200                                      n->encrypted_tail,
1201                                      me);
1202   pm = (struct PingMessage *) &me[1];
1203   pm->header.size = htons (sizeof (struct PingMessage));
1204   pm->header.type = htons (GNUNET_MESSAGE_TYPE_CORE_PING);
1205   pp.challenge = htonl (n->ping_challenge);
1206   pp.target = n->peer;
1207 #if DEBUG_HANDSHAKE
1208   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1209               "Encrypting `%s' message with challenge %u for `%4s' using key %u.\n",
1210               "PING", 
1211               (unsigned int) n->ping_challenge,
1212               GNUNET_i2s (&n->peer),
1213               (unsigned int) n->encrypt_key.crc32);
1214 #endif
1215   do_encrypt (n,
1216               &n->peer.hashPubKey,
1217               &pp.challenge,
1218               &pm->challenge,
1219               sizeof (struct PingMessage) -
1220               sizeof (struct GNUNET_MessageHeader));
1221   process_encrypted_neighbour_queue (n);
1222   /* reschedule PING job */
1223   left = GNUNET_TIME_absolute_get_remaining (GNUNET_TIME_absolute_add (n->last_activity,
1224                                                                        GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT));
1225   retry = GNUNET_TIME_relative_max (GNUNET_TIME_relative_divide (left, 2),
1226                                     MIN_PING_FREQUENCY);
1227   n->keep_alive_task 
1228     = GNUNET_SCHEDULER_add_delayed (sched, 
1229                                     retry,
1230                                     &send_keep_alive,
1231                                     n);
1232
1233 }
1234
1235
1236 /**
1237  * Task triggered when a neighbour entry might have gotten stale.
1238  *
1239  * @param cls the 'struct Neighbour'
1240  * @param tc scheduler context (not used)
1241  */
1242 static void
1243 consider_free_task (void *cls,
1244                     const struct GNUNET_SCHEDULER_TaskContext *tc)
1245 {
1246   struct Neighbour *n = cls;
1247
1248   n->dead_clean_task = GNUNET_SCHEDULER_NO_TASK;
1249   consider_free_neighbour (n);
1250 }
1251
1252
1253 /**
1254  * Consider freeing the given neighbour since we may not need
1255  * to keep it around anymore.
1256  *
1257  * @param n neighbour to consider discarding
1258  */
1259 static void
1260 consider_free_neighbour (struct Neighbour *n)
1261
1262   struct Neighbour *pos;
1263   struct Neighbour *prev;
1264   struct GNUNET_TIME_Relative left;
1265
1266   if ( (n->th != NULL) ||
1267        (n->pitr != NULL) ||
1268        (n->status == PEER_STATE_KEY_CONFIRMED) ||
1269        (GNUNET_YES == n->is_connected) )
1270     return; /* no chance */
1271   
1272   left = GNUNET_TIME_absolute_get_remaining (GNUNET_TIME_absolute_add (n->last_activity,
1273                                                                        GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT));
1274   if (left.value > 0)
1275     {
1276       if (n->dead_clean_task != GNUNET_SCHEDULER_NO_TASK)
1277         GNUNET_SCHEDULER_cancel (sched, n->dead_clean_task);
1278       n->dead_clean_task = GNUNET_SCHEDULER_add_delayed (sched,
1279                                                          left,
1280                                                          &consider_free_task,
1281                                                          n);
1282       return;
1283     }
1284   /* actually free the neighbour... */
1285   prev = NULL;
1286   pos = neighbours;
1287   while (pos != n)
1288     {
1289       prev = pos;
1290       pos = pos->next;
1291     }
1292   if (prev == NULL)
1293     neighbours = n->next;
1294   else
1295     prev->next = n->next;
1296   GNUNET_assert (neighbour_count > 0);
1297   neighbour_count--;
1298   GNUNET_STATISTICS_set (stats,
1299                          gettext_noop ("# neighbour entries allocated"), 
1300                          neighbour_count,
1301                          GNUNET_NO);
1302   free_neighbour (n);
1303 }
1304
1305
1306 /**
1307  * Function called when the transport service is ready to
1308  * receive an encrypted message for the respective peer
1309  *
1310  * @param cls neighbour to use message from
1311  * @param size number of bytes we can transmit
1312  * @param buf where to copy the message
1313  * @return number of bytes transmitted
1314  */
1315 static size_t
1316 notify_encrypted_transmit_ready (void *cls, size_t size, void *buf)
1317 {
1318   struct Neighbour *n = cls;
1319   struct MessageEntry *m;
1320   size_t ret;
1321   char *cbuf;
1322
1323   n->th = NULL;
1324   m = n->encrypted_head;
1325   if (m == NULL)
1326     {
1327 #if DEBUG_CORE
1328       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1329                   "Encrypted message queue empty, no messages added to buffer for `%4s'\n",
1330                   GNUNET_i2s (&n->peer));
1331 #endif
1332       return 0;
1333     }
1334   GNUNET_CONTAINER_DLL_remove (n->encrypted_head,
1335                                n->encrypted_tail,
1336                                m);
1337   ret = 0;
1338   cbuf = buf;
1339   if (buf != NULL)
1340     {
1341       GNUNET_assert (size >= m->size);
1342       memcpy (cbuf, &m[1], m->size);
1343       ret = m->size;
1344       GNUNET_BANDWIDTH_tracker_consume (&n->available_send_window,
1345                                         m->size);
1346 #if DEBUG_CORE
1347       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1348                   "Copied message of type %u and size %u into transport buffer for `%4s'\n",
1349                   (unsigned int) ntohs (((struct GNUNET_MessageHeader *) &m[1])->type),
1350                   (unsigned int) ret, 
1351                   GNUNET_i2s (&n->peer));
1352 #endif
1353       process_encrypted_neighbour_queue (n);
1354     }
1355   else
1356     {
1357 #if DEBUG_CORE
1358       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1359                   "Transmission of message of type %u and size %u failed\n",
1360                   (unsigned int) ntohs (((struct GNUNET_MessageHeader *) &m[1])->type),
1361                   (unsigned int) m->size);
1362 #endif
1363     }
1364   GNUNET_free (m);
1365   consider_free_neighbour (n);
1366   return ret;
1367 }
1368
1369
1370 /**
1371  * Check if we have plaintext messages for the specified neighbour
1372  * pending, and if so, consider batching and encrypting them (and
1373  * then trigger processing of the encrypted queue if needed).
1374  *
1375  * @param n neighbour to check.
1376  */
1377 static void process_plaintext_neighbour_queue (struct Neighbour *n);
1378
1379
1380 /**
1381  * Check if we have encrypted messages for the specified neighbour
1382  * pending, and if so, check with the transport about sending them
1383  * out.
1384  *
1385  * @param n neighbour to check.
1386  */
1387 static void
1388 process_encrypted_neighbour_queue (struct Neighbour *n)
1389 {
1390   struct MessageEntry *m;
1391  
1392   if (n->th != NULL)
1393     return;  /* request already pending */
1394   m = n->encrypted_head;
1395   if (m == NULL)
1396     {
1397       /* encrypted queue empty, try plaintext instead */
1398       process_plaintext_neighbour_queue (n);
1399       return;
1400     }
1401 #if DEBUG_CORE
1402   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1403               "Asking transport for transmission of %u bytes to `%4s' in next %llu ms\n",
1404               (unsigned int) m->size,
1405               GNUNET_i2s (&n->peer),
1406               (unsigned long long) GNUNET_TIME_absolute_get_remaining (m->deadline).
1407               value);
1408 #endif
1409   n->th =
1410     GNUNET_TRANSPORT_notify_transmit_ready (transport, &n->peer,
1411                                             m->size,
1412                                             m->priority,
1413                                             GNUNET_TIME_absolute_get_remaining
1414                                             (m->deadline),
1415                                             &notify_encrypted_transmit_ready,
1416                                             n);
1417   if (n->th == NULL)
1418     {
1419       /* message request too large or duplicate request */
1420       GNUNET_break (0);
1421       /* discard encrypted message */
1422       GNUNET_CONTAINER_DLL_remove (n->encrypted_head,
1423                                    n->encrypted_tail,
1424                                    m);
1425       GNUNET_free (m);
1426       process_encrypted_neighbour_queue (n);
1427     }
1428 }
1429
1430
1431 /**
1432  * Decrypt size bytes from in and write the result to out.  Use the
1433  * key for inbound traffic of the given neighbour.  This function does
1434  * NOT do any integrity-checks on the result.
1435  *
1436  * @param n neighbour we are receiving from
1437  * @param iv initialization vector to use
1438  * @param in ciphertext
1439  * @param out plaintext
1440  * @param size size of in/out
1441  * @return GNUNET_OK on success
1442  */
1443 static int
1444 do_decrypt (struct Neighbour *n,
1445             const GNUNET_HashCode * iv,
1446             const void *in, void *out, size_t size)
1447 {
1448   if (size != (uint16_t) size)
1449     {
1450       GNUNET_break (0);
1451       return GNUNET_NO;
1452     }
1453   if ((n->status != PEER_STATE_KEY_RECEIVED) &&
1454       (n->status != PEER_STATE_KEY_CONFIRMED))
1455     {
1456       GNUNET_break_op (0);
1457       return GNUNET_SYSERR;
1458     }
1459   if (size !=
1460       GNUNET_CRYPTO_aes_decrypt (in,
1461                                  (uint16_t) size,
1462                                  &n->decrypt_key,
1463                                  (const struct
1464                                   GNUNET_CRYPTO_AesInitializationVector *) iv,
1465                                  out))
1466     {
1467       GNUNET_break (0);
1468       return GNUNET_SYSERR;
1469     }
1470   GNUNET_STATISTICS_update (stats, gettext_noop ("# bytes decrypted"), size, GNUNET_NO);
1471 #if DEBUG_CORE
1472   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1473               "Decrypted %u bytes from `%4s' using key %u\n",
1474               (unsigned int) size, 
1475               GNUNET_i2s (&n->peer),
1476               (unsigned int) n->decrypt_key.crc32);
1477 #endif
1478   return GNUNET_OK;
1479 }
1480
1481
1482 /**
1483  * Select messages for transmission.  This heuristic uses a combination
1484  * of earliest deadline first (EDF) scheduling (with bounded horizon)
1485  * and priority-based discard (in case no feasible schedule exist) and
1486  * speculative optimization (defer any kind of transmission until
1487  * we either create a batch of significant size, 25% of max, or until
1488  * we are close to a deadline).  Furthermore, when scheduling the
1489  * heuristic also packs as many messages into the batch as possible,
1490  * starting with those with the earliest deadline.  Yes, this is fun.
1491  *
1492  * @param n neighbour to select messages from
1493  * @param size number of bytes to select for transmission
1494  * @param retry_time set to the time when we should try again
1495  *        (only valid if this function returns zero)
1496  * @return number of bytes selected, or 0 if we decided to
1497  *         defer scheduling overall; in that case, retry_time is set.
1498  */
1499 static size_t
1500 select_messages (struct Neighbour *n,
1501                  size_t size, struct GNUNET_TIME_Relative *retry_time)
1502 {
1503   struct MessageEntry *pos;
1504   struct MessageEntry *min;
1505   struct MessageEntry *last;
1506   unsigned int min_prio;
1507   struct GNUNET_TIME_Absolute t;
1508   struct GNUNET_TIME_Absolute now;
1509   struct GNUNET_TIME_Relative delta;
1510   uint64_t avail;
1511   struct GNUNET_TIME_Relative slack;     /* how long could we wait before missing deadlines? */
1512   size_t off;
1513   uint64_t tsize;
1514   unsigned int queue_size;
1515   int discard_low_prio;
1516
1517   GNUNET_assert (NULL != n->messages);
1518   now = GNUNET_TIME_absolute_get ();
1519   /* last entry in linked list of messages processed */
1520   last = NULL;
1521   /* should we remove the entry with the lowest
1522      priority from consideration for scheduling at the
1523      end of the loop? */
1524   queue_size = 0;
1525   tsize = 0;
1526   pos = n->messages;
1527   while (pos != NULL)
1528     {
1529       queue_size++;
1530       tsize += pos->size;
1531       pos = pos->next;
1532     }
1533   discard_low_prio = GNUNET_YES;
1534   while (GNUNET_YES == discard_low_prio)
1535     {
1536       min = NULL;
1537       min_prio = -1;
1538       discard_low_prio = GNUNET_NO;
1539       /* calculate number of bytes available for transmission at time "t" */
1540       avail = GNUNET_BANDWIDTH_tracker_get_available (&n->available_send_window);
1541       t = now;
1542       /* how many bytes have we (hypothetically) scheduled so far */
1543       off = 0;
1544       /* maximum time we can wait before transmitting anything
1545          and still make all of our deadlines */
1546       slack = GNUNET_CONSTANTS_MAX_CORK_DELAY;
1547       pos = n->messages;
1548       /* note that we use "*2" here because we want to look
1549          a bit further into the future; much more makes no
1550          sense since new message might be scheduled in the
1551          meantime... */
1552       while ((pos != NULL) && (off < size * 2))
1553         {         
1554           if (pos->do_transmit == GNUNET_YES)
1555             {
1556               /* already removed from consideration */
1557               pos = pos->next;
1558               continue;
1559             }
1560           if (discard_low_prio == GNUNET_NO)
1561             {
1562               delta = GNUNET_TIME_absolute_get_difference (t, pos->deadline);
1563               if (delta.value > 0)
1564                 {
1565                   // FIXME: HUH? Check!
1566                   t = pos->deadline;
1567                   avail += GNUNET_BANDWIDTH_value_get_available_until (n->bw_out,
1568                                                                        delta);
1569                 }
1570               if (avail < pos->size)
1571                 {
1572                   // FIXME: HUH? Check!
1573                   discard_low_prio = GNUNET_YES;        /* we could not schedule this one! */
1574                 }
1575               else
1576                 {
1577                   avail -= pos->size;
1578                   /* update slack, considering both its absolute deadline
1579                      and relative deadlines caused by other messages
1580                      with their respective load */
1581                   slack = GNUNET_TIME_relative_min (slack,
1582                                                     GNUNET_BANDWIDTH_value_get_delay_for (n->bw_out,
1583                                                                                           avail));
1584                   if (pos->deadline.value <= now.value) 
1585                     {
1586                       /* now or never */
1587                       slack = GNUNET_TIME_UNIT_ZERO;
1588                     }
1589                   else if (GNUNET_YES == pos->got_slack)
1590                     {
1591                       /* should be soon now! */
1592                       slack = GNUNET_TIME_relative_min (slack,
1593                                                         GNUNET_TIME_absolute_get_remaining (pos->slack_deadline));
1594                     }
1595                   else
1596                     {
1597                       slack =
1598                         GNUNET_TIME_relative_min (slack, 
1599                                                   GNUNET_TIME_absolute_get_difference (now, pos->deadline));
1600                       pos->got_slack = GNUNET_YES;
1601                       pos->slack_deadline = GNUNET_TIME_absolute_min (pos->deadline,
1602                                                                       GNUNET_TIME_relative_to_absolute (GNUNET_CONSTANTS_MAX_CORK_DELAY));
1603                     }
1604                 }
1605             }
1606           off += pos->size;
1607           t = GNUNET_TIME_absolute_max (pos->deadline, t); // HUH? Check!
1608           if (pos->priority <= min_prio)
1609             {
1610               /* update min for discard */
1611               min_prio = pos->priority;
1612               min = pos;
1613             }
1614           pos = pos->next;
1615         }
1616       if (discard_low_prio)
1617         {
1618           GNUNET_assert (min != NULL);
1619           /* remove lowest-priority entry from consideration */
1620           min->do_transmit = GNUNET_YES;        /* means: discard (for now) */
1621         }
1622       last = pos;
1623     }
1624   /* guard against sending "tiny" messages with large headers without
1625      urgent deadlines */
1626   if ( (slack.value > 0) && 
1627        (size > 4 * off) &&
1628        (queue_size <= MAX_PEER_QUEUE_SIZE - 2) )
1629     {
1630       /* less than 25% of message would be filled with deadlines still
1631          being met if we delay by one second or more; so just wait for
1632          more data; but do not wait longer than 1s (since we don't want
1633          to delay messages for a really long time either). */
1634       *retry_time = GNUNET_CONSTANTS_MAX_CORK_DELAY;
1635       /* reset do_transmit values for next time */
1636       while (pos != last)
1637         {
1638           pos->do_transmit = GNUNET_NO;   
1639           pos = pos->next;
1640         }
1641 #if DEBUG_CORE
1642       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1643                   "Deferring transmission for %llums due to underfull message buffer size (%u/%u)\n",
1644                   (unsigned long long) slack.value,
1645                   (unsigned int) off,
1646                   (unsigned int) size);
1647 #endif
1648       return 0;
1649     }
1650   /* select marked messages (up to size) for transmission */
1651   off = 0;
1652   pos = n->messages;
1653   while (pos != last)
1654     {
1655       if ((pos->size <= size) && (pos->do_transmit == GNUNET_NO))
1656         {
1657           pos->do_transmit = GNUNET_YES;        /* mark for transmission */
1658           off += pos->size;
1659           size -= pos->size;
1660         }
1661       else
1662         pos->do_transmit = GNUNET_NO;   /* mark for not transmitting! */
1663       pos = pos->next;
1664     }
1665 #if DEBUG_CORE
1666   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1667               "Selected %llu/%llu bytes of %u/%u plaintext messages for transmission to `%4s'.\n",
1668               (unsigned long long) off, (unsigned long long) tsize,
1669               queue_size, (unsigned int) MAX_PEER_QUEUE_SIZE,
1670               GNUNET_i2s (&n->peer));
1671 #endif
1672   return off;
1673 }
1674
1675
1676 /**
1677  * Batch multiple messages into a larger buffer.
1678  *
1679  * @param n neighbour to take messages from
1680  * @param buf target buffer
1681  * @param size size of buf
1682  * @param deadline set to transmission deadline for the result
1683  * @param retry_time set to the time when we should try again
1684  *        (only valid if this function returns zero)
1685  * @param priority set to the priority of the batch
1686  * @return number of bytes written to buf (can be zero)
1687  */
1688 static size_t
1689 batch_message (struct Neighbour *n,
1690                char *buf,
1691                size_t size,
1692                struct GNUNET_TIME_Absolute *deadline,
1693                struct GNUNET_TIME_Relative *retry_time,
1694                unsigned int *priority)
1695 {
1696   char ntmb[GNUNET_SERVER_MAX_MESSAGE_SIZE];
1697   struct NotifyTrafficMessage *ntm = (struct NotifyTrafficMessage*) ntmb;
1698   struct MessageEntry *pos;
1699   struct MessageEntry *prev;
1700   struct MessageEntry *next;
1701   size_t ret;
1702   
1703   ret = 0;
1704   *priority = 0;
1705   *deadline = GNUNET_TIME_UNIT_FOREVER_ABS;
1706   *retry_time = GNUNET_TIME_UNIT_FOREVER_REL;
1707   if (0 == select_messages (n, size, retry_time))
1708     {
1709 #if DEBUG_CORE
1710       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1711                   "No messages selected, will try again in %llu ms\n",
1712                   retry_time->value);
1713 #endif
1714       return 0;
1715     }
1716   ntm->header.type = htons (GNUNET_MESSAGE_TYPE_CORE_NOTIFY_OUTBOUND);
1717   ntm->distance = htonl (n->last_distance);
1718   ntm->latency = GNUNET_TIME_relative_hton (n->last_latency);
1719   ntm->peer = n->peer;
1720   
1721   pos = n->messages;
1722   prev = NULL;
1723   while ((pos != NULL) && (size >= sizeof (struct GNUNET_MessageHeader)))
1724     {
1725       next = pos->next;
1726       if (GNUNET_YES == pos->do_transmit)
1727         {
1728           GNUNET_assert (pos->size <= size);
1729           /* do notifications */
1730           /* FIXME: track if we have *any* client that wants
1731              full notifications and only do this if that is
1732              actually true */
1733           if (pos->size < GNUNET_SERVER_MAX_MESSAGE_SIZE - sizeof (struct NotifyTrafficMessage))
1734             {
1735               memcpy (&ntm[1], &pos[1], pos->size);
1736               ntm->header.size = htons (sizeof (struct NotifyTrafficMessage) + 
1737                                         sizeof (struct GNUNET_MessageHeader));
1738               send_to_all_clients (&ntm->header,
1739                                    GNUNET_YES,
1740                                    GNUNET_CORE_OPTION_SEND_HDR_OUTBOUND);
1741             }
1742           else
1743             {
1744               /* message too large for 'full' notifications, we do at
1745                  least the 'hdr' type */
1746               memcpy (&ntm[1],
1747                       &pos[1],
1748                       sizeof (struct GNUNET_MessageHeader));
1749             }
1750           ntm->header.size = htons (sizeof (struct NotifyTrafficMessage) + 
1751                                     pos->size);
1752           send_to_all_clients (&ntm->header,
1753                                GNUNET_YES,
1754                                GNUNET_CORE_OPTION_SEND_FULL_OUTBOUND);   
1755 #if DEBUG_HANDSHAKE
1756           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1757                       "Encrypting message of type %u\n",
1758                       (unsigned int) ntohs(((struct GNUNET_MessageHeader*)&pos[1])->type));
1759 #endif
1760           /* copy for encrypted transmission */
1761           memcpy (&buf[ret], &pos[1], pos->size);
1762           ret += pos->size;
1763           size -= pos->size;
1764           *priority += pos->priority;
1765 #if DEBUG_CORE
1766           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1767                       "Adding plaintext message of size %u with deadline %llu ms to batch\n",
1768                       (unsigned int) pos->size,
1769                       (unsigned long long) GNUNET_TIME_absolute_get_remaining (pos->deadline).value);
1770 #endif
1771           deadline->value = GNUNET_MIN (deadline->value, pos->deadline.value);
1772           GNUNET_free (pos);
1773           if (prev == NULL)
1774             n->messages = next;
1775           else
1776             prev->next = next;
1777         }
1778       else
1779         {
1780           prev = pos;
1781         }
1782       pos = next;
1783     }
1784 #if DEBUG_CORE
1785   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1786               "Deadline for message batch is %llu ms\n",
1787               GNUNET_TIME_absolute_get_remaining (*deadline).value);
1788 #endif
1789   return ret;
1790 }
1791
1792
1793 /**
1794  * Remove messages with deadlines that have long expired from
1795  * the queue.
1796  *
1797  * @param n neighbour to inspect
1798  */
1799 static void
1800 discard_expired_messages (struct Neighbour *n)
1801 {
1802   struct MessageEntry *prev;
1803   struct MessageEntry *next;
1804   struct MessageEntry *pos;
1805   struct GNUNET_TIME_Absolute now;
1806   struct GNUNET_TIME_Relative delta;
1807
1808   now = GNUNET_TIME_absolute_get ();
1809   prev = NULL;
1810   pos = n->messages;
1811   while (pos != NULL) 
1812     {
1813       next = pos->next;
1814       delta = GNUNET_TIME_absolute_get_difference (pos->deadline, now);
1815       if (delta.value > PAST_EXPIRATION_DISCARD_TIME.value)
1816         {
1817 #if DEBUG_CORE
1818           GNUNET_log (GNUNET_ERROR_TYPE_INFO,
1819                       "Message is %llu ms past due, discarding.\n",
1820                       delta.value);
1821 #endif
1822           if (prev == NULL)
1823             n->messages = next;
1824           else
1825             prev->next = next;
1826           GNUNET_free (pos);
1827         }
1828       else
1829         prev = pos;
1830       pos = next;
1831     }
1832 }
1833
1834
1835 /**
1836  * Signature of the main function of a task.
1837  *
1838  * @param cls closure
1839  * @param tc context information (why was this task triggered now)
1840  */
1841 static void
1842 retry_plaintext_processing (void *cls,
1843                             const struct GNUNET_SCHEDULER_TaskContext *tc)
1844 {
1845   struct Neighbour *n = cls;
1846
1847   n->retry_plaintext_task = GNUNET_SCHEDULER_NO_TASK;
1848   process_plaintext_neighbour_queue (n);
1849 }
1850
1851
1852 /**
1853  * Send our key (and encrypted PING) to the other peer.
1854  *
1855  * @param n the other peer
1856  */
1857 static void send_key (struct Neighbour *n);
1858
1859 /**
1860  * Task that will retry "send_key" if our previous attempt failed
1861  * to yield a PONG.
1862  */
1863 static void
1864 set_key_retry_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1865 {
1866   struct Neighbour *n = cls;
1867
1868 #if DEBUG_CORE
1869   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1870               "Retrying key transmission to `%4s'\n",
1871               GNUNET_i2s (&n->peer));
1872 #endif
1873   n->retry_set_key_task = GNUNET_SCHEDULER_NO_TASK;
1874   n->set_key_retry_frequency =
1875     GNUNET_TIME_relative_multiply (n->set_key_retry_frequency, 2);
1876   send_key (n);
1877 }
1878
1879
1880 /**
1881  * Check if we have plaintext messages for the specified neighbour
1882  * pending, and if so, consider batching and encrypting them (and
1883  * then trigger processing of the encrypted queue if needed).
1884  *
1885  * @param n neighbour to check.
1886  */
1887 static void
1888 process_plaintext_neighbour_queue (struct Neighbour *n)
1889 {
1890   char pbuf[MAX_ENCRYPTED_MESSAGE_SIZE];        /* plaintext */
1891   size_t used;
1892   size_t esize;
1893   struct EncryptedMessage *em;  /* encrypted message */
1894   struct EncryptedMessage *ph;  /* plaintext header */
1895   struct MessageEntry *me;
1896   unsigned int priority;
1897   struct GNUNET_TIME_Absolute deadline;
1898   struct GNUNET_TIME_Relative retry_time;
1899   GNUNET_HashCode iv;
1900
1901   if (n->retry_plaintext_task != GNUNET_SCHEDULER_NO_TASK)
1902     {
1903       GNUNET_SCHEDULER_cancel (sched, n->retry_plaintext_task);
1904       n->retry_plaintext_task = GNUNET_SCHEDULER_NO_TASK;
1905     }
1906   switch (n->status)
1907     {
1908     case PEER_STATE_DOWN:
1909       send_key (n);
1910 #if DEBUG_CORE
1911       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1912                   "Not yet connected to `%4s', deferring processing of plaintext messages.\n",
1913                   GNUNET_i2s(&n->peer));
1914 #endif
1915       return;
1916     case PEER_STATE_KEY_SENT:
1917       if (n->retry_set_key_task == GNUNET_SCHEDULER_NO_TASK)
1918         n->retry_set_key_task
1919           = GNUNET_SCHEDULER_add_delayed (sched,
1920                                           n->set_key_retry_frequency,
1921                                           &set_key_retry_task, n);    
1922 #if DEBUG_CORE
1923       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1924                   "Not yet connected to `%4s', deferring processing of plaintext messages.\n",
1925                   GNUNET_i2s(&n->peer));
1926 #endif
1927       return;
1928     case PEER_STATE_KEY_RECEIVED:
1929       if (n->retry_set_key_task == GNUNET_SCHEDULER_NO_TASK)        
1930         n->retry_set_key_task
1931           = GNUNET_SCHEDULER_add_delayed (sched,
1932                                           n->set_key_retry_frequency,
1933                                           &set_key_retry_task, n);        
1934 #if DEBUG_CORE
1935       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1936                   "Not yet connected to `%4s', deferring processing of plaintext messages.\n",
1937                   GNUNET_i2s(&n->peer));
1938 #endif
1939       return;
1940     case PEER_STATE_KEY_CONFIRMED:
1941       /* ready to continue */
1942       break;
1943     }
1944   discard_expired_messages (n);
1945   if (n->messages == NULL)
1946     {
1947 #if DEBUG_CORE
1948       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1949                   "Plaintext message queue for `%4s' is empty.\n",
1950                   GNUNET_i2s(&n->peer));
1951 #endif
1952       return;                   /* no pending messages */
1953     }
1954   if (n->encrypted_head != NULL)
1955     {
1956 #if DEBUG_CORE
1957       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1958                   "Encrypted message queue for `%4s' is still full, delaying plaintext processing.\n",
1959                   GNUNET_i2s(&n->peer));
1960 #endif
1961       return;                   /* wait for messages already encrypted to be
1962                                    processed first! */
1963     }
1964   ph = (struct EncryptedMessage *) pbuf;
1965   deadline = GNUNET_TIME_UNIT_FOREVER_ABS;
1966   priority = 0;
1967   used = sizeof (struct EncryptedMessage);
1968   used += batch_message (n,
1969                          &pbuf[used],
1970                          MAX_ENCRYPTED_MESSAGE_SIZE - used,
1971                          &deadline, &retry_time, &priority);
1972   if (used == sizeof (struct EncryptedMessage))
1973     {
1974 #if DEBUG_CORE
1975       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1976                   "No messages selected for transmission to `%4s' at this time, will try again later.\n",
1977                   GNUNET_i2s(&n->peer));
1978 #endif
1979       /* no messages selected for sending, try again later... */
1980       n->retry_plaintext_task =
1981         GNUNET_SCHEDULER_add_delayed (sched,
1982                                       retry_time,
1983                                       &retry_plaintext_processing, n);
1984       return;
1985     }
1986 #if DEBUG_CORE_QUOTA
1987   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1988               "Sending %u b/s as new limit to peer `%4s'\n",
1989               (unsigned int) ntohl (n->bw_in.value__),
1990               GNUNET_i2s (&n->peer));
1991 #endif
1992   ph->iv_seed = htonl (GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, -1));
1993   ph->sequence_number = htonl (++n->last_sequence_number_sent);
1994   ph->inbound_bw_limit = n->bw_in;
1995   ph->timestamp = GNUNET_TIME_absolute_hton (GNUNET_TIME_absolute_get ());
1996
1997   /* setup encryption message header */
1998   me = GNUNET_malloc (sizeof (struct MessageEntry) + used);
1999   me->deadline = deadline;
2000   me->priority = priority;
2001   me->size = used;
2002   em = (struct EncryptedMessage *) &me[1];
2003   em->header.size = htons (used);
2004   em->header.type = htons (GNUNET_MESSAGE_TYPE_CORE_ENCRYPTED_MESSAGE);
2005   em->iv_seed = ph->iv_seed;
2006   esize = used - ENCRYPTED_HEADER_SIZE;
2007   GNUNET_CRYPTO_hash (&ph->sequence_number,
2008                       esize - sizeof (GNUNET_HashCode), 
2009                       &ph->plaintext_hash);
2010   GNUNET_CRYPTO_hash (&ph->iv_seed, sizeof (uint32_t), &iv);
2011 #if DEBUG_HANDSHAKE
2012   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2013               "Hashed %u bytes of plaintext (`%s') using IV `%d'\n",
2014               (unsigned int) (esize - sizeof (GNUNET_HashCode)),
2015               GNUNET_h2s (&ph->plaintext_hash),
2016               (int) ph->iv_seed);
2017 #endif
2018   /* encrypt */
2019 #if DEBUG_HANDSHAKE
2020   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2021               "Encrypting %u bytes of plaintext messages for `%4s' for transmission in %llums.\n",
2022               (unsigned int) esize,
2023               GNUNET_i2s(&n->peer),
2024               (unsigned long long) GNUNET_TIME_absolute_get_remaining (deadline).value);
2025 #endif
2026   GNUNET_assert (GNUNET_OK ==
2027                  do_encrypt (n,
2028                              &iv,
2029                              &ph->plaintext_hash,
2030                              &em->plaintext_hash, esize));
2031   /* append to transmission list */
2032   GNUNET_CONTAINER_DLL_insert_after (n->encrypted_head,
2033                                      n->encrypted_tail,
2034                                      n->encrypted_tail,
2035                                      me);
2036   process_encrypted_neighbour_queue (n);
2037 }
2038
2039
2040 /**
2041  * Function that recalculates the bandwidth quota for the
2042  * given neighbour and transmits it to the transport service.
2043  * 
2044  * @param cls neighbour for the quota update
2045  * @param tc context
2046  */
2047 static void
2048 neighbour_quota_update (void *cls,
2049                         const struct GNUNET_SCHEDULER_TaskContext *tc);
2050
2051
2052 /**
2053  * Schedule the task that will recalculate the bandwidth
2054  * quota for this peer (and possibly force a disconnect of
2055  * idle peers by calculating a bandwidth of zero).
2056  */
2057 static void
2058 schedule_quota_update (struct Neighbour *n)
2059 {
2060   GNUNET_assert (n->quota_update_task ==
2061                  GNUNET_SCHEDULER_NO_TASK);
2062   n->quota_update_task
2063     = GNUNET_SCHEDULER_add_delayed (sched,
2064                                     QUOTA_UPDATE_FREQUENCY,
2065                                     &neighbour_quota_update,
2066                                     n);
2067 }
2068
2069
2070 /**
2071  * Initialize a new 'struct Neighbour'.
2072  *
2073  * @param pid ID of the new neighbour
2074  * @return handle for the new neighbour
2075  */
2076 static struct Neighbour *
2077 create_neighbour (const struct GNUNET_PeerIdentity *pid)
2078 {
2079   struct Neighbour *n;
2080   struct GNUNET_TIME_Absolute now;
2081
2082   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2083               "Creating neighbour entry for peer `%4s'\n",
2084               GNUNET_i2s (pid));
2085   n = GNUNET_malloc (sizeof (struct Neighbour));
2086   n->next = neighbours;
2087   neighbours = n;
2088   neighbour_count++;
2089   GNUNET_STATISTICS_set (stats, gettext_noop ("# neighbour entries allocated"), neighbour_count, GNUNET_NO);
2090   n->peer = *pid;
2091   GNUNET_CRYPTO_aes_create_session_key (&n->encrypt_key);
2092   now = GNUNET_TIME_absolute_get ();
2093   n->encrypt_key_created = now;
2094   n->last_activity = now;
2095   n->set_key_retry_frequency = INITIAL_SET_KEY_RETRY_FREQUENCY;
2096   n->bw_in = GNUNET_CONSTANTS_DEFAULT_BW_IN_OUT;
2097   n->bw_out = GNUNET_CONSTANTS_DEFAULT_BW_IN_OUT;
2098   n->bw_out_internal_limit = GNUNET_BANDWIDTH_value_init ((uint32_t) - 1);
2099   n->bw_out_external_limit = GNUNET_CONSTANTS_DEFAULT_BW_IN_OUT;
2100   n->ping_challenge = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK,
2101                                                 (uint32_t) - 1);
2102   neighbour_quota_update (n, NULL);
2103   consider_free_neighbour (n);
2104   return n;
2105 }
2106
2107
2108 /**
2109  * Handle CORE_SEND request.
2110  *
2111  * @param cls unused
2112  * @param client the client issuing the request
2113  * @param message the "struct SendMessage"
2114  */
2115 static void
2116 handle_client_send (void *cls,
2117                     struct GNUNET_SERVER_Client *client,
2118                     const struct GNUNET_MessageHeader *message)
2119 {
2120   const struct SendMessage *sm;
2121   struct Neighbour *n;
2122   struct MessageEntry *prev;
2123   struct MessageEntry *pos;
2124   struct MessageEntry *e; 
2125   struct MessageEntry *min_prio_entry;
2126   struct MessageEntry *min_prio_prev;
2127   unsigned int min_prio;
2128   unsigned int queue_size;
2129   uint16_t msize;
2130
2131   msize = ntohs (message->size);
2132   if (msize <
2133       sizeof (struct SendMessage) + sizeof (struct GNUNET_MessageHeader))
2134     {
2135       GNUNET_break (0);
2136       if (client != NULL)
2137         GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
2138       return;
2139     }
2140   sm = (const struct SendMessage *) message;
2141   msize -= sizeof (struct SendMessage);
2142   if (0 == memcmp (&sm->peer, &my_identity, sizeof (struct GNUNET_PeerIdentity)))
2143     {
2144       /* FIXME: should we not allow loopback-injection here? */
2145       GNUNET_break (0);
2146       if (client != NULL)
2147         GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
2148       return;
2149     }
2150   n = find_neighbour (&sm->peer);
2151   if (n == NULL)
2152     n = create_neighbour (&sm->peer);
2153 #if DEBUG_CORE
2154   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2155               "Core received `%s' request, queueing %u bytes of plaintext data for transmission to `%4s'.\n",
2156               "SEND",
2157               (unsigned int) msize, 
2158               GNUNET_i2s (&sm->peer));
2159 #endif
2160   /* bound queue size */
2161   discard_expired_messages (n);
2162   min_prio = (unsigned int) -1;
2163   min_prio_entry = NULL;
2164   min_prio_prev = NULL;
2165   queue_size = 0;
2166   prev = NULL;
2167   pos = n->messages;
2168   while (pos != NULL) 
2169     {
2170       if (pos->priority < min_prio)
2171         {
2172           min_prio_entry = pos;
2173           min_prio_prev = prev;
2174           min_prio = pos->priority;
2175         }
2176       queue_size++;
2177       prev = pos;
2178       pos = pos->next;
2179     }
2180   if (queue_size >= MAX_PEER_QUEUE_SIZE)
2181     {
2182       /* queue full */
2183       if (ntohl(sm->priority) <= min_prio)
2184         {
2185           /* discard new entry */
2186 #if DEBUG_CORE
2187           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2188                       "Queue full (%u/%u), discarding new request (%u bytes of type %u)\n",
2189                       queue_size,
2190                       (unsigned int) MAX_PEER_QUEUE_SIZE,
2191                       (unsigned int) msize,
2192                       (unsigned int) ntohs (message->type));
2193 #endif
2194           if (client != NULL)
2195             GNUNET_SERVER_receive_done (client, GNUNET_OK);
2196           return;
2197         }
2198       /* discard "min_prio_entry" */
2199 #if DEBUG_CORE
2200       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2201                   "Queue full, discarding existing older request\n");
2202 #endif
2203       if (min_prio_prev == NULL)
2204         n->messages = min_prio_entry->next;
2205       else
2206         min_prio_prev->next = min_prio_entry->next;      
2207       GNUNET_free (min_prio_entry);     
2208     }
2209
2210 #if DEBUG_CORE
2211   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2212               "Adding transmission request for `%4s' of size %u to queue\n",
2213               GNUNET_i2s (&sm->peer),
2214               (unsigned int) msize);
2215 #endif  
2216   e = GNUNET_malloc (sizeof (struct MessageEntry) + msize);
2217   e->deadline = GNUNET_TIME_absolute_ntoh (sm->deadline);
2218   e->priority = ntohl (sm->priority);
2219   e->size = msize;
2220   memcpy (&e[1], &sm[1], msize);
2221
2222   /* insert, keep list sorted by deadline */
2223   prev = NULL;
2224   pos = n->messages;
2225   while ((pos != NULL) && (pos->deadline.value < e->deadline.value))
2226     {
2227       prev = pos;
2228       pos = pos->next;
2229     }
2230   if (prev == NULL)
2231     n->messages = e;
2232   else
2233     prev->next = e;
2234   e->next = pos;
2235
2236   /* consider scheduling now */
2237   process_plaintext_neighbour_queue (n);
2238   if (client != NULL)
2239     GNUNET_SERVER_receive_done (client, GNUNET_OK);
2240 }
2241
2242
2243 /**
2244  * Function called when the transport service is ready to
2245  * receive a message.  Only resets 'n->th' to NULL.
2246  *
2247  * @param cls neighbour to use message from
2248  * @param size number of bytes we can transmit
2249  * @param buf where to copy the message
2250  * @return number of bytes transmitted
2251  */
2252 static size_t
2253 notify_transport_connect_done (void *cls, size_t size, void *buf)
2254 {
2255   struct Neighbour *n = cls;
2256
2257   n->th = NULL;
2258   if (buf == NULL)
2259     {
2260       GNUNET_log (GNUNET_ERROR_TYPE_INFO,
2261                   _("Failed to connect to `%4s': transport failed to connect\n"),
2262                   GNUNET_i2s (&n->peer));
2263       return 0;
2264     }
2265   send_key (n);
2266   return 0;
2267 }
2268
2269
2270 /**
2271  * Handle CORE_REQUEST_CONNECT request.
2272  *
2273  * @param cls unused
2274  * @param client the client issuing the request
2275  * @param message the "struct ConnectMessage"
2276  */
2277 static void
2278 handle_client_request_connect (void *cls,
2279                                struct GNUNET_SERVER_Client *client,
2280                                const struct GNUNET_MessageHeader *message)
2281 {
2282   const struct ConnectMessage *cm = (const struct ConnectMessage*) message;
2283   struct Neighbour *n;
2284   struct GNUNET_TIME_Relative timeout;
2285
2286   if (0 == memcmp (&cm->peer, &my_identity, sizeof (struct GNUNET_PeerIdentity)))
2287     {
2288       GNUNET_break (0);
2289       GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
2290       return;
2291     }
2292   GNUNET_SERVER_receive_done (client, GNUNET_OK);
2293   n = find_neighbour (&cm->peer);
2294   if (n == NULL)
2295     n = create_neighbour (&cm->peer);
2296   if ( (GNUNET_YES == n->is_connected) ||
2297        (n->th != NULL) )
2298     return; /* already connected, or at least trying */
2299   GNUNET_STATISTICS_update (stats, gettext_noop ("# connection requests received"), 1, GNUNET_NO);
2300 #if DEBUG_CORE
2301   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2302               "Core received `%s' request for `%4s', will try to establish connection\n",
2303               "REQUEST_CONNECT",
2304               GNUNET_i2s (&cm->peer));
2305 #endif
2306   timeout = GNUNET_TIME_relative_ntoh (cm->timeout);
2307   /* ask transport to connect to the peer */
2308   n->th = GNUNET_TRANSPORT_notify_transmit_ready (transport,
2309                                                   &cm->peer,
2310                                                   sizeof (struct GNUNET_MessageHeader), 0,
2311                                                   timeout,
2312                                                   &notify_transport_connect_done,
2313                                                   n);
2314   GNUNET_break (NULL != n->th);
2315 }
2316
2317
2318 /**
2319  * List of handlers for the messages understood by this
2320  * service.
2321  */
2322 static struct GNUNET_SERVER_MessageHandler handlers[] = {
2323   {&handle_client_init, NULL,
2324    GNUNET_MESSAGE_TYPE_CORE_INIT, 0},
2325   {&handle_client_request_info, NULL,
2326    GNUNET_MESSAGE_TYPE_CORE_REQUEST_INFO,
2327    sizeof (struct RequestInfoMessage)},
2328   {&handle_client_send, NULL,
2329    GNUNET_MESSAGE_TYPE_CORE_SEND, 0},
2330   {&handle_client_request_connect, NULL,
2331    GNUNET_MESSAGE_TYPE_CORE_REQUEST_CONNECT,
2332    sizeof (struct ConnectMessage)},
2333   {NULL, NULL, 0, 0}
2334 };
2335
2336
2337 /**
2338  * PEERINFO is giving us a HELLO for a peer.  Add the public key to
2339  * the neighbour's struct and retry send_key.  Or, if we did not get a
2340  * HELLO, just do nothing.
2341  *
2342  * @param cls the 'struct Neighbour' to retry sending the key for
2343  * @param peer the peer for which this is the HELLO
2344  * @param hello HELLO message of that peer
2345  * @param trust amount of trust we currently have in that peer
2346  */
2347 static void
2348 process_hello_retry_send_key (void *cls,
2349                               const struct GNUNET_PeerIdentity *peer,
2350                               const struct GNUNET_HELLO_Message *hello,
2351                               uint32_t trust)
2352 {
2353   struct Neighbour *n = cls;
2354
2355   if (peer == NULL)
2356     {
2357 #if DEBUG_CORE
2358       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2359                   "Entered `%s' and `%s' is NULL!\n",
2360                   "process_hello_retry_send_key",
2361                   "peer");
2362 #endif
2363       n->pitr = NULL;
2364       if (n->public_key != NULL)
2365         {
2366           if (n->retry_set_key_task != GNUNET_SCHEDULER_NO_TASK)
2367             {
2368               GNUNET_SCHEDULER_cancel (sched, n->retry_set_key_task);
2369               n->retry_set_key_task = GNUNET_SCHEDULER_NO_TASK;
2370             }      
2371           GNUNET_STATISTICS_update (stats,
2372                                     gettext_noop ("# SETKEY messages deferred (need public key)"), 
2373                                     -1, 
2374                                     GNUNET_NO);
2375           send_key (n);
2376         }
2377       else
2378         {
2379           GNUNET_STATISTICS_update (stats,
2380                                     gettext_noop ("# Delayed connecting due to lack of public key"),
2381                                     1,
2382                                     GNUNET_NO);      
2383           if (GNUNET_SCHEDULER_NO_TASK == n->retry_set_key_task)
2384             n->retry_set_key_task
2385               = GNUNET_SCHEDULER_add_delayed (sched,
2386                                               n->set_key_retry_frequency,
2387                                               &set_key_retry_task, n);
2388         }
2389       return;
2390     }
2391
2392 #if DEBUG_CORE
2393   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2394               "Entered `%s' for peer `%4s'\n",
2395               "process_hello_retry_send_key",
2396               GNUNET_i2s (peer));
2397 #endif
2398   if (n->public_key != NULL)
2399     {
2400       /* already have public key, why are we here? */
2401       GNUNET_break (0);
2402       return;
2403     }
2404
2405 #if DEBUG_CORE
2406   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2407               "Received new `%s' message for `%4s', initiating key exchange.\n",
2408               "HELLO",
2409               GNUNET_i2s (peer));
2410 #endif
2411   n->public_key =
2412     GNUNET_malloc (sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded));
2413   if (GNUNET_OK != GNUNET_HELLO_get_key (hello, n->public_key))
2414     {
2415       GNUNET_STATISTICS_update (stats,
2416                                 gettext_noop ("# Error extracting public key from HELLO"),
2417                                 1,
2418                                 GNUNET_NO);      
2419       GNUNET_free (n->public_key);
2420       n->public_key = NULL;
2421 #if DEBUG_CORE
2422   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2423               "GNUNET_HELLO_get_key returned awfully\n");
2424 #endif
2425       return;
2426     }
2427 }
2428
2429
2430 /**
2431  * Send our key (and encrypted PING) to the other peer.
2432  *
2433  * @param n the other peer
2434  */
2435 static void
2436 send_key (struct Neighbour *n)
2437 {
2438   struct SetKeyMessage *sm;
2439   struct MessageEntry *me;
2440   struct PingMessage pp;
2441   struct PingMessage *pm;
2442
2443   if (n->retry_set_key_task != GNUNET_SCHEDULER_NO_TASK)
2444     {
2445       GNUNET_SCHEDULER_cancel (sched, n->retry_set_key_task);
2446       n->retry_set_key_task = GNUNET_SCHEDULER_NO_TASK;
2447     }        
2448   if (n->pitr != NULL)
2449     {
2450 #if DEBUG_CORE
2451       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2452                   "Key exchange in progress with `%4s'.\n",
2453                   GNUNET_i2s (&n->peer));
2454 #endif
2455       return; /* already in progress */
2456     }
2457   if (GNUNET_YES != n->is_connected)
2458     {
2459 #if DEBUG_CORE
2460       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2461                   "Not yet connected to peer `%4s'!\n",
2462                   GNUNET_i2s (&n->peer));
2463 #endif
2464       if (NULL == n->th)
2465         {
2466           GNUNET_STATISTICS_update (stats, 
2467                                     gettext_noop ("# Asking transport to connect (for SETKEY)"), 
2468                                     1, 
2469                                     GNUNET_NO);
2470           n->th = GNUNET_TRANSPORT_notify_transmit_ready (transport,
2471                                                           &n->peer,
2472                                                           sizeof (struct SetKeyMessage) + sizeof (struct PingMessage),
2473                                                           0,
2474                                                           GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT,
2475                                                           &notify_encrypted_transmit_ready,
2476                                                           n);
2477         }
2478       return; 
2479     }
2480 #if DEBUG_CORE
2481   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2482               "Asked to perform key exchange with `%4s'.\n",
2483               GNUNET_i2s (&n->peer));
2484 #endif
2485   if (n->public_key == NULL)
2486     {
2487       /* lookup n's public key, then try again */
2488 #if DEBUG_CORE
2489       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2490                   "Lacking public key for `%4s', trying to obtain one (send_key).\n",
2491                   GNUNET_i2s (&n->peer));
2492 #endif
2493       GNUNET_assert (n->pitr == NULL);
2494       n->pitr = GNUNET_PEERINFO_iterate (cfg,
2495                                          sched,
2496                                          &n->peer,
2497                                          0,
2498                                          GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_SECONDS, 20),
2499                                          &process_hello_retry_send_key, n);
2500       return;
2501     }
2502   /* first, set key message */
2503   me = GNUNET_malloc (sizeof (struct MessageEntry) +
2504                       sizeof (struct SetKeyMessage));
2505   me->deadline = GNUNET_TIME_relative_to_absolute (MAX_SET_KEY_DELAY);
2506   me->priority = SET_KEY_PRIORITY;
2507   me->size = sizeof (struct SetKeyMessage);
2508   GNUNET_CONTAINER_DLL_insert_after (n->encrypted_head,
2509                                      n->encrypted_tail,
2510                                      n->encrypted_tail,
2511                                      me);
2512   sm = (struct SetKeyMessage *) &me[1];
2513   sm->header.size = htons (sizeof (struct SetKeyMessage));
2514   sm->header.type = htons (GNUNET_MESSAGE_TYPE_CORE_SET_KEY);
2515   sm->sender_status = htonl ((int32_t) ((n->status == PEER_STATE_DOWN) ?
2516                                         PEER_STATE_KEY_SENT : n->status));
2517   sm->purpose.size =
2518     htonl (sizeof (struct GNUNET_CRYPTO_RsaSignaturePurpose) +
2519            sizeof (struct GNUNET_TIME_AbsoluteNBO) +
2520            sizeof (struct GNUNET_CRYPTO_RsaEncryptedData) +
2521            sizeof (struct GNUNET_PeerIdentity));
2522   sm->purpose.purpose = htonl (GNUNET_SIGNATURE_PURPOSE_SET_KEY);
2523   sm->creation_time = GNUNET_TIME_absolute_hton (n->encrypt_key_created);
2524   sm->target = n->peer;
2525   GNUNET_assert (GNUNET_OK ==
2526                  GNUNET_CRYPTO_rsa_encrypt (&n->encrypt_key,
2527                                             sizeof (struct
2528                                                     GNUNET_CRYPTO_AesSessionKey),
2529                                             n->public_key,
2530                                             &sm->encrypted_key));
2531   GNUNET_assert (GNUNET_OK ==
2532                  GNUNET_CRYPTO_rsa_sign (my_private_key, &sm->purpose,
2533                                          &sm->signature));
2534
2535   /* second, encrypted PING message */
2536   me = GNUNET_malloc (sizeof (struct MessageEntry) +
2537                       sizeof (struct PingMessage));
2538   me->deadline = GNUNET_TIME_relative_to_absolute (MAX_PING_DELAY);
2539   me->priority = PING_PRIORITY;
2540   me->size = sizeof (struct PingMessage);
2541   GNUNET_CONTAINER_DLL_insert_after (n->encrypted_head,
2542                                      n->encrypted_tail,
2543                                      n->encrypted_tail,
2544                                      me);
2545   pm = (struct PingMessage *) &me[1];
2546   pm->header.size = htons (sizeof (struct PingMessage));
2547   pm->header.type = htons (GNUNET_MESSAGE_TYPE_CORE_PING);
2548   pp.challenge = htonl (n->ping_challenge);
2549   pp.target = n->peer;
2550 #if DEBUG_HANDSHAKE
2551   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2552               "Encrypting `%s' and `%s' messages with challenge %u for `%4s' using key %u.\n",
2553               "SET_KEY", "PING",
2554               (unsigned int) n->ping_challenge,
2555               GNUNET_i2s (&n->peer),
2556               (unsigned int) n->encrypt_key.crc32);
2557 #endif
2558   do_encrypt (n,
2559               &n->peer.hashPubKey,
2560               &pp.challenge,
2561               &pm->challenge,
2562               sizeof (struct PingMessage) -
2563               sizeof (struct GNUNET_MessageHeader));
2564   /* update status */
2565   switch (n->status)
2566     {
2567     case PEER_STATE_DOWN:
2568       n->status = PEER_STATE_KEY_SENT;
2569       break;
2570     case PEER_STATE_KEY_SENT:
2571       break;
2572     case PEER_STATE_KEY_RECEIVED:
2573       break;
2574     case PEER_STATE_KEY_CONFIRMED:
2575       break;
2576     default:
2577       GNUNET_break (0);
2578       break;
2579     }
2580   GNUNET_STATISTICS_update (stats, 
2581                             gettext_noop ("# SETKEY and PING messages created"), 
2582                             1, 
2583                             GNUNET_NO);
2584 #if DEBUG_CORE
2585   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2586               "Have %llu ms left for `%s' transmission.\n",
2587               (unsigned long long) GNUNET_TIME_absolute_get_remaining (me->deadline).value,
2588               "SET_KEY");
2589 #endif
2590   /* trigger queue processing */
2591   process_encrypted_neighbour_queue (n);
2592   if ( (n->status != PEER_STATE_KEY_CONFIRMED) &&
2593        (GNUNET_SCHEDULER_NO_TASK == n->retry_set_key_task) )
2594     n->retry_set_key_task
2595       = GNUNET_SCHEDULER_add_delayed (sched,
2596                                       n->set_key_retry_frequency,
2597                                       &set_key_retry_task, n);    
2598 }
2599
2600
2601 /**
2602  * We received a SET_KEY message.  Validate and update
2603  * our key material and status.
2604  *
2605  * @param n the neighbour from which we received message m
2606  * @param m the set key message we received
2607  */
2608 static void
2609 handle_set_key (struct Neighbour *n,
2610                 const struct SetKeyMessage *m);
2611
2612
2613 /**
2614  * PEERINFO is giving us a HELLO for a peer.  Add the public key to
2615  * the neighbour's struct and retry handling the set_key message.  Or,
2616  * if we did not get a HELLO, just free the set key message.
2617  *
2618  * @param cls pointer to the set key message
2619  * @param peer the peer for which this is the HELLO
2620  * @param hello HELLO message of that peer
2621  * @param trust amount of trust we currently have in that peer
2622  */
2623 static void
2624 process_hello_retry_handle_set_key (void *cls,
2625                                     const struct GNUNET_PeerIdentity *peer,
2626                                     const struct GNUNET_HELLO_Message *hello,
2627                                     uint32_t trust)
2628 {
2629   struct Neighbour *n = cls;
2630   struct SetKeyMessage *sm = n->skm;
2631
2632   if (peer == NULL)
2633     {
2634       n->skm = NULL;
2635       n->pitr = NULL;
2636       if (n->public_key != NULL)
2637         {
2638 #if DEBUG_CORE
2639           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2640                       "Received `%s' for `%4s', continuing processing of `%s' message.\n",
2641                       "HELLO",
2642                       GNUNET_i2s (&n->peer),
2643                       "SET_KEY");
2644 #endif
2645           handle_set_key (n, sm);
2646         }
2647       else
2648         {
2649 #if DEBUG_CORE
2650           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2651                       "Ignoring `%s' message due to lack of public key for peer (failed to obtain one).\n",
2652                       "SET_KEY");
2653 #endif
2654         }
2655       GNUNET_free (sm);
2656       return;
2657     }
2658   if (n->public_key != NULL)
2659     return;                     /* multiple HELLOs match!? */
2660   n->public_key =
2661     GNUNET_malloc (sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded));
2662   if (GNUNET_OK != GNUNET_HELLO_get_key (hello, n->public_key))
2663     {
2664       GNUNET_break_op (0);
2665       GNUNET_free (n->public_key);
2666       n->public_key = NULL;
2667     }
2668 }
2669
2670
2671 /**
2672  * We received a PING message.  Validate and transmit
2673  * PONG.
2674  *
2675  * @param n sender of the PING
2676  * @param m the encrypted PING message itself
2677  */
2678 static void
2679 handle_ping (struct Neighbour *n, const struct PingMessage *m)
2680 {
2681   struct PingMessage t;
2682   struct PongMessage tx;
2683   struct PongMessage *tp;
2684   struct MessageEntry *me;
2685
2686 #if DEBUG_CORE
2687   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2688               "Core service receives `%s' request from `%4s'.\n",
2689               "PING", GNUNET_i2s (&n->peer));
2690 #endif
2691   if (GNUNET_OK !=
2692       do_decrypt (n,
2693                   &my_identity.hashPubKey,
2694                   &m->challenge,
2695                   &t.challenge,
2696                   sizeof (struct PingMessage) -
2697                   sizeof (struct GNUNET_MessageHeader)))
2698     return;
2699 #if DEBUG_HANDSHAKE
2700   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2701               "Decrypted `%s' to `%4s' with challenge %u decrypted using key %u\n",
2702               "PING",
2703               GNUNET_i2s (&t.target),
2704               (unsigned int) ntohl (t.challenge), 
2705               (unsigned int) n->decrypt_key.crc32);
2706 #endif
2707   GNUNET_STATISTICS_update (stats,
2708                             gettext_noop ("# PING messages decrypted"), 
2709                             1,
2710                             GNUNET_NO);
2711   if (0 != memcmp (&t.target,
2712                    &my_identity, sizeof (struct GNUNET_PeerIdentity)))
2713     {
2714       GNUNET_break_op (0);
2715       return;
2716     }
2717   me = GNUNET_malloc (sizeof (struct MessageEntry) +
2718                       sizeof (struct PongMessage));
2719   GNUNET_CONTAINER_DLL_insert_after (n->encrypted_head,
2720                                      n->encrypted_tail,
2721                                      n->encrypted_tail,
2722                                      me);
2723   me->deadline = GNUNET_TIME_relative_to_absolute (MAX_PONG_DELAY);
2724   me->priority = PONG_PRIORITY;
2725   me->size = sizeof (struct PongMessage);
2726   tx.reserved = htonl (0);
2727   tx.inbound_bw_limit = n->bw_in;
2728   tx.challenge = t.challenge;
2729   tx.target = t.target;
2730   tp = (struct PongMessage *) &me[1];
2731   tp->header.type = htons (GNUNET_MESSAGE_TYPE_CORE_PONG);
2732   tp->header.size = htons (sizeof (struct PongMessage));
2733   do_encrypt (n,
2734               &my_identity.hashPubKey,
2735               &tx.challenge,
2736               &tp->challenge,
2737               sizeof (struct PongMessage) -
2738               sizeof (struct GNUNET_MessageHeader));
2739   GNUNET_STATISTICS_update (stats, 
2740                             gettext_noop ("# PONG messages created"), 
2741                             1, 
2742                             GNUNET_NO);
2743 #if DEBUG_HANDSHAKE
2744   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2745               "Encrypting `%s' with challenge %u using key %u\n",
2746               "PONG",
2747               (unsigned int) ntohl (t.challenge),
2748               (unsigned int) n->encrypt_key.crc32);
2749 #endif
2750   /* trigger queue processing */
2751   process_encrypted_neighbour_queue (n);
2752 }
2753
2754
2755 /**
2756  * We received a PONG message.  Validate and update our status.
2757  *
2758  * @param n sender of the PONG
2759  * @param m the encrypted PONG message itself
2760  */
2761 static void
2762 handle_pong (struct Neighbour *n, 
2763              const struct PongMessage *m)
2764 {
2765   struct PongMessage t;
2766   struct ConnectNotifyMessage cnm;
2767
2768 #if DEBUG_CORE
2769   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2770               "Core service receives `%s' request from `%4s'.\n",
2771               "PONG", GNUNET_i2s (&n->peer));
2772 #endif
2773   if (GNUNET_OK !=
2774       do_decrypt (n,
2775                   &n->peer.hashPubKey,
2776                   &m->challenge,
2777                   &t.challenge,
2778                   sizeof (struct PongMessage) -
2779                   sizeof (struct GNUNET_MessageHeader)))
2780     {
2781       GNUNET_break_op (0);
2782       return;
2783     }
2784   GNUNET_STATISTICS_update (stats, 
2785                             gettext_noop ("# PONG messages decrypted"), 
2786                             1, 
2787                             GNUNET_NO);
2788   if (0 != ntohl (t.reserved))
2789     {
2790       GNUNET_break_op (0);
2791       return;
2792     }
2793 #if DEBUG_HANDSHAKE
2794   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2795               "Decrypted `%s' from `%4s' with challenge %u using key %u\n",
2796               "PONG",
2797               GNUNET_i2s (&t.target),
2798               (unsigned int) ntohl (t.challenge),
2799               (unsigned int) n->decrypt_key.crc32);
2800 #endif
2801   if ((0 != memcmp (&t.target,
2802                     &n->peer,
2803                     sizeof (struct GNUNET_PeerIdentity))) ||
2804       (n->ping_challenge != ntohl (t.challenge)))
2805     {
2806       /* PONG malformed */
2807 #if DEBUG_CORE
2808       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2809                   "Received malformed `%s' wanted sender `%4s' with challenge %u\n",
2810                   "PONG", 
2811                   GNUNET_i2s (&n->peer),
2812                   (unsigned int) n->ping_challenge);
2813       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2814                   "Received malformed `%s' received from `%4s' with challenge %u\n",
2815                   "PONG", GNUNET_i2s (&t.target), 
2816                   (unsigned int) ntohl (t.challenge));
2817 #endif
2818       GNUNET_break_op (0);
2819       return;
2820     }
2821   switch (n->status)
2822     {
2823     case PEER_STATE_DOWN:
2824       GNUNET_break (0);         /* should be impossible */
2825       return;
2826     case PEER_STATE_KEY_SENT:
2827       GNUNET_break (0);         /* should be impossible, how did we decrypt? */
2828       return;
2829     case PEER_STATE_KEY_RECEIVED:
2830       GNUNET_STATISTICS_update (stats, 
2831                                 gettext_noop ("# Session keys confirmed via PONG"), 
2832                                 1, 
2833                                 GNUNET_NO);
2834       n->status = PEER_STATE_KEY_CONFIRMED;
2835       if (n->bw_out_external_limit.value__ != t.inbound_bw_limit.value__)
2836         {
2837           n->bw_out_external_limit = t.inbound_bw_limit;
2838           n->bw_out = GNUNET_BANDWIDTH_value_min (n->bw_out_external_limit,
2839                                                   n->bw_out_internal_limit);
2840           GNUNET_BANDWIDTH_tracker_update_quota (&n->available_send_window,
2841                                                  n->bw_out);       
2842           GNUNET_TRANSPORT_set_quota (transport,
2843                                       &n->peer,
2844                                       n->bw_in,
2845                                       n->bw_out,
2846                                       GNUNET_TIME_UNIT_FOREVER_REL,
2847                                       NULL, NULL); 
2848         }
2849 #if DEBUG_CORE
2850       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2851                   "Confirmed key via `%s' message for peer `%4s'\n",
2852                   "PONG", GNUNET_i2s (&n->peer));
2853 #endif      
2854       if (n->retry_set_key_task != GNUNET_SCHEDULER_NO_TASK)
2855         {
2856           GNUNET_SCHEDULER_cancel (sched, n->retry_set_key_task);
2857           n->retry_set_key_task = GNUNET_SCHEDULER_NO_TASK;
2858         }      
2859       cnm.header.size = htons (sizeof (struct ConnectNotifyMessage));
2860       cnm.header.type = htons (GNUNET_MESSAGE_TYPE_CORE_NOTIFY_CONNECT);
2861       cnm.distance = htonl (n->last_distance);
2862       cnm.latency = GNUNET_TIME_relative_hton (n->last_latency);
2863       cnm.peer = n->peer;
2864       send_to_all_clients (&cnm.header, GNUNET_YES, GNUNET_CORE_OPTION_SEND_CONNECT);
2865       process_encrypted_neighbour_queue (n);
2866       /* fall-through! */
2867     case PEER_STATE_KEY_CONFIRMED:
2868       n->last_activity = GNUNET_TIME_absolute_get ();
2869       if (n->keep_alive_task != GNUNET_SCHEDULER_NO_TASK)
2870         GNUNET_SCHEDULER_cancel (sched, n->keep_alive_task);
2871       n->keep_alive_task 
2872         = GNUNET_SCHEDULER_add_delayed (sched, 
2873                                         GNUNET_TIME_relative_divide (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT, 2),
2874                                         &send_keep_alive,
2875                                         n);
2876       break;
2877     default:
2878       GNUNET_break (0);
2879       break;
2880     }
2881 }
2882
2883
2884 /**
2885  * We received a SET_KEY message.  Validate and update
2886  * our key material and status.
2887  *
2888  * @param n the neighbour from which we received message m
2889  * @param m the set key message we received
2890  */
2891 static void
2892 handle_set_key (struct Neighbour *n, const struct SetKeyMessage *m)
2893 {
2894   struct SetKeyMessage *m_cpy;
2895   struct GNUNET_TIME_Absolute t;
2896   struct GNUNET_CRYPTO_AesSessionKey k;
2897   struct PingMessage *ping;
2898   struct PongMessage *pong;
2899   enum PeerStateMachine sender_status;
2900
2901 #if DEBUG_CORE
2902   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2903               "Core service receives `%s' request from `%4s'.\n",
2904               "SET_KEY", GNUNET_i2s (&n->peer));
2905 #endif
2906   if (n->public_key == NULL)
2907     {
2908       if (n->pitr != NULL)
2909         {
2910 #if DEBUG_CORE
2911           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2912                       "Ignoring `%s' message due to lack of public key for peer (still trying to obtain one).\n",
2913                       "SET_KEY");
2914 #endif
2915           return;
2916         }
2917 #if DEBUG_CORE
2918       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2919                   "Lacking public key for peer, trying to obtain one (handle_set_key).\n");
2920 #endif
2921       m_cpy = GNUNET_malloc (sizeof (struct SetKeyMessage));
2922       memcpy (m_cpy, m, sizeof (struct SetKeyMessage));
2923       /* lookup n's public key, then try again */
2924       GNUNET_assert (n->skm == NULL);
2925       n->skm = m_cpy;
2926       n->pitr = GNUNET_PEERINFO_iterate (cfg,
2927                                          sched,
2928                                          &n->peer,
2929                                          0,
2930                                          GNUNET_TIME_UNIT_MINUTES,
2931                                          &process_hello_retry_handle_set_key, n);
2932       GNUNET_STATISTICS_update (stats, 
2933                                 gettext_noop ("# SETKEY messages deferred (need public key)"), 
2934                                 1, 
2935                                 GNUNET_NO);
2936       return;
2937     }
2938   if (0 != memcmp (&m->target,
2939                    &my_identity,
2940                    sizeof (struct GNUNET_PeerIdentity)))
2941     {
2942       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
2943                   _("Received `%s' message that was for `%s', not for me.  Ignoring.\n"),
2944                   "SET_KEY",
2945                   GNUNET_i2s (&m->target));
2946       return;
2947     }
2948   if ((ntohl (m->purpose.size) !=
2949        sizeof (struct GNUNET_CRYPTO_RsaSignaturePurpose) +
2950        sizeof (struct GNUNET_TIME_AbsoluteNBO) +
2951        sizeof (struct GNUNET_CRYPTO_RsaEncryptedData) +
2952        sizeof (struct GNUNET_PeerIdentity)) ||
2953       (GNUNET_OK !=
2954        GNUNET_CRYPTO_rsa_verify (GNUNET_SIGNATURE_PURPOSE_SET_KEY,
2955                                  &m->purpose, &m->signature, n->public_key)))
2956     {
2957       /* invalid signature */
2958       GNUNET_break_op (0);
2959       return;
2960     }
2961   t = GNUNET_TIME_absolute_ntoh (m->creation_time);
2962   if (((n->status == PEER_STATE_KEY_RECEIVED) ||
2963        (n->status == PEER_STATE_KEY_CONFIRMED)) &&
2964       (t.value < n->decrypt_key_created.value))
2965     {
2966       /* this could rarely happen due to massive re-ordering of
2967          messages on the network level, but is most likely either
2968          a bug or some adversary messing with us.  Report. */
2969       GNUNET_break_op (0);
2970       return;
2971     }
2972 #if DEBUG_CORE
2973   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, 
2974               "Decrypting key material.\n");
2975 #endif  
2976   if ((GNUNET_CRYPTO_rsa_decrypt (my_private_key,
2977                                   &m->encrypted_key,
2978                                   &k,
2979                                   sizeof (struct GNUNET_CRYPTO_AesSessionKey))
2980        != sizeof (struct GNUNET_CRYPTO_AesSessionKey)) ||
2981       (GNUNET_OK != GNUNET_CRYPTO_aes_check_session_key (&k)))
2982     {
2983       /* failed to decrypt !? */
2984       GNUNET_break_op (0);
2985       return;
2986     }
2987   GNUNET_STATISTICS_update (stats, 
2988                             gettext_noop ("# SETKEY messages decrypted"), 
2989                             1, 
2990                             GNUNET_NO);
2991   n->decrypt_key = k;
2992   if (n->decrypt_key_created.value != t.value)
2993     {
2994       /* fresh key, reset sequence numbers */
2995       n->last_sequence_number_received = 0;
2996       n->last_packets_bitmap = 0;
2997       n->decrypt_key_created = t;
2998     }
2999   sender_status = (enum PeerStateMachine) ntohl (m->sender_status);
3000   switch (n->status)
3001     {
3002     case PEER_STATE_DOWN:
3003       n->status = PEER_STATE_KEY_RECEIVED;
3004 #if DEBUG_CORE
3005       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3006                   "Responding to `%s' with my own key.\n", "SET_KEY");
3007 #endif
3008       send_key (n);
3009       break;
3010     case PEER_STATE_KEY_SENT:
3011     case PEER_STATE_KEY_RECEIVED:
3012       n->status = PEER_STATE_KEY_RECEIVED;
3013       if ((sender_status != PEER_STATE_KEY_RECEIVED) &&
3014           (sender_status != PEER_STATE_KEY_CONFIRMED))
3015         {
3016 #if DEBUG_CORE
3017           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3018                       "Responding to `%s' with my own key (other peer has status %u).\n",
3019                       "SET_KEY",
3020                       (unsigned int) sender_status);
3021 #endif
3022           send_key (n);
3023         }
3024       break;
3025     case PEER_STATE_KEY_CONFIRMED:
3026       if ((sender_status != PEER_STATE_KEY_RECEIVED) &&
3027           (sender_status != PEER_STATE_KEY_CONFIRMED))
3028         {         
3029 #if DEBUG_CORE
3030           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3031                       "Responding to `%s' with my own key (other peer has status %u), I was already fully up.\n",
3032                       "SET_KEY", 
3033                       (unsigned int) sender_status);
3034 #endif
3035           send_key (n);
3036         }
3037       break;
3038     default:
3039       GNUNET_break (0);
3040       break;
3041     }
3042   if (n->pending_ping != NULL)
3043     {
3044       ping = n->pending_ping;
3045       n->pending_ping = NULL;
3046       handle_ping (n, ping);
3047       GNUNET_free (ping);
3048     }
3049   if (n->pending_pong != NULL)
3050     {
3051       pong = n->pending_pong;
3052       n->pending_pong = NULL;
3053       handle_pong (n, pong);
3054       GNUNET_free (pong);
3055     }
3056 }
3057
3058
3059 /**
3060  * Send a P2P message to a client.
3061  *
3062  * @param sender who sent us the message?
3063  * @param client who should we give the message to?
3064  * @param m contains the message to transmit
3065  * @param msize number of bytes in buf to transmit
3066  */
3067 static void
3068 send_p2p_message_to_client (struct Neighbour *sender,
3069                             struct Client *client,
3070                             const void *m, size_t msize)
3071 {
3072   char buf[msize + sizeof (struct NotifyTrafficMessage)];
3073   struct NotifyTrafficMessage *ntm;
3074
3075 #if DEBUG_CORE
3076   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3077               "Core service passes message from `%4s' of type %u to client.\n",
3078               GNUNET_i2s(&sender->peer),
3079               (unsigned int) ntohs (((const struct GNUNET_MessageHeader *) m)->type));
3080 #endif
3081   ntm = (struct NotifyTrafficMessage *) buf;
3082   ntm->header.size = htons (msize + sizeof (struct NotifyTrafficMessage));
3083   ntm->header.type = htons (GNUNET_MESSAGE_TYPE_CORE_NOTIFY_INBOUND);
3084   ntm->distance = htonl (sender->last_distance);
3085   ntm->latency = GNUNET_TIME_relative_hton (sender->last_latency);
3086   ntm->peer = sender->peer;
3087   memcpy (&ntm[1], m, msize);
3088   send_to_client (client, &ntm->header, GNUNET_YES);
3089 }
3090
3091
3092 /**
3093  * Deliver P2P message to interested clients.
3094  *
3095  * @param sender who sent us the message?
3096  * @param m the message
3097  * @param msize size of the message (including header)
3098  */
3099 static void
3100 deliver_message (struct Neighbour *sender,
3101                  const struct GNUNET_MessageHeader *m, size_t msize)
3102 {
3103   char buf[256];
3104   struct Client *cpos;
3105   uint16_t type;
3106   unsigned int tpos;
3107   int deliver_full;
3108   int dropped;
3109
3110   type = ntohs (m->type);
3111 #if DEBUG_CORE
3112   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3113               "Received encapsulated message of type %u from `%4s'\n",
3114               (unsigned int) type,
3115               GNUNET_i2s (&sender->peer));
3116 #endif
3117   GNUNET_snprintf (buf,
3118                    sizeof(buf),
3119                    gettext_noop ("# bytes of messages of type %u received"),
3120                    (unsigned int) type);
3121   GNUNET_STATISTICS_set (stats,
3122                          buf,
3123                          msize,
3124                          GNUNET_NO);     
3125   dropped = GNUNET_YES;
3126   cpos = clients;
3127   while (cpos != NULL)
3128     {
3129       deliver_full = GNUNET_NO;
3130       if (0 != (cpos->options & GNUNET_CORE_OPTION_SEND_FULL_INBOUND))
3131         deliver_full = GNUNET_YES;
3132       else
3133         {
3134           for (tpos = 0; tpos < cpos->tcnt; tpos++)
3135             {
3136               if (type != cpos->types[tpos])
3137                 continue;
3138               deliver_full = GNUNET_YES;
3139               break;
3140             }
3141         }
3142       if (GNUNET_YES == deliver_full)
3143         {
3144           send_p2p_message_to_client (sender, cpos, m, msize);
3145           dropped = GNUNET_NO;
3146         }
3147       else if (cpos->options & GNUNET_CORE_OPTION_SEND_HDR_INBOUND)
3148         {
3149           send_p2p_message_to_client (sender, cpos, m,
3150                                       sizeof (struct GNUNET_MessageHeader));
3151         }
3152       cpos = cpos->next;
3153     }
3154   if (dropped == GNUNET_YES)
3155     {
3156 #if DEBUG_CORE
3157       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3158                   "Message of type %u from `%4s' not delivered to any client.\n",
3159                   (unsigned int) type,
3160                   GNUNET_i2s (&sender->peer));
3161 #endif
3162       /* FIXME: stats... */
3163     }
3164 }
3165
3166
3167 /**
3168  * Align P2P message and then deliver to interested clients.
3169  *
3170  * @param sender who sent us the message?
3171  * @param buffer unaligned (!) buffer containing message
3172  * @param msize size of the message (including header)
3173  */
3174 static void
3175 align_and_deliver (struct Neighbour *sender, const char *buffer, size_t msize)
3176 {
3177   char abuf[msize];
3178
3179   /* TODO: call to statistics? */
3180   memcpy (abuf, buffer, msize);
3181   deliver_message (sender, (const struct GNUNET_MessageHeader *) abuf, msize);
3182 }
3183
3184
3185 /**
3186  * Deliver P2P messages to interested clients.
3187  *
3188  * @param sender who sent us the message?
3189  * @param buffer buffer containing messages, can be modified
3190  * @param buffer_size size of the buffer (overall)
3191  * @param offset offset where messages in the buffer start
3192  */
3193 static void
3194 deliver_messages (struct Neighbour *sender,
3195                   const char *buffer, size_t buffer_size, size_t offset)
3196 {
3197   struct GNUNET_MessageHeader *mhp;
3198   struct GNUNET_MessageHeader mh;
3199   uint16_t msize;
3200   int need_align;
3201
3202   while (offset + sizeof (struct GNUNET_MessageHeader) <= buffer_size)
3203     {
3204       if (0 != offset % sizeof (uint16_t))
3205         {
3206           /* outch, need to copy to access header */
3207           memcpy (&mh, &buffer[offset], sizeof (struct GNUNET_MessageHeader));
3208           mhp = &mh;
3209         }
3210       else
3211         {
3212           /* can access header directly */
3213           mhp = (struct GNUNET_MessageHeader *) &buffer[offset];
3214         }
3215       msize = ntohs (mhp->size);
3216       if (msize + offset > buffer_size)
3217         {
3218           /* malformed message, header says it is larger than what
3219              would fit into the overall buffer */
3220           GNUNET_break_op (0);
3221           break;
3222         }
3223 #if HAVE_UNALIGNED_64_ACCESS
3224       need_align = (0 != offset % 4) ? GNUNET_YES : GNUNET_NO;
3225 #else
3226       need_align = (0 != offset % 8) ? GNUNET_YES : GNUNET_NO;
3227 #endif
3228       if (GNUNET_YES == need_align)
3229         align_and_deliver (sender, &buffer[offset], msize);
3230       else
3231         deliver_message (sender,
3232                          (const struct GNUNET_MessageHeader *)
3233                          &buffer[offset], msize);
3234       offset += msize;
3235     }
3236 }
3237
3238
3239 /**
3240  * We received an encrypted message.  Decrypt, validate and
3241  * pass on to the appropriate clients.
3242  */
3243 static void
3244 handle_encrypted_message (struct Neighbour *n,
3245                           const struct EncryptedMessage *m)
3246 {
3247   size_t size = ntohs (m->header.size);
3248   char buf[size];
3249   struct EncryptedMessage *pt;  /* plaintext */
3250   GNUNET_HashCode ph;
3251   uint32_t snum;
3252   struct GNUNET_TIME_Absolute t;
3253   GNUNET_HashCode iv;
3254
3255 #if DEBUG_CORE
3256   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3257               "Core service receives `%s' request from `%4s'.\n",
3258               "ENCRYPTED_MESSAGE", GNUNET_i2s (&n->peer));
3259 #endif  
3260   GNUNET_CRYPTO_hash (&m->iv_seed, sizeof (uint32_t), &iv);
3261   /* decrypt */
3262   if (GNUNET_OK !=
3263       do_decrypt (n,
3264                   &iv,
3265                   &m->plaintext_hash,
3266                   &buf[ENCRYPTED_HEADER_SIZE], 
3267                   size - ENCRYPTED_HEADER_SIZE))
3268     return;
3269   pt = (struct EncryptedMessage *) buf;
3270   /* validate hash */
3271   GNUNET_CRYPTO_hash (&pt->sequence_number,
3272                       size - ENCRYPTED_HEADER_SIZE - sizeof (GNUNET_HashCode), &ph);
3273 #if DEBUG_HANDSHAKE 
3274   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3275               "V-Hashed %u bytes of plaintext (`%s') using IV `%d'\n",
3276               (unsigned int) (size - ENCRYPTED_HEADER_SIZE - sizeof (GNUNET_HashCode)),
3277               GNUNET_h2s (&ph),
3278               (int) m->iv_seed);
3279 #endif
3280   if (0 != memcmp (&ph, 
3281                    &pt->plaintext_hash, 
3282                    sizeof (GNUNET_HashCode)))
3283     {
3284       /* checksum failed */
3285       GNUNET_break_op (0);
3286       return;
3287     }
3288
3289   /* validate sequence number */
3290   snum = ntohl (pt->sequence_number);
3291   if (n->last_sequence_number_received == snum)
3292     {
3293       GNUNET_log (GNUNET_ERROR_TYPE_INFO,
3294                   "Received duplicate message, ignoring.\n");
3295       /* duplicate, ignore */
3296       GNUNET_STATISTICS_set (stats,
3297                              gettext_noop ("# bytes dropped (duplicates)"),
3298                              size,
3299                              GNUNET_NO);      
3300       return;
3301     }
3302   if ((n->last_sequence_number_received > snum) &&
3303       (n->last_sequence_number_received - snum > 32))
3304     {
3305       GNUNET_log (GNUNET_ERROR_TYPE_INFO,
3306                   "Received ancient out of sequence message, ignoring.\n");
3307       /* ancient out of sequence, ignore */
3308       GNUNET_STATISTICS_set (stats,
3309                              gettext_noop ("# bytes dropped (out of sequence)"),
3310                              size,
3311                              GNUNET_NO);      
3312       return;
3313     }
3314   if (n->last_sequence_number_received > snum)
3315     {
3316       unsigned int rotbit =
3317         1 << (n->last_sequence_number_received - snum - 1);
3318       if ((n->last_packets_bitmap & rotbit) != 0)
3319         {
3320           GNUNET_log (GNUNET_ERROR_TYPE_INFO,
3321                       "Received duplicate message, ignoring.\n");
3322           GNUNET_STATISTICS_set (stats,
3323                                  gettext_noop ("# bytes dropped (duplicates)"),
3324                                  size,
3325                                  GNUNET_NO);      
3326           /* duplicate, ignore */
3327           return;
3328         }
3329       n->last_packets_bitmap |= rotbit;
3330     }
3331   if (n->last_sequence_number_received < snum)
3332     {
3333       n->last_packets_bitmap <<= (snum - n->last_sequence_number_received);
3334       n->last_sequence_number_received = snum;
3335     }
3336
3337   /* check timestamp */
3338   t = GNUNET_TIME_absolute_ntoh (pt->timestamp);
3339   if (GNUNET_TIME_absolute_get_duration (t).value > MAX_MESSAGE_AGE.value)
3340     {
3341       GNUNET_log (GNUNET_ERROR_TYPE_INFO,
3342                   _
3343                   ("Message received far too old (%llu ms). Content ignored.\n"),
3344                   GNUNET_TIME_absolute_get_duration (t).value);
3345       GNUNET_STATISTICS_set (stats,
3346                              gettext_noop ("# bytes dropped (ancient message)"),
3347                              size,
3348                              GNUNET_NO);      
3349       return;
3350     }
3351
3352   /* process decrypted message(s) */
3353   if (n->bw_out_external_limit.value__ != pt->inbound_bw_limit.value__)
3354     {
3355 #if DEBUG_CORE_SET_QUOTA
3356       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3357                   "Received %u b/s as new inbound limit for peer `%4s'\n",
3358                   (unsigned int) ntohl (pt->inbound_bw_limit.value__),
3359                   GNUNET_i2s (&n->peer));
3360 #endif
3361       n->bw_out_external_limit = pt->inbound_bw_limit;
3362       n->bw_out = GNUNET_BANDWIDTH_value_min (n->bw_out_external_limit,
3363                                               n->bw_out_internal_limit);
3364       GNUNET_BANDWIDTH_tracker_update_quota (&n->available_send_window,
3365                                              n->bw_out);
3366       GNUNET_TRANSPORT_set_quota (transport,
3367                                   &n->peer,
3368                                   n->bw_in,
3369                                   n->bw_out,
3370                                   GNUNET_TIME_UNIT_FOREVER_REL,
3371                                   NULL, NULL); 
3372     }
3373   n->last_activity = GNUNET_TIME_absolute_get ();
3374   if (n->keep_alive_task != GNUNET_SCHEDULER_NO_TASK)
3375     GNUNET_SCHEDULER_cancel (sched, n->keep_alive_task);
3376   n->keep_alive_task 
3377     = GNUNET_SCHEDULER_add_delayed (sched, 
3378                                     GNUNET_TIME_relative_divide (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT, 2),
3379                                     &send_keep_alive,
3380                                     n);
3381   GNUNET_STATISTICS_set (stats,
3382                          gettext_noop ("# bytes of payload decrypted"),
3383                          size - sizeof (struct EncryptedMessage),
3384                          GNUNET_NO);      
3385   deliver_messages (n, buf, size, sizeof (struct EncryptedMessage));
3386 }
3387
3388
3389 /**
3390  * Function called by the transport for each received message.
3391  *
3392  * @param cls closure
3393  * @param peer (claimed) identity of the other peer
3394  * @param message the message
3395  * @param latency estimated latency for communicating with the
3396  *             given peer (round-trip)
3397  * @param distance in overlay hops, as given by transport plugin
3398  */
3399 static void
3400 handle_transport_receive (void *cls,
3401                           const struct GNUNET_PeerIdentity *peer,
3402                           const struct GNUNET_MessageHeader *message,
3403                           struct GNUNET_TIME_Relative latency,
3404                           unsigned int distance)
3405 {
3406   struct Neighbour *n;
3407   struct GNUNET_TIME_Absolute now;
3408   int up;
3409   uint16_t type;
3410   uint16_t size;
3411
3412 #if DEBUG_CORE
3413   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3414               "Received message of type %u from `%4s', demultiplexing.\n",
3415               (unsigned int) ntohs (message->type), 
3416               GNUNET_i2s (peer));
3417 #endif
3418   if (0 == memcmp (peer, &my_identity, sizeof (struct GNUNET_PeerIdentity)))
3419     {
3420       GNUNET_break (0);
3421       return;
3422     }
3423   n = find_neighbour (peer);
3424   if (n == NULL)
3425     n = create_neighbour (peer);
3426   n->last_latency = latency;
3427   n->last_distance = distance;
3428   up = (n->status == PEER_STATE_KEY_CONFIRMED);
3429   type = ntohs (message->type);
3430   size = ntohs (message->size);
3431   switch (type)
3432     {
3433     case GNUNET_MESSAGE_TYPE_CORE_SET_KEY:
3434       if (size != sizeof (struct SetKeyMessage))
3435         {
3436           GNUNET_break_op (0);
3437           return;
3438         }
3439       GNUNET_STATISTICS_update (stats, gettext_noop ("# session keys received"), 1, GNUNET_NO);
3440       handle_set_key (n, (const struct SetKeyMessage *) message);
3441       break;
3442     case GNUNET_MESSAGE_TYPE_CORE_ENCRYPTED_MESSAGE:
3443       if (size < sizeof (struct EncryptedMessage) +
3444           sizeof (struct GNUNET_MessageHeader))
3445         {
3446           GNUNET_break_op (0);
3447           return;
3448         }
3449       if ((n->status != PEER_STATE_KEY_RECEIVED) &&
3450           (n->status != PEER_STATE_KEY_CONFIRMED))
3451         {
3452           GNUNET_break_op (0);
3453           return;
3454         }
3455       handle_encrypted_message (n, (const struct EncryptedMessage *) message);
3456       break;
3457     case GNUNET_MESSAGE_TYPE_CORE_PING:
3458       if (size != sizeof (struct PingMessage))
3459         {
3460           GNUNET_break_op (0);
3461           return;
3462         }
3463       GNUNET_STATISTICS_update (stats, gettext_noop ("# PING messages received"), 1, GNUNET_NO);
3464       if ((n->status != PEER_STATE_KEY_RECEIVED) &&
3465           (n->status != PEER_STATE_KEY_CONFIRMED))
3466         {
3467 #if DEBUG_CORE
3468           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3469                       "Core service receives `%s' request from `%4s' but have not processed key; marking as pending.\n",
3470                       "PING", GNUNET_i2s (&n->peer));
3471 #endif
3472           GNUNET_free_non_null (n->pending_ping);
3473           n->pending_ping = GNUNET_malloc (sizeof (struct PingMessage));
3474           memcpy (n->pending_ping, message, sizeof (struct PingMessage));
3475           return;
3476         }
3477       handle_ping (n, (const struct PingMessage *) message);
3478       break;
3479     case GNUNET_MESSAGE_TYPE_CORE_PONG:
3480       if (size != sizeof (struct PongMessage))
3481         {
3482           GNUNET_break_op (0);
3483           return;
3484         }
3485       GNUNET_STATISTICS_update (stats, gettext_noop ("# PONG messages received"), 1, GNUNET_NO);
3486       if ( (n->status != PEER_STATE_KEY_RECEIVED) &&
3487            (n->status != PEER_STATE_KEY_CONFIRMED) )
3488         {
3489 #if DEBUG_CORE
3490           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3491                       "Core service receives `%s' request from `%4s' but have not processed key; marking as pending.\n",
3492                       "PONG", GNUNET_i2s (&n->peer));
3493 #endif
3494           GNUNET_free_non_null (n->pending_pong);
3495           n->pending_pong = GNUNET_malloc (sizeof (struct PongMessage));
3496           memcpy (n->pending_pong, message, sizeof (struct PongMessage));
3497           return;
3498         }
3499       handle_pong (n, (const struct PongMessage *) message);
3500       break;
3501     default:
3502       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
3503                   _("Unsupported message of type %u received.\n"),
3504                   (unsigned int) type);
3505       return;
3506     }
3507   if (n->status == PEER_STATE_KEY_CONFIRMED)
3508     {
3509       now = GNUNET_TIME_absolute_get ();
3510       n->last_activity = now;
3511       if (!up)
3512         {
3513           GNUNET_STATISTICS_update (stats, gettext_noop ("# established sessions"), 1, GNUNET_NO);
3514           n->time_established = now;
3515         }
3516       if (n->keep_alive_task != GNUNET_SCHEDULER_NO_TASK)
3517         GNUNET_SCHEDULER_cancel (sched, n->keep_alive_task);
3518       n->keep_alive_task 
3519         = GNUNET_SCHEDULER_add_delayed (sched, 
3520                                         GNUNET_TIME_relative_divide (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT, 2),
3521                                         &send_keep_alive,
3522                                         n);
3523     }
3524 }
3525
3526
3527 /**
3528  * Function that recalculates the bandwidth quota for the
3529  * given neighbour and transmits it to the transport service.
3530  * 
3531  * @param cls neighbour for the quota update
3532  * @param tc context
3533  */
3534 static void
3535 neighbour_quota_update (void *cls,
3536                         const struct GNUNET_SCHEDULER_TaskContext *tc)
3537 {
3538   struct Neighbour *n = cls;
3539   struct GNUNET_BANDWIDTH_Value32NBO q_in;
3540   double pref_rel;
3541   double share;
3542   unsigned long long distributable;
3543   uint64_t need_per_peer;
3544   uint64_t need_per_second;
3545   
3546   n->quota_update_task = GNUNET_SCHEDULER_NO_TASK;
3547   /* calculate relative preference among all neighbours;
3548      divides by a bit more to avoid division by zero AND to
3549      account for possibility of new neighbours joining any time 
3550      AND to convert to double... */
3551   if (preference_sum == 0)
3552     {
3553       pref_rel = 1.0 / (double) neighbour_count;
3554     }
3555   else
3556     {
3557       pref_rel = n->current_preference / preference_sum;
3558     }
3559   need_per_peer = GNUNET_BANDWIDTH_value_get_available_until (MIN_BANDWIDTH_PER_PEER,
3560                                                               GNUNET_TIME_UNIT_SECONDS);  
3561   need_per_second = need_per_peer * neighbour_count;
3562   distributable = 0;
3563   if (bandwidth_target_out_bps > need_per_second)
3564     distributable = bandwidth_target_out_bps - need_per_second;
3565   share = distributable * pref_rel;
3566   if (share + need_per_peer > ( (uint32_t)-1))
3567     q_in = GNUNET_BANDWIDTH_value_init ((uint32_t) -1);
3568   else
3569     q_in = GNUNET_BANDWIDTH_value_init (need_per_peer + (uint32_t) share);
3570   /* check if we want to disconnect for good due to inactivity */
3571   if ( (GNUNET_TIME_absolute_get_duration (n->last_activity).value > GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT.value) &&
3572        (GNUNET_TIME_absolute_get_duration (n->time_established).value > GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT.value) )
3573     {
3574 #if DEBUG_CORE
3575       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3576                   "Forcing disconnect of `%4s' due to inactivity\n",
3577                   GNUNET_i2s (&n->peer));
3578 #endif
3579       q_in = GNUNET_BANDWIDTH_value_init (0); /* force disconnect */
3580     }
3581 #if DEBUG_CORE_QUOTA
3582   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3583               "Current quota for `%4s' is %u/%llu b/s in (old: %u b/s) / %u out (%u internal)\n",
3584               GNUNET_i2s (&n->peer),
3585               (unsigned int) ntohl (q_in.value__),
3586               bandwidth_target_out_bps,
3587               (unsigned int) ntohl (n->bw_in.value__),
3588               (unsigned int) ntohl (n->bw_out.value__),
3589               (unsigned int) ntohl (n->bw_out_internal_limit.value__));
3590 #endif
3591   if (n->bw_in.value__ != q_in.value__) 
3592     {
3593       n->bw_in = q_in;
3594       if (GNUNET_YES == n->is_connected)
3595         GNUNET_TRANSPORT_set_quota (transport,
3596                                     &n->peer,
3597                                     n->bw_in,
3598                                     n->bw_out,
3599                                     GNUNET_TIME_UNIT_FOREVER_REL,
3600                                     NULL, NULL);
3601     }
3602   schedule_quota_update (n);
3603 }
3604
3605
3606 /**
3607  * Function called by transport to notify us that
3608  * a peer connected to us (on the network level).
3609  *
3610  * @param cls closure
3611  * @param peer the peer that connected
3612  * @param latency current latency of the connection
3613  * @param distance in overlay hops, as given by transport plugin
3614  */
3615 static void
3616 handle_transport_notify_connect (void *cls,
3617                                  const struct GNUNET_PeerIdentity *peer,
3618                                  struct GNUNET_TIME_Relative latency,
3619                                  unsigned int distance)
3620 {
3621   struct Neighbour *n;
3622
3623   if (0 == memcmp (peer, &my_identity, sizeof (struct GNUNET_PeerIdentity)))
3624     {
3625       GNUNET_break (0);
3626       return;
3627     }
3628   n = find_neighbour (peer);
3629   if (n != NULL)
3630     {
3631       if (GNUNET_YES == n->is_connected)
3632         {
3633           /* duplicate connect notification!? */
3634           GNUNET_break (0);
3635           return;
3636         }
3637     }
3638   else
3639     {
3640       n = create_neighbour (peer);
3641     }
3642   GNUNET_STATISTICS_update (stats, 
3643                             gettext_noop ("# peers connected (transport)"), 
3644                             1, 
3645                             GNUNET_NO);
3646   n->is_connected = GNUNET_YES;      
3647   n->last_latency = latency;
3648   n->last_distance = distance;
3649   GNUNET_BANDWIDTH_tracker_init (&n->available_send_window,
3650                                  n->bw_out,
3651                                  MAX_WINDOW_TIME_S);
3652   GNUNET_BANDWIDTH_tracker_init (&n->available_recv_window,
3653                                  n->bw_in,
3654                                  MAX_WINDOW_TIME_S);  
3655 #if DEBUG_CORE
3656   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3657               "Received connection from `%4s'.\n",
3658               GNUNET_i2s (&n->peer));
3659 #endif
3660   GNUNET_TRANSPORT_set_quota (transport,
3661                               &n->peer,
3662                               n->bw_in,
3663                               n->bw_out,
3664                               GNUNET_TIME_UNIT_FOREVER_REL,
3665                               NULL, NULL);
3666   send_key (n); 
3667 }
3668
3669
3670 /**
3671  * Function called by transport telling us that a peer
3672  * disconnected.
3673  *
3674  * @param cls closure
3675  * @param peer the peer that disconnected
3676  */
3677 static void
3678 handle_transport_notify_disconnect (void *cls,
3679                                     const struct GNUNET_PeerIdentity *peer)
3680 {
3681   struct DisconnectNotifyMessage cnm;
3682   struct Neighbour *n;
3683
3684 #if DEBUG_CORE
3685   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3686               "Peer `%4s' disconnected from us.\n", GNUNET_i2s (peer));
3687 #endif
3688   n = find_neighbour (peer);
3689   if (n == NULL)
3690     {
3691       GNUNET_break (0);
3692       return;
3693     }
3694   GNUNET_break (n->is_connected);
3695   cnm.header.size = htons (sizeof (struct DisconnectNotifyMessage));
3696   cnm.header.type = htons (GNUNET_MESSAGE_TYPE_CORE_NOTIFY_DISCONNECT);
3697   cnm.peer = *peer;
3698   send_to_all_clients (&cnm.header, GNUNET_YES, GNUNET_CORE_OPTION_SEND_DISCONNECT);
3699   n->is_connected = GNUNET_NO;
3700   GNUNET_STATISTICS_update (stats, 
3701                             gettext_noop ("# peers connected (transport)"), 
3702                             -1, 
3703                             GNUNET_NO);
3704 }
3705
3706
3707 /**
3708  * Last task run during shutdown.  Disconnects us from
3709  * the transport.
3710  */
3711 static void
3712 cleaning_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
3713 {
3714   struct Neighbour *n;
3715   struct Client *c;
3716
3717 #if DEBUG_CORE
3718   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3719               "Core service shutting down.\n");
3720 #endif
3721   GNUNET_assert (transport != NULL);
3722   GNUNET_TRANSPORT_disconnect (transport);
3723   transport = NULL;
3724   while (NULL != (n = neighbours))
3725     {
3726       neighbours = n->next;
3727       GNUNET_assert (neighbour_count > 0);
3728       neighbour_count--;
3729       free_neighbour (n);
3730     }
3731   GNUNET_STATISTICS_set (stats, gettext_noop ("# neighbour entries allocated"), neighbour_count, GNUNET_NO);
3732   GNUNET_SERVER_notification_context_destroy (notifier);
3733   notifier = NULL;
3734   while (NULL != (c = clients))
3735     handle_client_disconnect (NULL, c->client_handle);
3736   if (my_private_key != NULL)
3737     GNUNET_CRYPTO_rsa_key_free (my_private_key);
3738   if (stats != NULL)
3739     GNUNET_STATISTICS_destroy (stats, GNUNET_NO);
3740 }
3741
3742
3743 /**
3744  * Initiate core service.
3745  *
3746  * @param cls closure
3747  * @param s scheduler to use
3748  * @param serv the initialized server
3749  * @param c configuration to use
3750  */
3751 static void
3752 run (void *cls,
3753      struct GNUNET_SCHEDULER_Handle *s,
3754      struct GNUNET_SERVER_Handle *serv,
3755      const struct GNUNET_CONFIGURATION_Handle *c)
3756 {
3757   char *keyfile;
3758
3759   sched = s;
3760   cfg = c;  
3761   /* parse configuration */
3762   if (
3763        (GNUNET_OK !=
3764         GNUNET_CONFIGURATION_get_value_number (c,
3765                                                "CORE",
3766                                                "TOTAL_QUOTA_IN",
3767                                                &bandwidth_target_in_bps)) ||
3768        (GNUNET_OK !=
3769         GNUNET_CONFIGURATION_get_value_number (c,
3770                                                "CORE",
3771                                                "TOTAL_QUOTA_OUT",
3772                                                &bandwidth_target_out_bps)) ||
3773        (GNUNET_OK !=
3774         GNUNET_CONFIGURATION_get_value_filename (c,
3775                                                  "GNUNETD",
3776                                                  "HOSTKEY", &keyfile)))
3777     {
3778       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3779                   _
3780                   ("Core service is lacking key configuration settings.  Exiting.\n"));
3781       GNUNET_SCHEDULER_shutdown (s);
3782       return;
3783     }
3784   my_private_key = GNUNET_CRYPTO_rsa_key_create_from_file (keyfile);
3785   GNUNET_free (keyfile);
3786   if (my_private_key == NULL)
3787     {
3788       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3789                   _("Core service could not access hostkey.  Exiting.\n"));
3790       GNUNET_SCHEDULER_shutdown (s);
3791       return;
3792     }
3793   GNUNET_CRYPTO_rsa_key_get_public (my_private_key, &my_public_key);
3794   GNUNET_CRYPTO_hash (&my_public_key,
3795                       sizeof (my_public_key), &my_identity.hashPubKey);
3796   /* setup notification */
3797   server = serv;
3798   notifier = GNUNET_SERVER_notification_context_create (server, 
3799                                                         MAX_NOTIFY_QUEUE);
3800   GNUNET_SERVER_disconnect_notify (server, &handle_client_disconnect, NULL);
3801   /* setup transport connection */
3802   transport = GNUNET_TRANSPORT_connect (sched,
3803                                         cfg,
3804                                         NULL,
3805                                         &handle_transport_receive,
3806                                         &handle_transport_notify_connect,
3807                                         &handle_transport_notify_disconnect);
3808   GNUNET_assert (NULL != transport);
3809   stats = GNUNET_STATISTICS_create (sched, "core", cfg);
3810   GNUNET_SCHEDULER_add_delayed (sched,
3811                                 GNUNET_TIME_UNIT_FOREVER_REL,
3812                                 &cleaning_task, NULL);
3813   /* process client requests */
3814   GNUNET_SERVER_add_handlers (server, handlers);
3815   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
3816               _("Core service of `%4s' ready.\n"), GNUNET_i2s (&my_identity));
3817 }
3818
3819
3820
3821 /**
3822  * The main function for the transport service.
3823  *
3824  * @param argc number of arguments from the command line
3825  * @param argv command line arguments
3826  * @return 0 ok, 1 on error
3827  */
3828 int
3829 main (int argc, char *const *argv)
3830 {
3831   return (GNUNET_OK ==
3832           GNUNET_SERVICE_run (argc,
3833                               argv,
3834                               "core",
3835                               GNUNET_SERVICE_OPTION_NONE,
3836                               &run, NULL)) ? 0 : 1;
3837 }
3838
3839 /* end of gnunet-service-core.c */