-fix bogus assumption on my part
[oweals/gnunet.git] / src / transport / gnunet-service-transport_neighbours.c
1 /*
2      This file is part of GNUnet.
3      (C) 2010,2011,2012 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file transport/gnunet-service-transport_neighbours.c
23  * @brief neighbour management
24  * @author Christian Grothoff
25  *
26  * TODO:
27  * - "address_change_cb" is NEVER invoked; when should we call this one exactly?
28  * - TEST, TEST, TEST...
29  */
30 #include "platform.h"
31 #include "gnunet_ats_service.h"
32 #include "gnunet-service-transport_neighbours.h"
33 #include "gnunet-service-transport_plugins.h"
34 #include "gnunet-service-transport_validation.h"
35 #include "gnunet-service-transport_clients.h"
36 #include "gnunet-service-transport.h"
37 #include "gnunet_peerinfo_service.h"
38 #include "gnunet-service-transport_blacklist.h"
39 #include "gnunet_constants.h"
40 #include "transport.h"
41
42
43 /**
44  * Size of the neighbour hash map.
45  */
46 #define NEIGHBOUR_TABLE_SIZE 256
47
48 /**
49  * Time we give plugin to transmit DISCONNECT message before the
50  * neighbour entry self-destructs.
51  */
52 #define DISCONNECT_SENT_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MILLISECONDS, 100)
53
54 /**
55  * How often must a peer violate bandwidth quotas before we start
56  * to simply drop its messages?
57  */
58 #define QUOTA_VIOLATION_DROP_THRESHOLD 10
59
60 /**
61  * How often do we send KEEPALIVE messages to each of our neighbours and measure
62  * the latency with this neighbour?
63  * (idle timeout is 5 minutes or 300 seconds, so with 30s interval we
64  * send 10 keepalives in each interval, so 10 messages would need to be
65  * lost in a row for a disconnect).
66  */
67 #define KEEPALIVE_FREQUENCY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 30)
68
69 /**
70  * How long are we willing to wait for a response from ATS before timing out?
71  */
72 #define ATS_RESPONSE_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MILLISECONDS, 500)
73
74 /**
75  * How long are we willing to wait for an ACK from the other peer before
76  * giving up on our connect operation?
77  */
78 #define SETUP_CONNECTION_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 15)
79
80 /**
81  * How long are we willing to wait for a successful reconnect if 
82  * an existing connection went down?  Much shorter than the
83  * usual SETUP_CONNECTION_TIMEOUT as we do not inform the
84  * higher layers about the disconnect during this period.
85  */
86 #define FAST_RECONNECT_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 1)
87
88 /**
89  * How long are we willing to wait for a response from the blacklist
90  * subsystem before timing out?
91  */
92 #define BLACKLIST_RESPONSE_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MILLISECONDS, 500)
93
94
95 GNUNET_NETWORK_STRUCT_BEGIN
96
97 /**
98  * Message a peer sends to another to indicate that it intends to
99  * setup a connection/session for data exchange.  A 'SESSION_CONNECT'
100  * should be answered with a 'SESSION_CONNECT_ACK' with the same body
101  * to confirm.  A 'SESSION_CONNECT_ACK' should then be followed with
102  * a 'SESSION_ACK'.  Once the 'SESSION_ACK' is received, both peers 
103  * should be connected.
104  */
105 struct SessionConnectMessage
106 {
107   /**
108    * Header of type 'GNUNET_MESSAGE_TYPE_TRANSPORT_SESSION_CONNECT'
109    * or 'GNUNET_MESSAGE_TYPE_TRANSPORT_SESSION_CONNECT_ACK'
110    */
111   struct GNUNET_MessageHeader header;
112
113   /**
114    * Always zero.
115    */
116   uint32_t reserved GNUNET_PACKED;
117
118   /**
119    * Absolute time at the sender.  Only the most recent connect
120    * message implies which session is preferred by the sender.
121    */
122   struct GNUNET_TIME_AbsoluteNBO timestamp;
123
124 };
125
126
127 /**
128  * Message we send to the other peer to notify him that we intentionally
129  * are disconnecting (to reduce timeouts).  This is just a friendly 
130  * notification, peers must not rely on always receiving disconnect
131  * messages.
132  */
133 struct SessionDisconnectMessage
134 {
135   /**
136    * Header of type 'GNUNET_MESSAGE_TYPE_TRANSPORT_SESSION_DISCONNECT'
137    */
138   struct GNUNET_MessageHeader header;
139
140   /**
141    * Always zero.
142    */
143   uint32_t reserved GNUNET_PACKED;
144
145   /**
146    * Purpose of the signature.  Extends over the timestamp.
147    * Purpose should be GNUNET_SIGNATURE_PURPOSE_TRANSPORT_DISCONNECT.
148    */
149   struct GNUNET_CRYPTO_RsaSignaturePurpose purpose;
150
151   /**
152    * Absolute time at the sender.  Only the most recent connect
153    * message implies which session is preferred by the sender.
154    */
155   struct GNUNET_TIME_AbsoluteNBO timestamp;
156
157   /**
158    * Public key of the sender.
159    */
160   struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded public_key;
161
162   /**
163    * Signature of the peer that sends us the disconnect.  Only
164    * valid if the timestamp is AFTER the timestamp from the
165    * corresponding 'CONNECT' message.
166    */
167   struct GNUNET_CRYPTO_RsaSignature signature;
168
169 };
170
171 GNUNET_NETWORK_STRUCT_END
172
173
174 /**
175  * For each neighbour we keep a list of messages
176  * that we still want to transmit to the neighbour.
177  */
178 struct MessageQueue
179 {
180
181   /**
182    * This is a doubly linked list.
183    */
184   struct MessageQueue *next;
185
186   /**
187    * This is a doubly linked list.
188    */
189   struct MessageQueue *prev;
190
191   /**
192    * Function to call once we're done.
193    */
194   GST_NeighbourSendContinuation cont;
195
196   /**
197    * Closure for 'cont'
198    */
199   void *cont_cls;
200
201   /**
202    * The message(s) we want to transmit, GNUNET_MessageHeader(s)
203    * stuck together in memory.  Allocated at the end of this struct.
204    */
205   const char *message_buf;
206
207   /**
208    * Size of the message buf
209    */
210   size_t message_buf_size;
211
212   /**
213    * At what time should we fail?
214    */
215   struct GNUNET_TIME_Absolute timeout;
216
217 };
218
219
220 /**
221  * Possible state of a neighbour.  Initially, we are S_NOT_CONNECTED.
222  *
223  * Then, there are two main paths. If we receive a CONNECT message, we
224  * first run a check against the blacklist and ask ATS for a
225  * suggestion.  (S_CONNECT_RECV_ATS).  If the blacklist comes back
226  * positive, we give the address to ATS.  If ATS makes a suggestion,
227  * we ALSO give that suggestion to the blacklist
228  * (S_CONNECT_RECV_BLACKLIST).  Once the blacklist approves the
229  * address we got from ATS, we send our CONNECT_ACK and go to
230  * S_CONNECT_RECV_ACK.  If we receive a SESSION_ACK, we go to
231  * S_CONNECTED (and notify everyone about the new connection).  If the
232  * operation times out, we go to S_DISCONNECT.
233  *
234  * The other case is where we transmit a CONNECT message first.  We
235  * start with S_INIT_ATS.  If we get an address, we enter
236  * S_INIT_BLACKLIST and check the blacklist.  If the blacklist is OK
237  * with the connection, we actually send the CONNECT message and go to
238  * state S_CONNECT_SENT.  Once we receive a CONNECT_ACK, we go to
239  * S_CONNECTED (and notify everyone about the new connection and send
240  * back a SESSION_ACK).  If the operation times out, we go to
241  * S_DISCONNECT.
242  *
243  * If the session is in trouble (i.e. transport-level disconnect or
244  * timeout), we go to S_RECONNECT_ATS where we ask ATS for a new
245  * address (we don't notify anyone about the disconnect yet).  Once we
246  * have a new address, we go to S_RECONNECT_BLACKLIST to check the new
247  * address against the blacklist.  If the blacklist approves, we enter
248  * S_RECONNECT_SENT and send a CONNECT message.  If we receive a
249  * CONNECT_ACK, we go to S_CONNECTED and nobody noticed that we had
250  * trouble; we also send a SESSION_ACK at this time just in case.  If
251  * the operation times out, we go to S_DISCONNECT (and notify everyone
252  * about the lost connection).
253  *
254  * If ATS decides to switch addresses while we have a normal
255  * connection, we go to S_CONNECTED_SWITCHING_BLACKLIST to check the
256  * new address against the blacklist.  If the blacklist approves, we
257  * go to S_CONNECTED_SWITCHING_CONNECT_SENT and send a
258  * SESSION_CONNECT.  If we get a SESSION_ACK back, we switch the
259  * primary connection to the suggested alternative from ATS, go back
260  * to S_CONNECTED and send a SESSION_ACK to the other peer just to be
261  * sure.  If the operation times out (or the blacklist disapproves),
262  * we go to S_CONNECTED (and notify ATS that the given alternative
263  * address is "invalid").
264  *
265  * Once a session is in S_DISCONNECT, it is cleaned up and then goes
266  * to (S_DISCONNECT_FINISHED).  If we receive an explicit disconnect
267  * request, we can go from any state to S_DISCONNECT, possibly after
268  * generating disconnect notifications.
269  *
270  * Note that it is quite possible that while we are in any of these
271  * states, we could receive a 'CONNECT' request from the other peer.
272  * We then enter a 'weird' state where we pursue our own primary state
273  * machine (as described above), but with the 'send_connect_ack' flag
274  * set to 1.  If our state machine allows us to send a 'CONNECT_ACK'
275  * (because we have an acceptable address), we send the 'CONNECT_ACK'
276  * and set the 'send_connect_ack' to 2.  If we then receive a
277  * 'SESSION_ACK', we go to 'S_CONNECTED' (and reset 'send_connect_ack'
278  * to 0).
279  * 
280  */ 
281 enum State
282 {
283   /**
284    * fresh peer or completely disconnected
285    */
286   S_NOT_CONNECTED = 0,
287
288   /**
289    * Asked to initiate connection, trying to get address from ATS
290    */
291   S_INIT_ATS,
292
293   /**
294    * Asked to initiate connection, trying to get address approved
295    * by blacklist.
296    */
297   S_INIT_BLACKLIST,
298
299   /**
300    * Sent CONNECT message to other peer, waiting for CONNECT_ACK
301    */
302   S_CONNECT_SENT,
303
304   /**
305    * Received a CONNECT, asking ATS about address suggestions.
306    */
307   S_CONNECT_RECV_ATS,
308
309   /**
310    * Received CONNECT from other peer, got an address, checking with blacklist.
311    */
312   S_CONNECT_RECV_BLACKLIST,
313
314   /**
315    * CONNECT request from other peer was SESSION_ACK'ed, waiting for
316    * SESSION_ACK.
317    */
318   S_CONNECT_RECV_ACK,
319
320   /**
321    * Got our CONNECT_ACK/SESSION_ACK, connection is up.
322    */
323   S_CONNECTED,
324
325   /**
326    * Connection got into trouble, rest of the system still believes
327    * it to be up, but we're getting a new address from ATS.
328    */
329   S_RECONNECT_ATS,
330
331   /**
332    * Connection got into trouble, rest of the system still believes
333    * it to be up; we are checking the new address against the blacklist.
334    */
335   S_RECONNECT_BLACKLIST,
336
337   /**
338    * Sent CONNECT over new address (either by ATS telling us to switch
339    * addresses or from RECONNECT_ATS); if this fails, we need to tell
340    * the rest of the system about a disconnect.
341    */
342   S_RECONNECT_SENT,
343
344   /**
345    * We have some primary connection, but ATS suggested we switch
346    * to some alternative; we're now checking the alternative against
347    * the blacklist.
348    */
349   S_CONNECTED_SWITCHING_BLACKLIST,
350
351   /** 
352    * We have some primary connection, but ATS suggested we switch
353    * to some alternative; we now sent a CONNECT message for the
354    * alternative session to the other peer and waiting for a
355    * CONNECT_ACK to make this our primary connection.
356    */
357   S_CONNECTED_SWITCHING_CONNECT_SENT,
358
359   /**
360    * Disconnect in progress (we're sending the DISCONNECT message to the
361    * other peer; after that is finished, the state will be cleaned up).
362    */
363   S_DISCONNECT,
364
365   /**
366    * We're finished with the disconnect; clean up state now!
367    */
368   S_DISCONNECT_FINISHED
369 };
370
371
372 /**
373  * A possible address we could use to communicate with a neighbour.
374  */
375 struct NeighbourAddress
376 {
377
378   /**
379    * Active session for this address.
380    */
381   struct Session *session;
382
383   /**
384    * Network-level address information.
385    */
386   struct GNUNET_HELLO_Address *address;
387
388   /**
389    * Timestamp of the 'SESSION_CONNECT' message we sent to the other
390    * peer for this address.  Use to check that the ACK is in response
391    * to our most recent 'CONNECT'.
392    */
393   struct GNUNET_TIME_Absolute connect_timestamp;
394
395   /**
396    * Inbound bandwidth from ATS for this address.
397    */
398   struct GNUNET_BANDWIDTH_Value32NBO bandwidth_in;
399
400   /**
401    * Outbound bandwidth from ATS for this address.
402    */
403   struct GNUNET_BANDWIDTH_Value32NBO bandwidth_out;
404
405   /**
406    * Did we tell ATS that this is our 'active' address?
407    */
408   int ats_active;
409   
410 };
411
412
413 /**
414  * Entry in neighbours.
415  */
416 struct NeighbourMapEntry
417 {
418
419   /**
420    * Head of list of messages we would like to send to this peer;
421    * must contain at most one message per client.
422    */
423   struct MessageQueue *messages_head;
424
425   /**
426    * Tail of list of messages we would like to send to this peer; must
427    * contain at most one message per client.
428    */
429   struct MessageQueue *messages_tail;
430
431   /**
432    * Are we currently trying to send a message? If so, which one?
433    */
434   struct MessageQueue *is_active;
435
436   /**
437    * Primary address we currently use to communicate with the neighbour.
438    */
439   struct NeighbourAddress primary_address;
440
441   /**
442    * Alternative address currently under consideration for communicating
443    * with the neighbour.
444    */
445   struct NeighbourAddress alternative_address;
446
447   /**
448    * Identity of this neighbour.
449    */
450   struct GNUNET_PeerIdentity id;
451
452   /**
453    * Main task that drives this peer (timeouts, keepalives, etc.).
454    * Always runs the 'master_task'.
455    */
456   GNUNET_SCHEDULER_TaskIdentifier task;
457
458   /**
459    * At what time should we sent the next keep-alive message?
460    */
461   struct GNUNET_TIME_Absolute keep_alive_time;
462
463   /**
464    * At what time did we sent the last keep-alive message?  Used 
465    * to calculate round-trip time ("latency").
466    */
467   struct GNUNET_TIME_Absolute last_keep_alive_time;
468
469   /**
470    * Timestamp we should include in our next CONNECT_ACK message.
471    * (only valid if 'send_connect_ack' is GNUNET_YES).  Used to build
472    * our CONNECT_ACK message.
473    */
474   struct GNUNET_TIME_Absolute connect_ack_timestamp;
475
476   /**
477    * Time where we should cut the connection (timeout) if we don't
478    * make progress in the state machine (or get a KEEPALIVE_RESPONSE
479    * if we are in S_CONNECTED).
480    */
481   struct GNUNET_TIME_Absolute timeout;
482
483   /**
484    * Latest calculated latency value
485    */
486   struct GNUNET_TIME_Relative latency;
487
488   /**
489    * Tracker for inbound bandwidth.
490    */
491   struct GNUNET_BANDWIDTH_Tracker in_tracker;
492
493   /**
494    * How often has the other peer (recently) violated the inbound
495    * traffic limit?  Incremented by 10 per violation, decremented by 1
496    * per non-violation (for each time interval).
497    */
498   unsigned int quota_violation_count;
499
500   /**
501    * The current state of the peer.
502    */
503   enum State state;
504
505   /**
506    * Did we sent an KEEP_ALIVE message and are we expecting a response?
507    */
508   int expect_latency_response;
509
510   /**
511    * Flag to set if we still need to send a CONNECT_ACK message to the other peer
512    * (once we have an address to use and the peer has been allowed by our
513    * blacklist).  Set to 1 if we need to send a CONNECT_ACK.  Set to 2 if we
514    * did send a CONNECT_ACK and should go to 'S_CONNECTED' upon receiving
515    * a 'SESSION_ACK' (regardless of what our own state machine might say).
516    */
517   int send_connect_ack;
518
519 };
520
521
522 /**
523  * Context for blacklist checks and the 'handle_test_blacklist_cont'
524  * function.  Stores information about ongoing blacklist checks.
525  */
526 struct BlackListCheckContext
527 {
528   
529   /**
530    * We keep blacklist checks in a DLL.
531    */
532   struct BlackListCheckContext *next;
533
534   /**
535    * We keep blacklist checks in a DLL.
536    */
537   struct BlackListCheckContext *prev;
538
539   /**
540    * Address that is being checked.
541    */
542   struct NeighbourAddress na;
543   
544   /**
545    * ATS information about the address.
546    */
547   struct GNUNET_ATS_Information *ats;
548
549   /**
550    * Handle to the ongoing blacklist check.
551    */
552   struct GST_BlacklistCheck *bc;
553
554   /**
555    * Size of the 'ats' array.
556    */
557   uint32_t ats_count;
558
559 };
560
561
562 /**
563  * Hash map from peer identities to the respective 'struct NeighbourMapEntry'.
564  */
565 static struct GNUNET_CONTAINER_MultiHashMap *neighbours;
566
567 /**
568  * We keep blacklist checks in a DLL so that we can find
569  * the 'sessions' in their 'struct NeighbourAddress' if
570  * a session goes down.
571  */
572 static struct BlackListCheckContext *bc_head;
573
574 /**
575  * We keep blacklist checks in a DLL.
576  */
577 static struct BlackListCheckContext *bc_tail;
578
579 /**
580  * Closure for connect_notify_cb, disconnect_notify_cb and address_change_cb
581  */
582 static void *callback_cls;
583
584 /**
585  * Function to call when we connected to a neighbour.
586  */
587 static GNUNET_TRANSPORT_NotifyConnect connect_notify_cb;
588
589 /**
590  * Function to call when we disconnected from a neighbour.
591  */
592 static GNUNET_TRANSPORT_NotifyDisconnect disconnect_notify_cb;
593
594 /**
595  * Function to call when we changed an active address of a neighbour.
596  */
597 static GNUNET_TRANSPORT_PeerIterateCallback address_change_cb;
598
599 /**
600  * counter for connected neighbours
601  */
602 static unsigned int neighbours_connected;
603
604 /**
605  * Number of bytes we have currently queued for transmission.
606  */
607 static unsigned long long bytes_in_send_queue;
608
609
610 /**
611  * Lookup a neighbour entry in the neighbours hash map.
612  *
613  * @param pid identity of the peer to look up
614  * @return the entry, NULL if there is no existing record
615  */
616 static struct NeighbourMapEntry *
617 lookup_neighbour (const struct GNUNET_PeerIdentity *pid)
618 {
619   if (NULL == neighbours)
620     return NULL;
621   return GNUNET_CONTAINER_multihashmap_get (neighbours, &pid->hashPubKey);
622 }
623
624
625 /**
626  * Test if we're connected to the given peer.
627  *
628  * @param n neighbour entry of peer to test
629  * @return GNUNET_YES if we are connected, GNUNET_NO if not
630  */
631 static int
632 test_connected (struct NeighbourMapEntry *n)
633 {
634   if (NULL == n)
635     return GNUNET_NO;
636   switch (n->state)
637   {
638   case S_NOT_CONNECTED:
639   case S_INIT_ATS:
640   case S_INIT_BLACKLIST:
641   case S_CONNECT_SENT:
642   case S_CONNECT_RECV_ATS:
643   case S_CONNECT_RECV_BLACKLIST:
644   case S_CONNECT_RECV_ACK:
645     return GNUNET_NO;
646   case S_CONNECTED:
647   case S_RECONNECT_ATS:
648   case S_RECONNECT_BLACKLIST:
649   case S_RECONNECT_SENT:
650   case S_CONNECTED_SWITCHING_BLACKLIST:
651   case S_CONNECTED_SWITCHING_CONNECT_SENT:
652     return GNUNET_YES;
653   case S_DISCONNECT:
654   case S_DISCONNECT_FINISHED:
655     return GNUNET_NO;
656   default:
657     GNUNET_break (0);
658     break;
659   }
660   return GNUNET_SYSERR;
661 }
662
663
664 /**
665  * Send information about a new outbound quota to our clients.
666  *
667  * @param target affected peer
668  * @param quota new quota
669  */
670 static void
671 send_outbound_quota (const struct GNUNET_PeerIdentity *target,
672                      struct GNUNET_BANDWIDTH_Value32NBO quota)
673 {
674   struct QuotaSetMessage q_msg;
675
676   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
677               "Sending outbound quota of %u Bps for peer `%s' to all clients\n",
678               ntohl (quota.value__), GNUNET_i2s (target));
679   q_msg.header.size = htons (sizeof (struct QuotaSetMessage));
680   q_msg.header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_SET_QUOTA);
681   q_msg.quota = quota;
682   q_msg.peer = (*target);
683   GST_clients_broadcast (&q_msg.header, GNUNET_NO);
684 }
685
686
687 /**
688  * We don't need a given neighbour address any more.
689  * Release its resources and give appropriate notifications
690  * to ATS and other subsystems.
691  *
692  * @param na address we are done with; 'na' itself must NOT be 'free'd, only the contents!
693  */
694 static void
695 free_address (struct NeighbourAddress *na)
696 {
697   if (GNUNET_YES == na->ats_active)
698   {
699     GST_validation_set_address_use (na->address, na->session, GNUNET_NO, __LINE__);
700     GNUNET_ATS_address_in_use (GST_ats, na->address, na->session, GNUNET_NO);
701   }
702   na->ats_active = GNUNET_NO;
703   if (NULL != na->address)
704   {
705     GNUNET_HELLO_address_free (na->address);
706     na->address = NULL;
707   }
708   na->session = NULL;
709 }
710
711
712 /**
713  * Initialize the 'struct NeighbourAddress'.
714  *
715  * @param na neighbour address to initialize
716  * @param address address of the other peer, NULL if other peer
717  *                       connected to us
718  * @param session session to use (or NULL, in which case an
719  *        address must be setup)
720  * @param bandwidth_in inbound quota to be used when connection is up
721  * @param bandwidth_out outbound quota to be used when connection is up
722  * @param is_active GNUNET_YES to mark this as the active address with ATS
723  */
724 static void
725 set_address (struct NeighbourAddress *na,
726              const struct GNUNET_HELLO_Address *address,
727              struct Session *session,
728              struct GNUNET_BANDWIDTH_Value32NBO bandwidth_in,
729              struct GNUNET_BANDWIDTH_Value32NBO bandwidth_out,
730              int is_active)
731 {
732   struct GNUNET_TRANSPORT_PluginFunctions *papi;
733
734   if (NULL == (papi = GST_plugins_find (address->transport_name)))  
735   {
736     GNUNET_break (0);
737     return;
738   }
739   if (session == na->session)
740   {
741     na->bandwidth_in = bandwidth_in;
742     na->bandwidth_out = bandwidth_out;
743     if (is_active != na->ats_active)
744     {
745       na->ats_active = is_active;
746       GNUNET_ATS_address_in_use (GST_ats, na->address, na->session, is_active);
747       GST_validation_set_address_use (na->address, na->session, is_active,  __LINE__);
748     }
749     if (GNUNET_YES == is_active)
750     {
751       /* FIXME: is this the right place to set quotas? */
752       GST_neighbours_set_incoming_quota (&address->peer, bandwidth_in);
753       send_outbound_quota (&address->peer, bandwidth_out);
754     }    
755     return;
756   }
757   free_address (na);
758   if (NULL == session)
759     session = papi->get_session (papi->cls, address);    
760   if (NULL == session)
761   {
762     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
763                 "Failed to obtain new session for peer `%s' and  address '%s'\n",
764                 GNUNET_i2s (&address->peer), GST_plugins_a2s (address));    
765     GNUNET_ATS_address_destroyed (GST_ats, address, NULL);
766     return;
767   }
768   na->address = GNUNET_HELLO_address_copy (address);
769   na->bandwidth_in = bandwidth_in;
770   na->bandwidth_out = bandwidth_out;
771   na->session = session;
772   na->ats_active = is_active;
773   if (GNUNET_YES == is_active)
774   {
775     /* Telling ATS about new session */
776     GNUNET_ATS_address_update (GST_ats, na->address, na->session, NULL, 0);
777     GNUNET_ATS_address_in_use (GST_ats, na->address, na->session, GNUNET_YES);
778     GST_validation_set_address_use (na->address, na->session, GNUNET_YES,  __LINE__);
779
780     /* FIXME: is this the right place to set quotas? */
781     GST_neighbours_set_incoming_quota (&address->peer, bandwidth_in);
782     send_outbound_quota (&address->peer, bandwidth_out);
783   }
784 }
785
786
787 /**
788  * Free a neighbour map entry.
789  *
790  * @param n entry to free
791  */
792 static void
793 free_neighbour (struct NeighbourMapEntry *n)
794 {
795   struct MessageQueue *mq;
796   struct GNUNET_TRANSPORT_PluginFunctions *papi;
797
798   n->is_active = NULL; /* always free'd by its own continuation! */
799
800   /* fail messages currently in the queue */
801   while (NULL != (mq = n->messages_head))
802   {
803     GNUNET_CONTAINER_DLL_remove (n->messages_head, n->messages_tail, mq);
804     if (NULL != mq->cont)
805       mq->cont (mq->cont_cls, GNUNET_SYSERR);
806     GNUNET_free (mq);
807   }
808   /* It is too late to send other peer disconnect notifications, but at
809      least internally we need to get clean... */
810   if (GNUNET_YES == test_connected (n))
811   {
812     GNUNET_STATISTICS_set (GST_stats, 
813                            gettext_noop ("# peers connected"), 
814                            --neighbours_connected,
815                            GNUNET_NO);
816     disconnect_notify_cb (callback_cls, &n->id);
817   }
818
819   /* FIXME-PLUGIN-API: This does not seem to guarantee that all
820      transport sessions eventually get killed due to inactivity; they
821      MUST have their own timeout logic (but at least TCP doesn't have
822      one yet).  Are we sure that EVERY 'session' of a plugin is
823      actually cleaned up this way!?  Note that if we are switching
824      between two TCP sessions to the same peer, the existing plugin
825      API gives us not even the means to selectively kill only one of
826      them! Killing all sessions like this seems to be very, very
827      wrong. */
828   if ( (NULL != n->primary_address.address) &&
829        (NULL != (papi = GST_plugins_find (n->primary_address.address->transport_name))) )
830     papi->disconnect (papi->cls, &n->id);
831
832   n->state = S_DISCONNECT_FINISHED;
833
834   GNUNET_assert (GNUNET_YES ==
835                  GNUNET_CONTAINER_multihashmap_remove (neighbours,
836                                                        &n->id.hashPubKey, n));
837
838   /* cut transport-level connection */
839   free_address (&n->primary_address);
840   free_address (&n->alternative_address);
841
842   // FIXME-ATS-API: we might want to be more specific about
843   // which states we do this from in the future (ATS should
844   // have given us a 'suggest_address' handle, and if we have
845   // such a handle, we should cancel the operation here!
846   GNUNET_ATS_suggest_address_cancel (GST_ats, &n->id);
847
848   if (GNUNET_SCHEDULER_NO_TASK != n->task)
849   {
850     GNUNET_SCHEDULER_cancel (n->task);
851     n->task = GNUNET_SCHEDULER_NO_TASK;
852   }
853   /* free rest of memory */
854   GNUNET_free (n);
855 }
856
857
858 /**
859  * Transmit a message using the current session of the given
860  * neighbour.
861  *
862  * @param n entry for the recipient
863  * @param msgbuf buffer to transmit
864  * @param msgbuf_size number of bytes in buffer
865  * @param priority transmission priority
866  * @param timeout transmission timeout
867  * @param cont continuation to call when finished (can be NULL)
868  * @param cont_cls closure for cont
869  */
870 static void
871 send_with_session (struct NeighbourMapEntry *n,
872                    const char *msgbuf, size_t msgbuf_size,
873                    uint32_t priority,
874                    struct GNUNET_TIME_Relative timeout,
875                    GNUNET_TRANSPORT_TransmitContinuation cont,
876                    void *cont_cls)
877 {
878   struct GNUNET_TRANSPORT_PluginFunctions *papi;
879
880   GNUNET_assert (n->primary_address.session != NULL);
881   if ( ( (NULL == (papi = GST_plugins_find (n->primary_address.address->transport_name))) ||
882          (-1 == papi->send (papi->cls,
883                             n->primary_address.session,
884                             msgbuf, msgbuf_size,
885                             priority,
886                             timeout,
887                             cont, cont_cls))) &&
888        (NULL != cont) )
889     cont (cont_cls, &n->id, GNUNET_SYSERR);
890   GNUNET_break (NULL != papi);
891 }
892
893
894 /**
895  * Master task run for every neighbour.  Performs all of the time-related
896  * activities (keep alive, send next message, disconnect if idle, finish
897  * clean up after disconnect).
898  *
899  * @param cls the 'struct NeighbourMapEntry' for which we are running
900  * @param tc scheduler context (unused)
901  */
902 static void
903 master_task (void *cls,
904              const struct GNUNET_SCHEDULER_TaskContext *tc);
905
906
907 /**
908  * Function called when the 'DISCONNECT' message has been sent by the
909  * plugin.  Frees the neighbour --- if the entry still exists.
910  *
911  * @param cls NULL
912  * @param target identity of the neighbour that was disconnected
913  * @param result GNUNET_OK if the disconnect got out successfully
914  */
915 static void
916 send_disconnect_cont (void *cls, const struct GNUNET_PeerIdentity *target,
917                       int result)
918 {
919   struct NeighbourMapEntry *n;
920
921   n = lookup_neighbour (target);
922   if (NULL == n)
923     return; /* already gone */
924   if (S_DISCONNECT != n->state)
925     return; /* have created a fresh entry since */
926   n->state = S_DISCONNECT;
927   GNUNET_SCHEDULER_cancel (n->task);
928   n->task = GNUNET_SCHEDULER_add_now (&master_task, n);
929 }
930
931
932 /**
933  * Transmit a DISCONNECT message to the other peer.
934  *
935  * @param n neighbour to send DISCONNECT message.
936  */
937 static void
938 send_disconnect (struct NeighbourMapEntry *n)
939 {
940   struct SessionDisconnectMessage disconnect_msg;
941
942   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
943               "Sending DISCONNECT message to peer `%4s'\n",
944               GNUNET_i2s (&n->id));
945   disconnect_msg.header.size = htons (sizeof (struct SessionDisconnectMessage));
946   disconnect_msg.header.type =
947       htons (GNUNET_MESSAGE_TYPE_TRANSPORT_SESSION_DISCONNECT);
948   disconnect_msg.reserved = htonl (0);
949   disconnect_msg.purpose.size =
950       htonl (sizeof (struct GNUNET_CRYPTO_RsaSignaturePurpose) +
951              sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded) +
952              sizeof (struct GNUNET_TIME_AbsoluteNBO));
953   disconnect_msg.purpose.purpose =
954       htonl (GNUNET_MESSAGE_TYPE_TRANSPORT_SESSION_DISCONNECT);
955   disconnect_msg.timestamp =
956       GNUNET_TIME_absolute_hton (GNUNET_TIME_absolute_get ());
957   disconnect_msg.public_key = GST_my_public_key;
958   GNUNET_assert (GNUNET_OK ==
959                  GNUNET_CRYPTO_rsa_sign (GST_my_private_key,
960                                          &disconnect_msg.purpose,
961                                          &disconnect_msg.signature));
962
963   send_with_session (n,
964                      (const char *) &disconnect_msg, sizeof (disconnect_msg),
965                      UINT32_MAX, GNUNET_TIME_UNIT_FOREVER_REL,
966                      &send_disconnect_cont, NULL);
967   GNUNET_STATISTICS_update (GST_stats,
968                             gettext_noop
969                             ("# DISCONNECT messages sent"), 1,
970                             GNUNET_NO);
971 }
972
973
974 /**
975  * Disconnect from the given neighbour, clean up the record.
976  *
977  * @param n neighbour to disconnect from
978  */
979 static void
980 disconnect_neighbour (struct NeighbourMapEntry *n)
981 {
982   /* depending on state, notify neighbour and/or upper layers of this peer 
983      about disconnect */
984   switch (n->state)
985   {
986   case S_NOT_CONNECTED:
987   case S_INIT_ATS:
988   case S_INIT_BLACKLIST:
989     /* other peer is completely unaware of us, no need to send DISCONNECT */
990     n->state = S_DISCONNECT_FINISHED;
991     free_neighbour (n);
992     return;
993   case S_CONNECT_SENT:
994     send_disconnect (n); 
995     n->state = S_DISCONNECT;
996     break;   
997   case S_CONNECT_RECV_ATS:
998   case S_CONNECT_RECV_BLACKLIST:
999     /* we never ACK'ed the other peer's request, no need to send DISCONNECT */
1000     n->state = S_DISCONNECT_FINISHED;
1001     free_neighbour (n);
1002     return;
1003   case S_CONNECT_RECV_ACK:
1004     /* we DID ACK the other peer's request, must send DISCONNECT */
1005     send_disconnect (n); 
1006     n->state = S_DISCONNECT;
1007     break;   
1008   case S_CONNECTED:
1009   case S_RECONNECT_BLACKLIST:
1010   case S_RECONNECT_SENT:
1011   case S_CONNECTED_SWITCHING_BLACKLIST:
1012   case S_CONNECTED_SWITCHING_CONNECT_SENT:
1013     /* we are currently connected, need to send disconnect and do
1014        internal notifications and update statistics */
1015     send_disconnect (n);
1016     GNUNET_STATISTICS_set (GST_stats, 
1017                            gettext_noop ("# peers connected"), 
1018                            --neighbours_connected,
1019                            GNUNET_NO);
1020     disconnect_notify_cb (callback_cls, &n->id);
1021     n->state = S_DISCONNECT;
1022     break;
1023   case S_RECONNECT_ATS:
1024     /* ATS address request timeout, disconnect without sending disconnect message */
1025     GNUNET_STATISTICS_set (GST_stats,
1026                            gettext_noop ("# peers connected"),
1027                            --neighbours_connected,
1028                            GNUNET_NO);
1029     disconnect_notify_cb (callback_cls, &n->id);
1030     n->state = S_DISCONNECT;
1031     break;
1032   case S_DISCONNECT:
1033     /* already disconnected, ignore */
1034     break;
1035   case S_DISCONNECT_FINISHED:
1036     /* already cleaned up, how did we get here!? */
1037     GNUNET_assert (0);
1038     break;
1039   default:
1040     GNUNET_break (0);
1041     break;
1042   }
1043   /* schedule timeout to clean up */
1044   if (GNUNET_SCHEDULER_NO_TASK != n->task)
1045     GNUNET_SCHEDULER_cancel (n->task);
1046   n->task = GNUNET_SCHEDULER_add_delayed (DISCONNECT_SENT_TIMEOUT,
1047                                           &master_task, n);
1048 }
1049
1050
1051 /**
1052  * We're done with our transmission attempt, continue processing.
1053  *
1054  * @param cls the 'struct MessageQueue' of the message
1055  * @param receiver intended receiver
1056  * @param success whether it worked or not
1057  */
1058 static void
1059 transmit_send_continuation (void *cls,
1060                             const struct GNUNET_PeerIdentity *receiver,
1061                             int success)
1062 {
1063   struct MessageQueue *mq = cls;
1064   struct NeighbourMapEntry *n;
1065
1066   n = lookup_neighbour (receiver);
1067   if (NULL == n)
1068   {
1069     GNUNET_break (0);
1070     return;
1071   }
1072
1073   if (n->is_active == mq)
1074   {
1075     /* this is still "our" neighbour, remove us from its queue
1076        and allow it to send the next message now */
1077     n->is_active = NULL;
1078     GNUNET_SCHEDULER_cancel (n->task);
1079     n->task = GNUNET_SCHEDULER_add_now (&master_task, n);    
1080   }
1081   GNUNET_assert (bytes_in_send_queue >= mq->message_buf_size);
1082   bytes_in_send_queue -= mq->message_buf_size;
1083   GNUNET_STATISTICS_set (GST_stats,
1084                         gettext_noop
1085                          ("# bytes in message queue for other peers"),
1086                          bytes_in_send_queue, GNUNET_NO);
1087   if (GNUNET_OK == success)
1088     GNUNET_STATISTICS_update (GST_stats,
1089                               gettext_noop
1090                               ("# messages transmitted to other peers"),
1091                               1, GNUNET_NO);
1092   else
1093     GNUNET_STATISTICS_update (GST_stats,
1094                               gettext_noop
1095                               ("# transmission failures for messages to other peers"),
1096                               1, GNUNET_NO);
1097   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, 
1098               "Sending message to `%s' of type %u was a %s\n",
1099               GNUNET_i2s (receiver),
1100               ntohs (((struct GNUNET_MessageHeader *) mq->message_buf)->type),
1101               (success == GNUNET_OK) ? "success" : "FAILURE");
1102   if (NULL != mq->cont)
1103     mq->cont (mq->cont_cls, success);
1104   GNUNET_free (mq);
1105 }
1106
1107
1108 /**
1109  * Check the message list for the given neighbour and if we can
1110  * send a message, do so.  This function should only be called
1111  * if the connection is at least generally ready for transmission.
1112  * While we will only send one message at a time, no bandwidth
1113  * quota management is performed here.  If a message was given to
1114  * the plugin, the continuation will automatically re-schedule
1115  * the 'master' task once the next message might be transmitted.
1116  *
1117  * @param n target peer for which to transmit
1118  */
1119 static void
1120 try_transmission_to_peer (struct NeighbourMapEntry *n)
1121 {
1122   struct MessageQueue *mq;
1123   struct GNUNET_TIME_Relative timeout;
1124
1125   if (NULL == n->primary_address.address)
1126   {
1127     /* no address, why are we here? */
1128     GNUNET_break (0);
1129     return;
1130   }
1131   if ((0 == n->primary_address.address->address_length) && 
1132       (NULL == n->primary_address.session))
1133   {
1134     /* no address, why are we here? */
1135     GNUNET_break (0);
1136     return;
1137   }
1138   if (NULL != n->is_active)
1139   {
1140     /* transmission already pending */
1141     return;                     
1142   }
1143
1144   /* timeout messages from the queue that are past their due date */
1145   while (NULL != (mq = n->messages_head))
1146   {
1147     timeout = GNUNET_TIME_absolute_get_remaining (mq->timeout);
1148     if (timeout.rel_value > 0)
1149       break;
1150     GNUNET_STATISTICS_update (GST_stats,
1151                               gettext_noop
1152                               ("# messages timed out while in transport queue"),
1153                               1, GNUNET_NO);
1154     GNUNET_CONTAINER_DLL_remove (n->messages_head, n->messages_tail, mq);
1155     n->is_active = mq;
1156     transmit_send_continuation (mq, &n->id, GNUNET_SYSERR);     /* timeout */
1157   }
1158   if (NULL == mq)
1159     return;                     /* no more messages */
1160   GNUNET_CONTAINER_DLL_remove (n->messages_head, n->messages_tail, mq);
1161   n->is_active = mq;
1162   send_with_session (n,
1163                      mq->message_buf, mq->message_buf_size,
1164                      0 /* priority */, timeout,
1165                      &transmit_send_continuation, mq);
1166 }
1167
1168
1169 /**
1170  * Send keepalive message to the neighbour.  Must only be called
1171  * if we are on 'connected' state.  Will internally determine
1172  * if a keepalive is truly needed (so can always be called).
1173  *
1174  * @param n neighbour that went idle and needs a keepalive
1175  */
1176 static void
1177 send_keepalive (struct NeighbourMapEntry *n)
1178 {
1179   struct GNUNET_MessageHeader m;
1180
1181   GNUNET_assert (S_CONNECTED == n->state);
1182   if (GNUNET_TIME_absolute_get_remaining (n->keep_alive_time).rel_value > 0)
1183     return; /* no keepalive needed at this time */
1184   m.size = htons (sizeof (struct GNUNET_MessageHeader));
1185   m.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_SESSION_KEEPALIVE);
1186   send_with_session (n,
1187                      (const void *) &m, sizeof (m),
1188                      UINT32_MAX /* priority */,
1189                      KEEPALIVE_FREQUENCY,
1190                      NULL, NULL);
1191   GNUNET_STATISTICS_update (GST_stats, gettext_noop ("# keepalives sent"), 1,
1192                             GNUNET_NO);
1193   n->expect_latency_response = GNUNET_YES;
1194   n->last_keep_alive_time = GNUNET_TIME_absolute_get ();
1195   n->keep_alive_time = GNUNET_TIME_relative_to_absolute (KEEPALIVE_FREQUENCY);
1196 }
1197
1198
1199 /**
1200  * Keep the connection to the given neighbour alive longer,
1201  * we received a KEEPALIVE (or equivalent); send a response.
1202  *
1203  * @param neighbour neighbour to keep alive (by sending keep alive response)
1204  */
1205 void
1206 GST_neighbours_keepalive (const struct GNUNET_PeerIdentity *neighbour)
1207 {
1208   struct NeighbourMapEntry *n;
1209   struct GNUNET_MessageHeader m;
1210
1211   if (NULL == (n = lookup_neighbour (neighbour)))
1212   {
1213     GNUNET_STATISTICS_update (GST_stats,
1214                               gettext_noop
1215                               ("# KEEPALIVE messages discarded (peer unknown)"),
1216                               1, GNUNET_NO);
1217     return;
1218   }
1219   if (NULL == n->primary_address.session)
1220   {
1221     GNUNET_STATISTICS_update (GST_stats,
1222                               gettext_noop
1223                               ("# KEEPALIVE messages discarded (no session)"),
1224                               1, GNUNET_NO);
1225     return;
1226   }
1227   /* send reply to allow neighbour to measure latency */
1228   m.size = htons (sizeof (struct GNUNET_MessageHeader));
1229   m.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_SESSION_KEEPALIVE_RESPONSE);
1230   send_with_session(n,
1231                     (const void *) &m, sizeof (m),
1232                     UINT32_MAX /* priority */,
1233                     KEEPALIVE_FREQUENCY,
1234                     NULL, NULL);
1235 }
1236
1237
1238 /**
1239  * We received a KEEP_ALIVE_RESPONSE message and use this to calculate
1240  * latency to this peer.  Pass the updated information (existing ats
1241  * plus calculated latency) to ATS.
1242  *
1243  * @param neighbour neighbour to keep alive
1244  * @param ats performance data
1245  * @param ats_count number of entries in ats
1246  */
1247 void
1248 GST_neighbours_keepalive_response (const struct GNUNET_PeerIdentity *neighbour,
1249                                    const struct GNUNET_ATS_Information *ats,
1250                                    uint32_t ats_count)
1251 {
1252   struct NeighbourMapEntry *n;
1253   uint32_t latency;
1254   struct GNUNET_ATS_Information ats_new[ats_count + 1];
1255
1256   if (NULL == (n = lookup_neighbour (neighbour)))
1257   {
1258     GNUNET_STATISTICS_update (GST_stats,
1259                               gettext_noop
1260                               ("# KEEPALIVE_RESPONSE messages discarded (not connected)"),
1261                               1, GNUNET_NO);
1262     return;
1263   }
1264   if ( (S_CONNECTED != n->state) ||
1265        (GNUNET_YES != n->expect_latency_response) )
1266   {
1267     GNUNET_STATISTICS_update (GST_stats,
1268                               gettext_noop
1269                               ("# KEEPALIVE_RESPONSE messages discarded (not expected)"),
1270                               1, GNUNET_NO);
1271     return;
1272   }
1273   n->expect_latency_response = GNUNET_NO;
1274   n->latency = GNUNET_TIME_absolute_get_duration (n->last_keep_alive_time);
1275   n->timeout = GNUNET_TIME_relative_to_absolute (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
1276   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, 
1277               "Latency for peer `%s' is %llu ms\n",
1278               GNUNET_i2s (&n->id), n->latency.rel_value);
1279   memcpy (ats_new, ats, sizeof (struct GNUNET_ATS_Information) * ats_count);
1280   /* append latency */
1281   ats_new[ats_count].type = htonl (GNUNET_ATS_QUALITY_NET_DELAY);
1282   if (n->latency.rel_value > UINT32_MAX)
1283     latency = UINT32_MAX;
1284   else
1285     latency = n->latency.rel_value;
1286   ats_new[ats_count].value = htonl (latency);
1287   GNUNET_ATS_address_update (GST_ats, 
1288                              n->primary_address.address, 
1289                              n->primary_address.session, ats_new,
1290                              ats_count + 1);
1291 }
1292
1293
1294 /**
1295  * We have received a message from the given sender.  How long should
1296  * we delay before receiving more?  (Also used to keep the peer marked
1297  * as live).
1298  *
1299  * @param sender sender of the message
1300  * @param size size of the message
1301  * @param do_forward set to GNUNET_YES if the message should be forwarded to clients
1302  *                   GNUNET_NO if the neighbour is not connected or violates the quota,
1303  *                   GNUNET_SYSERR if the connection is not fully up yet
1304  * @return how long to wait before reading more from this sender
1305  */
1306 struct GNUNET_TIME_Relative
1307 GST_neighbours_calculate_receive_delay (const struct GNUNET_PeerIdentity
1308                                         *sender, ssize_t size, int *do_forward)
1309 {
1310   struct NeighbourMapEntry *n;
1311   struct GNUNET_TIME_Relative ret;
1312   
1313   if (NULL == neighbours)
1314   {
1315     *do_forward = GNUNET_NO;
1316     return GNUNET_TIME_UNIT_FOREVER_REL; /* This can happen during shutdown */
1317   }
1318   if (NULL == (n = lookup_neighbour (sender)))
1319   {
1320     GST_neighbours_try_connect (sender);
1321     if (NULL == (n = lookup_neighbour (sender)))
1322     {
1323       GNUNET_STATISTICS_update (GST_stats,
1324                                 gettext_noop
1325                                 ("# messages discarded due to lack of neighbour record"),
1326                                 1, GNUNET_NO);
1327       *do_forward = GNUNET_NO;
1328       return GNUNET_TIME_UNIT_ZERO;
1329     }
1330   }
1331   if (! test_connected (n))
1332   {
1333     *do_forward = GNUNET_SYSERR;
1334     return GNUNET_TIME_UNIT_ZERO;
1335   }
1336   if (GNUNET_YES == GNUNET_BANDWIDTH_tracker_consume (&n->in_tracker, size))
1337   {
1338     n->quota_violation_count++;
1339     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1340                 "Bandwidth quota (%u b/s) violation detected (total of %u).\n",
1341                 n->in_tracker.available_bytes_per_s__,
1342                 n->quota_violation_count);
1343     /* Discount 32k per violation */
1344     GNUNET_BANDWIDTH_tracker_consume (&n->in_tracker, -32 * 1024);
1345   }
1346   else
1347   {
1348     if (n->quota_violation_count > 0)
1349     {
1350       /* try to add 32k back */
1351       GNUNET_BANDWIDTH_tracker_consume (&n->in_tracker, 32 * 1024);
1352       n->quota_violation_count--;
1353     }
1354   }
1355   if (n->quota_violation_count > QUOTA_VIOLATION_DROP_THRESHOLD)
1356   {
1357     GNUNET_STATISTICS_update (GST_stats,
1358                               gettext_noop
1359                               ("# bandwidth quota violations by other peers"),
1360                               1, GNUNET_NO);
1361     *do_forward = GNUNET_NO;
1362     return GNUNET_CONSTANTS_QUOTA_VIOLATION_TIMEOUT;
1363   }
1364   *do_forward = GNUNET_YES;
1365   ret = GNUNET_BANDWIDTH_tracker_get_delay (&n->in_tracker, 32 * 1024);
1366   if (ret.rel_value > 0)
1367   {
1368     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1369                 "Throttling read (%llu bytes excess at %u b/s), waiting %llu ms before reading more.\n",
1370                 (unsigned long long) n->in_tracker.
1371                 consumption_since_last_update__,
1372                 (unsigned int) n->in_tracker.available_bytes_per_s__,
1373                 (unsigned long long) ret.rel_value);
1374     GNUNET_STATISTICS_update (GST_stats,
1375                               gettext_noop ("# ms throttling suggested"),
1376                               (int64_t) ret.rel_value, GNUNET_NO);
1377   }
1378   return ret;
1379 }
1380
1381
1382 /**
1383  * Transmit a message to the given target using the active connection.
1384  *
1385  * @param target destination
1386  * @param msg message to send
1387  * @param msg_size number of bytes in msg
1388  * @param timeout when to fail with timeout
1389  * @param cont function to call when done
1390  * @param cont_cls closure for 'cont'
1391  */
1392 void
1393 GST_neighbours_send (const struct GNUNET_PeerIdentity *target, const void *msg,
1394                      size_t msg_size, struct GNUNET_TIME_Relative timeout,
1395                      GST_NeighbourSendContinuation cont, void *cont_cls)
1396 {
1397   struct NeighbourMapEntry *n;
1398   struct MessageQueue *mq;
1399
1400   /* All ove these cases should never happen; they are all API violations.
1401      But we check anyway, just to be sure. */
1402   if (NULL == (n = lookup_neighbour (target)))
1403   {
1404     GNUNET_break (0);
1405     if (NULL != cont)
1406       cont (cont_cls, GNUNET_SYSERR);
1407     return;
1408   }
1409   if (GNUNET_YES != test_connected (n))
1410   {
1411     GNUNET_break (0);
1412     if (NULL != cont)
1413       cont (cont_cls, GNUNET_SYSERR);
1414     return;
1415   }
1416   bytes_in_send_queue += msg_size;
1417   GNUNET_STATISTICS_set (GST_stats,
1418                          gettext_noop
1419                          ("# bytes in message queue for other peers"),
1420                          bytes_in_send_queue, GNUNET_NO);
1421   mq = GNUNET_malloc (sizeof (struct MessageQueue) + msg_size);
1422   mq->cont = cont;
1423   mq->cont_cls = cont_cls;
1424   memcpy (&mq[1], msg, msg_size);
1425   mq->message_buf = (const char *) &mq[1];
1426   mq->message_buf_size = msg_size;
1427   mq->timeout = GNUNET_TIME_relative_to_absolute (timeout);
1428   GNUNET_CONTAINER_DLL_insert_tail (n->messages_head, n->messages_tail, mq);
1429   if ( (NULL != n->is_active) ||
1430        ( (NULL == n->primary_address.session) && (NULL == n->primary_address.address)) )
1431     return;
1432   GNUNET_SCHEDULER_cancel (n->task);
1433   n->task = GNUNET_SCHEDULER_add_now (&master_task, n);
1434 }
1435
1436
1437 /**
1438  * Send a SESSION_CONNECT message via the given address.
1439  *
1440  * @param na address to use
1441  */
1442 static void
1443 send_session_connect (struct NeighbourAddress *na)
1444 {
1445   struct GNUNET_TRANSPORT_PluginFunctions *papi;
1446   struct SessionConnectMessage connect_msg;
1447   
1448   if (NULL == (papi = GST_plugins_find (na->address->transport_name)))  
1449   {
1450     GNUNET_break (0);
1451     return;
1452   }
1453   if (NULL == na->session)
1454     na->session = papi->get_session (papi->cls, na->address);    
1455   if (NULL == na->session)
1456   {
1457     GNUNET_break (0);
1458     return;
1459   }
1460   na->connect_timestamp = GNUNET_TIME_absolute_get ();
1461   connect_msg.header.size = htons (sizeof (struct SessionConnectMessage));
1462   connect_msg.header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_SESSION_CONNECT);
1463   connect_msg.reserved = htonl (0);
1464   connect_msg.timestamp = GNUNET_TIME_absolute_hton (na->connect_timestamp);
1465   (void) papi->send (papi->cls,
1466                      na->session,
1467                      (const char *) &connect_msg, sizeof (struct SessionConnectMessage),
1468                      UINT_MAX,
1469                      GNUNET_TIME_UNIT_FOREVER_REL,
1470                      NULL, NULL);
1471 }
1472
1473
1474 /**
1475  * Send a SESSION_CONNECT_ACK message via the given address.
1476  *
1477  * @param address address to use
1478  * @param session session to use
1479  * @param timestamp timestamp to use for the ACK message
1480  */
1481 static void
1482 send_session_connect_ack_message (const struct GNUNET_HELLO_Address *address,
1483                                   struct Session *session,
1484                                   struct GNUNET_TIME_Absolute timestamp)
1485 {
1486   struct GNUNET_TRANSPORT_PluginFunctions *papi;
1487   struct SessionConnectMessage connect_msg;
1488   
1489   if (NULL == (papi = GST_plugins_find (address->transport_name)))  
1490   {
1491     GNUNET_break (0);
1492     return;
1493   }
1494   if (NULL == session)
1495     session = papi->get_session (papi->cls, address);    
1496   if (NULL == session)
1497   {
1498     GNUNET_break (0);
1499     return;
1500   }
1501   connect_msg.header.size = htons (sizeof (struct SessionConnectMessage));
1502   connect_msg.header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_SESSION_CONNECT_ACK);
1503   connect_msg.reserved = htonl (0);
1504   connect_msg.timestamp = GNUNET_TIME_absolute_hton (timestamp);
1505   (void) papi->send (papi->cls,
1506                      session,
1507                      (const char *) &connect_msg, sizeof (struct SessionConnectMessage),
1508                      UINT_MAX,
1509                      GNUNET_TIME_UNIT_FOREVER_REL,
1510                      NULL, NULL);
1511 }
1512
1513
1514 /**
1515  * Create a fresh entry in the neighbour map for the given peer
1516  *
1517  * @param peer peer to create an entry for
1518  * @return new neighbour map entry
1519  */
1520 static struct NeighbourMapEntry *
1521 setup_neighbour (const struct GNUNET_PeerIdentity *peer)
1522 {
1523   struct NeighbourMapEntry *n;
1524
1525   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1526               "Creating new neighbour entry for `%s'\n", 
1527               GNUNET_i2s (peer));
1528   n = GNUNET_malloc (sizeof (struct NeighbourMapEntry));
1529   n->id = *peer;
1530   n->state = S_NOT_CONNECTED;
1531   n->latency = GNUNET_TIME_UNIT_FOREVER_REL;
1532   GNUNET_BANDWIDTH_tracker_init (&n->in_tracker,
1533                                  GNUNET_CONSTANTS_DEFAULT_BW_IN_OUT,
1534                                  MAX_BANDWIDTH_CARRY_S);
1535   n->task = GNUNET_SCHEDULER_add_now (&master_task, n);
1536   GNUNET_assert (GNUNET_OK ==
1537                  GNUNET_CONTAINER_multihashmap_put (neighbours,
1538                                                     &n->id.hashPubKey, n,
1539                                                     GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY));
1540   return n;
1541 }
1542
1543
1544 /**
1545  * Check if the two given addresses are the same.
1546  * Actually only checks if the sessions are non-NULL
1547  * (which they should be) and then if they are identical;
1548  * the actual addresses don't matter if the session
1549  * pointers match anyway, and we must have session pointers
1550  * at this time.
1551  *
1552  * @param a1 first address to compare
1553  * @param a2 other address to compare
1554  * @return GNUNET_NO if the addresses do not match, GNUNET_YES if they do match
1555  */
1556 static int
1557 address_matches (const struct NeighbourAddress *a1,
1558                  const struct NeighbourAddress *a2)
1559 {
1560   if ( (NULL == a1->session) ||
1561        (NULL == a2->session) )
1562   {
1563     GNUNET_break (0);
1564     return 0;
1565   }
1566   return (a1->session == a2->session) ? GNUNET_YES : GNUNET_NO;
1567 }
1568
1569
1570 /**
1571  * Try to create a connection to the given target (eventually).
1572  *
1573  * @param target peer to try to connect to
1574  */
1575 void
1576 GST_neighbours_try_connect (const struct GNUNET_PeerIdentity *target)
1577 {
1578   struct NeighbourMapEntry *n;
1579
1580   if (NULL == neighbours)  
1581     return; /* during shutdown, do nothing */
1582   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, 
1583               "Asked to connect to peer `%s'\n",
1584               GNUNET_i2s (target));
1585   if (0 ==
1586       memcmp (target, &GST_my_identity, sizeof (struct GNUNET_PeerIdentity)))
1587   {
1588     /* refuse to connect to myself */
1589     /* FIXME: can this happen? Is this not an API violation? */
1590     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1591                 "Refusing to try to connect to myself.\n");
1592     return;
1593   }
1594   n = lookup_neighbour (target);
1595   if (NULL != n)
1596   {
1597     switch (n->state)
1598     {
1599     case S_NOT_CONNECTED:
1600       /* this should not be possible */
1601       GNUNET_break (0);
1602       free_neighbour (n);
1603       break;
1604     case S_INIT_ATS:
1605     case S_INIT_BLACKLIST:
1606     case S_CONNECT_SENT:
1607     case S_CONNECT_RECV_ATS:
1608     case S_CONNECT_RECV_BLACKLIST:
1609     case S_CONNECT_RECV_ACK:
1610       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1611                   "Ignoring request to try to connect to `%s', already trying!\n",
1612                   GNUNET_i2s (target));
1613       return; /* already trying */
1614     case S_CONNECTED:      
1615     case S_RECONNECT_ATS:
1616     case S_RECONNECT_BLACKLIST:
1617     case S_RECONNECT_SENT:
1618     case S_CONNECTED_SWITCHING_BLACKLIST:
1619     case S_CONNECTED_SWITCHING_CONNECT_SENT:
1620       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1621                   "Ignoring request to try to connect, already connected to `%s'!\n",
1622                   GNUNET_i2s (target));
1623       return; /* already connected */
1624     case S_DISCONNECT:
1625       /* get rid of remains, ready to re-try immediately */
1626       free_neighbour (n);
1627       break;
1628     case S_DISCONNECT_FINISHED:
1629       /* should not be possible */      
1630       GNUNET_assert (0); 
1631     default:
1632       GNUNET_break (0);
1633       free_neighbour (n);
1634       break;
1635     }
1636   }
1637   n = setup_neighbour (target);  
1638   n->state = S_INIT_ATS; 
1639   n->timeout = GNUNET_TIME_relative_to_absolute (ATS_RESPONSE_TIMEOUT);
1640   GNUNET_ATS_suggest_address (GST_ats, target);
1641 }
1642
1643
1644 /**
1645  * Function called with the result of a blacklist check.
1646  *
1647  * @param cls closure with the 'struct BlackListCheckContext'
1648  * @param peer peer this check affects
1649  * @param result GNUNET_OK if the address is allowed
1650  */
1651 static void
1652 handle_test_blacklist_cont (void *cls,
1653                             const struct GNUNET_PeerIdentity *peer,
1654                             int result)
1655 {
1656   struct BlackListCheckContext *bcc = cls;
1657   struct NeighbourMapEntry *n;
1658
1659   bcc->bc = NULL;
1660   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1661               "Connection to new address of peer `%s' based on blacklist is `%s'\n",
1662               GNUNET_i2s (peer),
1663               (GNUNET_OK == result) ? "allowed" : "FORBIDDEN");
1664   if (GNUNET_OK == result)
1665   {
1666     /* valid new address, let ATS know! */
1667     GNUNET_ATS_address_update (GST_ats, 
1668                                bcc->na.address, 
1669                                bcc->na.session, 
1670                                bcc->ats, bcc->ats_count);
1671   }
1672   if (NULL == (n = lookup_neighbour (peer)))
1673     goto cleanup; /* nobody left to care about new address */
1674   switch (n->state)
1675   {
1676   case S_NOT_CONNECTED:
1677     /* this should not be possible */
1678     GNUNET_break (0);
1679     free_neighbour (n);
1680     break;
1681   case S_INIT_ATS:
1682     /* still waiting on ATS suggestion */
1683     break;
1684   case S_INIT_BLACKLIST:
1685     /* check if the address the blacklist was fine with matches
1686        ATS suggestion, if so, we can move on! */
1687     if ( (GNUNET_OK == result) &&
1688          (1 == n->send_connect_ack) )
1689     {
1690       n->send_connect_ack = 2;
1691       send_session_connect_ack_message (bcc->na.address,
1692                                         bcc->na.session,
1693                                         n->connect_ack_timestamp);
1694     }
1695     if (GNUNET_YES != address_matches (&bcc->na, &n->primary_address))
1696       break; /* result for an address we currently don't care about */
1697     if (GNUNET_OK == result)
1698     {
1699       n->timeout = GNUNET_TIME_relative_to_absolute (SETUP_CONNECTION_TIMEOUT);
1700       n->state = S_CONNECT_SENT;
1701       send_session_connect (&n->primary_address);
1702     }
1703     else
1704     {
1705       GNUNET_ATS_address_destroyed (GST_ats,
1706                                     bcc->na.address,
1707                                     NULL);
1708       n->state = S_INIT_ATS;
1709       n->timeout = GNUNET_TIME_relative_to_absolute (ATS_RESPONSE_TIMEOUT);
1710       // FIXME: do we need to ask ATS again for suggestions?
1711       GNUNET_ATS_suggest_address (GST_ats, &n->id);
1712     }
1713     break;
1714   case S_CONNECT_SENT:
1715     /* waiting on CONNECT_ACK, send ACK if one is pending */
1716     if ( (GNUNET_OK == result) &&
1717          (1 == n->send_connect_ack) )
1718     {
1719       n->send_connect_ack = 2;
1720       send_session_connect_ack_message (n->primary_address.address,
1721                                         n->primary_address.session,
1722                                         n->connect_ack_timestamp);
1723     }
1724     break; 
1725   case S_CONNECT_RECV_ATS:
1726     /* still waiting on ATS suggestion, don't care about blacklist */
1727     break; 
1728   case S_CONNECT_RECV_BLACKLIST:
1729     if (GNUNET_YES != address_matches (&bcc->na, &n->primary_address))
1730       break; /* result for an address we currently don't care about */
1731     if (GNUNET_OK == result)
1732     {
1733       n->timeout = GNUNET_TIME_relative_to_absolute (SETUP_CONNECTION_TIMEOUT);
1734       n->state = S_CONNECT_RECV_ACK;
1735       send_session_connect_ack_message (bcc->na.address,
1736                                         bcc->na.session,
1737                                         n->connect_ack_timestamp);
1738       if (1 == n->send_connect_ack) 
1739         n->send_connect_ack = 2;
1740     }
1741     else
1742     {
1743       GNUNET_ATS_address_destroyed (GST_ats,
1744                                     bcc->na.address,
1745                                     NULL);
1746       n->state = S_INIT_ATS;
1747       n->timeout = GNUNET_TIME_relative_to_absolute (ATS_RESPONSE_TIMEOUT);
1748       // FIXME: do we need to ask ATS again for suggestions?
1749       GNUNET_ATS_suggest_address (GST_ats, &n->id);
1750     }
1751     break;
1752   case S_CONNECT_RECV_ACK:
1753     /* waiting on SESSION_ACK, send ACK if one is pending */
1754     if ( (GNUNET_OK == result) &&
1755          (1 == n->send_connect_ack) )
1756     {
1757       n->send_connect_ack = 2;
1758       send_session_connect_ack_message (n->primary_address.address,
1759                                         n->primary_address.session,
1760                                         n->connect_ack_timestamp);
1761     }
1762     break; 
1763   case S_CONNECTED:
1764     /* already connected, don't care about blacklist */
1765     break;
1766   case S_RECONNECT_ATS:
1767     /* still waiting on ATS suggestion, don't care about blacklist */
1768     break;     
1769   case S_RECONNECT_BLACKLIST:
1770     if ( (GNUNET_OK == result) &&
1771          (1 == n->send_connect_ack) )
1772     {
1773       n->send_connect_ack = 2;
1774       send_session_connect_ack_message (bcc->na.address,
1775                                         bcc->na.session,
1776                                         n->connect_ack_timestamp);
1777     }
1778     if (GNUNET_YES != address_matches (&bcc->na, &n->primary_address))
1779       break; /* result for an address we currently don't care about */
1780     if (GNUNET_OK == result)
1781     {
1782       send_session_connect (&n->primary_address);
1783       n->timeout = GNUNET_TIME_relative_to_absolute (FAST_RECONNECT_TIMEOUT);
1784       n->state = S_RECONNECT_SENT;
1785     }
1786     else
1787     {
1788       GNUNET_ATS_address_destroyed (GST_ats,
1789                                     bcc->na.address,
1790                                     NULL);
1791       n->state = S_RECONNECT_ATS;
1792       n->timeout = GNUNET_TIME_relative_to_absolute (ATS_RESPONSE_TIMEOUT);
1793       // FIXME: do we need to ask ATS again for suggestions?
1794       GNUNET_ATS_suggest_address (GST_ats, &n->id);
1795     }
1796     break;
1797   case S_RECONNECT_SENT:
1798     /* waiting on CONNECT_ACK, don't care about blacklist */
1799     if ( (GNUNET_OK == result) &&
1800          (1 == n->send_connect_ack) )
1801     {
1802       n->send_connect_ack = 2;
1803       send_session_connect_ack_message (n->primary_address.address,
1804                                         n->primary_address.session,
1805                                         n->connect_ack_timestamp);
1806     }
1807     break;     
1808   case S_CONNECTED_SWITCHING_BLACKLIST:
1809     if (GNUNET_YES != address_matches (&bcc->na, &n->alternative_address))
1810       break; /* result for an address we currently don't care about */
1811     if (GNUNET_OK == result)
1812     {
1813       send_session_connect (&n->alternative_address);
1814       n->state = S_CONNECTED_SWITCHING_CONNECT_SENT;
1815     }
1816     else
1817     {
1818       GNUNET_ATS_address_destroyed (GST_ats,
1819                                     bcc->na.address,
1820                                     NULL);
1821       free_address (&n->alternative_address);
1822       n->state = S_CONNECTED;
1823     }
1824     break;
1825   case S_CONNECTED_SWITCHING_CONNECT_SENT:
1826     /* waiting on CONNECT_ACK, don't care about blacklist */
1827     if ( (GNUNET_OK == result) &&
1828          (1 == n->send_connect_ack) )
1829     {
1830       n->send_connect_ack = 2;
1831       send_session_connect_ack_message (n->primary_address.address,
1832                                         n->primary_address.session,
1833                                         n->connect_ack_timestamp);
1834     }
1835     break;     
1836   case S_DISCONNECT:
1837     /* Nothing to do here, ATS will already do what can be done */
1838     break;
1839   case S_DISCONNECT_FINISHED:
1840     /* should not be possible */
1841     GNUNET_assert (0);
1842     break;
1843   default:
1844     GNUNET_break (0);
1845     free_neighbour (n);
1846     break;
1847   }
1848  cleanup:
1849   GNUNET_HELLO_address_free (bcc->na.address);
1850   GNUNET_CONTAINER_DLL_remove (bc_head,
1851                                bc_tail,
1852                                bcc);
1853   GNUNET_free (bcc);
1854 }
1855
1856
1857 /**
1858  * We want to know if connecting to a particular peer via
1859  * a particular address is allowed.  Check it!
1860  *
1861  * @param peer identity of the peer to switch the address for
1862  * @param ts time at which the check was initiated
1863  * @param address address of the other peer, NULL if other peer
1864  *                       connected to us
1865  * @param session session to use (or NULL)
1866  * @param ats performance data
1867  * @param ats_count number of entries in ats (excluding 0-termination)
1868  */
1869 static void
1870 check_blacklist (const struct GNUNET_PeerIdentity *peer,
1871                  struct GNUNET_TIME_Absolute ts,
1872                  const struct GNUNET_HELLO_Address *address,
1873                  struct Session *session,
1874                  const struct GNUNET_ATS_Information *ats,
1875                  uint32_t ats_count)
1876 {
1877   struct BlackListCheckContext *bcc;
1878   struct GST_BlacklistCheck *bc;
1879
1880   bcc =
1881       GNUNET_malloc (sizeof (struct BlackListCheckContext) +
1882                      sizeof (struct GNUNET_ATS_Information) * ats_count);
1883   bcc->ats_count = ats_count;
1884   bcc->na.address = GNUNET_HELLO_address_copy (address);
1885   bcc->na.session = session;
1886   bcc->na.connect_timestamp = ts;
1887   bcc->ats = (struct GNUNET_ATS_Information *) &bcc[1];
1888   memcpy (bcc->ats, ats, sizeof (struct GNUNET_ATS_Information) * ats_count);
1889   GNUNET_CONTAINER_DLL_insert (bc_head,
1890                                bc_tail,
1891                                bcc);
1892   if (NULL != (bc = GST_blacklist_test_allowed (peer, 
1893                                                 address->transport_name,
1894                                                 &handle_test_blacklist_cont, bcc)))
1895     bcc->bc = bc; 
1896   /* if NULL == bc, 'cont' was already called and 'bcc' already free'd, so
1897      we must only store 'bc' if 'bc' is non-NULL... */
1898 }
1899
1900
1901 /**
1902  * We received a 'SESSION_CONNECT' message from the other peer.
1903  * Consider switching to it.
1904  *
1905  * @param message possibly a 'struct SessionConnectMessage' (check format)
1906  * @param peer identity of the peer to switch the address for
1907  * @param address address of the other peer, NULL if other peer
1908  *                       connected to us
1909  * @param session session to use (or NULL)
1910  * @param ats performance data
1911  * @param ats_count number of entries in ats (excluding 0-termination)
1912  */
1913 void
1914 GST_neighbours_handle_connect (const struct GNUNET_MessageHeader *message,
1915                                const struct GNUNET_PeerIdentity *peer,
1916                                const struct GNUNET_HELLO_Address *address,
1917                                struct Session *session,
1918                                const struct GNUNET_ATS_Information *ats,
1919                                uint32_t ats_count)
1920 {
1921   const struct SessionConnectMessage *scm;
1922   struct NeighbourMapEntry *n;
1923   struct GNUNET_TIME_Absolute ts;
1924
1925   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1926               "Received CONNECT message from peer `%s'\n", 
1927               GNUNET_i2s (peer));
1928   if (ntohs (message->size) != sizeof (struct SessionConnectMessage))
1929   {
1930     GNUNET_break_op (0);
1931     return;
1932   }
1933   if (NULL == neighbours)
1934     return; /* we're shutting down */
1935   scm = (const struct SessionConnectMessage *) message;
1936   GNUNET_break_op (0 == ntohl (scm->reserved));
1937   ts = GNUNET_TIME_absolute_ntoh (scm->timestamp);
1938   n = lookup_neighbour (peer);
1939   if (NULL == n)
1940     n = setup_neighbour (peer);
1941   n->send_connect_ack = 1;
1942   n->connect_ack_timestamp = ts;
1943   switch (n->state)
1944   {  
1945   case S_NOT_CONNECTED:
1946     n->state = S_CONNECT_RECV_ATS;
1947     n->timeout = GNUNET_TIME_relative_to_absolute (ATS_RESPONSE_TIMEOUT);
1948     GNUNET_ATS_suggest_address (GST_ats, peer);
1949     check_blacklist (peer, ts, address, session, ats, ats_count);
1950     break;
1951   case S_INIT_ATS:
1952   case S_INIT_BLACKLIST:
1953   case S_CONNECT_SENT:
1954   case S_CONNECT_RECV_ATS:
1955   case S_CONNECT_RECV_BLACKLIST:
1956   case S_CONNECT_RECV_ACK:
1957     /* It can never hurt to have an alternative address in the above cases, 
1958        see if it is allowed */
1959     check_blacklist (peer, ts, address, session, ats, ats_count);
1960     break;
1961   case S_CONNECTED:
1962     /* we are already connected and can thus send the ACK immediately;
1963        still, it can never hurt to have an alternative address, so also
1964        tell ATS  about it */
1965     GNUNET_assert (NULL != n->primary_address.address);
1966     GNUNET_assert (NULL != n->primary_address.session);
1967     n->send_connect_ack = 0;
1968     send_session_connect_ack_message (n->primary_address.address,
1969                                       n->primary_address.session, ts);
1970     check_blacklist (peer, ts, address, session, ats, ats_count);
1971     break;
1972   case S_RECONNECT_ATS:
1973   case S_RECONNECT_BLACKLIST:
1974   case S_RECONNECT_SENT:
1975     /* It can never hurt to have an alternative address in the above cases, 
1976        see if it is allowed */
1977     check_blacklist (peer, ts, address, session, ats, ats_count);
1978     break;
1979   case S_CONNECTED_SWITCHING_BLACKLIST:
1980   case S_CONNECTED_SWITCHING_CONNECT_SENT:
1981     /* we are already connected and can thus send the ACK immediately;
1982        still, it can never hurt to have an alternative address, so also
1983        tell ATS  about it */
1984     GNUNET_assert (NULL != n->primary_address.address);
1985     GNUNET_assert (NULL != n->primary_address.session);
1986     n->send_connect_ack = 0;
1987     send_session_connect_ack_message (n->primary_address.address,
1988                                       n->primary_address.session, ts);
1989     check_blacklist (peer, ts, address, session, ats, ats_count);
1990     break;
1991   case S_DISCONNECT:
1992     /* get rid of remains, ready to re-try */
1993     free_neighbour (n);
1994     n = setup_neighbour (peer);
1995     n->state = S_CONNECT_RECV_ATS;
1996     GNUNET_ATS_suggest_address (GST_ats, peer);
1997     check_blacklist (peer, ts, address, session, ats, ats_count);
1998     break;
1999   case S_DISCONNECT_FINISHED:
2000     /* should not be possible */
2001     GNUNET_assert (0);
2002     break;
2003   default:
2004     GNUNET_break (0);
2005     free_neighbour (n);
2006     break;
2007   }
2008 }
2009
2010
2011 /**
2012  * For an existing neighbour record, set the active connection to
2013  * use the given address.  
2014  *
2015  * @param peer identity of the peer to switch the address for
2016  * @param address address of the other peer, NULL if other peer
2017  *                       connected to us
2018  * @param session session to use (or NULL)
2019  * @param ats performance data
2020  * @param ats_count number of entries in ats
2021  * @param bandwidth_in inbound quota to be used when connection is up
2022  * @param bandwidth_out outbound quota to be used when connection is up
2023  */
2024 void
2025 GST_neighbours_switch_to_address (const struct GNUNET_PeerIdentity *peer,
2026                                   const struct GNUNET_HELLO_Address *address,
2027                                   struct Session *session,
2028                                   const struct GNUNET_ATS_Information *ats,
2029                                   uint32_t ats_count,
2030                                   struct GNUNET_BANDWIDTH_Value32NBO
2031                                   bandwidth_in,
2032                                   struct GNUNET_BANDWIDTH_Value32NBO
2033                                   bandwidth_out)
2034 {
2035   struct NeighbourMapEntry *n;
2036   struct GNUNET_TRANSPORT_PluginFunctions *papi;
2037
2038   GNUNET_assert (address->transport_name != NULL);
2039   if (NULL == (n = lookup_neighbour (peer)))
2040     return;
2041
2042   /* Obtain an session for this address from plugin */
2043   if (NULL == (papi = GST_plugins_find (address->transport_name)))
2044   {
2045     /* we don't have the plugin for this address */
2046     GNUNET_ATS_address_destroyed (GST_ats, address, NULL);
2047     return;
2048   }
2049   if ((NULL == session) && (0 == address->address_length))
2050   {
2051     GNUNET_break (0);
2052     if (strlen (address->transport_name) > 0)
2053       GNUNET_ATS_address_destroyed (GST_ats, address, session);
2054     return;
2055   }
2056   if (NULL == session)
2057     session = papi->get_session (papi->cls, address);
2058   if (NULL == session)
2059   {
2060     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2061                 "Failed to obtain new session for peer `%s' and  address '%s'\n",
2062                 GNUNET_i2s (&address->peer), GST_plugins_a2s (address));    
2063     GNUNET_ATS_address_destroyed (GST_ats, address, NULL);
2064     return;
2065   }
2066   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2067               "ATS tells us to switch to address '%s' for peer `%s'\n",
2068               (address->address_length != 0) ? GST_plugins_a2s (address): "<inbound>",
2069               GNUNET_i2s (peer));
2070   switch (n->state)
2071   {
2072   case S_NOT_CONNECTED:
2073     GNUNET_break (0);
2074     free_neighbour (n);
2075     return;
2076   case S_INIT_ATS:
2077     set_address (&n->primary_address,
2078                  address, session, bandwidth_in, bandwidth_out, GNUNET_NO);
2079     n->state = S_INIT_BLACKLIST;
2080     n->timeout = GNUNET_TIME_relative_to_absolute (BLACKLIST_RESPONSE_TIMEOUT);
2081     check_blacklist (&n->id,
2082                      n->connect_ack_timestamp,
2083                      address, session, ats, ats_count);    
2084     break;
2085   case S_INIT_BLACKLIST:
2086     /* ATS suggests a different address, switch again */
2087     set_address (&n->primary_address,
2088                  address, session, bandwidth_in, bandwidth_out, GNUNET_NO);
2089     n->timeout = GNUNET_TIME_relative_to_absolute (BLACKLIST_RESPONSE_TIMEOUT);
2090     check_blacklist (&n->id,
2091                      n->connect_ack_timestamp,
2092                      address, session, ats, ats_count);    
2093     break;
2094   case S_CONNECT_SENT:
2095     /* ATS suggests a different address, switch again */
2096     set_address (&n->primary_address,
2097                  address, session, bandwidth_in, bandwidth_out, GNUNET_NO);
2098     n->state = S_INIT_BLACKLIST;
2099     n->timeout = GNUNET_TIME_relative_to_absolute (BLACKLIST_RESPONSE_TIMEOUT);
2100     check_blacklist (&n->id,
2101                      n->connect_ack_timestamp,
2102                      address, session, ats, ats_count);    
2103     break;
2104   case S_CONNECT_RECV_ATS:
2105     set_address (&n->primary_address,
2106                  address, session, bandwidth_in, bandwidth_out, GNUNET_NO);
2107     n->state = S_CONNECT_RECV_BLACKLIST;
2108     n->timeout = GNUNET_TIME_relative_to_absolute (BLACKLIST_RESPONSE_TIMEOUT);
2109     check_blacklist (&n->id,
2110                      n->connect_ack_timestamp,
2111                      address, session, ats, ats_count);    
2112     break;
2113   case S_CONNECT_RECV_BLACKLIST:
2114     /* ATS asks us to switch while we were trying to connect; switch to new
2115        address and check blacklist again */
2116     set_address (&n->primary_address,
2117                  address, session, bandwidth_in, bandwidth_out, GNUNET_NO);
2118     n->timeout = GNUNET_TIME_relative_to_absolute (BLACKLIST_RESPONSE_TIMEOUT);
2119     check_blacklist (&n->id,
2120                      n->connect_ack_timestamp,
2121                      address, session, ats, ats_count);    
2122     break;
2123   case S_CONNECTED:
2124     GNUNET_assert (NULL != n->primary_address.address);
2125     GNUNET_assert (NULL != n->primary_address.session);
2126     if (n->primary_address.session == session)
2127     {
2128       /* not an address change, just a quota change */
2129       set_address (&n->primary_address,
2130                    address, session, bandwidth_in, bandwidth_out, GNUNET_YES);
2131       break;
2132     }
2133     /* ATS asks us to switch a life connection; see if we can get
2134        a CONNECT_ACK on it before we actually do this! */
2135     set_address (&n->alternative_address,
2136                  address, session, bandwidth_in, bandwidth_out, GNUNET_YES);
2137     n->state = S_CONNECTED_SWITCHING_BLACKLIST;
2138     check_blacklist (&n->id,
2139                      GNUNET_TIME_absolute_get (),
2140                      address, session, ats, ats_count);
2141     break;
2142   case S_RECONNECT_ATS:
2143     set_address (&n->primary_address,
2144                  address, session, bandwidth_in, bandwidth_out, GNUNET_NO);
2145     n->state = S_RECONNECT_BLACKLIST;
2146     n->timeout = GNUNET_TIME_relative_to_absolute (BLACKLIST_RESPONSE_TIMEOUT);
2147     check_blacklist (&n->id,
2148                      n->connect_ack_timestamp,
2149                      address, session, ats, ats_count);    
2150     break;
2151   case S_RECONNECT_BLACKLIST:
2152     /* ATS asks us to switch while we were trying to reconnect; switch to new
2153        address and check blacklist again */
2154     set_address (&n->primary_address,
2155                  address, session, bandwidth_in, bandwidth_out, GNUNET_NO);
2156     n->timeout = GNUNET_TIME_relative_to_absolute (BLACKLIST_RESPONSE_TIMEOUT);
2157     check_blacklist (&n->id,
2158                      n->connect_ack_timestamp,
2159                      address, session, ats, ats_count);    
2160     break;
2161   case S_RECONNECT_SENT:
2162     /* ATS asks us to switch while we were trying to reconnect; switch to new
2163        address and check blacklist again */
2164     set_address (&n->primary_address,
2165                  address, session, bandwidth_in, bandwidth_out, GNUNET_NO);
2166     n->state = S_RECONNECT_BLACKLIST;
2167     n->timeout = GNUNET_TIME_relative_to_absolute (BLACKLIST_RESPONSE_TIMEOUT);
2168     check_blacklist (&n->id,
2169                      n->connect_ack_timestamp,
2170                      address, session, ats, ats_count); 
2171     break;
2172   case S_CONNECTED_SWITCHING_BLACKLIST:
2173     if (n->primary_address.session == session)
2174     {
2175       /* ATS switches back to still-active session */
2176       free_address (&n->alternative_address);
2177       n->state = S_CONNECTED;
2178       break;
2179     }
2180     /* ATS asks us to switch a life connection, update blacklist check */
2181     set_address (&n->alternative_address,
2182                  address, session, bandwidth_in, bandwidth_out, GNUNET_YES);
2183     check_blacklist (&n->id,
2184                      GNUNET_TIME_absolute_get (),
2185                      address, session, ats, ats_count);
2186     break;
2187   case S_CONNECTED_SWITCHING_CONNECT_SENT:
2188     if (n->primary_address.session == session)
2189     {
2190       /* ATS switches back to still-active session */
2191       free_address (&n->alternative_address);
2192       n->state = S_CONNECTED;
2193       break;
2194     }
2195     /* ATS asks us to switch a life connection, update blacklist check */
2196     set_address (&n->alternative_address,
2197                  address, session, bandwidth_in, bandwidth_out, GNUNET_YES);
2198     n->state = S_CONNECTED_SWITCHING_BLACKLIST;
2199     check_blacklist (&n->id,
2200                      GNUNET_TIME_absolute_get (),
2201                      address, session, ats, ats_count);
2202     break;
2203   case S_DISCONNECT:
2204     /* not going to switch addresses while disconnecting */
2205     return;
2206   case S_DISCONNECT_FINISHED:
2207     GNUNET_assert (0);
2208     break;
2209   default:
2210     GNUNET_break (0);
2211     break;
2212   }
2213 }
2214
2215
2216 /**
2217  * Master task run for every neighbour.  Performs all of the time-related
2218  * activities (keep alive, send next message, disconnect if idle, finish
2219  * clean up after disconnect).
2220  *
2221  * @param cls the 'struct NeighbourMapEntry' for which we are running
2222  * @param tc scheduler context (unused)
2223  */
2224 static void
2225 master_task (void *cls,
2226              const struct GNUNET_SCHEDULER_TaskContext *tc)
2227 {
2228   struct NeighbourMapEntry *n = cls;
2229   struct GNUNET_TIME_Relative delay;
2230
2231   n->task = GNUNET_SCHEDULER_NO_TASK;
2232   delay = GNUNET_TIME_absolute_get_remaining (n->timeout);  
2233   switch (n->state)
2234   {
2235   case S_NOT_CONNECTED:
2236     /* invalid state for master task, clean up */
2237     GNUNET_break (0);
2238     n->state = S_DISCONNECT_FINISHED;
2239     free_neighbour (n);
2240     return;
2241   case S_INIT_ATS:
2242     if (0 == delay.rel_value)
2243     {
2244       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2245                   "Connection to `%s' timed out waiting for ATS to provide address\n",
2246                   GNUNET_i2s (&n->id));
2247       n->state = S_DISCONNECT_FINISHED;
2248       free_neighbour (n);
2249       return;
2250     }
2251     break;
2252   case S_INIT_BLACKLIST:
2253     if (0 == delay.rel_value)
2254     {
2255       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2256                   "Connection to `%s' timed out waiting for BLACKLIST to approve address\n",
2257                   GNUNET_i2s (&n->id));
2258       n->state = S_DISCONNECT_FINISHED;
2259       free_neighbour (n);
2260       return;
2261     }
2262     break;
2263   case S_CONNECT_SENT:
2264     if (0 == delay.rel_value)
2265     {
2266       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2267                   "Connection to `%s' timed out waiting for other peer to send CONNECT_ACK\n",
2268                   GNUNET_i2s (&n->id));
2269       disconnect_neighbour (n);
2270       return;
2271     }
2272     break;
2273   case S_CONNECT_RECV_ATS:
2274     if (0 == delay.rel_value)
2275     {
2276       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2277                   "Connection to `%s' timed out waiting ATS to provide address to use for CONNECT_ACK\n",
2278                   GNUNET_i2s (&n->id));
2279       n->state = S_DISCONNECT_FINISHED;
2280       free_neighbour (n);
2281       return;
2282     }
2283     break;
2284   case S_CONNECT_RECV_BLACKLIST:
2285     if (0 == delay.rel_value)
2286     {
2287       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2288                   "Connection to `%s' timed out waiting BLACKLIST to approve address to use for CONNECT_ACK\n",
2289                   GNUNET_i2s (&n->id));
2290       n->state = S_DISCONNECT_FINISHED;
2291       free_neighbour (n);
2292       return;
2293     }
2294     break;
2295   case S_CONNECT_RECV_ACK:
2296     if (0 == delay.rel_value)
2297     {
2298       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2299                   "Connection to `%s' timed out waiting for other peer to send SESSION_ACK\n",
2300                   GNUNET_i2s (&n->id));
2301       disconnect_neighbour (n);
2302       return;
2303     }
2304     break;
2305   case S_CONNECTED:
2306     if (0 == delay.rel_value)
2307     {
2308       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2309                   "Connection to `%s' timed out, missing KEEPALIVE_RESPONSEs\n",
2310                   GNUNET_i2s (&n->id));
2311       disconnect_neighbour (n);
2312       return;
2313     }
2314     try_transmission_to_peer (n);
2315     send_keepalive (n);
2316     break;
2317   case S_RECONNECT_ATS:
2318     if (0 == delay.rel_value)
2319     {
2320       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2321                   "Connection to `%s' timed out, waiting for ATS replacement address\n",
2322                   GNUNET_i2s (&n->id));
2323       disconnect_neighbour (n);
2324       return;
2325     }
2326     break;
2327   case S_RECONNECT_BLACKLIST:
2328     if (0 == delay.rel_value)
2329     {
2330       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2331                   "Connection to `%s' timed out, waiting for BLACKLIST to approve replacement address\n",
2332                   GNUNET_i2s (&n->id));
2333       disconnect_neighbour (n);
2334       return;
2335     }
2336     break;
2337   case S_RECONNECT_SENT:
2338     if (0 == delay.rel_value)
2339     {
2340       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2341                   "Connection to `%s' timed out, waiting for other peer to CONNECT_ACK replacement address\n",
2342                   GNUNET_i2s (&n->id));
2343       disconnect_neighbour (n);
2344       return;
2345     }
2346     break;
2347   case S_CONNECTED_SWITCHING_BLACKLIST:
2348     if (0 == delay.rel_value)
2349     {
2350       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2351                   "Connection to `%s' timed out, missing KEEPALIVE_RESPONSEs\n",
2352                   GNUNET_i2s (&n->id));
2353       disconnect_neighbour (n);
2354       return;
2355     }
2356     try_transmission_to_peer (n);
2357     send_keepalive (n);
2358     break;
2359   case S_CONNECTED_SWITCHING_CONNECT_SENT:
2360     if (0 == delay.rel_value)
2361     {
2362       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2363                   "Connection to `%s' timed out, missing KEEPALIVE_RESPONSEs (after trying to CONNECT on alternative address)\n",
2364                   GNUNET_i2s (&n->id));
2365       disconnect_neighbour (n);
2366       return;
2367     }
2368     try_transmission_to_peer (n);
2369     send_keepalive (n);
2370     break;
2371   case S_DISCONNECT:
2372     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2373                 "Cleaning up connection to `%s' after sending DISCONNECT\n",
2374                 GNUNET_i2s (&n->id));
2375     n->state = S_DISCONNECT_FINISHED;
2376     free_neighbour (n);
2377     return;
2378   case S_DISCONNECT_FINISHED:
2379     /* how did we get here!? */
2380     GNUNET_assert (0);
2381     break;
2382   default:
2383     GNUNET_break (0);
2384     break;  
2385   }
2386   delay = GNUNET_TIME_relative_min (GNUNET_TIME_absolute_get_remaining (n->keep_alive_time),
2387                                     delay);
2388   GNUNET_assert (GNUNET_SCHEDULER_NO_TASK == n->task);
2389   n->task = GNUNET_SCHEDULER_add_delayed (delay,
2390                                           &master_task,
2391                                           n);
2392 }
2393
2394
2395 /**
2396  * Send a SESSION_ACK message to the neighbour to confirm that we
2397  * got his CONNECT_ACK.
2398  *
2399  * @param n neighbour to send the SESSION_ACK to
2400  */
2401 static void
2402 send_session_ack_message (struct NeighbourMapEntry *n)
2403 {
2404   struct GNUNET_MessageHeader msg;
2405
2406   msg.size = htons (sizeof (struct GNUNET_MessageHeader));
2407   msg.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_SESSION_ACK);
2408   (void) send_with_session(n,
2409                            (const char *) &msg, sizeof (struct GNUNET_MessageHeader),
2410                            UINT32_MAX, GNUNET_TIME_UNIT_FOREVER_REL,
2411                            NULL, NULL);
2412 }
2413
2414
2415 /**
2416  * We received a 'SESSION_CONNECT_ACK' message from the other peer.
2417  * Consider switching to it.
2418  *
2419  * @param message possibly a 'struct SessionConnectMessage' (check format)
2420  * @param peer identity of the peer to switch the address for
2421  * @param address address of the other peer, NULL if other peer
2422  *                       connected to us
2423  * @param session session to use (or NULL)
2424  * @param ats performance data
2425  * @param ats_count number of entries in ats
2426  */
2427 void
2428 GST_neighbours_handle_connect_ack (const struct GNUNET_MessageHeader *message,
2429                                    const struct GNUNET_PeerIdentity *peer,
2430                                    const struct GNUNET_HELLO_Address *address,
2431                                    struct Session *session,
2432                                    const struct GNUNET_ATS_Information *ats,
2433                                    uint32_t ats_count)
2434 {
2435   const struct SessionConnectMessage *scm;
2436   struct GNUNET_TIME_Absolute ts;
2437   struct NeighbourMapEntry *n;
2438
2439   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2440               "Received CONNECT_ACK message from peer `%s'\n",
2441               GNUNET_i2s (peer));
2442   if (ntohs (message->size) != sizeof (struct SessionConnectMessage))
2443   {
2444     GNUNET_break_op (0);
2445     return;
2446   }
2447   scm = (const struct SessionConnectMessage *) message;
2448   GNUNET_break_op (ntohl (scm->reserved) == 0);
2449   if (NULL == (n = lookup_neighbour (peer)))
2450   {
2451     GNUNET_STATISTICS_update (GST_stats,
2452                               gettext_noop
2453                               ("# unexpected CONNECT_ACK messages (no peer)"),
2454                               1, GNUNET_NO);
2455     return;
2456   }
2457   ts = GNUNET_TIME_absolute_ntoh (scm->timestamp);
2458   switch (n->state)
2459   {
2460   case S_NOT_CONNECTED:
2461     GNUNET_break (0);
2462     free_neighbour (n);
2463     return;
2464   case S_INIT_ATS:
2465   case S_INIT_BLACKLIST:
2466     GNUNET_STATISTICS_update (GST_stats,
2467                               gettext_noop
2468                               ("# unexpected CONNECT_ACK messages (not ready)"),
2469                               1, GNUNET_NO);
2470     break;    
2471   case S_CONNECT_SENT:
2472     if (ts.abs_value != n->primary_address.connect_timestamp.abs_value)
2473       break; /* ACK does not match our original CONNECT message */
2474     n->state = S_CONNECTED;
2475     n->timeout = GNUNET_TIME_relative_to_absolute (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
2476     GNUNET_STATISTICS_set (GST_stats, 
2477                            gettext_noop ("# peers connected"), 
2478                            ++neighbours_connected,
2479                            GNUNET_NO);
2480     connect_notify_cb (callback_cls, &n->id, ats, ats_count);
2481     set_address (&n->primary_address,
2482                  n->primary_address.address,
2483                  n->primary_address.session,
2484                  n->primary_address.bandwidth_in,
2485                  n->primary_address.bandwidth_out,
2486                  GNUNET_YES);
2487     send_session_ack_message (n);
2488     break;
2489   case S_CONNECT_RECV_ATS:
2490   case S_CONNECT_RECV_BLACKLIST:
2491   case S_CONNECT_RECV_ACK:
2492     GNUNET_STATISTICS_update (GST_stats,
2493                               gettext_noop
2494                               ("# unexpected CONNECT_ACK messages (not ready)"),
2495                               1, GNUNET_NO);
2496     break;
2497   case S_CONNECTED:
2498     /* duplicate CONNECT_ACK, let's answer by duplciate SESSION_ACK just in case */
2499     send_session_ack_message (n);
2500     break;
2501   case S_RECONNECT_ATS:
2502   case S_RECONNECT_BLACKLIST:
2503     /* we didn't expect any CONNECT_ACK, as we are waiting for ATS
2504        to give us a new address... */
2505     GNUNET_STATISTICS_update (GST_stats,
2506                               gettext_noop
2507                               ("# unexpected CONNECT_ACK messages (waiting on ATS)"),
2508                               1, GNUNET_NO);
2509     break;
2510   case S_RECONNECT_SENT:
2511     /* new address worked; go back to connected! */
2512     n->state = S_CONNECTED;
2513     send_session_ack_message (n);
2514     break;
2515   case S_CONNECTED_SWITCHING_BLACKLIST:
2516     /* duplicate CONNECT_ACK, let's answer by duplciate SESSION_ACK just in case */
2517     send_session_ack_message (n);
2518     break;
2519   case S_CONNECTED_SWITCHING_CONNECT_SENT:
2520     /* new address worked; adopt it and go back to connected! */
2521     n->state = S_CONNECTED;
2522     n->timeout = GNUNET_TIME_relative_to_absolute (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
2523     GNUNET_assert (GNUNET_NO == n->alternative_address.ats_active);
2524     set_address (&n->primary_address,
2525                  n->alternative_address.address,
2526                  n->alternative_address.session,
2527                  n->alternative_address.bandwidth_in,
2528                  n->alternative_address.bandwidth_out,
2529                  GNUNET_YES);
2530     free_address (&n->alternative_address);
2531     send_session_ack_message (n);
2532     break;    
2533   case S_DISCONNECT:
2534     GNUNET_STATISTICS_update (GST_stats,
2535                               gettext_noop
2536                               ("# unexpected CONNECT_ACK messages (disconnecting)"),
2537                               1, GNUNET_NO);
2538     break;
2539   case S_DISCONNECT_FINISHED:
2540     GNUNET_assert (0);
2541     break;
2542   default:
2543     GNUNET_break (0);
2544     break;   
2545   }
2546 }
2547
2548
2549 /**
2550  * A session was terminated. Take note; if needed, try to get
2551  * an alternative address from ATS.
2552  *
2553  * @param peer identity of the peer where the session died
2554  * @param session session that is gone
2555  */
2556 void
2557 GST_neighbours_session_terminated (const struct GNUNET_PeerIdentity *peer,
2558                                    struct Session *session)
2559 {
2560   struct NeighbourMapEntry *n;
2561   struct BlackListCheckContext *bcc;
2562   struct BlackListCheckContext *bcc_next;
2563
2564   /* make sure to cancel all ongoing blacklist checks involving 'session' */
2565   bcc_next = bc_head;
2566   while (NULL != (bcc = bcc_next))
2567   {
2568     bcc_next = bcc->next;
2569     if (bcc->na.session == session)
2570     {
2571       GST_blacklist_test_cancel (bcc->bc);
2572       GNUNET_HELLO_address_free (bcc->na.address);
2573       GNUNET_CONTAINER_DLL_remove (bc_head,
2574                                    bc_tail,
2575                                    bcc);
2576       GNUNET_free (bcc);
2577     }
2578   }
2579   if (NULL == (n = lookup_neighbour (peer)))
2580     return; /* can't affect us */
2581   if (session != n->primary_address.session)
2582   {
2583     if (session == n->alternative_address.session)
2584     {
2585       free_address (&n->alternative_address);
2586       if ( (S_CONNECTED_SWITCHING_BLACKLIST == n->state) ||
2587            (S_CONNECTED_SWITCHING_CONNECT_SENT == n->state) )
2588         n->state = S_CONNECTED;
2589       else
2590         GNUNET_break (0);
2591     }
2592     return; /* doesn't affect us further */
2593   }
2594
2595   n->expect_latency_response = GNUNET_NO;
2596
2597   switch (n->state)
2598   {
2599   case S_NOT_CONNECTED:
2600     GNUNET_break (0);
2601     free_neighbour (n);
2602     return;
2603   case S_INIT_ATS:
2604     GNUNET_break (0);
2605     free_neighbour (n);
2606     return;
2607   case S_INIT_BLACKLIST:
2608   case S_CONNECT_SENT:
2609     free_address (&n->primary_address);
2610     n->state = S_INIT_ATS;
2611     n->timeout = GNUNET_TIME_relative_to_absolute (ATS_RESPONSE_TIMEOUT);
2612     // FIXME: need to ask ATS for suggestions again?
2613     GNUNET_ATS_suggest_address (GST_ats, &n->id);
2614     break;
2615   case S_CONNECT_RECV_ATS:    
2616   case S_CONNECT_RECV_BLACKLIST:
2617   case S_CONNECT_RECV_ACK:
2618     /* error on inbound session; free neighbour entirely */
2619     free_address (&n->primary_address);
2620     free_neighbour (n);
2621     return;
2622   case S_CONNECTED:
2623     free_address (&n->primary_address);
2624     n->state = S_RECONNECT_ATS;
2625     n->timeout = GNUNET_TIME_relative_to_absolute (ATS_RESPONSE_TIMEOUT);
2626     /* FIXME: is this ATS call needed? */
2627     GNUNET_ATS_suggest_address (GST_ats, &n->id);
2628     break;
2629   case S_RECONNECT_ATS:
2630     /* we don't have an address, how can it go down? */
2631     GNUNET_break (0);
2632     break;
2633   case S_RECONNECT_BLACKLIST:
2634   case S_RECONNECT_SENT:
2635     n->state = S_RECONNECT_ATS;
2636     n->timeout = GNUNET_TIME_relative_to_absolute (ATS_RESPONSE_TIMEOUT);
2637     // FIXME: need to ask ATS for suggestions again?
2638     GNUNET_ATS_suggest_address (GST_ats, &n->id);
2639     break;
2640   case S_CONNECTED_SWITCHING_BLACKLIST:
2641     /* primary went down while we were checking secondary against
2642        blacklist, adopt secondary as primary */       
2643     free_address (&n->primary_address);
2644     n->primary_address = n->alternative_address;
2645     memset (&n->alternative_address, 0, sizeof (struct NeighbourAddress));
2646     n->timeout = GNUNET_TIME_relative_to_absolute (FAST_RECONNECT_TIMEOUT);
2647     n->state = S_RECONNECT_BLACKLIST;
2648     break;
2649   case S_CONNECTED_SWITCHING_CONNECT_SENT:
2650     /* primary went down while we were waiting for CONNECT_ACK on secondary;
2651        secondary as primary */       
2652     free_address (&n->primary_address);
2653     n->primary_address = n->alternative_address;
2654     memset (&n->alternative_address, 0, sizeof (struct NeighbourAddress));
2655     n->timeout = GNUNET_TIME_relative_to_absolute (FAST_RECONNECT_TIMEOUT);
2656     n->state = S_RECONNECT_SENT;
2657     break;
2658   case S_DISCONNECT:
2659     free_address (&n->primary_address);
2660     break;
2661   case S_DISCONNECT_FINISHED:
2662     /* neighbour was freed and plugins told to terminate session */
2663     break;
2664   default:
2665     GNUNET_break (0);
2666     break;
2667   }
2668   if (GNUNET_SCHEDULER_NO_TASK != n->task)
2669     GNUNET_SCHEDULER_cancel (n->task);
2670   n->task = GNUNET_SCHEDULER_add_now (&master_task, n);
2671 }
2672
2673
2674 /**
2675  * We received a 'SESSION_ACK' message from the other peer.
2676  * If we sent a 'CONNECT_ACK' last, this means we are now
2677  * connected.  Otherwise, do nothing.
2678  *
2679  * @param message possibly a 'struct SessionConnectMessage' (check format)
2680  * @param peer identity of the peer to switch the address for
2681  * @param address address of the other peer, NULL if other peer
2682  *                       connected to us
2683  * @param session session to use (or NULL)
2684  * @param ats performance data
2685  * @param ats_count number of entries in ats
2686  */
2687 void
2688 GST_neighbours_handle_session_ack (const struct GNUNET_MessageHeader *message,
2689                                    const struct GNUNET_PeerIdentity *peer,
2690                                    const struct GNUNET_HELLO_Address *address,
2691                                    struct Session *session,
2692                                    const struct GNUNET_ATS_Information *ats,
2693                                    uint32_t ats_count)
2694 {
2695   struct NeighbourMapEntry *n;
2696
2697   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, 
2698               "Received SESSION_ACK message from peer `%s'\n",
2699               GNUNET_i2s (peer));
2700   if (ntohs (message->size) != sizeof (struct GNUNET_MessageHeader))
2701   {
2702     GNUNET_break_op (0);
2703     return;
2704   }
2705   if (NULL == (n = lookup_neighbour (peer)))
2706     return;
2707   /* check if we are in a plausible state for having sent
2708      a CONNECT_ACK.  If not, return, otherwise break */
2709   if ( ( (S_CONNECT_RECV_ACK != n->state) &&
2710          (S_CONNECT_SENT != n->state) ) ||
2711        (2 != n->send_connect_ack) )
2712   {
2713     GNUNET_STATISTICS_update (GST_stats,
2714                               gettext_noop ("# unexpected SESSION ACK messages"), 1,
2715                               GNUNET_NO);
2716     return;
2717   }
2718   n->state = S_CONNECTED;
2719   n->timeout = GNUNET_TIME_relative_to_absolute (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
2720   GNUNET_STATISTICS_set (GST_stats, 
2721                          gettext_noop ("# peers connected"), 
2722                          ++neighbours_connected,
2723                          GNUNET_NO);
2724   connect_notify_cb (callback_cls, &n->id, ats, ats_count);
2725   set_address (&n->primary_address,
2726                n->primary_address.address,
2727                n->primary_address.session,
2728                n->primary_address.bandwidth_in,
2729                n->primary_address.bandwidth_out,
2730                GNUNET_YES);
2731 }
2732
2733
2734 /**
2735  * Test if we're connected to the given peer.
2736  *
2737  * @param target peer to test
2738  * @return GNUNET_YES if we are connected, GNUNET_NO if not
2739  */
2740 int
2741 GST_neighbours_test_connected (const struct GNUNET_PeerIdentity *target)
2742 {
2743   return test_connected (lookup_neighbour (target));
2744 }
2745
2746
2747 /**
2748  * Change the incoming quota for the given peer.
2749  *
2750  * @param neighbour identity of peer to change qutoa for
2751  * @param quota new quota
2752  */
2753 void
2754 GST_neighbours_set_incoming_quota (const struct GNUNET_PeerIdentity *neighbour,
2755                                    struct GNUNET_BANDWIDTH_Value32NBO quota)
2756 {
2757   struct NeighbourMapEntry *n;
2758
2759   if (NULL == (n = lookup_neighbour (neighbour)))
2760   {
2761     GNUNET_STATISTICS_update (GST_stats,
2762                               gettext_noop
2763                               ("# SET QUOTA messages ignored (no such peer)"),
2764                               1, GNUNET_NO);
2765     return;
2766   }
2767   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2768               "Setting inbound quota of %u Bps for peer `%s' to all clients\n",
2769               ntohl (quota.value__), GNUNET_i2s (&n->id));
2770   GNUNET_BANDWIDTH_tracker_update_quota (&n->in_tracker, quota);
2771   if (0 != ntohl (quota.value__))
2772     return;
2773   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Disconnecting peer `%4s' due to `%s'\n",
2774               GNUNET_i2s (&n->id), "SET_QUOTA");
2775   if (GNUNET_YES == test_connected (n))
2776     GNUNET_STATISTICS_update (GST_stats,
2777                               gettext_noop ("# disconnects due to quota of 0"),
2778                               1, GNUNET_NO);
2779   disconnect_neighbour (n);
2780 }
2781
2782
2783 /**
2784  * We received a disconnect message from the given peer,
2785  * validate and process.
2786  *
2787  * @param peer sender of the message
2788  * @param msg the disconnect message
2789  */
2790 void
2791 GST_neighbours_handle_disconnect_message (const struct GNUNET_PeerIdentity
2792                                           *peer,
2793                                           const struct GNUNET_MessageHeader
2794                                           *msg)
2795 {
2796   struct NeighbourMapEntry *n;
2797   const struct SessionDisconnectMessage *sdm;
2798   GNUNET_HashCode hc;
2799
2800   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2801               "Received DISCONNECT message from peer `%s'\n",
2802               GNUNET_i2s (peer));
2803   if (ntohs (msg->size) != sizeof (struct SessionDisconnectMessage))
2804   {
2805     // GNUNET_break_op (0);
2806     GNUNET_STATISTICS_update (GST_stats,
2807                               gettext_noop
2808                               ("# disconnect messages ignored (old format)"), 1,
2809                               GNUNET_NO);
2810     return;
2811   }
2812   sdm = (const struct SessionDisconnectMessage *) msg;
2813   if (NULL == (n = lookup_neighbour (peer)))
2814     return;                     /* gone already */
2815   if (GNUNET_TIME_absolute_ntoh (sdm->timestamp).abs_value <= n->connect_ack_timestamp.abs_value)
2816   {
2817     GNUNET_STATISTICS_update (GST_stats,
2818                               gettext_noop
2819                               ("# disconnect messages ignored (timestamp)"), 1,
2820                               GNUNET_NO);
2821     return;
2822   }
2823   GNUNET_CRYPTO_hash (&sdm->public_key,
2824                       sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
2825                       &hc);
2826   if (0 != memcmp (peer, &hc, sizeof (struct GNUNET_PeerIdentity)))
2827   {
2828     GNUNET_break_op (0);
2829     return;
2830   }
2831   if (ntohl (sdm->purpose.size) !=
2832       sizeof (struct GNUNET_CRYPTO_RsaSignaturePurpose) +
2833       sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded) +
2834       sizeof (struct GNUNET_TIME_AbsoluteNBO))
2835   {
2836     GNUNET_break_op (0);
2837     return;
2838   }
2839   if (GNUNET_OK !=
2840       GNUNET_CRYPTO_rsa_verify
2841       (GNUNET_MESSAGE_TYPE_TRANSPORT_SESSION_DISCONNECT, &sdm->purpose,
2842        &sdm->signature, &sdm->public_key))
2843   {
2844     GNUNET_break_op (0);
2845     return;
2846   }
2847   if (GNUNET_YES == test_connected (n))
2848     GNUNET_STATISTICS_update (GST_stats,
2849                               gettext_noop
2850                               ("# other peer asked to disconnect from us"), 1,
2851                               GNUNET_NO);
2852   disconnect_neighbour (n);
2853 }
2854
2855
2856 /**
2857  * Closure for the neighbours_iterate function.
2858  */
2859 struct IteratorContext
2860 {
2861   /**
2862    * Function to call on each connected neighbour.
2863    */
2864   GST_NeighbourIterator cb;
2865
2866   /**
2867    * Closure for 'cb'.
2868    */
2869   void *cb_cls;
2870 };
2871
2872
2873 /**
2874  * Call the callback from the closure for each connected neighbour.
2875  *
2876  * @param cls the 'struct IteratorContext'
2877  * @param key the hash of the public key of the neighbour
2878  * @param value the 'struct NeighbourMapEntry'
2879  * @return GNUNET_OK (continue to iterate)
2880  */
2881 static int
2882 neighbours_iterate (void *cls, const GNUNET_HashCode * key, void *value)
2883 {
2884   struct IteratorContext *ic = cls;
2885   struct NeighbourMapEntry *n = value;
2886
2887   if (GNUNET_YES == test_connected (n))
2888     ic->cb (ic->cb_cls, &n->id, NULL, 0, n->primary_address.address);
2889   return GNUNET_OK;
2890 }
2891
2892
2893 /**
2894  * Iterate over all connected neighbours.
2895  *
2896  * @param cb function to call
2897  * @param cb_cls closure for cb
2898  */
2899 void
2900 GST_neighbours_iterate (GST_NeighbourIterator cb, void *cb_cls)
2901 {
2902   struct IteratorContext ic;
2903
2904   if (NULL == neighbours)  
2905     return; /* can happen during shutdown */
2906   ic.cb = cb;
2907   ic.cb_cls = cb_cls;
2908   GNUNET_CONTAINER_multihashmap_iterate (neighbours, &neighbours_iterate, &ic);
2909 }
2910
2911
2912 /**
2913  * If we have an active connection to the given target, it must be shutdown.
2914  *
2915  * @param target peer to disconnect from
2916  */
2917 void
2918 GST_neighbours_force_disconnect (const struct GNUNET_PeerIdentity *target)
2919 {
2920   struct NeighbourMapEntry *n;
2921
2922   if (NULL == (n = lookup_neighbour (target)))
2923     return;  /* not active */
2924   if (GNUNET_YES == test_connected (n))
2925     GNUNET_STATISTICS_update (GST_stats,
2926                               gettext_noop
2927                               ("# disconnected from peer upon explicit request"), 1,
2928                               GNUNET_NO);
2929   disconnect_neighbour (n);
2930 }
2931
2932
2933 /**
2934  * Obtain current latency information for the given neighbour.
2935  *
2936  * @param peer to get the latency for
2937  * @return observed latency of the address, FOREVER if the 
2938  *         the connection is not up
2939  */
2940 struct GNUNET_TIME_Relative
2941 GST_neighbour_get_latency (const struct GNUNET_PeerIdentity *peer)
2942 {
2943   struct NeighbourMapEntry *n;
2944
2945   n = lookup_neighbour (peer);
2946   if (NULL == n) 
2947     return GNUNET_TIME_UNIT_FOREVER_REL;
2948   switch (n->state)
2949   {
2950   case S_CONNECTED:
2951   case S_RECONNECT_SENT:
2952   case S_RECONNECT_ATS:
2953     return n->latency;
2954   case S_NOT_CONNECTED:
2955   case S_INIT_BLACKLIST:
2956   case S_INIT_ATS:
2957   case S_CONNECT_SENT:
2958   case S_CONNECT_RECV_BLACKLIST:
2959   case S_DISCONNECT:
2960   case S_DISCONNECT_FINISHED:
2961     return GNUNET_TIME_UNIT_FOREVER_REL;
2962   default:
2963     GNUNET_break (0);
2964     break;
2965   }
2966   return GNUNET_TIME_UNIT_FOREVER_REL;   
2967 }
2968
2969
2970 /**
2971  * Obtain current address information for the given neighbour.
2972  *
2973  * @param peer
2974  * @return address currently used
2975  */
2976 struct GNUNET_HELLO_Address *
2977 GST_neighbour_get_current_address (const struct GNUNET_PeerIdentity *peer)
2978 {
2979   struct NeighbourMapEntry *n;
2980
2981   n = lookup_neighbour (peer);
2982   if (NULL == n)
2983     return NULL;
2984   return n->primary_address.address;
2985 }
2986
2987
2988 /**
2989  * Initialize the neighbours subsystem.
2990  *
2991  * @param cls closure for callbacks
2992  * @param connect_cb function to call if we connect to a peer
2993  * @param disconnect_cb function to call if we disconnect from a peer
2994  * @param peer_address_cb function to call if we change an active address
2995  *                   of a neighbour
2996  */
2997 void
2998 GST_neighbours_start (void *cls,
2999                       GNUNET_TRANSPORT_NotifyConnect connect_cb,
3000                       GNUNET_TRANSPORT_NotifyDisconnect disconnect_cb,
3001                       GNUNET_TRANSPORT_PeerIterateCallback peer_address_cb)
3002 {
3003   callback_cls = cls;
3004   connect_notify_cb = connect_cb;
3005   disconnect_notify_cb = disconnect_cb;
3006   address_change_cb = peer_address_cb;
3007   neighbours = GNUNET_CONTAINER_multihashmap_create (NEIGHBOUR_TABLE_SIZE);
3008 }
3009
3010
3011 /**
3012  * Disconnect from the given neighbour.
3013  *
3014  * @param cls unused
3015  * @param key hash of neighbour's public key (not used)
3016  * @param value the 'struct NeighbourMapEntry' of the neighbour
3017  * @return GNUNET_OK (continue to iterate)
3018  */
3019 static int
3020 disconnect_all_neighbours (void *cls, const GNUNET_HashCode * key, void *value)
3021 {
3022   struct NeighbourMapEntry *n = value;
3023
3024   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, 
3025               "Disconnecting peer `%4s', %s\n",
3026               GNUNET_i2s (&n->id), "SHUTDOWN_TASK");
3027   free_neighbour (n);
3028   return GNUNET_OK;
3029 }
3030
3031
3032 /**
3033  * Cleanup the neighbours subsystem.
3034  */
3035 void
3036 GST_neighbours_stop ()
3037 {
3038   if (NULL == neighbours)
3039     return;
3040   GNUNET_CONTAINER_multihashmap_iterate (neighbours, 
3041                                          &disconnect_all_neighbours,
3042                                          NULL);
3043   GNUNET_CONTAINER_multihashmap_destroy (neighbours);
3044   neighbours = NULL;
3045   callback_cls = NULL;
3046   connect_notify_cb = NULL;
3047   disconnect_notify_cb = NULL;
3048   address_change_cb = NULL;
3049 }
3050
3051
3052 /* end of file gnunet-service-transport_neighbours.c */