indent
[oweals/gnunet.git] / src / transport / transport_api.c
1 /*
2      This file is part of GNUnet.
3      (C) 2009, 2010 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file transport/transport_api.c
23  * @brief library to access the low-level P2P IO service
24  * @author Christian Grothoff
25  */
26 #include "platform.h"
27 #include "gnunet_bandwidth_lib.h"
28 #include "gnunet_client_lib.h"
29 #include "gnunet_constants.h"
30 #include "gnunet_container_lib.h"
31 #include "gnunet_arm_service.h"
32 #include "gnunet_hello_lib.h"
33 #include "gnunet_protocols.h"
34 #include "gnunet_server_lib.h"
35 #include "gnunet_time_lib.h"
36 #include "gnunet_transport_service.h"
37 #include "transport.h"
38
39 /**
40  * After how long do we give up on transmitting a HELLO
41  * to the service?
42  */
43 #define OFFER_HELLO_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 30)
44
45 /**
46  * After how long do we automatically retry an unsuccessful
47  * CONNECT request?
48  */
49 #define CONNECT_RETRY_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MILLISECONDS, 750)
50
51 /**
52  * How long should ARM wait when starting up the
53  * transport service before reporting back?
54  */
55 #define START_SERVICE_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 5)
56
57 /**
58  * How long should ARM wait when stopping the
59  * transport service before reporting back?
60  */
61 #define STOP_SERVICE_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 5)
62
63 /**
64  * How large to start with for the hashmap of neighbours.
65  */
66 #define STARTING_NEIGHBOURS_SIZE 10
67
68
69 /**
70  * What stage are we in for transmission processing?
71  */
72 enum TransmitStage
73   {
74     /**
75      * No active message.
76      */
77     TS_NEW = 0,
78
79     /**
80      * Message in local queue, not given to service.
81      */
82     TS_QUEUED = 1,
83
84     /**
85      * Message given to service, not confirmed (no SEND_OK).
86      */
87     TS_TRANSMITTED = 2,
88
89     /**
90      * One message was given to service and before it was confirmed,
91      * another one was already queued (waiting for SEND_OK to pass on
92      * to service).
93      */
94     TS_TRANSMITTED_QUEUED = 3
95   };
96
97
98 /**
99  * Handle for a transmission-ready request.
100  */
101 struct GNUNET_TRANSPORT_TransmitHandle
102 {
103
104   /**
105    * Neighbour for this handle, NULL for control-traffic.
106    */
107   struct NeighbourList *neighbour;
108
109   /**
110    * Function to call when notify_size bytes are available
111    * for transmission.
112    */
113   GNUNET_CONNECTION_TransmitReadyNotify notify;
114
115   /**
116    * Closure for notify.
117    */
118   void *notify_cls;
119
120   /**
121    * transmit_ready task Id.  The task is used to introduce the
122    * artificial delay that may be required to maintain the bandwidth
123    * limits.  Later, this will be the ID of the "transmit_timeout"
124    * task which is used to signal a timeout if the transmission could
125    * not be done in a timely fashion.
126    */
127   GNUNET_SCHEDULER_TaskIdentifier notify_delay_task;
128
129   /**
130    * Timeout for this request.
131    */
132   struct GNUNET_TIME_Absolute timeout;
133
134   /**
135    * How many bytes is our notify callback waiting for?
136    */
137   size_t notify_size;
138
139   /**
140    * How important is this message?
141    */
142   unsigned int priority;
143
144 };
145
146
147 /**
148  * Handle for a control message queue entry.
149  */
150 struct ControlMessage
151 {
152
153   /**
154    * This is a doubly-linked list.
155    */
156   struct ControlMessage *next;
157
158   /**
159    * This is a doubly-linked list.
160    */
161   struct ControlMessage *prev;
162
163   /**
164    * Overall transport handle.
165    */
166   struct GNUNET_TRANSPORT_Handle *h;
167
168   /**
169    * Function to call when notify_size bytes are available
170    * for transmission.
171    */
172   GNUNET_CONNECTION_TransmitReadyNotify notify;
173
174   /**
175    * Closure for notify.
176    */
177   void *notify_cls;
178
179   /**
180    * transmit_ready task Id.  The task is used to introduce the
181    * artificial delay that may be required to maintain the bandwidth
182    * limits.  Later, this will be the ID of the "transmit_timeout"
183    * task which is used to signal a timeout if the transmission could
184    * not be done in a timely fashion.
185    */
186   GNUNET_SCHEDULER_TaskIdentifier notify_delay_task;
187
188   /**
189    * How many bytes is our notify callback waiting for?
190    */
191   size_t notify_size;
192
193 };
194
195 /**
196  * Context for storing information about attempted next transmission.
197  */
198 struct TryTransmitContext
199 {
200
201   /**
202    * Main transport handle.
203    */
204   struct GNUNET_TRANSPORT_Handle *h;
205
206   /**
207    * Returned transmission handle.
208    */
209   struct GNUNET_TRANSPORT_TransmitHandle *ret;
210
211   /**
212    * Time to retry the send task.
213    */
214   struct GNUNET_TIME_Relative retry_time;
215 };
216
217 /**
218  * Entry in hash table of all of our current neighbours.
219  */
220 struct NeighbourList
221 {
222   /**
223    * Overall transport handle.
224    */
225   struct GNUNET_TRANSPORT_Handle *h;
226
227   /**
228    * Active transmit handle; available if 'transmit_forbidden'
229    * is GNUNET_NO.
230    */
231   struct GNUNET_TRANSPORT_TransmitHandle transmit_handle;
232
233   /**
234    * Identity of this neighbour.
235    */
236   struct GNUNET_PeerIdentity id;
237
238   /**
239    * Outbound bandwidh tracker.
240    */
241   struct GNUNET_BANDWIDTH_Tracker out_tracker;
242
243   /**
244    * Set to GNUNET_NO if we are currently allowed to accept a
245    * message to the transport service for this peer, GNUNET_YES
246    * if we have one and are waiting for transmission, GNUNET_SYSERR
247    * if we are waiting for confirmation AND have already accepted
248    * yet another message.
249    */
250   enum TransmitStage transmit_stage;
251
252   /**
253    * Have we received a notification that this peer is connected
254    * to us right now?
255    */
256   int is_connected;
257
258   /**
259    * Are we in the middle of disconnecting the peer already?
260    */
261   unsigned int in_disconnect;
262
263 };
264
265
266 /**
267  * Linked list of requests from clients for our HELLO that were
268  * deferred.
269  */
270 struct HelloWaitList
271 {
272
273   /**
274    * This is a linked list.
275    */
276   struct HelloWaitList *next;
277
278   /**
279    * Reference back to our transport handle.
280    */
281   struct GNUNET_TRANSPORT_Handle *handle;
282
283   /**
284    * Callback to call once we got our HELLO.
285    */
286   GNUNET_TRANSPORT_HelloUpdateCallback rec;
287
288   /**
289    * Closure for rec.
290    */
291   void *rec_cls;
292
293 };
294
295
296 /**
297  * Handle for the transport service (includes all of the
298  * state for the transport service).
299  */
300 struct GNUNET_TRANSPORT_Handle
301 {
302
303   /**
304    * Closure for the callbacks.
305    */
306   void *cls;
307
308   /**
309    * Function to call for received data.
310    */
311   GNUNET_TRANSPORT_ReceiveCallback rec;
312
313   /**
314    * function to call on connect events
315    */
316   GNUNET_TRANSPORT_NotifyConnect nc_cb;
317
318   /**
319    * function to call on disconnect events
320    */
321   GNUNET_TRANSPORT_NotifyDisconnect nd_cb;
322
323   /**
324    * Head of DLL of control messages.
325    */
326   struct ControlMessage *control_head;
327
328   /**
329    * Tail of DLL of control messages.
330    */
331   struct ControlMessage *control_tail;
332
333   /**
334    * The current HELLO message for this peer.  Updated
335    * whenever transports change their addresses.
336    */
337   struct GNUNET_HELLO_Message *my_hello;
338
339   /**
340    * My client connection to the transport service.
341    */
342   struct GNUNET_CLIENT_Connection *client;
343
344   /**
345    * Handle to our registration with the client for notification.
346    */
347   struct GNUNET_CLIENT_TransmitHandle *network_handle;
348
349   /**
350    * Linked list of pending requests for our HELLO.
351    */
352   struct HelloWaitList *hwl_head;
353
354   /**
355    * My configuration.
356    */
357   const struct GNUNET_CONFIGURATION_Handle *cfg;
358
359   /**
360    * Linked list of the current neighbours of this peer.
361    */
362   struct GNUNET_CONTAINER_MultiHashMap *neighbours;
363
364   /**
365    * Peer identity as assumed by this process, or all zeros.
366    */
367   struct GNUNET_PeerIdentity self;
368
369   /**
370    * ID of the task trying to reconnect to the service.
371    */
372   GNUNET_SCHEDULER_TaskIdentifier reconnect_task;
373
374   /**
375    * ID of the task trying to trigger transmission for a peer
376    * while maintaining bandwidth quotas.
377    */
378   GNUNET_SCHEDULER_TaskIdentifier quota_task;
379
380   /**
381    * Delay until we try to reconnect.
382    */
383   struct GNUNET_TIME_Relative reconnect_delay;
384
385   /**
386    * Set once we are in the process of disconnecting from the
387    * service.
388    */
389   int in_disconnect;
390
391   /**
392    * Should we check that 'self' matches what the service thinks?
393    * (if GNUNET_NO, then 'self' is all zeros!).
394    */
395   int check_self;
396 };
397
398
399 /**
400  * Get the neighbour list entry for the given peer
401  *
402  * @param h our context
403  * @param peer peer to look up
404  * @return NULL if no such peer entry exists
405  */
406 static struct NeighbourList *
407 neighbour_find (struct GNUNET_TRANSPORT_Handle *h,
408                 const struct GNUNET_PeerIdentity *peer)
409 {
410   return GNUNET_CONTAINER_multihashmap_get(h->neighbours, &peer->hashPubKey);
411 }
412
413
414 /**
415  * Schedule the task to send one message, either from the control
416  * list or the peer message queues  to the service.
417  */
418 static void schedule_transmission (struct GNUNET_TRANSPORT_Handle *h);
419
420
421 /**
422  * Function called by the scheduler when the timeout for bandwidth
423  * availablility for the target neighbour is reached.
424  *
425  * @param cls the 'struct GNUNET_TRANSPORT_Handle*'
426  * @param tc scheduler context
427  */
428 static void
429 quota_transmit_ready (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
430 {
431   struct GNUNET_TRANSPORT_Handle *h = cls;
432
433   h->quota_task = GNUNET_SCHEDULER_NO_TASK;
434   schedule_transmission (h);
435 }
436
437
438 /**
439  * Iterator over hash map entries, attempt to schedule
440  * a transmission to entries in the neighbour hashmap.
441  *
442  * @param cls closure a TryTransmitContext
443  * @param key current key code
444  * @param value value in the hash map, the neighbour entry to consider
445  * @return GNUNET_YES if we should continue to
446  *         iterate,
447  *         GNUNET_NO if not.
448  */
449 static int
450 try_schedule_transmission (void *cls,
451                            const GNUNET_HashCode * key,
452                            void *value)
453 {
454   struct NeighbourList *n = value;
455   struct TryTransmitContext *try_transmit_ctx = cls;
456   struct GNUNET_TIME_Relative duration;
457   GNUNET_CONNECTION_TransmitReadyNotify notify;
458   struct GNUNET_TRANSPORT_TransmitHandle *th;
459   struct GNUNET_TIME_Absolute duration_abs;
460
461   if (n->transmit_stage != TS_QUEUED)
462     return GNUNET_YES; /* not eligible, keep iterating */
463   if (n->is_connected != GNUNET_YES)
464     return GNUNET_YES; /* keep iterating */
465
466   th = &n->transmit_handle;
467   GNUNET_break (n == th->neighbour);
468   /* check outgoing quota */
469   duration = GNUNET_BANDWIDTH_tracker_get_delay (&n->out_tracker,
470                                                  th->notify_size - sizeof (struct OutboundMessage));
471   duration_abs = GNUNET_TIME_relative_to_absolute (duration);
472   if (th->timeout.abs_value < duration_abs.abs_value)
473     {
474       /* signal timeout! */
475 #if DEBUG_TRANSPORT
476       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
477                   "Would need %llu ms before bandwidth is available for delivery to `%4s', that is too long.  Signaling timeout.\n",
478                   duration.rel_value,
479                   GNUNET_i2s (&n->id));
480 #endif
481       if (th->notify_delay_task != GNUNET_SCHEDULER_NO_TASK)
482         {
483           GNUNET_SCHEDULER_cancel (th->notify_delay_task);
484           th->notify_delay_task = GNUNET_SCHEDULER_NO_TASK;
485         }
486       n->transmit_stage = TS_NEW;
487       if (NULL != (notify = th->notify))
488         {
489           th->notify = NULL;
490           GNUNET_assert (0 == notify (th->notify_cls, 0, NULL));
491         }
492       return GNUNET_YES; /* keep iterating */
493     }
494   if (duration.rel_value > 0)
495     {
496 #if DEBUG_TRANSPORT
497       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
498                   "Need more bandwidth (%u b/s allowed, %u b needed), delaying delivery to `%4s' by %llu ms\n",
499                   (unsigned int) n->out_tracker.available_bytes_per_s__,
500                   (unsigned int) th->notify_size - sizeof (struct OutboundMessage),
501                   GNUNET_i2s (&n->id),
502                   (unsigned long long) duration.rel_value);
503 #endif
504       try_transmit_ctx->retry_time = GNUNET_TIME_relative_min (try_transmit_ctx->retry_time,
505                                                                duration);
506       return GNUNET_YES; /* keep iterating */
507     }
508 #if DEBUG_TRANSPORT
509   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
510               "Have %u bytes of bandwidth available for transmission to `%4s' right now\n",
511               th->notify_size - sizeof (struct OutboundMessage),
512               GNUNET_i2s (&n->id));
513 #endif
514
515   if ( (try_transmit_ctx->ret == NULL) ||
516        (try_transmit_ctx->ret->priority < th->priority) )
517     try_transmit_ctx->ret = th;
518   return GNUNET_YES;
519 }
520
521
522 /**
523  * Figure out which transmission to a peer can be done right now.
524  * If none can, schedule a task to call 'schedule_transmission'
525  * whenever a peer transmission can be done in the future and
526  * return NULL.  Otherwise return the next transmission to be
527  * performed.
528  *
529  * @param h handle to transport
530  * @return NULL to wait longer before doing any peer transmissions
531  */
532 static struct GNUNET_TRANSPORT_TransmitHandle *
533 schedule_peer_transmission (struct GNUNET_TRANSPORT_Handle *h)
534 {
535   struct TryTransmitContext try_transmit_ctx;
536
537   if (h->quota_task != GNUNET_SCHEDULER_NO_TASK)
538     {
539       GNUNET_SCHEDULER_cancel (h->quota_task);
540       h->quota_task = GNUNET_SCHEDULER_NO_TASK;
541     }
542   try_transmit_ctx.h = h;
543   try_transmit_ctx.ret = NULL;
544   try_transmit_ctx.retry_time = GNUNET_TIME_UNIT_FOREVER_REL;
545   GNUNET_CONTAINER_multihashmap_iterate(h->neighbours, 
546                                         &try_schedule_transmission, 
547                                         &try_transmit_ctx);
548   if (try_transmit_ctx.ret == NULL)
549     h->quota_task = GNUNET_SCHEDULER_add_delayed (try_transmit_ctx.retry_time,
550                                                   &quota_transmit_ready,
551                                                   h);
552   return try_transmit_ctx.ret;
553 }
554
555
556 /**
557  * Transmit message(s) to service.
558  *
559  * @param cls handle to transport
560  * @param size number of bytes available in buf
561  * @param buf where to copy the message
562  * @return number of bytes copied to buf
563  */
564 static size_t
565 transport_notify_ready (void *cls, size_t size, void *buf)
566 {
567   struct GNUNET_TRANSPORT_Handle *h = cls;
568   struct ControlMessage *cm;
569   struct GNUNET_TRANSPORT_TransmitHandle *th;
570   struct NeighbourList *n;
571   struct OutboundMessage obm;
572   GNUNET_CONNECTION_TransmitReadyNotify notify;
573   size_t ret;
574   size_t mret;
575   size_t nret;
576   char *cbuf;
577
578   h->network_handle = NULL;
579   if (buf == NULL)
580     {
581       schedule_transmission (h);
582       return 0;
583     }
584 #if DEBUG_TRANSPORT
585   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
586               "Ready to transmit %u bytes to transport service\n", size);
587 #endif
588   cbuf = buf;
589   ret = 0;
590   while ( (NULL != (cm = h->control_head)) &&
591           (cm->notify_size <= size) )
592     {
593       if (cm->notify_delay_task != GNUNET_SCHEDULER_NO_TASK)
594         {
595           GNUNET_SCHEDULER_cancel (cm->notify_delay_task);
596           cm->notify_delay_task = GNUNET_SCHEDULER_NO_TASK;
597         }
598       GNUNET_CONTAINER_DLL_remove (h->control_head,
599                                    h->control_tail,
600                                    cm);
601       nret = cm->notify (cm->notify_cls, size, &cbuf[ret]);
602 #if DEBUG_TRANSPORT
603       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
604                   "Added %u bytes of control message at %u\n",
605                   nret,
606                   ret);
607 #endif
608       GNUNET_free (cm);
609       ret += nret;
610       size -= nret;
611     }
612   while ( (NULL != (th = schedule_peer_transmission (h))) &&
613           (th->notify_size <= size) )
614     {
615       if (th->notify_delay_task != GNUNET_SCHEDULER_NO_TASK)
616         {
617           GNUNET_SCHEDULER_cancel (th->notify_delay_task);
618           th->notify_delay_task = GNUNET_SCHEDULER_NO_TASK;
619         }
620       n = th->neighbour;
621       switch (n->transmit_stage)
622         {
623         case TS_NEW:
624           GNUNET_break (0);
625           break;
626         case TS_QUEUED:
627           n->transmit_stage = TS_TRANSMITTED;
628           break;
629         case TS_TRANSMITTED:
630           GNUNET_break (0);
631           break;
632         case TS_TRANSMITTED_QUEUED:
633           GNUNET_break (0);
634           break;
635         default:
636           GNUNET_break (0);
637         }
638       GNUNET_assert (size >= sizeof (struct OutboundMessage));
639       notify = th->notify;
640       th->notify = NULL;
641       mret = notify (th->notify_cls,
642                      size - sizeof (struct OutboundMessage),
643                      &cbuf[ret + sizeof (struct OutboundMessage)]);
644       GNUNET_assert (mret <= size - sizeof (struct OutboundMessage));
645 #if DEBUG_TRANSPORT
646       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
647                   "Message of %u bytes with timeout %llums constructed for `%4s'\n",
648                   (unsigned int) mret,
649                   (unsigned long long) GNUNET_TIME_absolute_get_remaining (th->timeout).rel_value,
650                   GNUNET_i2s (&n->id));
651 #endif
652       if (mret != 0)    
653         {
654           GNUNET_assert (mret + sizeof (struct OutboundMessage) < GNUNET_SERVER_MAX_MESSAGE_SIZE);
655           obm.header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_SEND);
656           obm.header.size = htons (mret + sizeof (struct OutboundMessage));
657           obm.priority = htonl (th->priority);
658           obm.timeout = GNUNET_TIME_relative_hton (GNUNET_TIME_absolute_get_remaining (th->timeout));
659           obm.peer = n->id;
660           memcpy (&cbuf[ret], &obm, sizeof (struct OutboundMessage));
661           ret += (mret + sizeof (struct OutboundMessage));
662           size -= (mret + sizeof (struct OutboundMessage));
663           GNUNET_BANDWIDTH_tracker_consume (&n->out_tracker, mret);
664         }
665       else
666         {
667           switch (n->transmit_stage)
668             {
669             case TS_NEW:
670               GNUNET_break (0);
671               break;
672             case TS_QUEUED:
673               GNUNET_break (0);
674               break;
675             case TS_TRANSMITTED:
676               n->transmit_stage = TS_NEW;
677               break;
678             case TS_TRANSMITTED_QUEUED:
679               n->transmit_stage = TS_QUEUED;
680               continue;
681             default:
682               GNUNET_break (0);
683             }
684         }
685     }
686   schedule_transmission (h);
687 #if DEBUG_TRANSPORT
688   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
689               "Transmitting %u bytes to transport service\n", ret);
690 #endif
691   return ret;
692 }
693
694
695 /**
696  * Schedule the task to send one message, either from the control
697  * list or the peer message queues  to the service.
698  */
699 static void
700 schedule_transmission (struct GNUNET_TRANSPORT_Handle *h)
701 {
702   size_t size;
703   struct GNUNET_TIME_Relative timeout;
704   struct GNUNET_TRANSPORT_TransmitHandle *th;
705
706   if (NULL != h->network_handle)
707     return;
708   if (h->client == NULL)
709     {
710       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
711                   _("Could not yet schedule transmission: we are not yet connected to the transport service!\n"));
712       return;                   /* not yet connected */
713     }
714   if (NULL != h->control_head)
715     {
716       size = h->control_head->notify_size;
717       timeout = GNUNET_TIME_UNIT_FOREVER_REL;
718     }
719   else
720     {
721       th = schedule_peer_transmission (h);
722       if (th == NULL)
723         {
724           /* no transmission ready right now */
725 #if DEBUG_TRANSPORT
726           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
727                       "Could not yet schedule transmission: none ready\n");
728 #endif
729           return;
730         }
731       size = th->notify_size;
732       timeout = GNUNET_TIME_absolute_get_remaining (th->timeout);
733     }
734 #if DEBUG_TRANSPORT
735     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
736                 "Calling notify_transmit_ready\n");
737 #endif
738   h->network_handle =
739     GNUNET_CLIENT_notify_transmit_ready (h->client,
740                                          size,
741                                          timeout,
742                                          GNUNET_NO,
743                                          &transport_notify_ready,
744                                          h);
745   GNUNET_assert (NULL != h->network_handle);
746 }
747
748
749 /**
750  * Called when our transmit request timed out before any transport
751  * reported success connecting to the desired peer or before the
752  * transport was ready to receive.  Signal error and free
753  * TransmitHandle.
754  */
755 static void
756 control_transmit_timeout (void *cls,
757                           const struct GNUNET_SCHEDULER_TaskContext *tc)
758 {
759   struct ControlMessage *th = cls;
760
761   th->notify_delay_task = GNUNET_SCHEDULER_NO_TASK;
762   if (NULL != th->notify)    
763     th->notify (th->notify_cls, 0, NULL);    
764   GNUNET_CONTAINER_DLL_remove (th->h->control_head,
765                                th->h->control_tail,
766                                th);
767   GNUNET_free (th);
768 }
769
770
771 /**
772  * Queue control request for transmission to the transport
773  * service.
774  *
775  * @param h handle to the transport service
776  * @param size number of bytes to be transmitted
777  * @param at_head request must be added to the head of the queue
778  *        (otherwise request will be appended)
779  * @param timeout how long this transmission can wait (at most)
780  * @param notify function to call to get the content
781  * @param notify_cls closure for notify
782  */
783 static void
784 schedule_control_transmit (struct GNUNET_TRANSPORT_Handle *h,
785                            size_t size,
786                            int at_head,
787                            struct GNUNET_TIME_Relative timeout,
788                            GNUNET_CONNECTION_TransmitReadyNotify notify,
789                            void *notify_cls)
790 {
791   struct ControlMessage *cm;
792
793 #if DEBUG_TRANSPORT
794   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
795               "Control transmit of %u bytes within %llums requested\n",
796               size, (unsigned long long) timeout.rel_value);
797 #endif
798   cm = GNUNET_malloc (sizeof (struct ControlMessage));
799   cm->h = h;
800   cm->notify = notify;
801   cm->notify_cls = notify_cls;
802   cm->notify_size = size;
803   cm->notify_delay_task
804     = GNUNET_SCHEDULER_add_delayed (timeout, &control_transmit_timeout, cm);
805   if (at_head)
806     GNUNET_CONTAINER_DLL_insert (h->control_head,
807                                  h->control_tail,
808                                  cm);
809   else
810     GNUNET_CONTAINER_DLL_insert_after (h->control_head,
811                                        h->control_tail,
812                                        h->control_tail,
813                                        cm);
814   schedule_transmission (h);
815 }
816
817
818 struct SetQuotaContext
819 {
820   struct GNUNET_TRANSPORT_Handle *handle;
821
822   struct GNUNET_PeerIdentity target;
823
824   GNUNET_SCHEDULER_Task cont;
825
826   void *cont_cls;
827
828   struct GNUNET_TIME_Absolute timeout;
829
830   struct GNUNET_BANDWIDTH_Value32NBO quota_in;
831 };
832
833
834 /**
835  * Send SET_QUOTA message to the service.
836  *
837  * @param cls the 'struct SetQuotaContext'
838  * @param size number of bytes available in buf
839  * @param buf where to copy the message
840  * @return number of bytes copied to buf
841  */
842 static size_t
843 send_set_quota (void *cls, size_t size, void *buf)
844 {
845   struct SetQuotaContext *sqc = cls;
846   struct QuotaSetMessage *msg;
847
848   if (buf == NULL)
849     {
850       if (sqc->cont != NULL)
851         GNUNET_SCHEDULER_add_continuation (sqc->cont,
852                                            sqc->cont_cls,
853                                            GNUNET_SCHEDULER_REASON_TIMEOUT);
854       GNUNET_free (sqc);
855       return 0;
856     }
857 #if DEBUG_TRANSPORT
858   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
859               "Transmitting `%s' request with respect to `%4s'.\n",
860               "SET_QUOTA",
861               GNUNET_i2s (&sqc->target));
862 #endif
863   GNUNET_assert (size >= sizeof (struct QuotaSetMessage));
864   msg = buf;
865   msg->header.size = htons (sizeof (struct QuotaSetMessage));
866   msg->header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_SET_QUOTA);
867   msg->quota = sqc->quota_in;
868   memcpy (&msg->peer, &sqc->target, sizeof (struct GNUNET_PeerIdentity));
869   if (sqc->cont != NULL)
870     GNUNET_SCHEDULER_add_continuation (sqc->cont,
871                                        sqc->cont_cls,
872                                        GNUNET_SCHEDULER_REASON_PREREQ_DONE);
873   GNUNET_free (sqc);
874   return sizeof (struct QuotaSetMessage);
875 }
876
877
878 /**
879  * Set the share of incoming bandwidth for the given
880  * peer to the specified amount.
881  *
882  * @param handle connection to transport service
883  * @param target who's bandwidth quota is being changed
884  * @param quota_in incoming bandwidth quota in bytes per ms
885  * @param quota_out outgoing bandwidth quota in bytes per ms
886  * @param timeout how long to wait until signaling failure if
887  *        we can not communicate the quota change
888  * @param cont continuation to call when done, will be called
889  *        either with reason "TIMEOUT" or with reason "PREREQ_DONE"
890  * @param cont_cls closure for continuation
891  */
892 void
893 GNUNET_TRANSPORT_set_quota (struct GNUNET_TRANSPORT_Handle *handle,
894                             const struct GNUNET_PeerIdentity *target,
895                             struct GNUNET_BANDWIDTH_Value32NBO quota_in,
896                             struct GNUNET_BANDWIDTH_Value32NBO quota_out,
897                             struct GNUNET_TIME_Relative timeout,
898                             GNUNET_SCHEDULER_Task cont, void *cont_cls)
899 {
900   struct NeighbourList *n;
901   struct SetQuotaContext *sqc;
902
903   n = neighbour_find (handle, target);
904   if (n != NULL)
905     {
906 #if DEBUG_TRANSPORT
907       if (ntohl (quota_out.value__) != n->out_tracker.available_bytes_per_s__)
908         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
909                     "Quota changed from %u to %u for peer `%s'\n",
910                     (unsigned int) n->out_tracker.available_bytes_per_s__,
911                     (unsigned int) ntohl (quota_out.value__),
912                     GNUNET_i2s (target));
913       else
914         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
915                     "Quota remains at %u for peer `%s'\n",
916                     (unsigned int) n->out_tracker.available_bytes_per_s__,
917                     GNUNET_i2s (target));
918 #endif
919       GNUNET_BANDWIDTH_tracker_update_quota (&n->out_tracker,
920                                              quota_out);
921     }
922   else
923     {
924 #if DEBUG_TRANSPORT
925       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
926                   "Quota changed to %u for peer `%s', but I have no such neighbour!\n",
927                   (unsigned int) ntohl (quota_out.value__),
928                   GNUNET_i2s (target));
929 #endif
930     }
931   sqc = GNUNET_malloc (sizeof (struct SetQuotaContext));
932   sqc->handle = handle;
933   sqc->target = *target;
934   sqc->cont = cont;
935   sqc->cont_cls = cont_cls;
936   sqc->timeout = GNUNET_TIME_relative_to_absolute (timeout);
937   sqc->quota_in = quota_in;
938   schedule_control_transmit (handle,
939                              sizeof (struct QuotaSetMessage),
940                              GNUNET_NO, timeout, &send_set_quota, sqc);
941 }
942
943
944 /**
945  * Obtain the HELLO message for this peer.
946  *
947  * @param handle connection to transport service
948  * @param rec function to call with the HELLO, sender will be our peer
949  *            identity; message and sender will be NULL on timeout
950  *            (handshake with transport service pending/failed).
951  *             cost estimate will be 0.
952  * @param rec_cls closure for rec
953  */
954 void
955 GNUNET_TRANSPORT_get_hello (struct GNUNET_TRANSPORT_Handle *handle,
956                             GNUNET_TRANSPORT_HelloUpdateCallback rec,
957                             void *rec_cls)
958 {
959   struct HelloWaitList *hwl;
960
961   hwl = GNUNET_malloc (sizeof (struct HelloWaitList));
962   hwl->next = handle->hwl_head;
963   handle->hwl_head = hwl;
964   hwl->handle = handle;
965   hwl->rec = rec;
966   hwl->rec_cls = rec_cls;
967   if (handle->my_hello == NULL)
968     return;
969   rec (rec_cls, (const struct GNUNET_MessageHeader *) handle->my_hello);
970 }
971
972
973
974 /**
975  * Stop receiving updates about changes to our HELLO message.
976  *
977  * @param handle connection to transport service
978  * @param rec function previously registered to be called with the HELLOs
979  * @param rec_cls closure for rec
980  */
981 void
982 GNUNET_TRANSPORT_get_hello_cancel (struct GNUNET_TRANSPORT_Handle *handle,
983                                    GNUNET_TRANSPORT_HelloUpdateCallback rec,
984                                    void *rec_cls)
985 {
986   struct HelloWaitList *pos;
987   struct HelloWaitList *prev;
988
989   prev = NULL;
990   pos = handle->hwl_head;
991   while (pos != NULL)
992     {
993       if ( (pos->rec == rec) &&
994            (pos->rec_cls == rec_cls) )
995         break;
996       prev = pos;
997       pos = pos->next;
998     }
999   GNUNET_break (pos != NULL);
1000   if (pos == NULL)
1001     return;
1002   if (prev == NULL)
1003     handle->hwl_head = pos->next;
1004   else
1005     prev->next = pos->next;
1006   GNUNET_free (pos);
1007 }
1008
1009
1010 /**
1011  * Send HELLO message to the service.
1012  *
1013  * @param cls the HELLO message to send
1014  * @param size number of bytes available in buf
1015  * @param buf where to copy the message
1016  * @return number of bytes copied to buf
1017  */
1018 static size_t
1019 send_hello (void *cls, size_t size, void *buf)
1020 {
1021   struct GNUNET_MessageHeader *hello = cls;
1022   uint16_t msize;
1023
1024   if (buf == NULL)
1025     {
1026 #if DEBUG_TRANSPORT_TIMEOUT
1027       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1028                   "Timeout while trying to transmit `%s' request.\n",
1029                   "HELLO");
1030 #endif
1031       GNUNET_free (hello);
1032       return 0;
1033     }
1034 #if DEBUG_TRANSPORT
1035   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1036               "Transmitting `%s' request.\n", "HELLO");
1037 #endif
1038   msize = ntohs (hello->size);
1039   GNUNET_assert (size >= msize);
1040   memcpy (buf, hello, msize);
1041   GNUNET_free (hello);
1042   return msize;
1043 }
1044
1045
1046 /**
1047  * Offer the transport service the HELLO of another peer.  Note that
1048  * the transport service may just ignore this message if the HELLO is
1049  * malformed or useless due to our local configuration.
1050  *
1051  * @param handle connection to transport service
1052  * @param hello the hello message
1053  */
1054 void
1055 GNUNET_TRANSPORT_offer_hello (struct GNUNET_TRANSPORT_Handle *handle,
1056                               const struct GNUNET_MessageHeader *hello)
1057 {
1058   struct GNUNET_MessageHeader *hc;
1059   uint16_t size;
1060   struct GNUNET_PeerIdentity peer;
1061
1062   GNUNET_break (ntohs (hello->type) == GNUNET_MESSAGE_TYPE_HELLO);
1063   size = ntohs (hello->size);
1064   GNUNET_break (size >= sizeof (struct GNUNET_MessageHeader));
1065   if (GNUNET_OK != GNUNET_HELLO_get_id ((const struct GNUNET_HELLO_Message*) hello,
1066                                         &peer))
1067     {
1068       GNUNET_break (0);
1069       return;
1070     }
1071 #if DEBUG_TRANSPORT
1072   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1073               "Offering `%s' message of `%4s' to transport for validation.\n",
1074               "HELLO",
1075               GNUNET_i2s (&peer));
1076 #endif
1077   hc = GNUNET_malloc (size);
1078   memcpy (hc, hello, size);
1079   schedule_control_transmit (handle,
1080                              size,
1081                              GNUNET_NO, OFFER_HELLO_TIMEOUT, &send_hello, hc);
1082 }
1083
1084
1085 /**
1086  * Transmit START message to service.
1087  *
1088  * @param cls unused
1089  * @param size number of bytes available in buf
1090  * @param buf where to copy the message
1091  * @return number of bytes copied to buf
1092  */
1093 static size_t
1094 send_start (void *cls, size_t size, void *buf)
1095 {
1096   struct GNUNET_TRANSPORT_Handle *h = cls;
1097   struct StartMessage s;
1098
1099   if (buf == NULL)
1100     {
1101       /* Can only be shutdown, just give up */
1102 #if DEBUG_TRANSPORT
1103       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1104                   "Shutdown while trying to transmit `%s' request.\n",
1105                   "START");
1106 #endif
1107       return 0;
1108     }
1109 #if DEBUG_TRANSPORT
1110   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1111               "Transmitting `%s' request.\n", "START");
1112 #endif
1113   GNUNET_assert (size >= sizeof (struct StartMessage));
1114   s.header.size = htons (sizeof (struct StartMessage));
1115   s.header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_START);
1116   s.do_check = htonl (h->check_self);
1117   s.self = h->self;
1118   memcpy (buf, &s, sizeof (struct StartMessage));
1119   return sizeof (struct StartMessage);
1120 }
1121
1122
1123 /**
1124  * Free neighbour.
1125  *
1126  * @param n the entry to free
1127  */
1128 static void
1129 neighbour_free (struct NeighbourList *n)
1130 {
1131   struct GNUNET_TRANSPORT_Handle *h;
1132
1133   /* Added so task gets canceled when a disconnect is received! */
1134   /* Method 1
1135   if (n->transmit_handle.notify_delay_task != GNUNET_SCHEDULER_NO_TASK)
1136     {
1137       GNUNET_SCHEDULER_cancel(n->transmit_handle.notify_delay_task);
1138       n->transmit_handle.notify_delay_task = GNUNET_SCHEDULER_NO_TASK;
1139       n->transmit_handle.notify = NULL;
1140     }
1141   */
1142   /* NATE: if the above is not needed, then clearly this assertion
1143      should hold (I've checked the code and I'm pretty sure this is
1144      true. -CG 
1145      FIXME: remove above comments once we've seen tests pass with the assert... */
1146   GNUNET_assert (n->transmit_handle.notify_delay_task == GNUNET_SCHEDULER_NO_TASK);
1147   GNUNET_assert (n->transmit_handle.notify == NULL);
1148   h = n->h;
1149 #if DEBUG_TRANSPORT
1150   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1151               "Removing neighbour `%s' from list of connected peers.\n",
1152               GNUNET_i2s (&n->id));
1153 #endif
1154   GNUNET_break (n->is_connected == GNUNET_NO);
1155   GNUNET_break (n->transmit_stage == TS_NEW);
1156
1157   GNUNET_assert(GNUNET_YES == 
1158                 GNUNET_CONTAINER_multihashmap_remove(h->neighbours, 
1159                                                      &n->id.hashPubKey, 
1160                                                      n));
1161   GNUNET_free (n);
1162 }
1163
1164
1165 /**
1166  * Mark neighbour as disconnected.
1167  *
1168  * @param n the entry to mark as disconnected
1169  */
1170 static void
1171 neighbour_disconnect (struct NeighbourList *n)
1172 {
1173   struct GNUNET_TRANSPORT_Handle *h = n->h;
1174 #if DEBUG_TRANSPORT
1175   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1176               "Removing neighbour `%s' from list of connected peers.\n",
1177               GNUNET_i2s (&n->id));
1178 #endif
1179   GNUNET_break (n->is_connected == GNUNET_YES);
1180   n->is_connected = GNUNET_NO;
1181   n->in_disconnect = GNUNET_YES;
1182   if (h->nd_cb != NULL)
1183     h->nd_cb (h->cls, &n->id);
1184   if (n->transmit_stage == TS_NEW)    
1185     neighbour_free (n);
1186     
1187 }
1188
1189
1190 /**
1191  * Function we use for handling incoming messages.
1192  *
1193  * @param cls closure (struct GNUNET_TRANSPORT_Handle *)
1194  * @param msg message received, NULL on timeout or fatal error
1195  */
1196 static void demultiplexer (void *cls,
1197                            const struct GNUNET_MessageHeader *msg);
1198
1199
1200 /**
1201  * Iterator over hash map entries, for getting rid of a neighbor
1202  * upon a reconnect call.
1203  *
1204  * @param cls closure (NULL)
1205  * @param key current key code
1206  * @param value value in the hash map, the neighbour entry to forget
1207  * @return GNUNET_YES if we should continue to
1208  *         iterate,
1209  *         GNUNET_NO if not.
1210  */
1211 static int
1212 forget_neighbours (void *cls,
1213                    const GNUNET_HashCode * key,
1214                    void *value)
1215 {
1216   struct NeighbourList *n = value;
1217
1218 #if DEBUG_TRANSPORT_DISCONNECT
1219   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1220               "Disconnecting due to reconnect being called\n");
1221 #endif
1222   if (n->is_connected)
1223     neighbour_disconnect (n);
1224
1225   return GNUNET_YES;
1226 }
1227
1228
1229 /**
1230  * Try again to connect to transport service.
1231  *
1232  * @param cls the handle to the transport service
1233  * @param tc scheduler context
1234  */
1235 static void
1236 reconnect (void *cls,
1237            const struct GNUNET_SCHEDULER_TaskContext *tc)
1238 {
1239   struct GNUNET_TRANSPORT_Handle *h = cls;
1240   struct ControlMessage *pos;
1241
1242   h->reconnect_task = GNUNET_SCHEDULER_NO_TASK;
1243   if ( (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN) != 0)
1244     {
1245       /* shutdown, just give up */
1246       return;
1247     }
1248   /* Forget about all neighbours that we used to be connected to */
1249   GNUNET_CONTAINER_multihashmap_iterate(h->neighbours, 
1250                                         &forget_neighbours, 
1251                                         NULL);
1252
1253 #if DEBUG_TRANSPORT
1254   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1255               "Connecting to transport service.\n");
1256 #endif
1257   GNUNET_assert (h->client == NULL);
1258   h->client = GNUNET_CLIENT_connect ("transport", h->cfg);
1259   GNUNET_assert (h->client != NULL);
1260   /* make sure we don't send "START" twice, remove existing entry from
1261      queue (if present) */
1262   pos = h->control_head;
1263   while (pos != NULL)
1264     {
1265       if (pos->notify == &send_start)
1266         {
1267           GNUNET_CONTAINER_DLL_remove (h->control_head,
1268                                        h->control_tail,
1269                                        pos);
1270           if (GNUNET_SCHEDULER_NO_TASK != pos->notify_delay_task)
1271             {
1272               GNUNET_SCHEDULER_cancel (pos->notify_delay_task);
1273               pos->notify_delay_task = GNUNET_SCHEDULER_NO_TASK;
1274             }
1275           GNUNET_free (pos);
1276           break;
1277         }
1278       pos = pos->next;
1279     }
1280   schedule_control_transmit (h,
1281                              sizeof (struct StartMessage),
1282                              GNUNET_YES,
1283                              GNUNET_TIME_UNIT_FOREVER_REL, &send_start, h);
1284   GNUNET_CLIENT_receive (h->client,
1285                          &demultiplexer, h, GNUNET_TIME_UNIT_FOREVER_REL);
1286 }
1287
1288
1289 /**
1290  * Function that will schedule the job that will try
1291  * to connect us again to the client.
1292  *
1293  * @param h transport service to reconnect
1294  */
1295 static void
1296 schedule_reconnect (struct GNUNET_TRANSPORT_Handle *h)
1297 {
1298 #if DEBUG_TRANSPORT
1299   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1300               "Scheduling task to reconnect to transport service in %llu ms.\n",
1301               h->reconnect_delay.rel_value);
1302 #endif
1303   GNUNET_assert (h->client == NULL);
1304   GNUNET_assert (h->reconnect_task == GNUNET_SCHEDULER_NO_TASK);
1305   h->reconnect_task
1306     = GNUNET_SCHEDULER_add_delayed (h->reconnect_delay, &reconnect, h);
1307   if (h->reconnect_delay.rel_value == 0)
1308     {
1309       h->reconnect_delay = GNUNET_TIME_UNIT_MILLISECONDS;
1310     }
1311   else
1312     {
1313       h->reconnect_delay = GNUNET_TIME_relative_multiply (h->reconnect_delay, 2);
1314       h->reconnect_delay = GNUNET_TIME_relative_min (GNUNET_TIME_UNIT_SECONDS,
1315                                                      h->reconnect_delay);
1316     }
1317 }
1318
1319
1320 /**
1321  * Send request connect message to the service.
1322  *
1323  * @param cls the TransportRequestConnectMessage
1324  * @param size number of bytes available in buf
1325  * @param buf where to copy the message
1326  * @return number of bytes copied to buf
1327  */
1328 static size_t
1329 send_transport_request_connect (void *cls, size_t size, void *buf)
1330 {
1331   struct TransportRequestConnectMessage *trcm = cls;
1332
1333   if (buf == NULL)
1334     {
1335 #if DEBUG_TRANSPORT
1336       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1337                   "Buffer null for %s\n",
1338                   "REQUEST_CONNECT");
1339 #endif
1340       GNUNET_free (trcm);
1341       return 0;
1342     }
1343 #if DEBUG_TRANSPORT
1344   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1345               "Transmitting `%s' request for `%4s'.\n",
1346               "REQUEST_CONNECT",
1347               GNUNET_i2s (&trcm->peer));
1348 #endif
1349   GNUNET_assert (size >= sizeof (struct TransportRequestConnectMessage));
1350   memcpy(buf, trcm, sizeof(struct TransportRequestConnectMessage));
1351   return sizeof(struct TransportRequestConnectMessage);
1352 }
1353
1354 /**
1355  * Create and send a request connect message to
1356  * the transport service for a particular peer.
1357  *
1358  * @param h handle to the transport service
1359  * @param n the neighbor to send the request connect message about
1360  *
1361  */
1362 static void 
1363 send_request_connect_message(struct GNUNET_TRANSPORT_Handle *h, struct NeighbourList *n)
1364 {
1365   struct TransportRequestConnectMessage *trcm;
1366
1367   trcm = GNUNET_malloc(sizeof(struct TransportRequestConnectMessage));
1368   trcm->header.type = htons(GNUNET_MESSAGE_TYPE_TRANSPORT_REQUEST_CONNECT);
1369   trcm->header.size = htons(sizeof(struct TransportRequestConnectMessage));
1370   memcpy(&trcm->peer, &n->id, sizeof(struct GNUNET_PeerIdentity));
1371   schedule_control_transmit (h,
1372                              sizeof (struct TransportRequestConnectMessage),
1373                              GNUNET_NO,
1374                              GNUNET_TIME_UNIT_FOREVER_REL, &send_transport_request_connect, trcm);
1375 }
1376
1377 /**
1378  * Add neighbour to our list
1379  *
1380  * @return NULL if this API is currently disconnecting from the service
1381  */
1382 static struct NeighbourList *
1383 neighbour_add (struct GNUNET_TRANSPORT_Handle *h,
1384                const struct GNUNET_PeerIdentity *pid)
1385 {
1386   struct NeighbourList *n;
1387
1388   if (GNUNET_YES == h->in_disconnect)
1389     return NULL;
1390   /* check for duplicates */
1391   if (NULL != (n = neighbour_find (h, pid)))
1392     {
1393       GNUNET_break (0);
1394       return n;
1395     }
1396 #if DEBUG_TRANSPORT
1397   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1398               "Creating entry for neighbour `%4s'.\n",
1399               GNUNET_i2s (pid));
1400 #endif
1401   n = GNUNET_malloc (sizeof (struct NeighbourList));
1402   n->id = *pid;
1403   n->h = h;
1404   GNUNET_BANDWIDTH_tracker_init (&n->out_tracker,
1405                                  GNUNET_CONSTANTS_DEFAULT_BW_IN_OUT,
1406                                  MAX_BANDWIDTH_CARRY_S);
1407   GNUNET_CONTAINER_multihashmap_put (h->neighbours,
1408                                      &pid->hashPubKey,
1409                                      n,
1410                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
1411
1412   return n;
1413 }
1414
1415 /**
1416  * Iterator over hash map entries, for deleting state of a neighbor.
1417  *
1418  * @param cls closure (NULL)
1419  * @param key current key code
1420  * @param value value in the hash map, the neighbour entry to delete
1421  * @return GNUNET_YES if we should continue to
1422  *         iterate,
1423  *         GNUNET_NO if not.
1424  */
1425 static int
1426 delete_neighbours (void *cls,
1427                    const GNUNET_HashCode * key,
1428                    void *value)
1429 {
1430   struct NeighbourList *n = value;
1431   struct GNUNET_TRANSPORT_TransmitHandle *th;
1432
1433   switch (n->transmit_stage)
1434     {
1435     case TS_NEW:
1436     case TS_TRANSMITTED:
1437       /* nothing to do */
1438       break;
1439     case TS_QUEUED:
1440     case TS_TRANSMITTED_QUEUED:
1441       th = &n->transmit_handle;
1442       if (th->notify_delay_task != GNUNET_SCHEDULER_NO_TASK)
1443         {
1444           GNUNET_SCHEDULER_cancel (th->notify_delay_task);
1445           th->notify_delay_task = GNUNET_SCHEDULER_NO_TASK;
1446         }
1447       GNUNET_assert (0 == th->notify (th->notify_cls, 0, NULL));
1448       break;
1449     default:
1450       GNUNET_break (0);
1451     }
1452   GNUNET_free (n);
1453   return GNUNET_YES;
1454 }
1455
1456
1457 /**
1458  * Connect to the transport service.  Note that the connection may
1459  * complete (or fail) asynchronously.
1460  *
1461  * @param cfg configuration to use
1462  * @param self our own identity (API should check that it matches
1463  *             the identity found by transport), or NULL (no check)
1464  * @param cls closure for the callbacks
1465  * @param rec receive function to call
1466  * @param nc function to call on connect events
1467  * @param nd function to call on disconnect events
1468  */
1469 struct GNUNET_TRANSPORT_Handle *
1470 GNUNET_TRANSPORT_connect (const struct GNUNET_CONFIGURATION_Handle *cfg,
1471                           const struct GNUNET_PeerIdentity *self,
1472                           void *cls,
1473                           GNUNET_TRANSPORT_ReceiveCallback rec,
1474                           GNUNET_TRANSPORT_NotifyConnect nc,
1475                           GNUNET_TRANSPORT_NotifyDisconnect nd)
1476 {
1477   struct GNUNET_TRANSPORT_Handle *ret;
1478
1479   ret = GNUNET_malloc (sizeof (struct GNUNET_TRANSPORT_Handle));
1480   if (self != NULL)
1481     {
1482       ret->self = *self;
1483       ret->check_self = GNUNET_YES;
1484     }
1485   ret->cfg = cfg;
1486   ret->cls = cls;
1487   ret->rec = rec;
1488   ret->nc_cb = nc;
1489   ret->nd_cb = nd;
1490   ret->reconnect_delay = GNUNET_TIME_UNIT_ZERO;
1491   ret->neighbours = GNUNET_CONTAINER_multihashmap_create(STARTING_NEIGHBOURS_SIZE);
1492   schedule_reconnect (ret);
1493   return ret;
1494 }
1495
1496
1497 /**
1498  * Disconnect from the transport service.
1499  */
1500 void
1501 GNUNET_TRANSPORT_disconnect (struct GNUNET_TRANSPORT_Handle *handle)
1502 {
1503   struct HelloWaitList *hwl;
1504   struct GNUNET_CLIENT_Connection *client;
1505   struct ControlMessage *cm;
1506
1507 #if DEBUG_TRANSPORT
1508   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Transport disconnect called!\n");
1509 #endif
1510   handle->in_disconnect = GNUNET_YES;
1511
1512   GNUNET_assert(GNUNET_SYSERR !=
1513                 GNUNET_CONTAINER_multihashmap_iterate(handle->neighbours,
1514                                                       &delete_neighbours,
1515                                                       handle));
1516   GNUNET_CONTAINER_multihashmap_destroy(handle->neighbours);
1517
1518   while (NULL != (hwl = handle->hwl_head))
1519     {
1520       handle->hwl_head = hwl->next;
1521       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
1522                   _
1523                   ("Disconnect while notification for `%s' still registered.\n"),
1524                   "HELLO");
1525       if (hwl->rec != NULL)
1526         hwl->rec (hwl->rec_cls, NULL);
1527       GNUNET_free (hwl);
1528     }
1529
1530   /* Check for still scheduled control messages, cancel delay tasks if so */
1531   /* Added because somehow a notify_delay_task is remaining scheduled and is ever so annoying */
1532   while ( (NULL != (cm = handle->control_head)))
1533     {
1534 #if DEBUG_TRANSPORT
1535       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1536                   "Disconnect before control message sent!\n");
1537 #endif
1538       if (cm->notify_delay_task != GNUNET_SCHEDULER_NO_TASK)
1539         {
1540           GNUNET_SCHEDULER_cancel (cm->notify_delay_task);
1541           cm->notify_delay_task = GNUNET_SCHEDULER_NO_TASK;
1542         }
1543       GNUNET_CONTAINER_DLL_remove (handle->control_head,
1544                                    handle->control_tail,
1545                                    cm);
1546       GNUNET_free (cm);
1547     }
1548   /* end check */
1549
1550   if (handle->reconnect_task != GNUNET_SCHEDULER_NO_TASK)
1551     {
1552       GNUNET_SCHEDULER_cancel (handle->reconnect_task);
1553       handle->reconnect_task = GNUNET_SCHEDULER_NO_TASK;
1554     }
1555   if (handle->quota_task != GNUNET_SCHEDULER_NO_TASK)
1556     {
1557       GNUNET_SCHEDULER_cancel (handle->quota_task);
1558       handle->quota_task = GNUNET_SCHEDULER_NO_TASK;
1559     }
1560   GNUNET_free_non_null (handle->my_hello);
1561   handle->my_hello = NULL;
1562
1563   if (NULL != handle->network_handle)
1564     {
1565       GNUNET_CLIENT_notify_transmit_ready_cancel (handle->network_handle);
1566       handle->network_handle = NULL;
1567     }
1568   if (NULL != (client = handle->client))
1569     {
1570 #if DEBUG_TRANSPORT
1571       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1572                   "Disconnecting from transport service for good.\n");
1573 #endif
1574       handle->client = NULL;
1575       GNUNET_CLIENT_disconnect (client, GNUNET_NO);
1576     }
1577   GNUNET_free (handle);
1578 }
1579
1580
1581 /**
1582  * Function we use for handling incoming messages.
1583  *
1584  * @param cls closure (struct GNUNET_TRANSPORT_Handle *)
1585  * @param msg message received, NULL on timeout or fatal error
1586  */
1587 static void
1588 demultiplexer (void *cls, const struct GNUNET_MessageHeader *msg)
1589 {
1590   struct GNUNET_TRANSPORT_Handle *h = cls;
1591   const struct DisconnectInfoMessage *dim;
1592   const struct ConnectInfoMessage *cim;
1593   const struct InboundMessage *im;
1594   const struct GNUNET_MessageHeader *imm;
1595   const struct SendOkMessage *okm;
1596   struct HelloWaitList *hwl;
1597   struct HelloWaitList *next_hwl;
1598   struct NeighbourList *n;
1599   struct GNUNET_PeerIdentity me;
1600   uint16_t size;
1601
1602   if (h->client == NULL)
1603     {
1604       /* shutdown initiated from 'GNUNET_TRANSPORT_disconnect',
1605          finish clean up work! */
1606       GNUNET_free (h);
1607       return;
1608     }
1609   if (msg == NULL)
1610     {
1611 #if DEBUG_TRANSPORT
1612       GNUNET_log (GNUNET_ERROR_TYPE_INFO,
1613                   "Error receiving from transport service, disconnecting temporarily.\n");
1614 #endif
1615       if (h->network_handle != NULL)
1616         {
1617           GNUNET_CLIENT_notify_transmit_ready_cancel (h->network_handle);
1618           h->network_handle = NULL;
1619         }
1620       GNUNET_CLIENT_disconnect (h->client, GNUNET_NO);
1621       h->client = NULL;
1622       schedule_reconnect (h);
1623       return;
1624     }
1625   GNUNET_CLIENT_receive (h->client,
1626                          &demultiplexer, h, GNUNET_TIME_UNIT_FOREVER_REL);
1627   size = ntohs (msg->size);
1628   switch (ntohs (msg->type))
1629     {
1630     case GNUNET_MESSAGE_TYPE_HELLO:
1631       if (GNUNET_OK !=
1632           GNUNET_HELLO_get_id ((const struct GNUNET_HELLO_Message *) msg,
1633                                &me))
1634         {
1635           GNUNET_break (0);
1636           break;
1637         }
1638 #if DEBUG_TRANSPORT
1639       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1640                   "Receiving (my own) `%s' message, I am `%4s'.\n",
1641                   "HELLO", GNUNET_i2s (&me));
1642 #endif
1643       GNUNET_free_non_null (h->my_hello);
1644       h->my_hello = NULL;
1645       if (size < sizeof (struct GNUNET_MessageHeader))
1646         {
1647           GNUNET_break (0);
1648           break;
1649         }
1650       h->my_hello = GNUNET_malloc (size);
1651       memcpy (h->my_hello, msg, size);
1652       hwl = h->hwl_head;
1653       while (NULL != hwl)
1654         {
1655           next_hwl = hwl->next;
1656           hwl->rec (hwl->rec_cls,
1657                     (const struct GNUNET_MessageHeader *) h->my_hello);
1658           hwl = next_hwl;
1659         }
1660       break;
1661     case GNUNET_MESSAGE_TYPE_TRANSPORT_CONNECT:
1662       if (size != sizeof (struct ConnectInfoMessage))
1663         {
1664           GNUNET_break (0);
1665           break;
1666         }
1667       cim = (const struct ConnectInfoMessage *) msg;
1668 #if DEBUG_TRANSPORT
1669       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1670                   "Receiving `%s' message for `%4s'.\n",
1671                   "CONNECT", GNUNET_i2s (&cim->id));
1672 #endif
1673       n = neighbour_find (h, &cim->id);
1674       if (n == NULL)
1675         n = neighbour_add (h,
1676                            &cim->id);
1677       if (n == NULL)
1678         {
1679           GNUNET_break (0);
1680           return;
1681         }
1682       GNUNET_break (n->is_connected == GNUNET_NO);
1683       if (ntohl ((&cim->ats)[ntohl (cim->ats_count)].type) != GNUNET_TRANSPORT_ATS_ARRAY_TERMINATOR)
1684         {
1685           GNUNET_break (0);
1686           return;
1687         }
1688       fprintf(stderr,"transport_api GNUNET_MESSAGE_TYPE_TRANSPORT_CONNECT ats_count %u\n",ntohl (cim->ats_count));
1689      n->is_connected = GNUNET_YES;
1690       if (h->nc_cb != NULL)
1691                   h->nc_cb (h->cls, &n->id,
1692                     NULL,
1693                     0);
1694      /*  if (h->nc_cb != NULL)
1695           h->nc_cb (h->cls, &n->id,
1696                     &(cim->ats), 
1697                     ntohl (cim->ats_count));*/
1698       break;
1699     case GNUNET_MESSAGE_TYPE_TRANSPORT_DISCONNECT:
1700       if (size != sizeof (struct DisconnectInfoMessage))
1701         {
1702           GNUNET_break (0);
1703           break;
1704         }
1705       dim = (const struct DisconnectInfoMessage *) msg;
1706       GNUNET_break (ntohl (dim->reserved) == 0);
1707 #if DEBUG_TRANSPORT_DISCONNECT
1708       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1709                   "Receiving `%s' message for `%4s'.\n",
1710                   "DISCONNECT",
1711                   GNUNET_i2s (&dim->peer));
1712 #endif
1713       n = neighbour_find (h, &dim->peer);
1714       GNUNET_break (n != NULL);
1715       if (n != NULL)
1716         neighbour_disconnect (n);       
1717       break;
1718     case GNUNET_MESSAGE_TYPE_TRANSPORT_SEND_OK:
1719       if (size != sizeof (struct SendOkMessage))
1720         {
1721           GNUNET_break (0);
1722           break;
1723         }
1724       okm = (const struct SendOkMessage *) msg;
1725 #if DEBUG_TRANSPORT
1726       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1727                   "Receiving `%s' message, transmission %s.\n", "SEND_OK",
1728                   ntohl (okm->success) == GNUNET_OK ? "succeeded" : "failed");
1729 #endif
1730       n = neighbour_find (h, &okm->peer);
1731       GNUNET_assert (n != NULL);
1732       switch (n->transmit_stage)
1733         {
1734         case TS_NEW:
1735           GNUNET_break (0);
1736           break;
1737         case TS_QUEUED:
1738           GNUNET_break (0);
1739           break;
1740         case TS_TRANSMITTED:
1741           n->transmit_stage = TS_NEW;
1742           break;
1743         case TS_TRANSMITTED_QUEUED:
1744           n->transmit_stage = TS_QUEUED;
1745           schedule_transmission (h);
1746           break;
1747         default:
1748           GNUNET_break (0);
1749         }
1750       break;
1751     case GNUNET_MESSAGE_TYPE_TRANSPORT_RECV:
1752 #if DEBUG_TRANSPORT
1753       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1754                   "Receiving `%s' message.\n", "RECV");
1755 #endif
1756       if (size <
1757           sizeof (struct InboundMessage) +
1758           sizeof (struct GNUNET_MessageHeader))
1759         {
1760           GNUNET_break (0);
1761           break;
1762         }
1763       im = (const struct InboundMessage *) msg;
1764       GNUNET_break (0 == ntohl (im->reserved));
1765       GNUNET_assert(sizeof (struct InboundMessage) + ntohl(im->ats_count) * sizeof(struct GNUNET_TRANSPORT_ATS_Information) + sizeof (struct GNUNET_MessageHeader) <= size);
1766       imm = (const struct GNUNET_MessageHeader *) &((&im->ats)[ntohl(im->ats_count)+1]);
1767       if (ntohs (imm->size) + sizeof (struct InboundMessage) + ntohl(im->ats_count) * sizeof(struct GNUNET_TRANSPORT_ATS_Information) != size)
1768         {
1769           GNUNET_break (0);
1770           break;
1771         }
1772 #if DEBUG_TRANSPORT
1773       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1774                   "Received message of type %u from `%4s'.\n",
1775                   ntohs (imm->type), GNUNET_i2s (&im->peer));
1776 #endif
1777       n = neighbour_find (h, &im->peer);
1778       if (n == NULL)
1779         {
1780           GNUNET_break (0);
1781           break;
1782         }
1783       if (n->is_connected != GNUNET_YES)
1784         {
1785           GNUNET_break (0);
1786           break;
1787         }
1788       if (ntohl ((&im->ats)[ntohl(im->ats_count)].type) != GNUNET_TRANSPORT_ATS_ARRAY_TERMINATOR)
1789         {
1790           GNUNET_break (0);
1791           return;
1792         }
1793       fprintf(stderr,"transport_api GNUNET_MESSAGE_TYPE_TRANSPORT_RECV ats_count %u\n",ntohl (im->ats_count));
1794     if (h->rec != NULL)
1795                 h->rec (h->cls, &im->peer,
1796                         imm,
1797                         NULL,
1798                         0);
1799
1800         /*h->rec (h->cls, &im->peer,
1801                 imm, 
1802                 &im->ats, 
1803                 ntohl (im->ats_count));*/
1804       break;
1805     default:
1806       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1807                   _
1808                   ("Received unexpected message of type %u in %s:%u\n"),
1809                   ntohs (msg->type), __FILE__, __LINE__);
1810       GNUNET_break (0);
1811       break;
1812     }
1813 }
1814
1815
1816 /**
1817  * Called when our transmit request timed out before any transport
1818  * reported success connecting to the desired peer or before the
1819  * transport was ready to receive.  Signal error and free
1820  * TransmitHandle.
1821  *
1822  * @param cls the 'struct GNUNET_TRANSPORT_TransmitHandle*' that is timing out
1823  * @param tc scheduler context
1824  */
1825 static void
1826 peer_transmit_timeout (void *cls,
1827                        const struct GNUNET_SCHEDULER_TaskContext *tc)
1828 {
1829   struct GNUNET_TRANSPORT_TransmitHandle *th = cls;
1830   struct NeighbourList *n;
1831   GNUNET_CONNECTION_TransmitReadyNotify notify;
1832   void *notify_cls;
1833
1834   th->notify_delay_task = GNUNET_SCHEDULER_NO_TASK;
1835   n = th->neighbour;
1836 #if DEBUG_TRANSPORT
1837   GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
1838               "Triggering timeout for request to transmit to `%4s' (%d)\n",
1839               GNUNET_i2s (&n->id),
1840               n->transmit_stage);
1841 #endif
1842   notify = th->notify;
1843   th->notify = NULL;
1844   notify_cls = th->notify_cls;
1845   switch (n->transmit_stage)
1846     {
1847     case TS_NEW:
1848       GNUNET_break (0);
1849       break;
1850     case TS_QUEUED:
1851       n->transmit_stage = TS_NEW;
1852       if (n->is_connected == GNUNET_NO)
1853         neighbour_free (n);
1854       break;
1855     case TS_TRANSMITTED:
1856       GNUNET_break (0);
1857       break;
1858     case TS_TRANSMITTED_QUEUED:
1859       n->transmit_stage = TS_TRANSMITTED;
1860       break;
1861     default:
1862       GNUNET_break (0);
1863     }
1864   if (NULL != notify)
1865     notify (notify_cls, 0, NULL);
1866 }
1867
1868
1869 /**
1870  * Check if we could queue a message of the given size for
1871  * transmission.  The transport service will take both its
1872  * internal buffers and bandwidth limits imposed by the
1873  * other peer into consideration when answering this query.
1874  *
1875  * @param handle connection to transport service
1876  * @param target who should receive the message
1877  * @param size how big is the message we want to transmit?
1878  * @param priority how important is the message?
1879  * @param timeout after how long should we give up (and call
1880  *        notify with buf NULL and size 0)?
1881  * @param notify function to call when we are ready to
1882  *        send such a message
1883  * @param notify_cls closure for notify
1884  * @return NULL if someone else is already waiting to be notified
1885  *         non-NULL if the notify callback was queued (can be used to cancel
1886  *         using GNUNET_TRANSPORT_notify_transmit_ready_cancel)
1887  */
1888 struct GNUNET_TRANSPORT_TransmitHandle *
1889 GNUNET_TRANSPORT_notify_transmit_ready (struct GNUNET_TRANSPORT_Handle
1890                                         *handle,
1891                                         const struct GNUNET_PeerIdentity
1892                                         *target, size_t size,
1893                                         unsigned int priority,
1894                                         struct GNUNET_TIME_Relative timeout,
1895                                         GNUNET_CONNECTION_TransmitReadyNotify
1896                                         notify, void *notify_cls)
1897 {
1898   struct GNUNET_TRANSPORT_TransmitHandle *th;
1899   struct NeighbourList *n;
1900
1901   if (size + sizeof (struct OutboundMessage) >=
1902       GNUNET_SERVER_MAX_MESSAGE_SIZE)
1903     {
1904 #if DEBUG_TRANSPORT
1905       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1906                   "Message size is %d, max allowed is %d.\n",
1907                   size + sizeof (struct OutboundMessage), GNUNET_SERVER_MAX_MESSAGE_SIZE - 1);
1908 #endif
1909       GNUNET_break (0);
1910       return NULL;
1911     }
1912 #if DEBUG_TRANSPORT
1913   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1914               "Asking transport service for transmission of %u bytes to peer `%4s' within %llu ms.\n",
1915               size, GNUNET_i2s (target),
1916               (unsigned long long) timeout.rel_value);
1917 #endif
1918   n = neighbour_find (handle, target);
1919   if (n == NULL)
1920     {
1921       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1922                   "Created neighbour entry for peer `%s'\n",
1923                   GNUNET_i2s (target));
1924       n = neighbour_add (handle, target);
1925
1926     }
1927   if (n == NULL)
1928     {
1929       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1930                   "Could not create neighbour entry for peer `%s'\n",
1931                   GNUNET_i2s (target));
1932       return NULL;
1933     }
1934
1935   /**
1936    *  Send a request connect message if not connected,
1937    *  otherwise we will never send anything to
1938    *  transport service
1939    */
1940   if (n->is_connected == GNUNET_NO)
1941     {
1942       send_request_connect_message(handle, n);
1943     }
1944
1945   switch (n->transmit_stage)
1946     {
1947     case TS_NEW:
1948       n->transmit_stage = TS_QUEUED;
1949       break;
1950     case TS_QUEUED:
1951       GNUNET_break (0);
1952       return NULL;
1953     case TS_TRANSMITTED:
1954       n->transmit_stage = TS_TRANSMITTED_QUEUED;
1955       break;
1956     case TS_TRANSMITTED_QUEUED:
1957       GNUNET_break (0);
1958       return NULL;
1959     default:
1960       GNUNET_break (0);
1961       return NULL;
1962     }
1963   th = &n->transmit_handle;
1964   th->neighbour = n;
1965   th->notify = notify;
1966   th->notify_cls = notify_cls;
1967   th->timeout = GNUNET_TIME_relative_to_absolute (timeout);
1968   th->notify_size = size + sizeof (struct OutboundMessage);
1969   th->priority = priority;
1970   th->notify_delay_task
1971     = GNUNET_SCHEDULER_add_delayed (timeout,
1972                                     &peer_transmit_timeout, th);
1973   schedule_transmission (handle);
1974   return th;
1975 }
1976
1977
1978 /**
1979  * Cancel the specified transmission-ready notification.
1980  */
1981 void
1982 GNUNET_TRANSPORT_notify_transmit_ready_cancel (struct
1983                                                GNUNET_TRANSPORT_TransmitHandle
1984                                                *th)
1985 {
1986   struct NeighbourList *n;
1987
1988   th->notify = NULL;
1989   n = th->neighbour;
1990 #if DEBUG_TRANSPORT
1991   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1992               "Transmission request of %u bytes to `%4s' was canceled.\n",
1993               th->notify_size - sizeof (struct OutboundMessage),
1994               GNUNET_i2s (&n->id));
1995 #endif
1996   if (th->notify_delay_task != GNUNET_SCHEDULER_NO_TASK)
1997     {
1998       GNUNET_SCHEDULER_cancel (th->notify_delay_task);
1999       th->notify_delay_task = GNUNET_SCHEDULER_NO_TASK;
2000     }
2001   switch (n->transmit_stage)
2002     {
2003     case TS_NEW:
2004       GNUNET_break (0);
2005       break;
2006     case TS_QUEUED:
2007       n->transmit_stage = TS_NEW;
2008       if (n->in_disconnect == GNUNET_NO)
2009         neighbour_free (n);
2010       break;
2011     case TS_TRANSMITTED:
2012       GNUNET_break (0);
2013       break;
2014     case TS_TRANSMITTED_QUEUED:
2015       n->transmit_stage = TS_TRANSMITTED;
2016       break;
2017     default:
2018       GNUNET_break (0);
2019     }
2020 }
2021
2022
2023 /* end of transport_api.c */