28898ab18bd18541b3f970869deafcaf8ea0597b
[oweals/gnunet.git] / src / util / connection.c
1 /*
2      This file is part of GNUnet.
3      (C) 2009 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 2, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file util/connection.c
23  * @brief  TCP connection management
24  * @author Christian Grothoff
25  *
26  * This code is rather complex.  Only modify it if you
27  * 1) Have a NEW testcase showing that the new code
28  *    is needed and correct
29  * 2) All EXISTING testcases pass with the new code
30  * These rules should apply in general, but for this
31  * module they are VERY, VERY important.
32  */
33
34 #include "platform.h"
35 #include "gnunet_common.h"
36 #include "gnunet_connection_lib.h"
37 #include "gnunet_container_lib.h"
38 #include "gnunet_resolver_service.h"
39 #include "gnunet_scheduler_lib.h"
40 #include "gnunet_server_lib.h"
41
42 #define DEBUG_CONNECTION GNUNET_NO
43
44 /**
45  * Possible functions to call after connect failed or succeeded.
46  */
47 enum ConnectContinuations
48 {
49     /**
50      * Call nothing.
51      */
52   COCO_NONE = 0,
53
54     /**
55      * Call "receive_again".
56      */
57   COCO_RECEIVE_AGAIN = 1,
58
59     /**
60      * Call "transmit_ready".
61      */
62   COCO_TRANSMIT_READY = 2,
63
64     /**
65      * Call "destroy_continuation".
66      */
67   COCO_DESTROY_CONTINUATION = 4
68 };
69
70
71 /**
72  * Transmission handle.  There can only be one for each connection.
73  */
74 struct GNUNET_CONNECTION_TransmitHandle
75 {
76
77   /**
78    * Function to call if the send buffer has notify_size
79    * bytes available.
80    */
81   GNUNET_CONNECTION_TransmitReadyNotify notify_ready;
82
83   /**
84    * Closure for notify_ready.
85    */
86   void *notify_ready_cls;
87
88   /**
89    * Our socket handle.
90    */
91   struct GNUNET_CONNECTION_Handle *sh;
92
93   /**
94    * Timeout for receiving (in absolute time).
95    */
96   struct GNUNET_TIME_Absolute transmit_timeout;
97
98   /**
99    * Task called on timeout.
100    */
101   GNUNET_SCHEDULER_TaskIdentifier timeout_task;
102
103   /**
104    * At what number of bytes available in the
105    * write buffer should the notify method be called?
106    */
107   size_t notify_size;
108
109 };
110
111
112 /**
113  * During connect, we try multiple possible IP addresses
114  * to find out which one might work. 
115  */
116 struct AddressProbe
117 {
118
119   /**
120    * This is a linked list.
121    */
122   struct AddressProbe *next;
123
124   /**
125    * This is a doubly-linked list.
126    */
127   struct AddressProbe *prev;
128
129   /**
130    * The address; do not free (allocated at the end of this struct).
131    */
132   const struct sockaddr *addr;
133
134   /**
135    * Underlying OS's socket.
136    */
137   struct GNUNET_NETWORK_Handle *sock;
138
139   /**
140    * Connection for which we are probing.
141    */
142   struct GNUNET_CONNECTION_Handle *h;
143
144   /**
145    * Lenth of addr.
146    */
147   socklen_t addrlen;
148
149   /**
150    * Task waiting for the socket to finish connecting.
151    */
152   GNUNET_SCHEDULER_TaskIdentifier task;
153 };
154
155
156 /**
157  * @brief handle for a network socket
158  */
159 struct GNUNET_CONNECTION_Handle
160 {
161
162   /**
163    * Configuration to use.
164    */
165   const struct GNUNET_CONFIGURATION_Handle *cfg;
166
167   /**
168    * Linked list of sockets we are currently trying out 
169    * (during connect).
170    */
171   struct AddressProbe *ap_head;
172
173   /**
174    * Linked list of sockets we are currently trying out 
175    * (during connect).
176    */
177   struct AddressProbe *ap_tail;
178
179   /**
180    * Network address of the other end-point, may be NULL.
181    */
182   struct sockaddr *addr;
183
184   /**
185    * Pointer to the hostname if socket was
186    * created using DNS lookup, otherwise NULL.
187    */
188   char *hostname;
189
190   /**
191    * Underlying OS's socket, set to NULL after fatal errors.
192    */
193   struct GNUNET_NETWORK_Handle *sock;
194
195   /**
196    * Function to call on data received, NULL if no receive is pending.
197    */
198   GNUNET_CONNECTION_Receiver receiver;
199
200   /**
201    * Closure for receiver.
202    */
203   void *receiver_cls;
204
205   /**
206    * Pointer to our write buffer.
207    */
208   char *write_buffer;
209
210   /**
211    * Current size of our write buffer.
212    */
213   size_t write_buffer_size;
214
215   /**
216    * Current write-offset in write buffer (where
217    * would we write next).
218    */
219   size_t write_buffer_off;
220
221   /**
222    * Current read-offset in write buffer (how many
223    * bytes have already been sent).
224    */
225   size_t write_buffer_pos;
226
227   /**
228    * Length of addr.
229    */
230   socklen_t addrlen;
231
232   /**
233    * Read task that we may need to wait for.
234    */
235   GNUNET_SCHEDULER_TaskIdentifier read_task;
236
237   /**
238    * Write task that we may need to wait for.
239    */
240   GNUNET_SCHEDULER_TaskIdentifier write_task;
241
242   /**
243    * Destroy task (if already scheduled).
244    */
245   GNUNET_SCHEDULER_TaskIdentifier destroy_task;
246
247   /**
248    * Handle to a pending DNS lookup request.
249    */
250   struct GNUNET_RESOLVER_RequestHandle *dns_active;
251
252   /**
253    * The handle we return for GNUNET_CONNECTION_notify_transmit_ready.
254    */
255   struct GNUNET_CONNECTION_TransmitHandle nth;
256
257   /**
258    * Timeout for receiving (in absolute time).
259    */
260   struct GNUNET_TIME_Absolute receive_timeout;
261
262   /**
263    * Functions to call after connect failed or succeeded.
264    */
265   enum ConnectContinuations ccs;
266
267   /**
268    * Maximum number of bytes to read (for receiving).
269    */
270   size_t max;
271
272   /**
273    * Ignore GNUNET_SCHEDULER_REASON_SHUTDOWN for this socket.
274    */
275   int ignore_shutdown;
276
277   /**
278    * Port to connect to.
279    */
280   uint16_t port;
281
282   /**
283    * When shutdown, do not ever actually close the socket, but
284    * free resources.  Only should ever be set if using program
285    * termination as a signal (because only then will the leaked
286    * socket be freed!)
287    */
288   int16_t persist;
289
290 };
291
292 /**
293  * Set the persist option on this connection handle.  Indicates
294  * that the underlying socket or fd should never really be closed.
295  * Used for indicating process death.
296  *
297  * @param sock the connection to set persistent
298  */
299 void GNUNET_CONNECTION_persist_(struct GNUNET_CONNECTION_Handle *sock)
300 {
301   sock->persist = GNUNET_YES;
302 }
303
304 /**
305  * Create a socket handle by boxing an existing OS socket.  The OS
306  * socket should henceforth be no longer used directly.
307  * GNUNET_socket_destroy will close it.
308  *
309  * @param osSocket existing socket to box
310  * @return the boxed socket handle
311  */
312 struct GNUNET_CONNECTION_Handle *
313 GNUNET_CONNECTION_create_from_existing (struct GNUNET_NETWORK_Handle
314                                         *osSocket)
315 {
316   struct GNUNET_CONNECTION_Handle *ret;
317   ret = GNUNET_malloc (sizeof (struct GNUNET_CONNECTION_Handle));
318   ret->write_buffer_size = GNUNET_SERVER_MIN_BUFFER_SIZE;
319   ret->write_buffer = GNUNET_malloc(ret->write_buffer_size);
320   ret->sock = osSocket;
321   return ret;
322 }
323
324
325 /**
326  * Create a socket handle by accepting on a listen socket.  This
327  * function may block if the listen socket has no connection ready.
328  *
329  * @param access function to use to check if access is allowed
330  * @param access_cls closure for access
331  * @param lsock listen socket
332  * @return the socket handle, NULL on error
333  */
334 struct GNUNET_CONNECTION_Handle *
335 GNUNET_CONNECTION_create_from_accept (GNUNET_CONNECTION_AccessCheck access,
336                                       void *access_cls,
337                                       struct GNUNET_NETWORK_Handle *lsock)
338 {
339   struct GNUNET_CONNECTION_Handle *ret;
340   char addr[128];
341   socklen_t addrlen;
342   struct GNUNET_NETWORK_Handle *sock;
343   int aret;
344   struct sockaddr_in *v4;
345   struct sockaddr_in6 *v6;
346   struct sockaddr *sa;
347   void *uaddr;
348   struct GNUNET_CONNECTION_Credentials *gcp;  
349   struct GNUNET_CONNECTION_Credentials gc;  
350 #ifdef SO_PEERCRED
351   struct ucred uc;
352   socklen_t olen;
353 #endif
354
355   addrlen = sizeof (addr);
356   sock =
357     GNUNET_NETWORK_socket_accept (lsock, (struct sockaddr *) &addr, &addrlen);
358   if (NULL == sock)
359     {
360       GNUNET_log_strerror (GNUNET_ERROR_TYPE_WARNING, "accept");
361       return NULL;
362     }
363   if ( (addrlen > sizeof (addr)) ||
364        (addrlen < sizeof (sa_family_t)) )
365     {
366       GNUNET_break (0);
367       GNUNET_break (GNUNET_OK == GNUNET_NETWORK_socket_close (sock));
368       return NULL;
369     }
370
371   sa = (struct sockaddr *) addr;
372   v6 = (struct sockaddr_in6 *) addr;
373   if ((sa->sa_family == AF_INET6) && (IN6_IS_ADDR_V4MAPPED (&v6->sin6_addr)))
374     {
375       /* convert to V4 address */
376       v4 = GNUNET_malloc (sizeof (struct sockaddr_in));
377       memset (v4, 0, sizeof (struct sockaddr_in));
378       v4->sin_family = AF_INET;
379 #if HAVE_SOCKADDR_IN_SIN_LEN
380       v4->sin_len = (u_char) sizeof (struct sockaddr_in);
381 #endif
382       memcpy (&v4->sin_addr,
383               &((char *) &v6->sin6_addr)[sizeof (struct in6_addr) -
384                                          sizeof (struct in_addr)],
385               sizeof (struct in_addr));
386       v4->sin_port = v6->sin6_port;
387       uaddr = v4;
388       addrlen = sizeof (struct sockaddr_in);
389     }
390   else
391     {
392       uaddr = GNUNET_malloc (addrlen);
393       memcpy (uaddr, addr, addrlen);
394     }
395   gcp = NULL;
396   gc.uid = 0;
397   gc.gid = 0;
398   if (sa->sa_family == AF_UNIX)
399     {
400 #if HAVE_GETPEEREID
401       /* most BSDs */
402       if (0 == getpeereid (GNUNET_NETWORK_get_fd (sock), 
403                            &gc.uid,
404                            &gc.gid))
405         gcp = &gc;
406 #else
407 #ifdef SO_PEERCRED
408       /* largely traditional GNU/Linux */
409       olen = sizeof (uc);
410       if ( (0 ==
411             getsockopt (GNUNET_NETWORK_get_fd (sock), 
412                         SOL_SOCKET, SO_PEERCRED, &uc, &olen)) &&
413            (olen == sizeof (uc)) )
414         {
415           gc.uid = uc.uid;
416           gc.gid = uc.gid;
417           gcp = &gc;    
418         }
419 #else
420 #if HAVE_GETPEERUCRED
421       /* this is for Solaris 10 */
422       ucred_t *uc;
423
424       uc = NULL;
425       if (0 == getpeerucred (GNUNET_NETWORK_get_fd (sock), &uc))
426         {
427           gc.uid = ucred_geteuid (uc);
428           gc.gid = ucred_getegid (uc);
429           gcp = &gc;
430         }
431       ucred_free (uc);
432 #endif
433 #endif
434 #endif
435     }
436
437   if ((access != NULL) &&
438       (GNUNET_YES != (aret = access (access_cls, gcp, uaddr, addrlen))))
439     {
440       if (aret == GNUNET_NO)
441         GNUNET_log (GNUNET_ERROR_TYPE_INFO,
442                     _("Access denied to `%s'\n"),
443                     GNUNET_a2s (uaddr, addrlen));
444       GNUNET_break (GNUNET_OK ==
445                     GNUNET_NETWORK_socket_shutdown (sock, SHUT_RDWR));
446       GNUNET_break (GNUNET_OK == GNUNET_NETWORK_socket_close (sock));
447       GNUNET_free (uaddr);
448       return NULL;
449     }
450   ret = GNUNET_malloc (sizeof (struct GNUNET_CONNECTION_Handle));
451   ret->write_buffer_size = GNUNET_SERVER_MIN_BUFFER_SIZE;
452   ret->write_buffer = GNUNET_malloc(ret->write_buffer_size);
453   ret->addr = uaddr;
454   ret->addrlen = addrlen;
455   ret->sock = sock;
456 #if DEBUG_CONNECTION
457   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
458               _("Accepting connection from `%s': %p\n"),
459               GNUNET_a2s (uaddr, addrlen), ret);
460 #endif
461   return ret;
462 }
463
464 /**
465  * Obtain the network address of the other party.
466  *
467  * @param sock the client to get the address for
468  * @param addr where to store the address
469  * @param addrlen where to store the length of the address
470  * @return GNUNET_OK on success
471  */
472 int
473 GNUNET_CONNECTION_get_address (struct GNUNET_CONNECTION_Handle *sock,
474                                void **addr, size_t * addrlen)
475 {
476   if ((sock->addr == NULL) || (sock->addrlen == 0))
477     return GNUNET_NO;
478   *addr = GNUNET_malloc (sock->addrlen);
479   memcpy (*addr, sock->addr, sock->addrlen);
480   *addrlen = sock->addrlen;
481   return GNUNET_OK;
482 }
483
484
485 /**
486  * This function is called after establishing a connection either has
487  * succeeded or timed out.  Note that it is possible that the attempt
488  * timed out and that we're immediately retrying.  If we are retrying,
489  * we need to wait again (or timeout); if we succeeded, we need to
490  * wait for data (or timeout).
491  *
492  * @param cls our connection handle
493  * @param tc task context describing why we are here
494  */
495 static void
496 receive_again (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
497
498
499 /**
500  * Scheduler let us know that the connect task is finished (or was
501  * cancelled due to shutdown).  Now really clean up.
502  *
503  * @param cls our "struct GNUNET_CONNECTION_Handle *"
504  * @param tc unused
505  */
506 static void
507 destroy_continuation (void *cls,
508                       const struct GNUNET_SCHEDULER_TaskContext *tc)
509 {
510   struct GNUNET_CONNECTION_Handle *sock = cls;
511   GNUNET_CONNECTION_TransmitReadyNotify notify;
512   struct AddressProbe *pos;
513
514   sock->destroy_task = GNUNET_SCHEDULER_NO_TASK;
515   GNUNET_assert (sock->dns_active == NULL);
516   if (0 != (sock->ccs & COCO_TRANSMIT_READY))
517     {
518 #if DEBUG_CONNECTION
519       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
520                   "Destroy waits for CCS-TR to be done (%p)\n", sock);
521 #endif
522       sock->ccs |= COCO_DESTROY_CONTINUATION;
523       return;
524     }
525   if (sock->write_task != GNUNET_SCHEDULER_NO_TASK)
526     {
527 #if DEBUG_CONNECTION
528       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
529                   "Destroy waits for write_task to be done (%p)\n", sock);
530 #endif
531       GNUNET_assert (GNUNET_SCHEDULER_NO_TASK == sock->destroy_task);
532       sock->destroy_task 
533         = GNUNET_SCHEDULER_add_after (sock->write_task,
534                                       &destroy_continuation, sock);
535       return;
536     }
537   if (0 != (sock->ccs & COCO_RECEIVE_AGAIN))
538     {
539       sock->ccs |= COCO_DESTROY_CONTINUATION;
540       return;
541     }
542   if (sock->sock != NULL)
543     {
544 #if DEBUG_CONNECTION
545       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
546                   "Shutting down socket (%p)\n", sock);
547 #endif
548       if (sock->persist != GNUNET_YES)
549       {
550         if ( (GNUNET_YES != GNUNET_NETWORK_socket_shutdown (sock->sock, SHUT_RDWR)) &&
551              (errno != ENOTCONN) &&
552              (errno != ECONNRESET) )
553           GNUNET_log_strerror (GNUNET_ERROR_TYPE_WARNING, "shutdown");
554       }
555     }
556   if (sock->read_task != GNUNET_SCHEDULER_NO_TASK)
557     {
558       GNUNET_assert (GNUNET_SCHEDULER_NO_TASK == sock->destroy_task);
559       sock->destroy_task 
560         = GNUNET_SCHEDULER_add_after (sock->read_task,
561                                       &destroy_continuation, sock);
562       return;
563     }
564 #if DEBUG_CONNECTION
565   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, 
566               "Destroy actually runs (%p)!\n", sock);
567 #endif
568   while (NULL != (pos = sock->ap_head))
569     {
570       GNUNET_break (GNUNET_OK == GNUNET_NETWORK_socket_close (pos->sock));
571       GNUNET_SCHEDULER_cancel (pos->task);
572       GNUNET_CONTAINER_DLL_remove (sock->ap_head, sock->ap_tail, pos);
573       GNUNET_free (pos);
574     }
575   GNUNET_assert (sock->nth.timeout_task == GNUNET_SCHEDULER_NO_TASK);
576   GNUNET_assert (sock->ccs == COCO_NONE);
577   if (NULL != (notify = sock->nth.notify_ready))
578     {
579       sock->nth.notify_ready = NULL;
580       notify (sock->nth.notify_ready_cls, 0, NULL);
581     }
582
583   if (sock->sock != NULL) 
584     {
585       if (sock->persist != GNUNET_YES)
586         GNUNET_break (GNUNET_OK == GNUNET_NETWORK_socket_close (sock->sock));
587       else
588         GNUNET_free (sock->sock); /* at least no memory leak (we deliberately
589                                      leak the socket in this special case) ... */
590     }
591   GNUNET_free_non_null (sock->addr);
592   GNUNET_free_non_null (sock->hostname);
593   GNUNET_assert (GNUNET_SCHEDULER_NO_TASK == sock->destroy_task);
594 #if DEBUG_CONNECTION
595   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
596               "Freeing memory of connection %p.\n", sock);
597 #endif
598   GNUNET_free (sock->write_buffer);
599   GNUNET_free (sock);
600 }
601
602
603
604 /**
605  * See if we are now connected.  If not, wait longer for
606  * connect to succeed.  If connected, we should be able
607  * to write now as well, unless we timed out.
608  *
609  * @param cls our connection handle
610  * @param tc task context describing why we are here
611  */
612 static void
613 transmit_ready (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
614
615
616 /**
617  * We've failed for good to establish a connection.
618  *
619  * @param h the connection we tried to establish
620  */
621 static void
622 connect_fail_continuation (struct GNUNET_CONNECTION_Handle *h)
623 {
624 #if DEBUG_CONNECTION
625   GNUNET_log ((0 != strncmp (h->hostname, 
626                              "localhost:",
627                              10)) 
628               ? GNUNET_ERROR_TYPE_INFO 
629               : GNUNET_ERROR_TYPE_WARNING,
630               _("Failed to establish TCP connection to `%s:%u', no further addresses to try.\n"),
631               h->hostname, h->port);
632 #endif
633   /* connect failed / timed out */
634   GNUNET_break (h->ap_head == NULL);
635   GNUNET_break (h->ap_tail == NULL);
636   GNUNET_break (h->dns_active == GNUNET_NO);
637   GNUNET_break (h->sock == NULL);
638
639   /* trigger jobs that used to wait on "connect_task" */
640   if (0 != (h->ccs & COCO_RECEIVE_AGAIN))
641     {
642 #if DEBUG_CONNECTION
643       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
644                   "connect_fail_continuation triggers receive_again (%p)\n",
645                   h);
646 #endif
647       h->ccs -= COCO_RECEIVE_AGAIN;
648       h->read_task = GNUNET_SCHEDULER_add_now (&receive_again, h);
649     }
650   if (0 != (h->ccs & COCO_TRANSMIT_READY))
651     {
652 #if DEBUG_CONNECTION
653       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
654                   "connect_fail_continuation cancels timeout_task, triggers transmit_ready (%p)\n",
655                   h);
656 #endif
657       GNUNET_assert (h->nth.timeout_task != GNUNET_SCHEDULER_NO_TASK);
658       GNUNET_SCHEDULER_cancel (h->nth.timeout_task);
659       h->nth.timeout_task = GNUNET_SCHEDULER_NO_TASK;
660       h->ccs -= COCO_TRANSMIT_READY;
661       GNUNET_assert (h->write_task == GNUNET_SCHEDULER_NO_TASK);
662       h->write_task = GNUNET_SCHEDULER_add_now (&transmit_ready, h);
663     }
664   if (0 != (h->ccs & COCO_DESTROY_CONTINUATION))
665     {
666 #if DEBUG_CONNECTION
667       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
668                   "connect_fail_continuation runs destroy_continuation (%p)\n",
669                   h);
670 #endif
671       h->ccs -= COCO_DESTROY_CONTINUATION;
672       GNUNET_assert (GNUNET_SCHEDULER_NO_TASK == h->destroy_task);
673       h->destroy_task
674         = GNUNET_SCHEDULER_add_now (&destroy_continuation,
675                                     h);
676     }
677 }
678
679
680 /**
681  * We've succeeded in establishing a connection.
682  *
683  * @param h the connection we tried to establish
684  */
685 static void
686 connect_success_continuation (struct GNUNET_CONNECTION_Handle *h)
687 {
688 #if DEBUG_CONNECTION
689   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
690               "Connection to `%s' succeeded! (%p)\n",
691               GNUNET_a2s (h->addr, h->addrlen), h);
692 #endif
693   /* trigger jobs that waited for the connection */
694   if (0 != (h->ccs & COCO_RECEIVE_AGAIN))
695     {
696 #if DEBUG_CONNECTION
697       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
698                   "connect_success_continuation runs receive_again (%p)\n",
699                   h);
700 #endif
701       h->ccs -= COCO_RECEIVE_AGAIN;
702       h->read_task = GNUNET_SCHEDULER_add_now (&receive_again, h);
703     }
704   if (0 != (h->ccs & COCO_TRANSMIT_READY))
705     {
706 #if DEBUG_CONNECTION
707       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
708                   "connect_success_continuation runs transmit_ready, cancels timeout_task (%p)\n",
709                   h);
710 #endif
711       GNUNET_assert (h->nth.timeout_task != GNUNET_SCHEDULER_NO_TASK);
712       GNUNET_SCHEDULER_cancel (h->nth.timeout_task);
713       h->nth.timeout_task = GNUNET_SCHEDULER_NO_TASK;
714       h->ccs -= COCO_TRANSMIT_READY;
715       GNUNET_assert (h->write_task == GNUNET_SCHEDULER_NO_TASK);
716       h->write_task =
717         GNUNET_SCHEDULER_add_write_net (GNUNET_TIME_absolute_get_remaining
718                                         (h->nth.transmit_timeout), h->sock,
719                                         &transmit_ready, h);
720     }
721   if (0 != (h->ccs & COCO_DESTROY_CONTINUATION))
722     {
723 #if DEBUG_CONNECTION
724       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
725                   "connect_success_continuation runs destroy_continuation (%p)\n",
726                   h);
727 #endif
728       h->ccs -= COCO_DESTROY_CONTINUATION;
729       GNUNET_assert (GNUNET_SCHEDULER_NO_TASK == h->destroy_task);
730       h->destroy_task
731         = GNUNET_SCHEDULER_add_now (&destroy_continuation,
732                                                 h);
733     }
734 }
735
736
737 /**
738  * Scheduler let us know that we're either ready to write on the
739  * socket OR connect timed out.  Do the right thing.
740  *
741  * @param cls the "struct AddressProbe*" with the address that we are probing
742  * @param tc success or failure info about the connect attempt.
743  */
744 static void
745 connect_probe_continuation (void *cls,
746                             const struct GNUNET_SCHEDULER_TaskContext *tc)
747 {
748   struct AddressProbe *ap = cls;
749   struct GNUNET_CONNECTION_Handle *h = ap->h;
750   struct AddressProbe *pos;
751   int error;
752   socklen_t len;
753
754   GNUNET_assert (ap->sock != NULL);
755   GNUNET_CONTAINER_DLL_remove (h->ap_head, h->ap_tail, ap);
756   len = sizeof (error);
757   errno = 0;
758   error = 0;
759   if ( (0 == (tc->reason & GNUNET_SCHEDULER_REASON_WRITE_READY)) ||
760        (GNUNET_OK !=
761         GNUNET_NETWORK_socket_getsockopt (ap->sock, SOL_SOCKET, SO_ERROR,
762                                           &error, &len)) ||
763        (error != 0) )
764     {
765       GNUNET_break (GNUNET_OK == GNUNET_NETWORK_socket_close (ap->sock));
766       GNUNET_free (ap);
767       if ((NULL == h->ap_head) && (h->dns_active == GNUNET_NO))
768         connect_fail_continuation (h);
769       return;
770     }
771   GNUNET_assert (h->sock == NULL);
772   h->sock = ap->sock;
773   GNUNET_assert (h->addr == NULL);
774   h->addr = GNUNET_malloc (ap->addrlen);
775   memcpy (h->addr, ap->addr, ap->addrlen);
776   h->addrlen = ap->addrlen;
777   GNUNET_free (ap);
778   /* cancel all other attempts */
779   while (NULL != (pos = h->ap_head))
780     {
781       GNUNET_break (GNUNET_OK == GNUNET_NETWORK_socket_close (pos->sock));
782       GNUNET_SCHEDULER_cancel (pos->task);
783       GNUNET_CONTAINER_DLL_remove (h->ap_head, h->ap_tail, pos);
784       GNUNET_free (pos);
785     }
786   connect_success_continuation (h);
787 }
788
789
790 /**
791  * Try to establish a socket connection given the specified address.
792  * This function is called by the resolver once we have a DNS reply.
793  *
794  * @param cls our "struct GNUNET_CONNECTION_Handle *"
795  * @param addr address to try, NULL for "last call"
796  * @param addrlen length of addr
797  */
798 static void
799 try_connect_using_address (void *cls,
800                            const struct sockaddr *addr, socklen_t addrlen)
801 {
802   struct GNUNET_CONNECTION_Handle *h = cls;
803   struct AddressProbe *ap;
804   struct GNUNET_TIME_Relative delay;
805
806   if (addr == NULL)
807     {
808       h->dns_active = NULL;
809       if (NULL == h->ap_head)
810         connect_fail_continuation (h);
811       return;
812     }
813   if (h->sock != NULL)
814     return;                     /* already connected */
815   GNUNET_assert (h->addr == NULL);
816   /* try to connect */
817 #if DEBUG_CONNECTION
818   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
819               "Trying to connect using address `%s:%u/%s:%u'\n",
820               h->hostname, h->port, GNUNET_a2s (addr, addrlen), h->port);
821 #endif
822   ap = GNUNET_malloc (sizeof (struct AddressProbe) + addrlen);
823   ap->addr = (const struct sockaddr *) &ap[1];
824   memcpy (&ap[1], addr, addrlen);
825   ap->addrlen = addrlen;
826   ap->h = h;
827
828   switch (ap->addr->sa_family)
829     {
830     case AF_INET:
831       ((struct sockaddr_in *) ap->addr)->sin_port = htons (h->port);
832       break;
833     case AF_INET6:
834       ((struct sockaddr_in6 *) ap->addr)->sin6_port = htons (h->port);
835       break;
836     default:
837       GNUNET_break (0);
838       GNUNET_free (ap);
839       return;                   /* not supported by us */
840     }
841   ap->sock =
842     GNUNET_NETWORK_socket_create (ap->addr->sa_family, SOCK_STREAM, 0);
843   if (ap->sock == NULL)
844     {
845       GNUNET_free (ap);
846       return;                   /* not supported by OS */
847     }
848 #if DEBUG_CONNECTION
849   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
850               _("Trying to connect to `%s' (%p)\n"),
851               GNUNET_a2s (ap->addr, ap->addrlen), h);
852 #endif
853   if ((GNUNET_OK != GNUNET_NETWORK_socket_connect (ap->sock,
854                                                    ap->addr,
855                                                    ap->addrlen)) &&
856       (errno != EINPROGRESS))
857     {
858       /* maybe refused / unsupported address, try next */
859       GNUNET_log_strerror (GNUNET_ERROR_TYPE_INFO, "connect");
860       GNUNET_break (GNUNET_OK == GNUNET_NETWORK_socket_close (ap->sock));
861       GNUNET_free (ap);
862       return;
863     }
864   GNUNET_CONTAINER_DLL_insert (h->ap_head, h->ap_tail, ap);
865   delay = GNUNET_CONNECTION_CONNECT_RETRY_TIMEOUT;
866   if (h->nth.notify_ready != NULL)
867     delay = GNUNET_TIME_relative_min (delay,
868                                       GNUNET_TIME_absolute_get_remaining
869                                       (h->nth.transmit_timeout));
870   if (h->receiver != NULL)
871     delay = GNUNET_TIME_relative_min (delay,
872                                       GNUNET_TIME_absolute_get_remaining
873                                       (h->receive_timeout));
874   ap->task =
875     GNUNET_SCHEDULER_add_write_net (delay, ap->sock,
876                                     &connect_probe_continuation, ap);
877 }
878
879
880 /**
881  * Create a socket handle by (asynchronously) connecting to a host.
882  * This function returns immediately, even if the connection has not
883  * yet been established.  This function only creates TCP connections.
884  *
885  * @param cfg configuration to use
886  * @param hostname name of the host to connect to
887  * @param port port to connect to
888  * @return the socket handle
889  */
890 struct GNUNET_CONNECTION_Handle *
891 GNUNET_CONNECTION_create_from_connect (const struct
892                                        GNUNET_CONFIGURATION_Handle *cfg,
893                                        const char *hostname, uint16_t port)
894 {
895   struct GNUNET_CONNECTION_Handle *ret;
896
897   GNUNET_assert (0 < strlen (hostname));        /* sanity check */
898   ret = GNUNET_malloc (sizeof (struct GNUNET_CONNECTION_Handle));
899   ret->cfg = cfg;
900   ret->write_buffer_size = GNUNET_SERVER_MIN_BUFFER_SIZE;
901   ret->write_buffer = GNUNET_malloc(ret->write_buffer_size);
902   ret->port = port;
903   ret->hostname = GNUNET_strdup (hostname);
904   ret->dns_active = GNUNET_RESOLVER_ip_get (cfg,
905                                             ret->hostname,
906                                             AF_UNSPEC,
907                                             GNUNET_CONNECTION_CONNECT_RETRY_TIMEOUT,
908                                             &try_connect_using_address, ret);
909   return ret;
910 }
911
912
913 /**
914  * Create a socket handle by connecting to a UNIX domain service.
915  * This function returns immediately, even if the connection has not
916  * yet been established.  This function only creates UNIX connections.
917  *
918  * @param cfg configuration to use
919  * @param unixpath path to connect to
920  * @return the socket handle, NULL on systems without UNIX support
921  */
922 struct GNUNET_CONNECTION_Handle *
923 GNUNET_CONNECTION_create_from_connect_to_unixpath (const struct
924                                                    GNUNET_CONFIGURATION_Handle *cfg,
925                                                    const char *unixpath)
926 {
927 #ifdef AF_UNIX
928   struct GNUNET_CONNECTION_Handle *ret;
929   struct sockaddr_un *un;
930   size_t slen;
931
932   GNUNET_assert (0 < strlen (unixpath));        /* sanity check */
933   un = GNUNET_malloc (sizeof (struct sockaddr_un));
934   un->sun_family = AF_UNIX;
935   slen = strlen (unixpath);
936   if (slen >= sizeof (un->sun_path))
937     slen = sizeof (un->sun_path) - 1;
938   memcpy (un->sun_path,
939           unixpath,
940           slen);
941   un->sun_path[slen] = '\0';
942   slen = sizeof (struct sockaddr_un);
943 #if HAVE_SOCKADDR_IN_SIN_LEN
944   un->sun_len = (u_char) slen;
945 #endif
946 #if LINUX
947   un->sun_path[0] = '\0';
948 #endif
949   ret = GNUNET_malloc (sizeof (struct GNUNET_CONNECTION_Handle));
950   ret->cfg = cfg;
951   ret->write_buffer_size = GNUNET_SERVER_MIN_BUFFER_SIZE;
952   ret->write_buffer = GNUNET_malloc(ret->write_buffer_size);
953   ret->port = 0;
954   ret->hostname = NULL;
955   ret->addr = (struct sockaddr*) un;
956   ret->addrlen = slen;
957   ret->sock = GNUNET_NETWORK_socket_create (AF_UNIX, SOCK_STREAM, 0);
958   if (NULL == ret->sock)
959     {
960       GNUNET_free (ret->addr);
961       GNUNET_free (ret->write_buffer);
962       GNUNET_free (ret);
963       return NULL;
964     }
965   if (GNUNET_OK != GNUNET_NETWORK_socket_connect (ret->sock,
966                                                   ret->addr,
967                                                   ret->addrlen)) 
968     {
969       /* Just return; we expect everything to work eventually so don't fail HARD */
970       GNUNET_break (GNUNET_OK == GNUNET_NETWORK_socket_close (ret->sock));
971       ret->sock = NULL;
972       return ret;
973     }
974   connect_success_continuation (ret);
975   return ret;
976 #else
977   return NULL;
978 #endif
979 }
980
981
982 /**
983  * Create a socket handle by (asynchronously) connecting to a host.
984  * This function returns immediately, even if the connection has not
985  * yet been established.  This function only creates TCP connections.
986  *
987  * @param af_family address family to use
988  * @param serv_addr server address
989  * @param addrlen length of server address
990  * @return the socket handle
991  */
992 struct GNUNET_CONNECTION_Handle *
993 GNUNET_CONNECTION_create_from_sockaddr (int af_family,
994                                         const struct sockaddr *serv_addr,
995                                         socklen_t addrlen)
996 {
997   struct GNUNET_NETWORK_Handle *s;
998   struct GNUNET_CONNECTION_Handle *ret;
999
1000
1001   s = GNUNET_NETWORK_socket_create (af_family, SOCK_STREAM, 0);
1002   if (s == NULL)
1003     {
1004       GNUNET_log_strerror (GNUNET_ERROR_TYPE_WARNING |
1005                            GNUNET_ERROR_TYPE_BULK, "socket");
1006       return NULL;
1007     }
1008   if ((GNUNET_OK != GNUNET_NETWORK_socket_connect (s, serv_addr, addrlen))
1009       && (errno != EINPROGRESS))
1010     {
1011       /* maybe refused / unsupported address, try next */
1012       GNUNET_log_strerror (GNUNET_ERROR_TYPE_INFO, "connect");
1013       GNUNET_break (GNUNET_OK == GNUNET_NETWORK_socket_close (s));
1014       return NULL;
1015     }
1016   ret = GNUNET_CONNECTION_create_from_existing (s);
1017   ret->addr = GNUNET_malloc (addrlen);
1018   memcpy (ret->addr, serv_addr, addrlen);
1019   ret->addrlen = addrlen;
1020 #if DEBUG_CONNECTION
1021   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
1022               _("Trying to connect to `%s' (%p)\n"),
1023               GNUNET_a2s (serv_addr, addrlen), ret);
1024 #endif
1025   return ret;
1026 }
1027
1028
1029 /**
1030  * Check if socket is valid (no fatal errors have happened so far).
1031  * Note that a socket that is still trying to connect is considered
1032  * valid.
1033  *
1034  * @param sock socket to check
1035  * @return GNUNET_YES if valid, GNUNET_NO otherwise
1036  */
1037 int
1038 GNUNET_CONNECTION_check (struct GNUNET_CONNECTION_Handle *sock)
1039 {
1040   if ((sock->ap_head != NULL) || (sock->dns_active != NULL))
1041     return GNUNET_YES;          /* still trying to connect */
1042   return (sock->sock == NULL) ? GNUNET_NO : GNUNET_YES;
1043 }
1044
1045
1046 /**
1047  * Close the socket and free associated resources. Pending
1048  * transmissions may be completed or dropped depending on the
1049  * arguments.   If a receive call is pending and should 
1050  * NOT be completed, 'GNUNET_CONNECTION_receive_cancel'
1051  * should be called explicitly first.
1052  *
1053  * @param sock socket to destroy
1054  * @param finish_pending_write should pending writes be completed or aborted?
1055  *        (this applies to transmissions where the data has already been
1056  *        read from the application; all other transmissions should be
1057  *        aborted using 'GNUNET_CONNECTION_notify_transmit_ready_cancel').
1058  */
1059 void
1060 GNUNET_CONNECTION_destroy (struct GNUNET_CONNECTION_Handle *sock,
1061                            int finish_pending_write)
1062 {
1063   if (GNUNET_NO == finish_pending_write)
1064     {
1065       if (sock->write_task != GNUNET_SCHEDULER_NO_TASK)
1066         {
1067           GNUNET_SCHEDULER_cancel (sock->write_task);
1068           sock->write_task = GNUNET_SCHEDULER_NO_TASK;
1069           sock->write_buffer_off = 0;
1070         }
1071     }
1072   if ((sock->write_buffer_off == 0) && (sock->dns_active != NULL))
1073     {
1074       GNUNET_RESOLVER_request_cancel (sock->dns_active);
1075       sock->dns_active = NULL;
1076     }
1077
1078   GNUNET_assert (GNUNET_SCHEDULER_NO_TASK == sock->destroy_task);
1079   sock->destroy_task 
1080     = GNUNET_SCHEDULER_add_now (&destroy_continuation, sock);
1081 }
1082
1083
1084 /**
1085  * Tell the receiver callback that a timeout was reached.
1086  */
1087 static void
1088 signal_timeout (struct GNUNET_CONNECTION_Handle *sh)
1089 {
1090   GNUNET_CONNECTION_Receiver receiver;
1091
1092 #if DEBUG_CONNECTION
1093   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1094               "Network signals time out to receiver (%p)!\n", sh);
1095 #endif
1096   GNUNET_assert (NULL != (receiver = sh->receiver));
1097   sh->receiver = NULL;
1098   receiver (sh->receiver_cls, NULL, 0, NULL, 0, 0);
1099 }
1100
1101
1102 /**
1103  * Tell the receiver callback that we had an IO error.
1104  */
1105 static void
1106 signal_error (struct GNUNET_CONNECTION_Handle *sh, int errcode)
1107 {
1108   GNUNET_CONNECTION_Receiver receiver;
1109   GNUNET_assert (NULL != (receiver = sh->receiver));
1110   sh->receiver = NULL;
1111   receiver (sh->receiver_cls, NULL, 0, sh->addr, sh->addrlen, errcode);
1112 }
1113
1114
1115 /**
1116  * This function is called once we either timeout
1117  * or have data ready to read.
1118  */
1119 static void
1120 receive_ready (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1121 {
1122   struct GNUNET_CONNECTION_Handle *sh = cls;
1123   struct GNUNET_TIME_Absolute now;
1124   char buffer[sh->max];
1125   ssize_t ret;
1126   GNUNET_CONNECTION_Receiver receiver;
1127
1128   sh->read_task = GNUNET_SCHEDULER_NO_TASK;
1129   if ( (GNUNET_YES == sh->ignore_shutdown) &&
1130        (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))) 
1131     {
1132       /* ignore shutdown request, go again immediately */
1133 #if DEBUG_CONNECTION
1134       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1135                   "Ignoring shutdown signal per configuration\n");
1136 #endif
1137       sh->read_task = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_absolute_get_remaining
1138                                                      (sh->receive_timeout),
1139                                                      sh->sock,
1140                                                      &receive_ready, sh);
1141       return;
1142     }
1143   now = GNUNET_TIME_absolute_get ();
1144   if ((now.abs_value > sh->receive_timeout.abs_value) ||
1145       (0 != (tc->reason & GNUNET_SCHEDULER_REASON_TIMEOUT)) ||
1146       (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN)))
1147     {
1148 #if DEBUG_CONNECTION
1149       if (0 == (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
1150         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1151                     "Receive from `%s' encounters error: time out by %llums... (%p)\n",
1152                     GNUNET_a2s (sh->addr, sh->addrlen),
1153                     GNUNET_TIME_absolute_get_duration (sh->receive_timeout).
1154                     rel_value, sh);
1155 #endif
1156       signal_timeout (sh);
1157       return;
1158     }
1159   if (sh->sock == NULL)
1160     {
1161       /* connect failed for good */
1162 #if DEBUG_CONNECTION
1163       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1164                   "Receive encounters error, socket closed... (%p)\n", sh);
1165 #endif
1166       signal_error (sh, ECONNREFUSED);
1167       return;
1168     }
1169   GNUNET_assert (GNUNET_NETWORK_fdset_isset (tc->read_ready, sh->sock));
1170 RETRY:
1171   ret = GNUNET_NETWORK_socket_recv (sh->sock, buffer, sh->max);
1172   if (ret == -1)
1173     {
1174       if (errno == EINTR)
1175         goto RETRY;
1176 #if DEBUG_CONNECTION
1177       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1178                   "Error receiving: %s\n", STRERROR (errno));
1179 #endif
1180       signal_error (sh, errno);
1181       return;
1182     }
1183 #if DEBUG_CONNECTION
1184   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1185               "receive_ready read %u/%u bytes from `%s' (%p)!\n",
1186               (unsigned int) ret,
1187               sh->max, GNUNET_a2s (sh->addr, sh->addrlen), sh);
1188 #endif
1189   GNUNET_assert (NULL != (receiver = sh->receiver));
1190   sh->receiver = NULL;
1191   receiver (sh->receiver_cls, buffer, ret, sh->addr, sh->addrlen, 0);
1192 }
1193
1194
1195 /**
1196  * This function is called after establishing a connection either has
1197  * succeeded or timed out.  Note that it is possible that the attempt
1198  * timed out and that we're immediately retrying.  If we are retrying,
1199  * we need to wait again (or timeout); if we succeeded, we need to
1200  * wait for data (or timeout).
1201  *
1202  * @param cls our connection handle
1203  * @param tc task context describing why we are here
1204  */
1205 static void
1206 receive_again (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1207 {
1208   struct GNUNET_CONNECTION_Handle *sh = cls;
1209   struct GNUNET_TIME_Absolute now;
1210
1211   sh->read_task = GNUNET_SCHEDULER_NO_TASK;
1212   if (sh->sock == NULL)
1213     {
1214       /* not connected and no longer trying */
1215 #if DEBUG_CONNECTION
1216       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1217                   "Receive encounters error, socket closed (%p)...\n", sh);
1218 #endif
1219       signal_error (sh, ECONNREFUSED);
1220       return;
1221     }
1222   now = GNUNET_TIME_absolute_get ();
1223   if ((now.abs_value > sh->receive_timeout.abs_value) ||
1224       (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN)))
1225     {
1226 #if DEBUG_CONNECTION
1227       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1228                   "Receive encounters error: time out (%p)...\n", sh);
1229 #endif
1230       signal_timeout (sh);
1231       return;
1232     }
1233   GNUNET_assert (sh->sock != NULL);
1234   /* connect succeeded, wait for data! */
1235   sh->read_task = GNUNET_SCHEDULER_add_read_net (GNUNET_TIME_absolute_get_remaining
1236                                                  (sh->receive_timeout),
1237                                                  sh->sock,
1238                                                  &receive_ready, sh);
1239 }
1240
1241
1242 /**
1243  * Receive data from the given socket.  Note that this function will
1244  * call "receiver" asynchronously using the scheduler.  It will
1245  * "immediately" return.  Note that there MUST only be one active
1246  * receive call per socket at any given point in time (so do not
1247  * call receive again until the receiver callback has been invoked).
1248  *
1249  * @param sock socket handle
1250  * @param max maximum number of bytes to read
1251  * @param timeout maximum amount of time to wait (use -1 for "forever")
1252  * @param receiver function to call with received data
1253  * @param receiver_cls closure for receiver
1254  */
1255 void
1256 GNUNET_CONNECTION_receive (struct GNUNET_CONNECTION_Handle *sock,
1257                            size_t max,
1258                            struct GNUNET_TIME_Relative timeout,
1259                            GNUNET_CONNECTION_Receiver receiver,
1260                            void *receiver_cls)
1261 {
1262   struct GNUNET_SCHEDULER_TaskContext tc;
1263
1264   GNUNET_assert ((sock->read_task == GNUNET_SCHEDULER_NO_TASK) &&
1265                  (0 == (sock->ccs & COCO_RECEIVE_AGAIN)) &&
1266                  (sock->receiver == NULL));
1267   sock->receiver = receiver;
1268   sock->receiver_cls = receiver_cls;
1269   sock->receive_timeout = GNUNET_TIME_relative_to_absolute (timeout);
1270   sock->max = max;
1271   if (sock->sock != NULL)
1272     {
1273       memset (&tc, 0, sizeof (tc));
1274       tc.reason = GNUNET_SCHEDULER_REASON_PREREQ_DONE;
1275       receive_again (sock, &tc);
1276       return;
1277     }
1278   if ((sock->dns_active == NULL) && (sock->ap_head == NULL))
1279     {
1280       receiver (receiver_cls, NULL, 0, NULL, 0, ETIMEDOUT);
1281       return;
1282     }
1283   sock->ccs += COCO_RECEIVE_AGAIN;
1284 }
1285
1286
1287 /**
1288  * Configure this connection to ignore shutdown signals.
1289  *
1290  * @param sock socket handle
1291  * @param do_ignore GNUNET_YES to ignore, GNUNET_NO to restore default
1292  */
1293 void
1294 GNUNET_CONNECTION_ignore_shutdown (struct GNUNET_CONNECTION_Handle *sock,
1295                                    int do_ignore)
1296 {
1297   sock->ignore_shutdown = do_ignore;
1298 }
1299
1300
1301 /**
1302  * Cancel receive job on the given socket.  Note that the
1303  * receiver callback must not have been called yet in order
1304  * for the cancellation to be valid.
1305  *
1306  * @param sock socket handle
1307  * @return closure of the original receiver callback closure
1308  */
1309 void *
1310 GNUNET_CONNECTION_receive_cancel (struct GNUNET_CONNECTION_Handle *sock)
1311 {
1312   if (sock->read_task != GNUNET_SCHEDULER_NO_TASK)
1313     {
1314       GNUNET_assert (sock == GNUNET_SCHEDULER_cancel (sock->read_task));
1315       sock->read_task = GNUNET_SCHEDULER_NO_TASK;
1316     }
1317   else
1318     {
1319       GNUNET_assert (0 != (sock->ccs & COCO_RECEIVE_AGAIN));
1320       sock->ccs -= COCO_RECEIVE_AGAIN;
1321     }
1322   sock->receiver = NULL;
1323   return sock->receiver_cls;
1324 }
1325
1326
1327 /**
1328  * Try to call the transmit notify method (check if we do
1329  * have enough space available first)!
1330  *
1331  * @param sock socket for which we should do this processing
1332  * @return GNUNET_YES if we were able to call notify
1333  */
1334 static int
1335 process_notify (struct GNUNET_CONNECTION_Handle *sock)
1336 {
1337   size_t used;
1338   size_t avail;
1339   size_t size;
1340   GNUNET_CONNECTION_TransmitReadyNotify notify;
1341
1342   GNUNET_assert (sock->write_task == GNUNET_SCHEDULER_NO_TASK);
1343   if (NULL == (notify = sock->nth.notify_ready))
1344     return GNUNET_NO;
1345   used = sock->write_buffer_off - sock->write_buffer_pos;
1346   avail = sock->write_buffer_size - used;
1347   size = sock->nth.notify_size;
1348   if (size > avail)
1349     return GNUNET_NO;
1350   sock->nth.notify_ready = NULL;
1351   if (sock->write_buffer_size - sock->write_buffer_off < size)
1352     {
1353       /* need to compact */
1354       memmove (sock->write_buffer,
1355                &sock->write_buffer[sock->write_buffer_pos], used);
1356       sock->write_buffer_off -= sock->write_buffer_pos;
1357       sock->write_buffer_pos = 0;
1358     }
1359   avail = sock->write_buffer_size - sock->write_buffer_off;
1360   GNUNET_assert (avail >= size);
1361   size = notify (sock->nth.notify_ready_cls,
1362                  avail,
1363                  &sock->write_buffer[sock->write_buffer_off]);
1364   GNUNET_assert (size <= avail);
1365   sock->write_buffer_off += size;
1366   return GNUNET_YES;
1367 }
1368
1369
1370 /**
1371  * Task invoked by the scheduler when a call to transmit
1372  * is timing out (we never got enough buffer space to call
1373  * the callback function before the specified timeout
1374  * expired).
1375  *
1376  * This task notifies the client about the timeout.
1377  *
1378  * @param cls the 'struct GNUNET_CONNECTION_Handle'
1379  * @param tc scheduler context
1380  */
1381 static void
1382 transmit_timeout (void *cls, 
1383                   const struct GNUNET_SCHEDULER_TaskContext *tc)
1384 {
1385   struct GNUNET_CONNECTION_Handle *sock = cls;
1386   GNUNET_CONNECTION_TransmitReadyNotify notify;
1387
1388 #if DEBUG_CONNECTION
1389   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1390               "transmit_timeout running (%p)\n", sock);
1391 #endif
1392   sock->nth.timeout_task = GNUNET_SCHEDULER_NO_TASK;
1393 #if DEBUG_CONNECTION
1394   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1395               "Transmit to `%s:%u/%s' fails, time out reached (%p).\n",
1396               sock->hostname,
1397               sock->port, GNUNET_a2s (sock->addr, sock->addrlen), sock);
1398 #endif
1399   GNUNET_assert (0 != (sock->ccs & COCO_TRANSMIT_READY));
1400   sock->ccs -= COCO_TRANSMIT_READY;     /* remove request */
1401   notify = sock->nth.notify_ready;
1402   sock->nth.notify_ready = NULL;
1403   notify (sock->nth.notify_ready_cls, 0, NULL);
1404 }
1405
1406
1407 /**
1408  * Task invoked by the scheduler when we failed to connect
1409  * at the time of being asked to transmit.
1410  *
1411  * This task notifies the client about the error.
1412  *
1413  * @param cls the 'struct GNUNET_CONNECTION_Handle'
1414  * @param tc scheduler context
1415  */
1416 static void
1417 connect_error (void *cls, 
1418                const struct GNUNET_SCHEDULER_TaskContext *tc)
1419 {
1420   struct GNUNET_CONNECTION_Handle *sock = cls;
1421   GNUNET_CONNECTION_TransmitReadyNotify notify;
1422
1423   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1424               "Transmission request of size %u fails (%d/%s/%u), connection failed (%p).\n",
1425               sock->nth.notify_size, 
1426               (sock->sock != NULL) ? *(int*) sock->sock : -1,
1427               sock->hostname,
1428               sock->port,
1429               sock);
1430 #if DEBUG_CONNECTION
1431   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1432               "Transmission request of size %u fails, connection failed (%p).\n",
1433               sock->nth.notify_size, sock);
1434 #endif
1435   sock->write_task = GNUNET_SCHEDULER_NO_TASK;
1436   notify = sock->nth.notify_ready;
1437   sock->nth.notify_ready = NULL;
1438   notify (sock->nth.notify_ready_cls, 0, NULL);
1439 }
1440
1441
1442 /**
1443  * FIXME
1444  *
1445  * @param sock FIXME
1446  */
1447 static void
1448 transmit_error (struct GNUNET_CONNECTION_Handle *sock)
1449 {
1450   GNUNET_CONNECTION_TransmitReadyNotify notify;
1451
1452   if (NULL != sock->sock)
1453     {
1454       GNUNET_NETWORK_socket_shutdown (sock->sock, SHUT_RDWR);
1455       GNUNET_break (GNUNET_OK ==
1456                     GNUNET_NETWORK_socket_close (sock->sock));
1457       sock->sock = NULL;
1458     }
1459   if (sock->read_task != GNUNET_SCHEDULER_NO_TASK)
1460     {
1461       GNUNET_SCHEDULER_cancel (sock->read_task);
1462       sock->read_task = GNUNET_SCHEDULER_NO_TASK;
1463       signal_timeout (sock);
1464       return;
1465     }
1466   if (sock->nth.notify_ready == NULL)
1467     return;                     /* nobody to tell about it */
1468   notify = sock->nth.notify_ready;
1469   sock->nth.notify_ready = NULL;
1470   notify (sock->nth.notify_ready_cls, 0, NULL);
1471 }
1472
1473
1474 /**
1475  * See if we are now connected.  If not, wait longer for
1476  * connect to succeed.  If connected, we should be able
1477  * to write now as well, unless we timed out.
1478  *
1479  * @param cls our connection handle
1480  * @param tc task context describing why we are here
1481  */
1482 static void
1483 transmit_ready (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1484 {
1485   struct GNUNET_CONNECTION_Handle *sock = cls;
1486   GNUNET_CONNECTION_TransmitReadyNotify notify;
1487   ssize_t ret;
1488   size_t have;
1489
1490 #if DEBUG_CONNECTION
1491   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1492               "transmit_ready running (%p).\n", sock);
1493 #endif
1494   GNUNET_assert (sock->write_task != GNUNET_SCHEDULER_NO_TASK);
1495   sock->write_task = GNUNET_SCHEDULER_NO_TASK;
1496   GNUNET_assert (sock->nth.timeout_task == GNUNET_SCHEDULER_NO_TASK);
1497   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN)) 
1498     {
1499       if (sock->ignore_shutdown == GNUNET_YES)
1500         goto SCHEDULE_WRITE;    /* ignore shutdown, go again immediately */
1501 #if DEBUG_CONNECTION
1502       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1503                   "Transmit to `%s' fails, shutdown happened (%p).\n",
1504                   GNUNET_a2s (sock->addr, sock->addrlen), sock);
1505 #endif
1506       notify = sock->nth.notify_ready;
1507       sock->nth.notify_ready = NULL;
1508       notify (sock->nth.notify_ready_cls, 0, NULL);
1509       return;
1510     }
1511   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_TIMEOUT))
1512     {
1513 #if DEBUG_CONNECTION
1514       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1515                   "Transmit to `%s' fails, time out reached (%p).\n",
1516                   GNUNET_a2s (sock->addr, sock->addrlen), sock);
1517 #endif
1518       notify = sock->nth.notify_ready;
1519       sock->nth.notify_ready = NULL;
1520       notify (sock->nth.notify_ready_cls, 0, NULL);
1521       return;
1522     }
1523   GNUNET_assert (NULL != sock->sock);
1524   if (tc->write_ready == NULL)
1525     {
1526       /* special circumstances (in particular,
1527          PREREQ_DONE after connect): not yet ready to write,
1528          but no "fatal" error either.  Hence retry.  */
1529       goto SCHEDULE_WRITE;
1530     }
1531   if (!GNUNET_NETWORK_fdset_isset (tc->write_ready, sock->sock))
1532     {
1533 #if DEBUG_CONNECTION
1534       GNUNET_log (GNUNET_ERROR_TYPE_INFO,
1535                   _
1536                   ("Could not satisfy pending transmission request, socket closed or connect failed (%p).\n"),
1537                   sock);
1538 #endif
1539       transmit_error (sock);
1540       return;                   /* connect failed for good, we're finished */
1541     }
1542   GNUNET_assert (sock->write_buffer_off >= sock->write_buffer_pos);
1543   if ( (sock->nth.notify_ready != NULL) &&
1544        (sock->write_buffer_size < sock->nth.notify_size) )
1545     {
1546       sock->write_buffer = GNUNET_realloc(sock->write_buffer, 
1547                                           sock->nth.notify_size);
1548       sock->write_buffer_size = sock->nth.notify_size;
1549     }    
1550   process_notify (sock);
1551   have = sock->write_buffer_off - sock->write_buffer_pos;
1552   if (have == 0)
1553     {
1554       /* no data ready for writing, terminate write loop */
1555       return;
1556     }
1557   GNUNET_assert (have <= sock->write_buffer_size);
1558   GNUNET_assert (have + sock->write_buffer_pos <= sock->write_buffer_size);
1559   GNUNET_assert (sock->write_buffer_pos <= sock->write_buffer_size);
1560 RETRY:
1561   ret = GNUNET_NETWORK_socket_send (sock->sock,
1562                                     &sock->write_buffer[sock->
1563                                                         write_buffer_pos],
1564                                     have);
1565   if (ret == -1)
1566     {
1567       if (errno == EINTR)
1568         goto RETRY;
1569 #if 0
1570       int en = errno;
1571       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1572                   _("Failed to send to `%s': %s\n"),
1573                   GNUNET_a2s (sock->addr,
1574                               sock->addrlen),
1575                   STRERROR (en));
1576 #endif
1577 #if DEBUG_CONNECTION
1578       GNUNET_log_strerror (GNUNET_ERROR_TYPE_DEBUG, "send");
1579 #endif
1580       transmit_error (sock);
1581       return;
1582     }
1583 #if DEBUG_CONNECTION
1584   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1585               "transmit_ready transmitted %u/%u bytes to `%s' (%p)\n",
1586               (unsigned int) ret,
1587               have, GNUNET_a2s (sock->addr, sock->addrlen), sock);
1588 #endif
1589   sock->write_buffer_pos += ret;
1590   if (sock->write_buffer_pos == sock->write_buffer_off)
1591     {
1592       /* transmitted all pending data */
1593       sock->write_buffer_pos = 0;
1594       sock->write_buffer_off = 0;
1595     }
1596   if ((sock->write_buffer_off == 0) && (NULL == sock->nth.notify_ready))
1597     return;                     /* all data sent! */
1598   /* not done writing, schedule more */
1599 SCHEDULE_WRITE:
1600 #if DEBUG_CONNECTION
1601   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1602               "Re-scheduling transmit_ready (more to do) (%p).\n", sock);
1603 #endif
1604   if (sock->write_task == GNUNET_SCHEDULER_NO_TASK)
1605     sock->write_task =
1606       GNUNET_SCHEDULER_add_write_net (GNUNET_TIME_absolute_get_remaining
1607                                       (sock->nth.transmit_timeout),
1608                                       sock->sock, &transmit_ready, sock);
1609 }
1610
1611
1612 /**
1613  * Ask the socket to call us once the specified number of bytes
1614  * are free in the transmission buffer.  May call the notify
1615  * method immediately if enough space is available.
1616  *
1617  * @param sock socket
1618  * @param size number of bytes to send
1619  * @param timeout after how long should we give up (and call
1620  *        notify with buf NULL and size 0)?
1621  * @param notify function to call
1622  * @param notify_cls closure for notify
1623  * @return non-NULL if the notify callback was queued,
1624  *         NULL if we are already going to notify someone else (busy)
1625  */
1626 struct GNUNET_CONNECTION_TransmitHandle *
1627 GNUNET_CONNECTION_notify_transmit_ready (struct GNUNET_CONNECTION_Handle
1628                                          *sock, size_t size,
1629                                          struct GNUNET_TIME_Relative timeout,
1630                                          GNUNET_CONNECTION_TransmitReadyNotify
1631                                          notify, void *notify_cls)
1632 {
1633   if (sock->nth.notify_ready != NULL)
1634     {
1635       GNUNET_break (0);
1636       return NULL;
1637     }
1638   GNUNET_assert (notify != NULL);
1639   GNUNET_assert (size < GNUNET_SERVER_MAX_MESSAGE_SIZE);
1640   GNUNET_assert (sock->write_buffer_off <= sock->write_buffer_size);
1641   GNUNET_assert (sock->write_buffer_pos <= sock->write_buffer_size);
1642   GNUNET_assert (sock->write_buffer_pos <= sock->write_buffer_off);
1643   sock->nth.notify_ready = notify;
1644   sock->nth.notify_ready_cls = notify_cls;
1645   sock->nth.sh = sock;
1646   sock->nth.notify_size = size;
1647   sock->nth.transmit_timeout = GNUNET_TIME_relative_to_absolute (timeout);
1648   GNUNET_assert (GNUNET_SCHEDULER_NO_TASK == sock->nth.timeout_task);
1649   if ((sock->sock == NULL) &&
1650       (sock->ap_head == NULL) && (sock->dns_active == NULL))
1651     {
1652       if (sock->write_task != GNUNET_SCHEDULER_NO_TASK)
1653         GNUNET_SCHEDULER_cancel (sock->write_task);
1654       sock->write_task = GNUNET_SCHEDULER_add_now (&connect_error, sock);
1655       return &sock->nth;
1656     }
1657   if (GNUNET_SCHEDULER_NO_TASK != sock->write_task)
1658     return &sock->nth;
1659   if (sock->sock != NULL)
1660     {
1661 #if DEBUG_CONNECTION
1662       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1663                   "Scheduling transmit_ready (%p).\n", sock);
1664 #endif
1665       sock->write_task = GNUNET_SCHEDULER_add_write_net (GNUNET_TIME_absolute_get_remaining
1666                                                          (sock->nth.
1667                                                           transmit_timeout),
1668                                                          sock->sock,
1669                                                          &transmit_ready,
1670                                                          sock);
1671     }
1672   else
1673     {
1674 #if DEBUG_CONNECTION
1675       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1676                   "CCS-Scheduling transmit_ready, adding timeout task (%p).\n",
1677                   sock);
1678 #endif
1679       sock->ccs |= COCO_TRANSMIT_READY;
1680       sock->nth.timeout_task = GNUNET_SCHEDULER_add_delayed (timeout,
1681                                                              &transmit_timeout,
1682                                                              sock);
1683     }
1684   return &sock->nth;
1685 }
1686
1687
1688 /**
1689  * Cancel the specified transmission-ready
1690  * notification.
1691  */
1692 void
1693 GNUNET_CONNECTION_notify_transmit_ready_cancel (struct
1694                                                 GNUNET_CONNECTION_TransmitHandle
1695                                                 *h)
1696 {
1697   GNUNET_assert (h->notify_ready != NULL);
1698   if (0 != (h->sh->ccs & COCO_TRANSMIT_READY))
1699     {
1700 #if DEBUG_CONNECTION
1701       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1702                   "notify_transmit_ready_cancel cancels timeout_task (%p)\n",
1703                   h);
1704 #endif
1705       GNUNET_SCHEDULER_cancel (h->timeout_task);
1706       h->timeout_task = GNUNET_SCHEDULER_NO_TASK;
1707       h->sh->ccs -= COCO_TRANSMIT_READY;
1708     }
1709   else
1710     {
1711       if (h->sh->write_task != GNUNET_SCHEDULER_NO_TASK)
1712         {
1713           GNUNET_SCHEDULER_cancel (h->sh->write_task);
1714           h->sh->write_task = GNUNET_SCHEDULER_NO_TASK;
1715         }
1716     }
1717   h->notify_ready = NULL;
1718 }
1719
1720 /* end of connection.c */