- pausing, unpausing
[oweals/gnunet.git] / src / transport / plugin_transport_tcp.c
1 /*
2      This file is part of GNUnet
3      (C) 2002--2012 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20 /**
21  * @file transport/plugin_transport_tcp.c
22  * @brief Implementation of the TCP transport service
23  * @author Christian Grothoff
24  */
25 #include "platform.h"
26 #include "gnunet_hello_lib.h"
27 #include "gnunet_constants.h"
28 #include "gnunet_connection_lib.h"
29 #include "gnunet_container_lib.h"
30 #include "gnunet_nat_lib.h"
31 #include "gnunet_os_lib.h"
32 #include "gnunet_protocols.h"
33 #include "gnunet_resolver_service.h"
34 #include "gnunet_server_lib.h"
35 #include "gnunet_service_lib.h"
36 #include "gnunet_signatures.h"
37 #include "gnunet_statistics_service.h"
38 #include "gnunet_transport_service.h"
39 #include "gnunet_transport_plugin.h"
40 #include "transport.h"
41
42 #define LOG(kind,...) GNUNET_log_from (kind, "transport-tcp",__VA_ARGS__)
43
44 /**
45  * How long until we give up on establishing an NAT connection?
46  * Must be > 4 RTT
47  */
48 #define NAT_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 10)
49
50
51 GNUNET_NETWORK_STRUCT_BEGIN
52
53 /**
54  * Initial handshake message for a session.
55  */
56 struct WelcomeMessage
57 {
58   /**
59    * Type is GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_WELCOME.
60    */
61   struct GNUNET_MessageHeader header;
62
63   /**
64    * Identity of the node connecting (TCP client)
65    */
66   struct GNUNET_PeerIdentity clientIdentity;
67
68 };
69
70
71 /**
72  * Basically a WELCOME message, but with the purpose
73  * of giving the waiting peer a client handle to use
74  */
75 struct TCP_NAT_ProbeMessage
76 {
77   /**
78    * Type is GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_NAT_PROBE.
79    */
80   struct GNUNET_MessageHeader header;
81
82   /**
83    * Identity of the sender of the message.
84    */
85   struct GNUNET_PeerIdentity clientIdentity;
86
87 };
88 GNUNET_NETWORK_STRUCT_END
89
90 /**
91  * Context for sending a NAT probe via TCP.
92  */
93 struct TCPProbeContext
94 {
95
96   /**
97    * Active probes are kept in a DLL.
98    */
99   struct TCPProbeContext *next;
100
101   /**
102    * Active probes are kept in a DLL.
103    */
104   struct TCPProbeContext *prev;
105
106   /**
107    * Probe connection.
108    */
109   struct GNUNET_CONNECTION_Handle *sock;
110
111   /**
112    * Message to be sent.
113    */
114   struct TCP_NAT_ProbeMessage message;
115
116   /**
117    * Handle to the transmission.
118    */
119   struct GNUNET_CONNECTION_TransmitHandle *transmit_handle;
120
121   /**
122    * Transport plugin handle.
123    */
124   struct Plugin *plugin;
125 };
126
127
128 GNUNET_NETWORK_STRUCT_BEGIN
129
130 /**
131  * Network format for IPv4 addresses.
132  */
133 struct IPv4TcpAddress
134 {
135   /**
136    * IPv4 address, in network byte order.
137    */
138   uint32_t ipv4_addr GNUNET_PACKED;
139
140   /**
141    * Port number, in network byte order.
142    */
143   uint16_t t4_port GNUNET_PACKED;
144
145 };
146
147
148 /**
149  * Network format for IPv6 addresses.
150  */
151 struct IPv6TcpAddress
152 {
153   /**
154    * IPv6 address.
155    */
156   struct in6_addr ipv6_addr GNUNET_PACKED;
157
158   /**
159    * Port number, in network byte order.
160    */
161   uint16_t t6_port GNUNET_PACKED;
162
163 };
164 GNUNET_NETWORK_STRUCT_END
165
166 /**
167  * Encapsulation of all of the state of the plugin.
168  */
169 struct Plugin;
170
171
172 /**
173  * Information kept for each message that is yet to
174  * be transmitted.
175  */
176 struct PendingMessage
177 {
178
179   /**
180    * This is a doubly-linked list.
181    */
182   struct PendingMessage *next;
183
184   /**
185    * This is a doubly-linked list.
186    */
187   struct PendingMessage *prev;
188
189   /**
190    * The pending message
191    */
192   const char *msg;
193
194   /**
195    * Continuation function to call once the message
196    * has been sent.  Can be NULL if there is no
197    * continuation to call.
198    */
199   GNUNET_TRANSPORT_TransmitContinuation transmit_cont;
200
201   /**
202    * Closure for transmit_cont.
203    */
204   void *transmit_cont_cls;
205
206   /**
207    * Timeout value for the pending message.
208    */
209   struct GNUNET_TIME_Absolute timeout;
210
211   /**
212    * So that the gnunet-service-transport can group messages together,
213    * these pending messages need to accept a message buffer and size
214    * instead of just a GNUNET_MessageHeader.
215    */
216   size_t message_size;
217
218 };
219
220
221 /**
222  * Session handle for TCP connections.
223  */
224 struct Session
225 {
226   /**
227    * To whom are we talking to (set to our identity
228    * if we are still waiting for the welcome message)
229    */
230   struct GNUNET_PeerIdentity target;
231
232   /**
233    * API requirement.
234    */
235   struct SessionHeader header;
236
237   /**
238    * Pointer to the global plugin struct.
239    */
240   struct Plugin *plugin;
241
242   /**
243    * The client (used to identify this connection)
244    */
245   struct GNUNET_SERVER_Client *client;
246
247   /**
248    * Task cleaning up a NAT client connection establishment attempt;
249    */
250   GNUNET_SCHEDULER_TaskIdentifier nat_connection_timeout;
251
252   /**
253    * Messages currently pending for transmission
254    * to this peer, if any.
255    */
256   struct PendingMessage *pending_messages_head;
257
258   /**
259    * Messages currently pending for transmission
260    * to this peer, if any.
261    */
262   struct PendingMessage *pending_messages_tail;
263
264   /**
265    * Handle for pending transmission request.
266    */
267   struct GNUNET_SERVER_TransmitHandle *transmit_handle;
268
269   /**
270    * ID of task used to delay receiving more to throttle sender.
271    */
272   GNUNET_SCHEDULER_TaskIdentifier receive_delay_task;
273
274   /**
275    * Session timeout task
276    */
277   GNUNET_SCHEDULER_TaskIdentifier timeout_task;
278
279   /**
280    * Address of the other peer (either based on our 'connect'
281    * call or on our 'accept' call).
282    *
283    * struct IPv4TcpAddress or struct IPv6TcpAddress
284    *
285    */
286   void *addr;
287
288   /**
289    * Length of connect_addr.
290    */
291   size_t addrlen;
292
293   /**
294    * Last activity on this connection.  Used to select preferred
295    * connection.
296    */
297   struct GNUNET_TIME_Absolute last_activity;
298
299   /**
300    * Are we still expecting the welcome message? (GNUNET_YES/GNUNET_NO)
301    */
302   int expecting_welcome;
303
304   /**
305    * Was this a connection that was inbound (we accepted)? (GNUNET_YES/GNUNET_NO)
306    */
307   int inbound;
308
309   /**
310    * Was this session created using NAT traversal?
311    */
312   int is_nat;
313
314   /**
315    * ATS network type in NBO
316    */
317   uint32_t ats_address_network_type;
318 };
319
320
321 /**
322  * Encapsulation of all of the state of the plugin.
323  */
324 struct Plugin
325 {
326   /**
327    * Our environment.
328    */
329   struct GNUNET_TRANSPORT_PluginEnvironment *env;
330
331   /**
332    * The listen socket.
333    */
334   struct GNUNET_CONNECTION_Handle *lsock;
335
336   /**
337    * Our handle to the NAT module.
338    */
339   struct GNUNET_NAT_Handle *nat;
340
341   /**
342    * Map from peer identities to sessions for the given peer.
343    */
344   struct GNUNET_CONTAINER_MultiHashMap *sessionmap;
345
346   /**
347    * Handle to the network service.
348    */
349   struct GNUNET_SERVICE_Context *service;
350
351   /**
352    * Handle to the server for this service.
353    */
354   struct GNUNET_SERVER_Handle *server;
355
356   /**
357    * Copy of the handler array where the closures are
358    * set to this struct's instance.
359    */
360   struct GNUNET_SERVER_MessageHandler *handlers;
361
362   /**
363    * Map of peers we have tried to contact behind a NAT
364    */
365   struct GNUNET_CONTAINER_MultiHashMap *nat_wait_conns;
366
367   /**
368    * List of active TCP probes.
369    */
370   struct TCPProbeContext *probe_head;
371
372   /**
373    * List of active TCP probes.
374    */
375   struct TCPProbeContext *probe_tail;
376
377   /**
378    * Handle for (DYN)DNS lookup of our external IP.
379    */
380   struct GNUNET_RESOLVER_RequestHandle *ext_dns;
381
382   /**
383    * How many more TCP sessions are we allowed to open right now?
384    */
385   unsigned long long max_connections;
386
387   /**
388    * ID of task used to update our addresses when one expires.
389    */
390   GNUNET_SCHEDULER_TaskIdentifier address_update_task;
391
392   /**
393    * Port that we are actually listening on.
394    */
395   uint16_t open_port;
396
397   /**
398    * Port that the user said we would have visible to the
399    * rest of the world.
400    */
401   uint16_t adv_port;
402
403 };
404
405
406 /**
407  * Start session timeout
408  */
409 static void
410 start_session_timeout (struct Session *s);
411
412
413 /**
414  * Increment session timeout due to activity
415  */
416 static void
417 reschedule_session_timeout (struct Session *s);
418
419
420 /**
421  * Cancel timeout
422  */
423 static void
424 stop_session_timeout (struct Session *s);
425
426
427 /* DEBUG CODE */
428 static const char *
429 tcp_address_to_string (void *cls, const void *addr, size_t addrlen);
430
431
432 static unsigned int sessions;
433
434
435 static void 
436 inc_sessions (struct Plugin *plugin, struct Session *session, int line)
437 {
438   sessions++;
439   unsigned int size = GNUNET_CONTAINER_multihashmap_size(plugin->sessionmap);
440   if (sessions != size)
441     LOG (GNUNET_ERROR_TYPE_DEBUG, "Inconsistent sessions %u <-> session map size: %u\n",
442         sessions, size);
443   LOG (GNUNET_ERROR_TYPE_DEBUG, "%4i Session increased to %u (session map size: %u): `%s' `%s'\n",
444       line,
445       sessions,
446       size,
447       GNUNET_i2s (&session->target),
448       tcp_address_to_string (NULL, session->addr, session->addrlen));
449 }
450
451
452 static void 
453 dec_sessions (struct Plugin *plugin, struct Session *session, int line)
454 {
455   GNUNET_assert (sessions > 0);
456   unsigned int size = GNUNET_CONTAINER_multihashmap_size(plugin->sessionmap);
457   sessions--;
458   if (sessions != size)
459     LOG (GNUNET_ERROR_TYPE_DEBUG, "Inconsistent sessions %u <-> session map size: %u\n",
460       sessions, size);
461   LOG (GNUNET_ERROR_TYPE_DEBUG, "%4i Session decreased to %u (session map size: %u): `%s' `%s'\n",
462       line,
463       sessions,
464       size,
465       GNUNET_i2s (&session->target),
466       tcp_address_to_string (NULL, session->addr, session->addrlen));
467 }
468 /* DEBUG CODE */
469
470
471 /**
472  * Function to check if an inbound connection is acceptable.
473  * Mostly used to limit the total number of open connections
474  * we can have.
475  *
476  * @param cls the 'struct Plugin'
477  * @param ucred credentials, if available, otherwise NULL
478  * @param addr address
479  * @param addrlen length of address
480  * @return GNUNET_YES to allow, GNUNET_NO to deny, GNUNET_SYSERR
481  *   for unknown address family (will be denied).
482  */
483 static int
484 plugin_tcp_access_check (void *cls,
485                          const struct GNUNET_CONNECTION_Credentials *ucred,
486                          const struct sockaddr *addr, socklen_t addrlen)
487 {
488   struct Plugin *plugin = cls;
489
490   LOG (GNUNET_ERROR_TYPE_ERROR,
491        "Accepting new incoming TCP connection from `%s'\n",
492        GNUNET_a2s (addr, addrlen));
493   if (0 == plugin->max_connections)
494     return GNUNET_NO;
495   plugin->max_connections--;
496   return GNUNET_YES;
497 }
498
499
500 /**
501  * Our external IP address/port mapping has changed.
502  *
503  * @param cls closure, the 'struct LocalAddrList'
504  * @param add_remove GNUNET_YES to mean the new public IP address, GNUNET_NO to mean
505  *     the previous (now invalid) one
506  * @param addr either the previous or the new public IP address
507  * @param addrlen actual lenght of the address
508  */
509 static void
510 tcp_nat_port_map_callback (void *cls, int add_remove,
511                            const struct sockaddr *addr, socklen_t addrlen)
512 {
513   struct Plugin *plugin = cls;
514   struct IPv4TcpAddress t4;
515   struct IPv6TcpAddress t6;
516   void *arg;
517   size_t args;
518
519   LOG (GNUNET_ERROR_TYPE_DEBUG, 
520        "NPMC called with %d for address `%s'\n", add_remove,
521        GNUNET_a2s (addr, addrlen));
522   /* convert 'addr' to our internal format */
523   switch (addr->sa_family)
524   {
525   case AF_INET:
526     GNUNET_assert (addrlen == sizeof (struct sockaddr_in));
527     t4.ipv4_addr = ((struct sockaddr_in *) addr)->sin_addr.s_addr;
528     t4.t4_port = ((struct sockaddr_in *) addr)->sin_port;
529     arg = &t4;
530     args = sizeof (t4);
531     break;
532   case AF_INET6:
533     GNUNET_assert (addrlen == sizeof (struct sockaddr_in6));
534     memcpy (&t6.ipv6_addr, &((struct sockaddr_in6 *) addr)->sin6_addr,
535             sizeof (struct in6_addr));
536     t6.t6_port = ((struct sockaddr_in6 *) addr)->sin6_port;
537     arg = &t6;
538     args = sizeof (t6);
539     break;
540   default:
541     GNUNET_break (0);
542     return;
543   }
544   /* modify our published address list */
545   plugin->env->notify_address (plugin->env->cls, add_remove, arg, args, "tcp");
546 }
547
548
549 /**
550  * Function called for a quick conversion of the binary address to
551  * a numeric address.  Note that the caller must not free the
552  * address and that the next call to this function is allowed
553  * to override the address again.
554  *
555  * @param cls closure ('struct Plugin*')
556  * @param addr binary address
557  * @param addrlen length of the address
558  * @return string representing the same address
559  */
560 static const char *
561 tcp_address_to_string (void *cls, const void *addr, size_t addrlen)
562 {
563   static char rbuf[INET6_ADDRSTRLEN + 12];
564   char buf[INET6_ADDRSTRLEN];
565   const void *sb;
566   struct in_addr a4;
567   struct in6_addr a6;
568   const struct IPv4TcpAddress *t4;
569   const struct IPv6TcpAddress *t6;
570   int af;
571   uint16_t port;
572
573   switch (addrlen)
574   {
575   case sizeof (struct IPv6TcpAddress):
576     t6 = addr;
577     af = AF_INET6;
578     port = ntohs (t6->t6_port);
579     memcpy (&a6, &t6->ipv6_addr, sizeof (a6));
580     sb = &a6;
581     break;
582   case sizeof (struct IPv4TcpAddress): 
583     t4 = addr;
584     af = AF_INET;
585     port = ntohs (t4->t4_port);
586     memcpy (&a4, &t4->ipv4_addr, sizeof (a4));
587     sb = &a4;
588     break;
589   default:
590     LOG (GNUNET_ERROR_TYPE_ERROR, 
591          _("Unexpected address length: %u bytes\n"),
592          (unsigned int) addrlen);
593     GNUNET_break (0);
594     return NULL;
595   }
596   if (NULL == inet_ntop (af, sb, buf, INET6_ADDRSTRLEN))
597   {
598     GNUNET_log_strerror (GNUNET_ERROR_TYPE_WARNING, "inet_ntop");
599     return NULL;
600   }
601   GNUNET_snprintf (rbuf, sizeof (rbuf), (af == AF_INET6) ? "[%s]:%u" : "%s:%u",
602                    buf, port);
603   return rbuf;
604 }
605
606
607 /**
608  * Function called to convert a string address to
609  * a binary address.
610  *
611  * @param cls closure ('struct Plugin*')
612  * @param addr string address
613  * @param addrlen length of the address
614  * @param buf location to store the buffer
615  * @param added location to store the number of bytes in the buffer.
616  *        If the function returns GNUNET_SYSERR, its contents are undefined.
617  * @return GNUNET_OK on success, GNUNET_SYSERR on failure
618  */
619 static int
620 tcp_string_to_address (void *cls, const char *addr, uint16_t addrlen,
621     void **buf, size_t *added)
622 {
623   struct sockaddr_storage socket_address;
624
625   if ((NULL == addr) || (addrlen == 0))
626   {
627     GNUNET_break (0);
628     return GNUNET_SYSERR;
629   }
630   if ('\0' != addr[addrlen - 1])
631   {
632     GNUNET_break (0);
633     return GNUNET_SYSERR;
634   }
635   if (strlen (addr) != addrlen - 1)
636   {
637     GNUNET_break (0);
638     return GNUNET_SYSERR;
639   }
640   if (GNUNET_OK !=
641       GNUNET_STRINGS_to_address_ip (addr, strlen (addr),
642                                     &socket_address))
643   {
644     GNUNET_break (0);
645     return GNUNET_SYSERR;
646   }
647   switch (socket_address.ss_family)
648   {
649   case AF_INET:
650     {
651       struct IPv4TcpAddress *t4;
652       struct sockaddr_in *in4 = (struct sockaddr_in *) &socket_address;
653
654       t4 = GNUNET_malloc (sizeof (struct IPv4TcpAddress));
655       t4->ipv4_addr = in4->sin_addr.s_addr;
656       t4->t4_port = in4->sin_port;
657       *buf = t4;
658       *added = sizeof (struct IPv4TcpAddress);
659       return GNUNET_OK;
660     }
661   case AF_INET6:  
662     {
663       struct IPv6TcpAddress *t6;
664       struct sockaddr_in6 *in6 = (struct sockaddr_in6 *) &socket_address;
665       t6 = GNUNET_malloc (sizeof (struct IPv6TcpAddress));
666       t6->ipv6_addr = in6->sin6_addr;
667       t6->t6_port = in6->sin6_port;
668       *buf = t6;
669       *added = sizeof (struct IPv6TcpAddress);
670       return GNUNET_OK;
671     }
672   default:
673     return GNUNET_SYSERR;
674   }
675 }
676
677
678 struct SessionClientCtx
679 {
680   const struct GNUNET_SERVER_Client *client;
681   struct Session *ret;
682 };
683
684
685 static int 
686 session_lookup_by_client_it (void *cls,
687                              const struct GNUNET_HashCode * key,
688                              void *value)
689 {
690   struct SessionClientCtx *sc_ctx = cls;
691   struct Session *s = value;
692
693   if (s->client == sc_ctx->client)
694   {
695     sc_ctx->ret = s;
696     return GNUNET_NO;
697   }
698   return GNUNET_YES;
699 }
700
701
702 /**
703  * Find the session handle for the given client.
704  *
705  * @param plugin the plugin
706  * @param client which client to find the session handle for
707  * @return NULL if no matching session exists
708  */
709 static struct Session *
710 lookup_session_by_client (struct Plugin *plugin,
711                           const struct GNUNET_SERVER_Client *client)
712 {
713   struct SessionClientCtx sc_ctx;
714
715   sc_ctx.client = client;
716   sc_ctx.ret = NULL;
717   GNUNET_CONTAINER_multihashmap_iterate (plugin->sessionmap, &session_lookup_by_client_it, &sc_ctx);
718   return sc_ctx.ret;
719 }
720
721
722 /**
723  * Create a new session.  Also queues a welcome message.
724  *
725  * @param plugin the plugin
726  * @param target peer to connect to
727  * @param client client to use, reference counter must have already been increased
728  * @param is_nat this a NAT session, we should wait for a client to
729  *               connect to us from an address, then assign that to
730  *               the session
731  * @return new session object
732  */
733 static struct Session *
734 create_session (struct Plugin *plugin, const struct GNUNET_PeerIdentity *target,
735                 struct GNUNET_SERVER_Client *client, int is_nat)
736 {
737   struct Session *ret;
738   struct PendingMessage *pm;
739   struct WelcomeMessage welcome;
740
741   if (GNUNET_YES != is_nat)
742     GNUNET_assert (NULL != client);
743   else
744     GNUNET_assert (NULL == client);
745
746   LOG (GNUNET_ERROR_TYPE_DEBUG, 
747        "Creating new session for peer `%4s'\n",
748        GNUNET_i2s (target));
749   ret = GNUNET_malloc (sizeof (struct Session));
750   ret->last_activity = GNUNET_TIME_absolute_get ();
751   ret->plugin = plugin;
752   ret->is_nat = is_nat;
753   ret->client = client;
754   ret->target = *target;
755   ret->expecting_welcome = GNUNET_YES;
756   ret->ats_address_network_type = htonl (GNUNET_ATS_NET_UNSPECIFIED);
757   pm = GNUNET_malloc (sizeof (struct PendingMessage) +
758                       sizeof (struct WelcomeMessage));
759   pm->msg = (const char *) &pm[1];
760   pm->message_size = sizeof (struct WelcomeMessage);
761   welcome.header.size = htons (sizeof (struct WelcomeMessage));
762   welcome.header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_WELCOME);
763   welcome.clientIdentity = *plugin->env->my_identity;
764   memcpy (&pm[1], &welcome, sizeof (welcome));
765   pm->timeout = GNUNET_TIME_UNIT_FOREVER_ABS;
766   GNUNET_STATISTICS_update (plugin->env->stats,
767                             gettext_noop ("# bytes currently in TCP buffers"),
768                             pm->message_size, GNUNET_NO);
769   GNUNET_CONTAINER_DLL_insert (ret->pending_messages_head,
770                                ret->pending_messages_tail, pm);
771   if (GNUNET_YES != is_nat)
772   {
773     GNUNET_STATISTICS_update (plugin->env->stats,
774                               gettext_noop ("# TCP sessions active"), 1,
775                               GNUNET_NO);
776   }
777   start_session_timeout (ret);
778
779   return ret;
780 }
781
782
783 /**
784  * If we have pending messages, ask the server to
785  * transmit them (schedule the respective tasks, etc.)
786  *
787  * @param session for which session should we do this
788  */
789 static void
790 process_pending_messages (struct Session *session);
791
792
793 /**
794  * Function called to notify a client about the socket
795  * being ready to queue more data.  "buf" will be
796  * NULL and "size" zero if the socket was closed for
797  * writing in the meantime.
798  *
799  * @param cls closure
800  * @param size number of bytes available in buf
801  * @param buf where the callee should write the message
802  * @return number of bytes written to buf
803  */
804 static size_t
805 do_transmit (void *cls, size_t size, void *buf)
806 {
807   struct Session *session = cls;
808   struct GNUNET_PeerIdentity pid;
809   struct Plugin *plugin;
810   struct PendingMessage *pos;
811   struct PendingMessage *hd;
812   struct PendingMessage *tl;
813   struct GNUNET_TIME_Absolute now;
814   char *cbuf;
815   size_t ret;
816
817   GNUNET_assert (NULL != session);
818   session->transmit_handle = NULL;
819   plugin = session->plugin;
820   if (NULL == buf)
821   {
822     LOG (GNUNET_ERROR_TYPE_DEBUG, 
823          "Timeout trying to transmit to peer `%4s', discarding message queue.\n",
824          GNUNET_i2s (&session->target));
825     /* timeout; cancel all messages that have already expired */
826     hd = NULL;
827     tl = NULL;
828     ret = 0;
829     now = GNUNET_TIME_absolute_get ();
830     while ((NULL != (pos = session->pending_messages_head)) &&
831            (pos->timeout.abs_value <= now.abs_value))
832     {
833       GNUNET_CONTAINER_DLL_remove (session->pending_messages_head,
834                                    session->pending_messages_tail, pos);
835       LOG (GNUNET_ERROR_TYPE_DEBUG,
836            "Failed to transmit %u byte message to `%4s'.\n",
837            pos->message_size, GNUNET_i2s (&session->target));
838       ret += pos->message_size;
839       GNUNET_CONTAINER_DLL_insert_after (hd, tl, tl, pos);
840     }
841     /* do this call before callbacks (so that if callbacks destroy
842      * session, they have a chance to cancel actions done by this
843      * call) */
844     process_pending_messages (session);
845     pid = session->target;
846     /* no do callbacks and do not use session again since
847      * the callbacks may abort the session */
848     while (NULL != (pos = hd))
849     {
850       GNUNET_CONTAINER_DLL_remove (hd, tl, pos);
851       if (pos->transmit_cont != NULL)
852         pos->transmit_cont (pos->transmit_cont_cls, &pid, GNUNET_SYSERR);
853       GNUNET_free (pos);
854     }
855     GNUNET_STATISTICS_update (plugin->env->stats,
856                               gettext_noop ("# bytes currently in TCP buffers"),
857                               -(int64_t) ret, GNUNET_NO);
858     GNUNET_STATISTICS_update (plugin->env->stats,
859                               gettext_noop
860                               ("# bytes discarded by TCP (timeout)"), ret,
861                               GNUNET_NO);
862     return 0;
863   }
864   /* copy all pending messages that would fit */
865   ret = 0;
866   cbuf = buf;
867   hd = NULL;
868   tl = NULL;
869   while (NULL != (pos = session->pending_messages_head))
870   {
871     if (ret + pos->message_size > size)
872       break;
873     GNUNET_CONTAINER_DLL_remove (session->pending_messages_head,
874                                  session->pending_messages_tail, pos);
875     GNUNET_assert (size >= pos->message_size);
876     LOG (GNUNET_ERROR_TYPE_DEBUG, 
877          "Transmitting message of type %u\n",
878          ntohs (((struct GNUNET_MessageHeader *) pos->msg)->type));
879     /* FIXME: this memcpy can be up to 7% of our total runtime */
880     memcpy (cbuf, pos->msg, pos->message_size);
881     cbuf += pos->message_size;
882     ret += pos->message_size;
883     size -= pos->message_size;
884     GNUNET_CONTAINER_DLL_insert_tail (hd, tl, pos);
885   }
886   /* schedule 'continuation' before callbacks so that callbacks that
887    * cancel everything don't cause us to use a session that no longer
888    * exists... */
889   process_pending_messages (session);
890   session->last_activity = GNUNET_TIME_absolute_get ();
891   pid = session->target;
892   /* we'll now call callbacks that may cancel the session; hence
893    * we should not use 'session' after this point */
894   while (NULL != (pos = hd))
895   {
896     GNUNET_CONTAINER_DLL_remove (hd, tl, pos);
897     if (pos->transmit_cont != NULL)
898       pos->transmit_cont (pos->transmit_cont_cls, &pid, GNUNET_OK);
899     GNUNET_free (pos);
900   }
901   GNUNET_assert (hd == NULL);
902   GNUNET_assert (tl == NULL);
903   LOG (GNUNET_ERROR_TYPE_DEBUG, "Transmitting %u bytes\n",
904                    ret);
905   GNUNET_STATISTICS_update (plugin->env->stats,
906                             gettext_noop ("# bytes currently in TCP buffers"),
907                             -(int64_t) ret, GNUNET_NO);
908   GNUNET_STATISTICS_update (plugin->env->stats,
909                             gettext_noop ("# bytes transmitted via TCP"), ret,
910                             GNUNET_NO);
911   return ret;
912 }
913
914
915 /**
916  * If we have pending messages, ask the server to
917  * transmit them (schedule the respective tasks, etc.)
918  *
919  * @param session for which session should we do this
920  */
921 static void
922 process_pending_messages (struct Session *session)
923 {
924   struct PendingMessage *pm;
925
926   GNUNET_assert (session->client != NULL);
927   if (session->transmit_handle != NULL)
928     return;
929   if (NULL == (pm = session->pending_messages_head))
930     return;
931
932   session->transmit_handle =
933       GNUNET_SERVER_notify_transmit_ready (session->client, pm->message_size,
934                                            GNUNET_TIME_absolute_get_remaining
935                                            (pm->timeout), &do_transmit,
936                                            session);
937 }
938
939
940 /**
941  * Functions with this signature are called whenever we need
942  * to close a session due to a disconnect or failure to
943  * establish a connection.
944  *
945  * @param session session to close down
946  */
947 static void
948 disconnect_session (struct Session *session)
949 {
950   struct PendingMessage *pm;
951   struct Plugin * plugin = session->plugin;
952
953   LOG (GNUNET_ERROR_TYPE_DEBUG, 
954        "Disconnecting session of peer `%s' address `%s'\n",
955        GNUNET_i2s (&session->target),
956        tcp_address_to_string (NULL, session->addr, session->addrlen));
957
958   stop_session_timeout (session);
959
960   if (GNUNET_YES == GNUNET_CONTAINER_multihashmap_remove (plugin->sessionmap, &session->target.hashPubKey, session))
961   {
962     GNUNET_STATISTICS_update (session->plugin->env->stats,
963                               gettext_noop ("# TCP sessions active"), -1,
964                               GNUNET_NO);
965     dec_sessions (plugin, session, __LINE__);
966   }
967   else GNUNET_assert (GNUNET_YES == GNUNET_CONTAINER_multihashmap_remove (plugin->nat_wait_conns, &session->target.hashPubKey, session));
968
969   /* clean up state */
970   if (session->transmit_handle != NULL)
971   {
972     GNUNET_SERVER_notify_transmit_ready_cancel (session->transmit_handle);
973     session->transmit_handle = NULL;
974   }
975   session->plugin->env->session_end (session->plugin->env->cls,
976                                      &session->target, session);
977
978   if (GNUNET_SCHEDULER_NO_TASK != session->nat_connection_timeout)
979   {
980     GNUNET_SCHEDULER_cancel (session->nat_connection_timeout);
981     session->nat_connection_timeout = GNUNET_SCHEDULER_NO_TASK;
982   }
983
984   while (NULL != (pm = session->pending_messages_head))
985   {
986     LOG (GNUNET_ERROR_TYPE_DEBUG, 
987          pm->transmit_cont !=
988          NULL ? "Could not deliver message to `%4s'.\n" :
989          "Could not deliver message to `%4s', notifying.\n",
990          GNUNET_i2s (&session->target));
991     GNUNET_STATISTICS_update (session->plugin->env->stats,
992                               gettext_noop ("# bytes currently in TCP buffers"),
993                               -(int64_t) pm->message_size, GNUNET_NO);
994     GNUNET_STATISTICS_update (session->plugin->env->stats,
995                               gettext_noop
996                               ("# bytes discarded by TCP (disconnect)"),
997                               pm->message_size, GNUNET_NO);
998     GNUNET_CONTAINER_DLL_remove (session->pending_messages_head,
999                                  session->pending_messages_tail, pm);
1000     if (NULL != pm->transmit_cont)
1001       pm->transmit_cont (pm->transmit_cont_cls, &session->target,
1002                          GNUNET_SYSERR);
1003     GNUNET_free (pm);
1004   }
1005   if (session->receive_delay_task != GNUNET_SCHEDULER_NO_TASK)
1006   {
1007     GNUNET_SCHEDULER_cancel (session->receive_delay_task);
1008     if (NULL != session->client)
1009       GNUNET_SERVER_receive_done (session->client, GNUNET_SYSERR);
1010   }
1011   if (NULL != session->client)
1012   {
1013     GNUNET_SERVER_client_disconnect (session->client);
1014     GNUNET_SERVER_client_drop (session->client);
1015     session->client = NULL;
1016   }
1017   GNUNET_free_non_null (session->addr);
1018   GNUNET_assert (NULL == session->transmit_handle);
1019   GNUNET_free (session);
1020 }
1021
1022 /* FIXME WORKAROUND FOR MANTIS 0002445 */
1023 struct result
1024 {
1025   struct Session *s;
1026   int res;
1027 };
1028
1029 int session_it (void *cls,
1030                const struct GNUNET_HashCode * key,
1031                void *value)
1032 {
1033   struct result *res = cls;
1034
1035   if (res->s == value)
1036   {
1037     res->res = GNUNET_OK;
1038     return GNUNET_NO;
1039   }
1040   else
1041   {
1042     return GNUNET_YES;
1043   }
1044 }
1045
1046 /* FIXME END WORKAROUND FOR MANTIS 0002445 */
1047
1048 /**
1049  * Function that can be used by the transport service to transmit
1050  * a message using the plugin.   Note that in the case of a
1051  * peer disconnecting, the continuation MUST be called
1052  * prior to the disconnect notification itself.  This function
1053  * will be called with this peer's HELLO message to initiate
1054  * a fresh connection to another peer.
1055  *
1056  * @param cls closure
1057  * @param session which session must be used
1058  * @param msgbuf the message to transmit
1059  * @param msgbuf_size number of bytes in 'msgbuf'
1060  * @param priority how important is the message (most plugins will
1061  *                 ignore message priority and just FIFO)
1062  * @param to how long to wait at most for the transmission (does not
1063  *                require plugins to discard the message after the timeout,
1064  *                just advisory for the desired delay; most plugins will ignore
1065  *                this as well)
1066  * @param cont continuation to call once the message has
1067  *        been transmitted (or if the transport is ready
1068  *        for the next transmission call; or if the
1069  *        peer disconnected...); can be NULL
1070  * @param cont_cls closure for cont
1071  * @return number of bytes used (on the physical network, with overheads);
1072  *         -1 on hard errors (i.e. address invalid); 0 is a legal value
1073  *         and does NOT mean that the message was not transmitted (DV)
1074  */
1075 static ssize_t
1076 tcp_plugin_send (void *cls,
1077     struct Session *session,
1078     const char *msgbuf, size_t msgbuf_size,
1079     unsigned int priority,
1080     struct GNUNET_TIME_Relative to,
1081     GNUNET_TRANSPORT_TransmitContinuation cont, void *cont_cls)
1082 {
1083   struct Plugin * plugin = cls;
1084   struct PendingMessage *pm;
1085
1086   GNUNET_assert (NULL != plugin);
1087   GNUNET_assert (NULL != session);
1088
1089   /* FIXME WORKAROUND FOR MANTIS 0002445 */
1090   struct result res1;
1091   struct result res2;
1092
1093   res1.s = session;
1094   res1.res = GNUNET_SYSERR;
1095   GNUNET_CONTAINER_multihashmap_iterate (plugin->sessionmap, &session_it, &res1);
1096
1097   res2.s = session;
1098   res2.res = GNUNET_SYSERR;
1099   GNUNET_CONTAINER_multihashmap_iterate (plugin->sessionmap, &session_it, &res2);
1100
1101   if ((res1.res == GNUNET_SYSERR) && (res2.res == GNUNET_SYSERR))
1102   {
1103     LOG (GNUNET_ERROR_TYPE_ERROR,
1104          "WORKAROUND MANTIS BUG 2445: This Trying to send to invalid session %p\n", session);
1105     GNUNET_break (0);
1106     return GNUNET_SYSERR;
1107   }
1108   /* FIXME END WORKAROUND FOR MANTIS 0002445 */
1109
1110   /* create new message entry */
1111   pm = GNUNET_malloc (sizeof (struct PendingMessage) + msgbuf_size);
1112   pm->msg = (const char *) &pm[1];
1113   memcpy (&pm[1], msgbuf, msgbuf_size);
1114   pm->message_size = msgbuf_size;
1115   pm->timeout = GNUNET_TIME_relative_to_absolute (to);
1116   pm->transmit_cont = cont;
1117   pm->transmit_cont_cls = cont_cls;
1118
1119   LOG (GNUNET_ERROR_TYPE_DEBUG, 
1120        "Asked to transmit %u bytes to `%s', added message to list.\n",
1121        msgbuf_size, GNUNET_i2s (&session->target));
1122
1123   if (GNUNET_YES == GNUNET_CONTAINER_multihashmap_contains_value(plugin->sessionmap, &session->target.hashPubKey, session))
1124   {
1125     GNUNET_assert (session->client != NULL);
1126     reschedule_session_timeout (session);
1127     GNUNET_SERVER_client_set_timeout (session->client,
1128                                       GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
1129     GNUNET_STATISTICS_update (plugin->env->stats,
1130                               gettext_noop ("# bytes currently in TCP buffers"),
1131                               msgbuf_size, GNUNET_NO);
1132
1133     /* append pm to pending_messages list */
1134     GNUNET_CONTAINER_DLL_insert_tail (session->pending_messages_head,
1135                                       session->pending_messages_tail, pm);
1136
1137     process_pending_messages (session);
1138     return msgbuf_size;
1139   }
1140   else if (GNUNET_YES == GNUNET_CONTAINER_multihashmap_contains_value(plugin->nat_wait_conns, &session->target.hashPubKey, session))
1141   {
1142     LOG (GNUNET_ERROR_TYPE_DEBUG, 
1143          "This NAT WAIT session for peer `%s' is not yet ready!\n",
1144          GNUNET_i2s (&session->target));
1145     reschedule_session_timeout (session);
1146     GNUNET_STATISTICS_update (plugin->env->stats,
1147                               gettext_noop ("# bytes currently in TCP buffers"),
1148                               msgbuf_size, GNUNET_NO);
1149
1150     /* append pm to pending_messages list */
1151     GNUNET_CONTAINER_DLL_insert_tail (session->pending_messages_head,
1152                                       session->pending_messages_tail, pm);
1153     return msgbuf_size;
1154   }
1155   else
1156   {
1157     LOG (GNUNET_ERROR_TYPE_ERROR,
1158          "Invalid session %p\n", session);
1159     if (NULL != cont)
1160       cont (cont_cls, &session->target, GNUNET_SYSERR);
1161     GNUNET_break (0);
1162     GNUNET_free (pm);
1163     return GNUNET_SYSERR; /* session does not exist here */
1164   }
1165 }
1166
1167
1168 struct SessionItCtx
1169 {
1170   void *addr;
1171   size_t addrlen;
1172   struct Session *result;
1173 };
1174
1175
1176 static int 
1177 session_lookup_it (void *cls,
1178                    const struct GNUNET_HashCode *key,
1179                    void *value)
1180 {
1181   struct SessionItCtx * si_ctx = cls;
1182   struct Session * session = value;
1183 #if 0
1184   char * a1 = strdup (tcp_address_to_string(NULL, session->addr, session->addrlen));
1185   char * a2 = strdup (tcp_address_to_string(NULL, si_ctx->addr, si_ctx->addrlen));
1186   LOG (GNUNET_ERROR_TYPE_DEBUG,
1187        "Comparing: %s %u <-> %s %u\n",
1188        a1,
1189        session->addrlen,
1190        a2,
1191        si_ctx->addrlen);
1192   GNUNET_free (a1);
1193   GNUNET_free (a2);
1194 #endif
1195   if (session->addrlen != si_ctx->addrlen)
1196   {
1197     return GNUNET_YES;
1198   }
1199   if (0 != memcmp (session->addr, si_ctx->addr, si_ctx->addrlen))
1200   {
1201     return GNUNET_YES;
1202   }
1203 #if 0
1204   a1 = strdup (tcp_address_to_string(NULL, session->addr, session->addrlen));
1205   a2 = strdup (tcp_address_to_string(NULL, si_ctx->addr, si_ctx->addrlen));
1206   LOG (GNUNET_ERROR_TYPE_DEBUG,
1207        "Comparing: %s %u <-> %s %u , OK!\n",
1208        a1,
1209        session->addrlen,
1210        a2,
1211        si_ctx->addrlen);
1212   GNUNET_free (a1);
1213   GNUNET_free (a2);
1214 #endif
1215   /* Found existing session */
1216   si_ctx->result = session;
1217   return GNUNET_NO;
1218 }
1219
1220
1221 /**
1222  * Task cleaning up a NAT connection attempt after timeout
1223  */
1224 static void
1225 nat_connect_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1226 {
1227   struct Session *session = cls;
1228
1229   LOG (GNUNET_ERROR_TYPE_DEBUG,
1230        "NAT WAIT connection to `%4s' at `%s' could not be established, removing session\n",
1231        GNUNET_i2s (&session->target), tcp_address_to_string(NULL, session->addr, session->addrlen));
1232   disconnect_session (session);
1233 }
1234
1235
1236 /**
1237  * Create a new session to transmit data to the target
1238  * This session will used to send data to this peer and the plugin will
1239  * notify us by calling the env->session_end function
1240  *
1241  * @param cls closure
1242  * @param address pointer to the GNUNET_HELLO_Address
1243  * @return the session if the address is valid, NULL otherwise
1244  */
1245 static struct Session *
1246 tcp_plugin_get_session (void *cls,
1247                         const struct GNUNET_HELLO_Address *address)
1248 {
1249   struct Plugin * plugin = cls;
1250   struct Session * session = NULL;
1251   int af;
1252   const void *sb;
1253   size_t sbs;
1254   struct GNUNET_CONNECTION_Handle *sa;
1255   struct sockaddr_in a4;
1256   struct sockaddr_in6 a6;
1257   const struct IPv4TcpAddress *t4;
1258   const struct IPv6TcpAddress *t6;
1259   struct GNUNET_ATS_Information ats;
1260   unsigned int is_natd = GNUNET_NO;
1261   size_t addrlen;
1262
1263   GNUNET_assert (plugin != NULL);
1264   GNUNET_assert (address != NULL);
1265   addrlen = address->address_length;
1266   LOG (GNUNET_ERROR_TYPE_DEBUG, 
1267        "Trying to get session for `%s' address of peer `%s'\n",
1268        tcp_address_to_string(NULL, address->address, address->address_length),
1269        GNUNET_i2s (&address->peer));
1270
1271   /* look for existing session */
1272   if (GNUNET_YES == 
1273       GNUNET_CONTAINER_multihashmap_contains(plugin->sessionmap, &address->peer.hashPubKey))
1274   {
1275     struct SessionItCtx si_ctx;
1276
1277     si_ctx.addr = (void *) address->address;
1278     si_ctx.addrlen = address->address_length;
1279
1280     si_ctx.result = NULL;
1281
1282     GNUNET_CONTAINER_multihashmap_get_multiple(plugin->sessionmap, &address->peer.hashPubKey, &session_lookup_it, &si_ctx);
1283     if (si_ctx.result != NULL)
1284     {
1285       session = si_ctx.result;
1286       LOG (GNUNET_ERROR_TYPE_DEBUG, 
1287            "Found exisiting session for `%s' address `%s' session %p\n",
1288            GNUNET_i2s (&address->peer),
1289            tcp_address_to_string(NULL, address->address, address->address_length),
1290            session);
1291       return session;
1292     }
1293     LOG (GNUNET_ERROR_TYPE_DEBUG,
1294          "Existing sessions did not match address `%s' or peer `%s'\n",
1295          tcp_address_to_string(NULL, address->address, address->address_length),
1296          GNUNET_i2s (&address->peer));
1297   }
1298
1299   if (addrlen == sizeof (struct IPv6TcpAddress))
1300   {
1301     GNUNET_assert (NULL != address->address);     /* make static analysis happy */
1302     t6 = address->address;
1303     af = AF_INET6;
1304     memset (&a6, 0, sizeof (a6));
1305 #if HAVE_SOCKADDR_IN_SIN_LEN
1306     a6.sin6_len = sizeof (a6);
1307 #endif
1308     a6.sin6_family = AF_INET6;
1309     a6.sin6_port = t6->t6_port;
1310     if (t6->t6_port == 0)
1311       is_natd = GNUNET_YES;
1312     memcpy (&a6.sin6_addr, &t6->ipv6_addr, sizeof (struct in6_addr));
1313     sb = &a6;
1314     sbs = sizeof (a6);
1315   }
1316   else if (addrlen == sizeof (struct IPv4TcpAddress))
1317   {
1318     GNUNET_assert (NULL != address->address);     /* make static analysis happy */
1319     t4 = address->address;
1320     af = AF_INET;
1321     memset (&a4, 0, sizeof (a4));
1322 #if HAVE_SOCKADDR_IN_SIN_LEN
1323     a4.sin_len = sizeof (a4);
1324 #endif
1325     a4.sin_family = AF_INET;
1326     a4.sin_port = t4->t4_port;
1327     if (t4->t4_port == 0)
1328       is_natd = GNUNET_YES;
1329     a4.sin_addr.s_addr = t4->ipv4_addr;
1330     sb = &a4;
1331     sbs = sizeof (a4);
1332   }
1333   else
1334   {
1335     LOG (GNUNET_ERROR_TYPE_ERROR, 
1336          _("Address of unexpected length: %u\n"), addrlen);
1337     GNUNET_break (0);
1338     return NULL;
1339   }
1340
1341   ats = plugin->env->get_address_type (plugin->env->cls, sb ,sbs);
1342
1343   if ((is_natd == GNUNET_YES) && (addrlen == sizeof (struct IPv6TcpAddress)))
1344   {
1345     /* NAT client only works with IPv4 addresses */
1346     return NULL;
1347   }
1348
1349   if (0 == plugin->max_connections)
1350   {
1351     /* saturated */
1352     return NULL;
1353   }
1354
1355   if ((is_natd == GNUNET_YES) &&
1356       (GNUNET_YES ==
1357        GNUNET_CONTAINER_multihashmap_contains (plugin->nat_wait_conns,
1358                                                &address->peer.hashPubKey)))
1359   {
1360     /* Only do one NAT punch attempt per peer identity */
1361      return NULL;
1362   }
1363
1364   if ((is_natd == GNUNET_YES) && (NULL != plugin->nat) &&
1365       (GNUNET_NO ==
1366        GNUNET_CONTAINER_multihashmap_contains (plugin->nat_wait_conns,
1367                                                &address->peer.hashPubKey)))
1368   {
1369     LOG (GNUNET_ERROR_TYPE_DEBUG, 
1370          "Found valid IPv4 NAT address (creating session)!\n") ;
1371     session = create_session (plugin, &address->peer, NULL, GNUNET_YES);
1372     session->addrlen = 0;
1373     session->addr = NULL;
1374     session->ats_address_network_type = ats.value;
1375     session->nat_connection_timeout = GNUNET_SCHEDULER_add_delayed(NAT_TIMEOUT,
1376         &nat_connect_timeout,
1377         session);
1378     GNUNET_assert (session != NULL);
1379     GNUNET_assert (GNUNET_CONTAINER_multihashmap_put
1380                    (plugin->nat_wait_conns, &address->peer.hashPubKey, session,
1381                     GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY) == GNUNET_OK);
1382
1383     LOG (GNUNET_ERROR_TYPE_DEBUG, 
1384          "Created NAT WAIT connection to `%4s' at `%s'\n",
1385          GNUNET_i2s (&session->target), GNUNET_a2s (sb, sbs));
1386
1387     if (GNUNET_OK == GNUNET_NAT_run_client (plugin->nat, &a4))
1388       return session;
1389     else
1390     {
1391       LOG (GNUNET_ERROR_TYPE_DEBUG, 
1392            "Running NAT client for `%4s' at `%s' failed\n",
1393            GNUNET_i2s (&session->target), GNUNET_a2s (sb, sbs));
1394       disconnect_session (session);
1395       return NULL;
1396     }
1397   }
1398
1399   /* create new outbound session */
1400   GNUNET_assert (0 != plugin->max_connections);
1401   sa = GNUNET_CONNECTION_create_from_sockaddr (af, sb, sbs);
1402   if (sa == NULL)
1403   {
1404     LOG (GNUNET_ERROR_TYPE_DEBUG, 
1405          "Failed to create connection to `%4s' at `%s'\n",
1406          GNUNET_i2s (&address->peer), GNUNET_a2s (sb, sbs));
1407     return NULL;
1408   }
1409   plugin->max_connections--;
1410
1411   LOG (GNUNET_ERROR_TYPE_DEBUG,
1412        "Asked to transmit to `%4s', creating fresh session using address `%s'.\n",
1413        GNUNET_i2s (&address->peer), GNUNET_a2s (sb, sbs));
1414
1415   session = create_session (plugin,
1416                             &address->peer,
1417                             GNUNET_SERVER_connect_socket (plugin->server, sa),
1418                             GNUNET_NO);
1419   session->addr = GNUNET_malloc (addrlen);
1420   memcpy (session->addr, address->address, addrlen);
1421   session->addrlen = addrlen;
1422   session->ats_address_network_type = ats.value;
1423
1424   GNUNET_CONTAINER_multihashmap_put(plugin->sessionmap, &address->peer.hashPubKey, session, GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
1425   inc_sessions (plugin, session, __LINE__);
1426   LOG (GNUNET_ERROR_TYPE_DEBUG, 
1427        "Creating new session for `%s' address `%s' session %p\n",
1428        GNUNET_i2s (&address->peer),
1429        tcp_address_to_string(NULL, address->address, address->address_length),
1430        session);
1431   /* Send TCP Welcome */
1432   process_pending_messages (session);
1433
1434   return session;
1435 }
1436
1437
1438 static int 
1439 session_disconnect_it (void *cls,
1440                        const struct GNUNET_HashCode * key,
1441                        void *value)
1442 {
1443   struct Session *session = value;
1444
1445   GNUNET_STATISTICS_update (session->plugin->env->stats,
1446                             gettext_noop
1447                             ("# transport-service disconnect requests for TCP"),
1448                             1, GNUNET_NO);
1449   disconnect_session (session);
1450   return GNUNET_YES;
1451 }
1452
1453
1454 /**
1455  * Function that can be called to force a disconnect from the
1456  * specified neighbour.  This should also cancel all previously
1457  * scheduled transmissions.  Obviously the transmission may have been
1458  * partially completed already, which is OK.  The plugin is supposed
1459  * to close the connection (if applicable) and no longer call the
1460  * transmit continuation(s).
1461  *
1462  * Finally, plugin MUST NOT call the services's receive function to
1463  * notify the service that the connection to the specified target was
1464  * closed after a getting this call.
1465  *
1466  * @param cls closure
1467  * @param target peer for which the last transmission is
1468  *        to be cancelled
1469  */
1470 static void
1471 tcp_plugin_disconnect (void *cls, const struct GNUNET_PeerIdentity *target)
1472 {
1473   struct Plugin *plugin = cls;
1474
1475   LOG (GNUNET_ERROR_TYPE_DEBUG, 
1476        "Disconnecting peer `%4s'\n", GNUNET_i2s (target));
1477   GNUNET_CONTAINER_multihashmap_get_multiple (plugin->sessionmap, &target->hashPubKey, &session_disconnect_it, plugin);
1478   GNUNET_CONTAINER_multihashmap_get_multiple (plugin->nat_wait_conns, &target->hashPubKey, &session_disconnect_it, plugin);
1479 }
1480
1481
1482 /**
1483  * Context for address to string conversion.
1484  */
1485 struct PrettyPrinterContext
1486 {
1487   /**
1488    * Function to call with the result.
1489    */
1490   GNUNET_TRANSPORT_AddressStringCallback asc;
1491
1492   /**
1493    * Clsoure for 'asc'.
1494    */
1495   void *asc_cls;
1496
1497   /**
1498    * Port to add after the IP address.
1499    */
1500   uint16_t port;
1501
1502   int ipv6;
1503 };
1504
1505
1506 /**
1507  * Append our port and forward the result.
1508  *
1509  * @param cls the 'struct PrettyPrinterContext*'
1510  * @param hostname hostname part of the address
1511  */
1512 static void
1513 append_port (void *cls, const char *hostname)
1514 {
1515   struct PrettyPrinterContext *ppc = cls;
1516   char *ret;
1517
1518   if (hostname == NULL)
1519   {
1520     ppc->asc (ppc->asc_cls, NULL);
1521     GNUNET_free (ppc);
1522     return;
1523   }
1524   if (GNUNET_YES == ppc->ipv6)
1525     GNUNET_asprintf (&ret, "[%s]:%d", hostname, ppc->port);
1526   else
1527     GNUNET_asprintf (&ret, "%s:%d", hostname, ppc->port);
1528   ppc->asc (ppc->asc_cls, ret);
1529   GNUNET_free (ret);
1530 }
1531
1532
1533 /**
1534  * Convert the transports address to a nice, human-readable
1535  * format.
1536  *
1537  * @param cls closure
1538  * @param type name of the transport that generated the address
1539  * @param addr one of the addresses of the host, NULL for the last address
1540  *        the specific address format depends on the transport
1541  * @param addrlen length of the address
1542  * @param numeric should (IP) addresses be displayed in numeric form?
1543  * @param timeout after how long should we give up?
1544  * @param asc function to call on each string
1545  * @param asc_cls closure for asc
1546  */
1547 static void
1548 tcp_plugin_address_pretty_printer (void *cls, const char *type,
1549                                    const void *addr, size_t addrlen,
1550                                    int numeric,
1551                                    struct GNUNET_TIME_Relative timeout,
1552                                    GNUNET_TRANSPORT_AddressStringCallback asc,
1553                                    void *asc_cls)
1554 {
1555   struct PrettyPrinterContext *ppc;
1556   const void *sb;
1557   size_t sbs;
1558   struct sockaddr_in a4;
1559   struct sockaddr_in6 a6;
1560   const struct IPv4TcpAddress *t4;
1561   const struct IPv6TcpAddress *t6;
1562   uint16_t port;
1563
1564   if (addrlen == sizeof (struct IPv6TcpAddress))
1565   {
1566     t6 = addr;
1567     memset (&a6, 0, sizeof (a6));
1568     a6.sin6_family = AF_INET6;
1569     a6.sin6_port = t6->t6_port;
1570     memcpy (&a6.sin6_addr, &t6->ipv6_addr, sizeof (struct in6_addr));
1571     port = ntohs (t6->t6_port);
1572     sb = &a6;
1573     sbs = sizeof (a6);
1574   }
1575   else if (addrlen == sizeof (struct IPv4TcpAddress))
1576   {
1577     t4 = addr;
1578     memset (&a4, 0, sizeof (a4));
1579     a4.sin_family = AF_INET;
1580     a4.sin_port = t4->t4_port;
1581     a4.sin_addr.s_addr = t4->ipv4_addr;
1582     port = ntohs (t4->t4_port);
1583     sb = &a4;
1584     sbs = sizeof (a4);
1585   }
1586   else if (0 == addrlen)
1587   {
1588     asc (asc_cls, "<inbound connection>");
1589     asc (asc_cls, NULL);
1590     return;
1591   }
1592   else
1593   {
1594     /* invalid address */
1595     GNUNET_break_op (0);
1596     asc (asc_cls, NULL);
1597     return;
1598   }
1599   ppc = GNUNET_malloc (sizeof (struct PrettyPrinterContext));
1600   if (addrlen == sizeof (struct IPv6TcpAddress))
1601     ppc->ipv6 = GNUNET_YES;
1602   else
1603     ppc->ipv6 = GNUNET_NO;
1604   ppc->asc = asc;
1605   ppc->asc_cls = asc_cls;
1606   ppc->port = port;
1607   GNUNET_RESOLVER_hostname_get (sb, sbs, !numeric, timeout, &append_port, ppc);
1608 }
1609
1610
1611 /**
1612  * Check if the given port is plausible (must be either our listen
1613  * port or our advertised port), or any port if we are behind NAT
1614  * and do not have a port open.  If it is neither, we return
1615  * GNUNET_SYSERR.
1616  *
1617  * @param plugin global variables
1618  * @param in_port port number to check
1619  * @return GNUNET_OK if port is either open_port or adv_port
1620  */
1621 static int
1622 check_port (struct Plugin *plugin, uint16_t in_port)
1623 {
1624   if ((in_port == plugin->adv_port) || (in_port == plugin->open_port))
1625     return GNUNET_OK;
1626   return GNUNET_SYSERR;
1627 }
1628
1629
1630 /**
1631  * Function that will be called to check if a binary address for this
1632  * plugin is well-formed and corresponds to an address for THIS peer
1633  * (as per our configuration).  Naturally, if absolutely necessary,
1634  * plugins can be a bit conservative in their answer, but in general
1635  * plugins should make sure that the address does not redirect
1636  * traffic to a 3rd party that might try to man-in-the-middle our
1637  * traffic.
1638  *
1639  * @param cls closure, our 'struct Plugin*'
1640  * @param addr pointer to the address
1641  * @param addrlen length of addr
1642  * @return GNUNET_OK if this is a plausible address for this peer
1643  *         and transport, GNUNET_SYSERR if not
1644  */
1645 static int
1646 tcp_plugin_check_address (void *cls, const void *addr, size_t addrlen)
1647 {
1648   struct Plugin *plugin = cls;
1649   struct IPv4TcpAddress *v4;
1650   struct IPv6TcpAddress *v6;
1651
1652   if ((addrlen != sizeof (struct IPv4TcpAddress)) &&
1653       (addrlen != sizeof (struct IPv6TcpAddress)))
1654   {
1655     GNUNET_break_op (0);
1656     return GNUNET_SYSERR;
1657   }
1658   if (addrlen == sizeof (struct IPv4TcpAddress))
1659   {
1660     v4 = (struct IPv4TcpAddress *) addr;
1661     if (GNUNET_OK != check_port (plugin, ntohs (v4->t4_port)))
1662       return GNUNET_SYSERR;
1663     if (GNUNET_OK !=
1664         GNUNET_NAT_test_address (plugin->nat, &v4->ipv4_addr,
1665                                  sizeof (struct in_addr)))
1666       return GNUNET_SYSERR;
1667   }
1668   else
1669   {
1670     v6 = (struct IPv6TcpAddress *) addr;
1671     if (IN6_IS_ADDR_LINKLOCAL (&v6->ipv6_addr))
1672     {
1673       GNUNET_break_op (0);
1674       return GNUNET_SYSERR;
1675     }
1676     if (GNUNET_OK != check_port (plugin, ntohs (v6->t6_port)))
1677       return GNUNET_SYSERR;
1678     if (GNUNET_OK !=
1679         GNUNET_NAT_test_address (plugin->nat, &v6->ipv6_addr,
1680                                  sizeof (struct in6_addr)))
1681       return GNUNET_SYSERR;
1682   }
1683   return GNUNET_OK;
1684 }
1685
1686
1687 /**
1688  * We've received a nat probe from this peer via TCP.  Finish
1689  * creating the client session and resume sending of queued
1690  * messages.
1691  *
1692  * @param cls closure
1693  * @param client identification of the client
1694  * @param message the actual message
1695  */
1696 static void
1697 handle_tcp_nat_probe (void *cls, struct GNUNET_SERVER_Client *client,
1698                       const struct GNUNET_MessageHeader *message)
1699 {
1700   struct Plugin *plugin = cls;
1701   struct Session *session;
1702   const struct TCP_NAT_ProbeMessage *tcp_nat_probe;
1703   size_t alen;
1704   void *vaddr;
1705   struct IPv4TcpAddress *t4;
1706   struct IPv6TcpAddress *t6;
1707   const struct sockaddr_in *s4;
1708   const struct sockaddr_in6 *s6;
1709
1710   LOG (GNUNET_ERROR_TYPE_DEBUG, "Received NAT probe\n");
1711
1712   /* We have received a TCP NAT probe, meaning we (hopefully) initiated
1713    * a connection to this peer by running gnunet-nat-client.  This peer
1714    * received the punch message and now wants us to use the new connection
1715    * as the default for that peer.  Do so and then send a WELCOME message
1716    * so we can really be connected!
1717    */
1718   if (ntohs (message->size) != sizeof (struct TCP_NAT_ProbeMessage))
1719   {
1720     GNUNET_break_op (0);
1721     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1722     return;
1723   }
1724
1725   tcp_nat_probe = (const struct TCP_NAT_ProbeMessage *) message;
1726   if (0 ==
1727       memcmp (&tcp_nat_probe->clientIdentity, plugin->env->my_identity,
1728               sizeof (struct GNUNET_PeerIdentity)))
1729   {
1730     /* refuse connections from ourselves */
1731     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1732     return;
1733   }
1734
1735   session =
1736       GNUNET_CONTAINER_multihashmap_get (plugin->nat_wait_conns,
1737                                          &tcp_nat_probe->
1738                                          clientIdentity.hashPubKey);
1739   if (session == NULL)
1740   {
1741     LOG (GNUNET_ERROR_TYPE_DEBUG, 
1742          "Did NOT find session for NAT probe!\n");
1743     GNUNET_SERVER_receive_done (client, GNUNET_OK);
1744     return;
1745   }
1746   LOG (GNUNET_ERROR_TYPE_DEBUG, 
1747        "Found session for NAT probe!\n");
1748
1749   if (session->nat_connection_timeout != GNUNET_SCHEDULER_NO_TASK)
1750   {
1751     GNUNET_SCHEDULER_cancel (session->nat_connection_timeout);
1752     session->nat_connection_timeout = GNUNET_SCHEDULER_NO_TASK;
1753   }
1754
1755   if (GNUNET_OK != GNUNET_SERVER_client_get_address (client, &vaddr, &alen))
1756   {
1757     GNUNET_break (0);
1758     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1759     disconnect_session (session);
1760     return;
1761   }
1762   GNUNET_assert (GNUNET_CONTAINER_multihashmap_remove
1763                  (plugin->nat_wait_conns,
1764                   &tcp_nat_probe->clientIdentity.hashPubKey,
1765                   session) == GNUNET_YES);
1766   GNUNET_CONTAINER_multihashmap_put(plugin->sessionmap,
1767                                     &session->target.hashPubKey, session, 
1768                                     GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);  
1769   session->last_activity = GNUNET_TIME_absolute_get ();
1770   session->inbound = GNUNET_NO;
1771   LOG (GNUNET_ERROR_TYPE_DEBUG, 
1772        "Found address `%s' for incoming connection\n",
1773        GNUNET_a2s (vaddr, alen));
1774   switch (((const struct sockaddr *) vaddr)->sa_family)
1775   {
1776   case AF_INET:
1777     s4 = vaddr;
1778     t4 = GNUNET_malloc (sizeof (struct IPv4TcpAddress));
1779     t4->t4_port = s4->sin_port;
1780     t4->ipv4_addr = s4->sin_addr.s_addr;
1781     session->addr = t4;
1782     session->addrlen = sizeof (struct IPv4TcpAddress);
1783     break;
1784   case AF_INET6:
1785     s6 = vaddr;
1786     t6 = GNUNET_malloc (sizeof (struct IPv6TcpAddress));
1787     t6->t6_port = s6->sin6_port;
1788     memcpy (&t6->ipv6_addr, &s6->sin6_addr, sizeof (struct in6_addr));
1789     session->addr = t6;
1790     session->addrlen = sizeof (struct IPv6TcpAddress);
1791     break;
1792   default:
1793     GNUNET_break_op (0);
1794     LOG (GNUNET_ERROR_TYPE_DEBUG, 
1795          "Bad address for incoming connection!\n");
1796     GNUNET_free (vaddr);
1797     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1798     disconnect_session (session);
1799     return;
1800   }
1801   GNUNET_free (vaddr);
1802   GNUNET_break (NULL == session->client);
1803   GNUNET_SERVER_client_keep (client);
1804   session->client = client;
1805   inc_sessions (plugin, session, __LINE__);
1806   GNUNET_STATISTICS_update (plugin->env->stats,
1807                             gettext_noop ("# TCP sessions active"), 1,
1808                             GNUNET_NO);
1809   process_pending_messages (session);
1810   GNUNET_SERVER_receive_done (client, GNUNET_OK);
1811 }
1812
1813
1814 /**
1815  * We've received a welcome from this peer via TCP.  Possibly create a
1816  * fresh client record and send back our welcome.
1817  *
1818  * @param cls closure
1819  * @param client identification of the client
1820  * @param message the actual message
1821  */
1822 static void
1823 handle_tcp_welcome (void *cls, struct GNUNET_SERVER_Client *client,
1824                     const struct GNUNET_MessageHeader *message)
1825 {
1826   struct Plugin *plugin = cls;
1827   const struct WelcomeMessage *wm = (const struct WelcomeMessage *) message;
1828   struct Session *session;
1829   size_t alen;
1830   void *vaddr;
1831   struct IPv4TcpAddress *t4;
1832   struct IPv6TcpAddress *t6;
1833   const struct sockaddr_in *s4;
1834   const struct sockaddr_in6 *s6;
1835
1836   if (0 ==
1837       memcmp (&wm->clientIdentity, plugin->env->my_identity,
1838               sizeof (struct GNUNET_PeerIdentity)))
1839   {
1840     /* refuse connections from ourselves */
1841     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1842     return;
1843   }
1844   LOG (GNUNET_ERROR_TYPE_DEBUG, 
1845        "Received %s message from `%4s'\n", "WELCOME",
1846        GNUNET_i2s (&wm->clientIdentity));
1847   GNUNET_STATISTICS_update (plugin->env->stats,
1848                             gettext_noop ("# TCP WELCOME messages received"), 1,
1849                             GNUNET_NO);
1850   session = lookup_session_by_client (plugin, client);
1851   if (session != NULL)
1852   {
1853     if (GNUNET_OK == GNUNET_SERVER_client_get_address (client, &vaddr, &alen))
1854     {
1855       LOG (GNUNET_ERROR_TYPE_DEBUG, 
1856            "Found existing session %p for peer `%s'\n",
1857            session,
1858            GNUNET_a2s (vaddr, alen));
1859       GNUNET_free (vaddr);
1860     }
1861   }
1862   else
1863   {
1864     GNUNET_SERVER_client_keep (client);
1865     session = create_session (plugin, &wm->clientIdentity, client, GNUNET_NO);
1866     session->inbound = GNUNET_YES;
1867     if (GNUNET_OK == GNUNET_SERVER_client_get_address (client, &vaddr, &alen))
1868     {
1869       if (alen == sizeof (struct sockaddr_in))
1870       {
1871         s4 = vaddr;
1872         t4 = GNUNET_malloc (sizeof (struct IPv4TcpAddress));
1873         t4->t4_port = s4->sin_port;
1874         t4->ipv4_addr = s4->sin_addr.s_addr;
1875         session->addr = t4;
1876         session->addrlen = sizeof (struct IPv4TcpAddress);
1877       }
1878       else if (alen == sizeof (struct sockaddr_in6))
1879       {
1880         s6 = vaddr;
1881         t6 = GNUNET_malloc (sizeof (struct IPv6TcpAddress));
1882         t6->t6_port = s6->sin6_port;
1883         memcpy (&t6->ipv6_addr, &s6->sin6_addr, sizeof (struct in6_addr));
1884         session->addr = t6;
1885         session->addrlen = sizeof (struct IPv6TcpAddress);
1886       }
1887
1888       struct GNUNET_ATS_Information ats;
1889       ats = plugin->env->get_address_type (plugin->env->cls, vaddr ,alen);
1890       session->ats_address_network_type = ats.value;
1891
1892       GNUNET_free (vaddr);
1893     }
1894     else
1895     {
1896       LOG (GNUNET_ERROR_TYPE_DEBUG, 
1897            "Did not obtain TCP socket address for incoming connection\n");
1898     }
1899     GNUNET_CONTAINER_multihashmap_put(plugin->sessionmap, &wm->clientIdentity.hashPubKey, session, GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
1900     inc_sessions (plugin, session, __LINE__);
1901   }
1902
1903   if (session->expecting_welcome != GNUNET_YES)
1904   {
1905     GNUNET_break_op (0);
1906     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1907     return;
1908   }
1909   session->last_activity = GNUNET_TIME_absolute_get ();
1910   session->expecting_welcome = GNUNET_NO;
1911
1912
1913   process_pending_messages (session);
1914
1915   GNUNET_SERVER_client_set_timeout (client,
1916                                     GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
1917   GNUNET_SERVER_receive_done (client, GNUNET_OK);
1918 }
1919
1920
1921 /**
1922  * Task to signal the server that we can continue
1923  * receiving from the TCP client now.
1924  *
1925  * @param cls the 'struct Session*'
1926  * @param tc task context (unused)
1927  */
1928 static void
1929 delayed_done (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1930 {
1931   struct Session *session = cls;
1932   struct GNUNET_TIME_Relative delay;
1933   struct GNUNET_ATS_Information ats;
1934
1935   session->receive_delay_task = GNUNET_SCHEDULER_NO_TASK;
1936   delay =
1937       session->plugin->env->receive (session->plugin->env->cls,
1938                                      &session->target, NULL, &ats, 0, session,
1939                                      NULL, 0);
1940   reschedule_session_timeout (session);
1941
1942   if (delay.rel_value == 0)
1943     GNUNET_SERVER_receive_done (session->client, GNUNET_OK);
1944   else
1945     session->receive_delay_task =
1946         GNUNET_SCHEDULER_add_delayed (delay, &delayed_done, session);
1947 }
1948
1949
1950 /**
1951  * We've received data for this peer via TCP.  Unbox,
1952  * compute latency and forward.
1953  *
1954  * @param cls closure
1955  * @param client identification of the client
1956  * @param message the actual message
1957  */
1958 static void
1959 handle_tcp_data (void *cls, struct GNUNET_SERVER_Client *client,
1960                  const struct GNUNET_MessageHeader *message)
1961 {
1962   struct Plugin *plugin = cls;
1963   struct Session *session;
1964   struct GNUNET_TIME_Relative delay;
1965   uint16_t type;
1966
1967   type = ntohs (message->type);
1968   if ((GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_WELCOME == type) ||
1969       (GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_NAT_PROBE == type))
1970   {
1971     /* We don't want to propagate WELCOME and NAT Probe messages up! */
1972     GNUNET_SERVER_receive_done (client, GNUNET_OK);
1973     return;
1974   }
1975   session = lookup_session_by_client (plugin, client);
1976   if (NULL == session)
1977   {
1978     /* No inbound session found */
1979     void *vaddr;
1980     size_t alen;
1981     
1982     GNUNET_SERVER_client_get_address (client, &vaddr, &alen);
1983     LOG (GNUNET_ERROR_TYPE_ERROR, 
1984          "Received unexpected %u bytes of type %u from `%s'\n",
1985          (unsigned int) ntohs (message->size),
1986          (unsigned int) ntohs (message->type),
1987          GNUNET_a2s(vaddr, alen));
1988     GNUNET_break_op (0);
1989     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1990     GNUNET_free_non_null(vaddr);
1991     return;
1992   }
1993   else if (GNUNET_YES == session->expecting_welcome)
1994   {
1995     /* Session is expecting WELCOME message */
1996     void *vaddr;
1997     size_t alen;
1998
1999     GNUNET_SERVER_client_get_address (client, &vaddr, &alen);
2000     LOG (GNUNET_ERROR_TYPE_ERROR, 
2001          "Received unexpected %u bytes of type %u from `%s'\n",
2002          (unsigned int) ntohs (message->size),
2003          (unsigned int) ntohs (message->type),
2004          GNUNET_a2s(vaddr, alen));
2005     GNUNET_break_op (0);
2006     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
2007     GNUNET_free_non_null(vaddr);
2008     return;
2009   }
2010
2011   session->last_activity = GNUNET_TIME_absolute_get ();
2012   LOG (GNUNET_ERROR_TYPE_DEBUG, 
2013                    "Passing %u bytes of type %u from `%4s' to transport service.\n",
2014                    (unsigned int) ntohs (message->size),
2015                    (unsigned int) ntohs (message->type),
2016                    GNUNET_i2s (&session->target));
2017
2018   GNUNET_STATISTICS_update (plugin->env->stats,
2019                             gettext_noop ("# bytes received via TCP"),
2020                             ntohs (message->size), GNUNET_NO);
2021   struct GNUNET_ATS_Information distance[2];
2022
2023   distance[0].type = htonl (GNUNET_ATS_QUALITY_NET_DISTANCE);
2024   distance[0].value = htonl (1);
2025   distance[1].type = htonl (GNUNET_ATS_NETWORK_TYPE);
2026   distance[1].value = session->ats_address_network_type;
2027   GNUNET_break (ntohl(session->ats_address_network_type) != GNUNET_ATS_NET_UNSPECIFIED);
2028
2029   GNUNET_assert (GNUNET_CONTAINER_multihashmap_contains_value (plugin->sessionmap,
2030       &session->target.hashPubKey,
2031       session));
2032
2033   delay = plugin->env->receive (plugin->env->cls,
2034                                 &session->target,
2035                                 message,
2036                                 (const struct GNUNET_ATS_Information *) &distance,
2037                                 1, session,
2038                                 (GNUNET_YES == session->inbound) ? NULL : session->addr,
2039                                 (GNUNET_YES == session->inbound) ? 0 : session->addrlen);
2040
2041   reschedule_session_timeout (session);
2042
2043   if (delay.rel_value == 0)
2044   {
2045     GNUNET_SERVER_receive_done (client, GNUNET_OK);
2046   }
2047   else
2048   {
2049     LOG (GNUNET_ERROR_TYPE_DEBUG, 
2050          "Throttling receiving from `%s' for %llu ms\n",
2051          GNUNET_i2s (&session->target),
2052          (unsigned long long) delay.rel_value);
2053     GNUNET_SERVER_disable_receive_done_warning (client);
2054     session->receive_delay_task =
2055         GNUNET_SCHEDULER_add_delayed (delay, &delayed_done, session);
2056   }
2057 }
2058
2059
2060 /**
2061  * Functions with this signature are called whenever a peer
2062  * is disconnected on the network level.
2063  *
2064  * @param cls closure
2065  * @param client identification of the client
2066  */
2067 static void
2068 disconnect_notify (void *cls, struct GNUNET_SERVER_Client *client)
2069 {
2070   struct Plugin *plugin = cls;
2071   struct Session *session;
2072
2073   if (client == NULL)
2074     return;
2075   plugin->max_connections++;
2076   session = lookup_session_by_client (plugin, client);
2077   if (session == NULL)
2078     return;                     /* unknown, nothing to do */
2079   LOG (GNUNET_ERROR_TYPE_DEBUG, 
2080        "Destroying session of `%4s' with %s due to network-level disconnect.\n",
2081        GNUNET_i2s (&session->target),
2082        (session->addr !=
2083         NULL) ? tcp_address_to_string (session->plugin,
2084                                        session->addr,
2085                                        session->addrlen) :
2086        "*");
2087   GNUNET_STATISTICS_update (session->plugin->env->stats,
2088                             gettext_noop
2089                             ("# network-level TCP disconnect events"), 1,
2090                             GNUNET_NO);
2091   disconnect_session (session);
2092 }
2093
2094
2095 /**
2096  * We can now send a probe message, copy into buffer to really send.
2097  *
2098  * @param cls closure, a struct TCPProbeContext
2099  * @param size max size to copy
2100  * @param buf buffer to copy message to
2101  * @return number of bytes copied into buf
2102  */
2103 static size_t
2104 notify_send_probe (void *cls, size_t size, void *buf)
2105 {
2106   struct TCPProbeContext *tcp_probe_ctx = cls;
2107   struct Plugin *plugin = tcp_probe_ctx->plugin;
2108   size_t ret;
2109
2110   tcp_probe_ctx->transmit_handle = NULL;
2111   GNUNET_CONTAINER_DLL_remove (plugin->probe_head, plugin->probe_tail,
2112                                tcp_probe_ctx);
2113   if (buf == NULL)
2114   {
2115     GNUNET_CONNECTION_destroy (tcp_probe_ctx->sock);
2116     GNUNET_free (tcp_probe_ctx);
2117     return 0;
2118   }
2119   GNUNET_assert (size >= sizeof (tcp_probe_ctx->message));
2120   memcpy (buf, &tcp_probe_ctx->message, sizeof (tcp_probe_ctx->message));
2121   GNUNET_SERVER_connect_socket (tcp_probe_ctx->plugin->server,
2122                                 tcp_probe_ctx->sock);
2123   ret = sizeof (tcp_probe_ctx->message);
2124   GNUNET_free (tcp_probe_ctx);
2125   return ret;
2126 }
2127
2128
2129 /**
2130  * Function called by the NAT subsystem suggesting another peer wants
2131  * to connect to us via connection reversal.  Try to connect back to the
2132  * given IP.
2133  *
2134  * @param cls closure
2135  * @param addr address to try
2136  * @param addrlen number of bytes in addr
2137  */
2138 static void
2139 try_connection_reversal (void *cls, const struct sockaddr *addr,
2140                          socklen_t addrlen)
2141 {
2142   struct Plugin *plugin = cls;
2143   struct GNUNET_CONNECTION_Handle *sock;
2144   struct TCPProbeContext *tcp_probe_ctx;
2145
2146   /**
2147    * We have received an ICMP response, ostensibly from a peer
2148    * that wants to connect to us! Send a message to establish a connection.
2149    */
2150   sock = GNUNET_CONNECTION_create_from_sockaddr (AF_INET, addr, addrlen);
2151   if (sock == NULL)
2152   {
2153     /* failed for some odd reason (out of sockets?); ignore attempt */
2154     return;
2155   }
2156
2157   /* FIXME: do we need to track these probe context objects so that
2158    * we can clean them up on plugin unload? */
2159   tcp_probe_ctx = GNUNET_malloc (sizeof (struct TCPProbeContext));
2160   tcp_probe_ctx->message.header.size =
2161       htons (sizeof (struct TCP_NAT_ProbeMessage));
2162   tcp_probe_ctx->message.header.type =
2163       htons (GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_NAT_PROBE);
2164   memcpy (&tcp_probe_ctx->message.clientIdentity, plugin->env->my_identity,
2165           sizeof (struct GNUNET_PeerIdentity));
2166   tcp_probe_ctx->plugin = plugin;
2167   tcp_probe_ctx->sock = sock;
2168   GNUNET_CONTAINER_DLL_insert (plugin->probe_head, plugin->probe_tail,
2169                                tcp_probe_ctx);
2170   tcp_probe_ctx->transmit_handle =
2171       GNUNET_CONNECTION_notify_transmit_ready (sock,
2172                                                ntohs (tcp_probe_ctx->
2173                                                       message.header.size),
2174                                                GNUNET_TIME_UNIT_FOREVER_REL,
2175                                                &notify_send_probe,
2176                                                tcp_probe_ctx);
2177
2178 }
2179
2180
2181 /**
2182  * Session was idle, so disconnect it
2183  */
2184 static void
2185 session_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
2186 {
2187   GNUNET_assert (NULL != cls);
2188   struct Session *s = cls;
2189
2190   s->timeout_task = GNUNET_SCHEDULER_NO_TASK;
2191   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2192               "Session %p was idle for %llu ms, disconnecting\n",
2193               s, (unsigned long long) GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT.rel_value);
2194   /* call session destroy function */
2195   disconnect_session(s);
2196 }
2197
2198
2199 /**
2200  * Start session timeout
2201  */
2202 static void
2203 start_session_timeout (struct Session *s)
2204 {
2205   GNUNET_assert (NULL != s);
2206   GNUNET_assert (GNUNET_SCHEDULER_NO_TASK == s->timeout_task);
2207   s->timeout_task =  GNUNET_SCHEDULER_add_delayed (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT,
2208                                                    &session_timeout,
2209                                                    s);
2210   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2211               "Timeout for session %p set to %llu ms\n",
2212               s,  (unsigned long long) GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT.rel_value);
2213 }
2214
2215
2216 /**
2217  * Increment session timeout due to activity
2218  */
2219 static void
2220 reschedule_session_timeout (struct Session *s)
2221 {
2222   GNUNET_assert (NULL != s);
2223   GNUNET_assert (GNUNET_SCHEDULER_NO_TASK != s->timeout_task);
2224
2225   GNUNET_SCHEDULER_cancel (s->timeout_task);
2226   s->timeout_task =  GNUNET_SCHEDULER_add_delayed (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT,
2227                                                    &session_timeout,
2228                                                    s);
2229   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2230               "Timeout rescheduled for session %p set to %llu ms\n",
2231               s, (unsigned long long) GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT.rel_value);
2232 }
2233
2234
2235 /**
2236  * Cancel timeout
2237  */
2238 static void
2239 stop_session_timeout (struct Session *s)
2240 {
2241   GNUNET_assert (NULL != s);
2242
2243   if (GNUNET_SCHEDULER_NO_TASK != s->timeout_task)
2244   {
2245     GNUNET_SCHEDULER_cancel (s->timeout_task);
2246     s->timeout_task = GNUNET_SCHEDULER_NO_TASK;
2247     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2248                 "Timeout stopped for session %p canceled\n",
2249                 s, (unsigned long long) GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT.rel_value);
2250   }
2251 }
2252
2253
2254 /**
2255  * Entry point for the plugin.
2256  *
2257  * @param cls closure, the 'struct GNUNET_TRANSPORT_PluginEnvironment*'
2258  * @return the 'struct GNUNET_TRANSPORT_PluginFunctions*' or NULL on error
2259  */
2260 void *
2261 libgnunet_plugin_transport_tcp_init (void *cls)
2262 {
2263   static const struct GNUNET_SERVER_MessageHandler my_handlers[] = {
2264     {&handle_tcp_welcome, NULL, GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_WELCOME,
2265      sizeof (struct WelcomeMessage)},
2266     {&handle_tcp_nat_probe, NULL, GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_NAT_PROBE,
2267      sizeof (struct TCP_NAT_ProbeMessage)},
2268     {&handle_tcp_data, NULL, GNUNET_MESSAGE_TYPE_ALL, 0},
2269     {NULL, NULL, 0, 0}
2270   };
2271   struct GNUNET_TRANSPORT_PluginEnvironment *env = cls;
2272   struct GNUNET_TRANSPORT_PluginFunctions *api;
2273   struct Plugin *plugin;
2274   struct GNUNET_SERVICE_Context *service;
2275   unsigned long long aport;
2276   unsigned long long bport;
2277   unsigned long long max_connections;
2278   unsigned int i;
2279   struct GNUNET_TIME_Relative idle_timeout;
2280   int ret;
2281   struct sockaddr **addrs;
2282   socklen_t *addrlens;
2283
2284   if (NULL == env->receive)
2285   {
2286     /* run in 'stub' mode (i.e. as part of gnunet-peerinfo), don't fully
2287        initialze the plugin or the API */
2288     api = GNUNET_malloc (sizeof (struct GNUNET_TRANSPORT_PluginFunctions));
2289     api->cls = NULL;
2290     api->address_pretty_printer = &tcp_plugin_address_pretty_printer;
2291     api->address_to_string = &tcp_address_to_string;
2292     api->string_to_address = &tcp_string_to_address;
2293     return api;
2294   }
2295
2296   if (GNUNET_OK !=
2297       GNUNET_CONFIGURATION_get_value_number (env->cfg, "transport-tcp",
2298                                              "MAX_CONNECTIONS",
2299                                              &max_connections))
2300     max_connections = 128;
2301
2302   aport = 0;
2303   if ((GNUNET_OK !=
2304        GNUNET_CONFIGURATION_get_value_number (env->cfg, "transport-tcp", "PORT",
2305                                               &bport)) || (bport > 65535) ||
2306       ((GNUNET_OK ==
2307         GNUNET_CONFIGURATION_get_value_number (env->cfg, "transport-tcp",
2308                                                "ADVERTISED-PORT", &aport)) &&
2309        (aport > 65535)))
2310   {
2311     LOG (GNUNET_ERROR_TYPE_ERROR, 
2312          _
2313          ("Require valid port number for service `%s' in configuration!\n"),
2314          "transport-tcp");
2315     return NULL;
2316   }
2317   if (aport == 0)
2318     aport = bport;
2319   if (bport == 0)
2320     aport = 0;
2321   if (bport != 0)
2322   {
2323     service = GNUNET_SERVICE_start ("transport-tcp", env->cfg, GNUNET_SERVICE_OPTION_NONE);
2324     if (service == NULL)
2325     {
2326       LOG (GNUNET_ERROR_TYPE_WARNING,
2327            _("Failed to start service.\n"));
2328       return NULL;
2329     }
2330   }
2331   else
2332     service = NULL;
2333
2334   plugin = GNUNET_malloc (sizeof (struct Plugin));
2335   plugin->sessionmap = GNUNET_CONTAINER_multihashmap_create(max_connections);
2336   plugin->max_connections = max_connections;
2337   plugin->open_port = bport;
2338   plugin->adv_port = aport;
2339   plugin->env = env;
2340   plugin->lsock = NULL;
2341   if ((service != NULL) &&
2342       (GNUNET_SYSERR !=
2343        (ret =
2344         GNUNET_SERVICE_get_server_addresses ("transport-tcp", env->cfg, &addrs,
2345                                              &addrlens))))
2346   {
2347     plugin->nat =
2348         GNUNET_NAT_register (env->cfg, GNUNET_YES, aport, (unsigned int) ret,
2349                              (const struct sockaddr **) addrs, addrlens,
2350                              &tcp_nat_port_map_callback,
2351                              &try_connection_reversal, plugin);
2352     while (ret > 0)
2353     {
2354       ret--;
2355       GNUNET_assert (addrs[ret] != NULL);
2356       GNUNET_free (addrs[ret]);
2357     }
2358     GNUNET_free_non_null (addrs);
2359     GNUNET_free_non_null (addrlens);
2360   }
2361   else
2362   {
2363     plugin->nat =
2364         GNUNET_NAT_register (env->cfg, GNUNET_YES, 0, 0, NULL, NULL, NULL,
2365                              &try_connection_reversal, plugin);
2366   }
2367   api = GNUNET_malloc (sizeof (struct GNUNET_TRANSPORT_PluginFunctions));
2368   api->cls = plugin;
2369   api->send = &tcp_plugin_send;
2370   api->get_session = &tcp_plugin_get_session;
2371
2372   api->disconnect = &tcp_plugin_disconnect;
2373   api->address_pretty_printer = &tcp_plugin_address_pretty_printer;
2374   api->check_address = &tcp_plugin_check_address;
2375   api->address_to_string = &tcp_address_to_string;
2376   api->string_to_address = &tcp_string_to_address;
2377   plugin->service = service;
2378   if (service != NULL)
2379   {
2380     plugin->server = GNUNET_SERVICE_get_server (service);
2381   }
2382   else
2383   {
2384     if (GNUNET_OK !=
2385         GNUNET_CONFIGURATION_get_value_time (env->cfg, "transport-tcp",
2386                                              "TIMEOUT", &idle_timeout))
2387     {
2388       LOG (GNUNET_ERROR_TYPE_ERROR,
2389            _("Failed to find option %s in section %s!\n"),
2390            "TIMEOUT", "transport-tcp");
2391       if (plugin->nat != NULL)
2392         GNUNET_NAT_unregister (plugin->nat);
2393       GNUNET_free (plugin);
2394       GNUNET_free (api);
2395       return NULL;
2396     }
2397     plugin->server =
2398         GNUNET_SERVER_create_with_sockets (&plugin_tcp_access_check, plugin,
2399                                            NULL, idle_timeout, GNUNET_YES);
2400   }
2401   plugin->handlers = GNUNET_malloc (sizeof (my_handlers));
2402   memcpy (plugin->handlers, my_handlers, sizeof (my_handlers));
2403   for (i = 0;
2404        i < sizeof (my_handlers) / sizeof (struct GNUNET_SERVER_MessageHandler);
2405        i++)
2406     plugin->handlers[i].callback_cls = plugin;
2407   GNUNET_SERVER_add_handlers (plugin->server, plugin->handlers);
2408   GNUNET_SERVER_disconnect_notify (plugin->server, &disconnect_notify, plugin);
2409   plugin->nat_wait_conns = GNUNET_CONTAINER_multihashmap_create (16);
2410   if (bport != 0)
2411     LOG (GNUNET_ERROR_TYPE_INFO, 
2412          _("TCP transport listening on port %llu\n"), bport);
2413   else
2414     LOG (GNUNET_ERROR_TYPE_INFO, 
2415          _
2416          ("TCP transport not listening on any port (client only)\n"));
2417   if (aport != bport)
2418     LOG (GNUNET_ERROR_TYPE_INFO, 
2419                      _
2420                      ("TCP transport advertises itself as being on port %llu\n"),
2421                      aport);
2422   /* Initially set connections to 0 */
2423   GNUNET_STATISTICS_set(plugin->env->stats,
2424                         gettext_noop ("# TCP sessions active"), 0,
2425                         GNUNET_NO);
2426   return api;
2427 }
2428
2429
2430 /**
2431  * Exit point from the plugin.
2432  */
2433 void *
2434 libgnunet_plugin_transport_tcp_done (void *cls)
2435 {
2436   struct GNUNET_TRANSPORT_PluginFunctions *api = cls;
2437   struct Plugin *plugin = api->cls;
2438   struct TCPProbeContext *tcp_probe;
2439
2440   if (NULL == plugin)
2441   {
2442     GNUNET_free (api);
2443     return NULL;
2444   }
2445   LOG (GNUNET_ERROR_TYPE_DEBUG, "Shutting down TCP plugin\n");
2446
2447   /* Removing leftover sessions */
2448   GNUNET_CONTAINER_multihashmap_iterate(plugin->sessionmap, &session_disconnect_it, NULL);
2449   /* Removing leftover NAT sessions */
2450   GNUNET_CONTAINER_multihashmap_iterate(plugin->nat_wait_conns, &session_disconnect_it, NULL);
2451
2452   if (plugin->service != NULL)
2453     GNUNET_SERVICE_stop (plugin->service);
2454   else
2455     GNUNET_SERVER_destroy (plugin->server);
2456   GNUNET_free (plugin->handlers);
2457   if (plugin->nat != NULL)
2458     GNUNET_NAT_unregister (plugin->nat);
2459   while (NULL != (tcp_probe = plugin->probe_head))
2460   {
2461     GNUNET_CONTAINER_DLL_remove (plugin->probe_head, plugin->probe_tail,
2462                                  tcp_probe);
2463     GNUNET_CONNECTION_destroy (tcp_probe->sock);
2464     GNUNET_free (tcp_probe);
2465   }
2466   GNUNET_CONTAINER_multihashmap_destroy (plugin->nat_wait_conns);
2467   GNUNET_CONTAINER_multihashmap_destroy (plugin->sessionmap);
2468   GNUNET_free (plugin);
2469   GNUNET_free (api);
2470   return NULL;
2471 }
2472
2473 /* end of plugin_transport_tcp.c */