src/transport/plugin_transport_tcp.c

   1 /*
   2      This file is part of GNUnet
   3      (C) 2002--2012 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20 /**
  21  * @file transport/plugin_transport_tcp.c
  22  * @brief Implementation of the TCP transport service
  23  * @author Christian Grothoff
  24  */
  25 #include "platform.h"
  26 #include "gnunet_hello_lib.h"
  27 #include "gnunet_constants.h"
  28 #include "gnunet_connection_lib.h"
  29 #include "gnunet_container_lib.h"
  30 #include "gnunet_nat_lib.h"
  31 #include "gnunet_os_lib.h"
  32 #include "gnunet_protocols.h"
  33 #include "gnunet_resolver_service.h"
  34 #include "gnunet_server_lib.h"
  35 #include "gnunet_service_lib.h"
  36 #include "gnunet_signatures.h"
  37 #include "gnunet_statistics_service.h"
  38 #include "gnunet_transport_service.h"
  39 #include "gnunet_transport_plugin.h"
  40 #include "transport.h"
  41
  42 #define LOG(kind,...) GNUNET_log_from (kind, "transport-tcp",__VA_ARGS__)
  43
  44 /**
  45  * How long until we give up on establishing an NAT connection?
  46  * Must be > 4 RTT
  47  */
  48 #define NAT_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 10)
  49
  50
  51 GNUNET_NETWORK_STRUCT_BEGIN
  52
  53 /**
  54  * Initial handshake message for a session.
  55  */
  56 struct WelcomeMessage
  57 {
  58   /**
  59    * Type is GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_WELCOME.
  60    */
  61   struct GNUNET_MessageHeader header;
  62
  63   /**
  64    * Identity of the node connecting (TCP client)
  65    */
  66   struct GNUNET_PeerIdentity clientIdentity;
  67
  68 };
  69
  70
  71 /**
  72  * Basically a WELCOME message, but with the purpose
  73  * of giving the waiting peer a client handle to use
  74  */
  75 struct TCP_NAT_ProbeMessage
  76 {
  77   /**
  78    * Type is GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_NAT_PROBE.
  79    */
  80   struct GNUNET_MessageHeader header;
  81
  82   /**
  83    * Identity of the sender of the message.
  84    */
  85   struct GNUNET_PeerIdentity clientIdentity;
  86
  87 };
  88 GNUNET_NETWORK_STRUCT_END
  89
  90 /**
  91  * Context for sending a NAT probe via TCP.
  92  */
  93 struct TCPProbeContext
  94 {
  95
  96   /**
  97    * Active probes are kept in a DLL.
  98    */
  99   struct TCPProbeContext *next;
 100
 101   /**
 102    * Active probes are kept in a DLL.
 103    */
 104   struct TCPProbeContext *prev;
 105
 106   /**
 107    * Probe connection.
 108    */
 109   struct GNUNET_CONNECTION_Handle *sock;
 110
 111   /**
 112    * Message to be sent.
 113    */
 114   struct TCP_NAT_ProbeMessage message;
 115
 116   /**
 117    * Handle to the transmission.
 118    */
 119   struct GNUNET_CONNECTION_TransmitHandle *transmit_handle;
 120
 121   /**
 122    * Transport plugin handle.
 123    */
 124   struct Plugin *plugin;
 125 };
 126
 127
 128 GNUNET_NETWORK_STRUCT_BEGIN
 129
 130 /**
 131  * Network format for IPv4 addresses.
 132  */
 133 struct IPv4TcpAddress
 134 {
 135   /**
 136    * IPv4 address, in network byte order.
 137    */
 138   uint32_t ipv4_addr GNUNET_PACKED;
 139
 140   /**
 141    * Port number, in network byte order.
 142    */
 143   uint16_t t4_port GNUNET_PACKED;
 144
 145 };
 146
 147
 148 /**
 149  * Network format for IPv6 addresses.
 150  */
 151 struct IPv6TcpAddress
 152 {
 153   /**
 154    * IPv6 address.
 155    */
 156   struct in6_addr ipv6_addr GNUNET_PACKED;
 157
 158   /**
 159    * Port number, in network byte order.
 160    */
 161   uint16_t t6_port GNUNET_PACKED;
 162
 163 };
 164 GNUNET_NETWORK_STRUCT_END
 165
 166 /**
 167  * Encapsulation of all of the state of the plugin.
 168  */
 169 struct Plugin;
 170
 171
 172 /**
 173  * Information kept for each message that is yet to
 174  * be transmitted.
 175  */
 176 struct PendingMessage
 177 {
 178
 179   /**
 180    * This is a doubly-linked list.
 181    */
 182   struct PendingMessage *next;
 183
 184   /**
 185    * This is a doubly-linked list.
 186    */
 187   struct PendingMessage *prev;
 188
 189   /**
 190    * The pending message
 191    */
 192   const char *msg;
 193
 194   /**
 195    * Continuation function to call once the message
 196    * has been sent.  Can be NULL if there is no
 197    * continuation to call.
 198    */
 199   GNUNET_TRANSPORT_TransmitContinuation transmit_cont;
 200
 201   /**
 202    * Closure for transmit_cont.
 203    */
 204   void *transmit_cont_cls;
 205
 206   /**
 207    * Timeout value for the pending message.
 208    */
 209   struct GNUNET_TIME_Absolute timeout;
 210
 211   /**
 212    * So that the gnunet-service-transport can group messages together,
 213    * these pending messages need to accept a message buffer and size
 214    * instead of just a GNUNET_MessageHeader.
 215    */
 216   size_t message_size;
 217
 218 };
 219
 220
 221 /**
 222  * Session handle for TCP connections.
 223  */
 224 struct Session
 225 {
 226   /**
 227    * To whom are we talking to (set to our identity
 228    * if we are still waiting for the welcome message)
 229    */
 230   struct GNUNET_PeerIdentity target;
 231
 232   /**
 233    * API requirement.
 234    */
 235   struct SessionHeader header;
 236
 237   /**
 238    * Pointer to the global plugin struct.
 239    */
 240   struct Plugin *plugin;
 241
 242   /**
 243    * The client (used to identify this connection)
 244    */
 245   struct GNUNET_SERVER_Client *client;
 246
 247   /**
 248    * Task cleaning up a NAT client connection establishment attempt;
 249    */
 250   GNUNET_SCHEDULER_TaskIdentifier nat_connection_timeout;
 251
 252   /**
 253    * Messages currently pending for transmission
 254    * to this peer, if any.
 255    */
 256   struct PendingMessage *pending_messages_head;
 257
 258   /**
 259    * Messages currently pending for transmission
 260    * to this peer, if any.
 261    */
 262   struct PendingMessage *pending_messages_tail;
 263
 264   /**
 265    * Handle for pending transmission request.
 266    */
 267   struct GNUNET_SERVER_TransmitHandle *transmit_handle;
 268
 269   /**
 270    * ID of task used to delay receiving more to throttle sender.
 271    */
 272   GNUNET_SCHEDULER_TaskIdentifier receive_delay_task;
 273
 274   /**
 275    * Session timeout task
 276    */
 277   GNUNET_SCHEDULER_TaskIdentifier timeout_task;
 278
 279   /**
 280    * Address of the other peer (either based on our 'connect'
 281    * call or on our 'accept' call).
 282    *
 283    * struct IPv4TcpAddress or struct IPv6TcpAddress
 284    *
 285    */
 286   void *addr;
 287
 288   /**
 289    * Length of connect_addr.
 290    */
 291   size_t addrlen;
 292
 293   /**
 294    * Last activity on this connection.  Used to select preferred
 295    * connection.
 296    */
 297   struct GNUNET_TIME_Absolute last_activity;
 298
 299   /**
 300    * Are we still expecting the welcome message? (GNUNET_YES/GNUNET_NO)
 301    */
 302   int expecting_welcome;
 303
 304   /**
 305    * Was this a connection that was inbound (we accepted)? (GNUNET_YES/GNUNET_NO)
 306    */
 307   int inbound;
 308
 309   /**
 310    * Was this session created using NAT traversal?
 311    */
 312   int is_nat;
 313
 314   /**
 315    * ATS network type in NBO
 316    */
 317   uint32_t ats_address_network_type;
 318 };
 319
 320
 321 /**
 322  * Encapsulation of all of the state of the plugin.
 323  */
 324 struct Plugin
 325 {
 326   /**
 327    * Our environment.
 328    */
 329   struct GNUNET_TRANSPORT_PluginEnvironment *env;
 330
 331   /**
 332    * The listen socket.
 333    */
 334   struct GNUNET_CONNECTION_Handle *lsock;
 335
 336   /**
 337    * Our handle to the NAT module.
 338    */
 339   struct GNUNET_NAT_Handle *nat;
 340
 341   /**
 342    * Map from peer identities to sessions for the given peer.
 343    */
 344   struct GNUNET_CONTAINER_MultiHashMap *sessionmap;
 345
 346   /**
 347    * Handle to the network service.
 348    */
 349   struct GNUNET_SERVICE_Context *service;
 350
 351   /**
 352    * Handle to the server for this service.
 353    */
 354   struct GNUNET_SERVER_Handle *server;
 355
 356   /**
 357    * Copy of the handler array where the closures are
 358    * set to this struct's instance.
 359    */
 360   struct GNUNET_SERVER_MessageHandler *handlers;
 361
 362   /**
 363    * Map of peers we have tried to contact behind a NAT
 364    */
 365   struct GNUNET_CONTAINER_MultiHashMap *nat_wait_conns;
 366
 367   /**
 368    * List of active TCP probes.
 369    */
 370   struct TCPProbeContext *probe_head;
 371
 372   /**
 373    * List of active TCP probes.
 374    */
 375   struct TCPProbeContext *probe_tail;
 376
 377   /**
 378    * Handle for (DYN)DNS lookup of our external IP.
 379    */
 380   struct GNUNET_RESOLVER_RequestHandle *ext_dns;
 381
 382   /**
 383    * How many more TCP sessions are we allowed to open right now?
 384    */
 385   unsigned long long max_connections;
 386
 387   /**
 388    * ID of task used to update our addresses when one expires.
 389    */
 390   GNUNET_SCHEDULER_TaskIdentifier address_update_task;
 391
 392   /**
 393    * Port that we are actually listening on.
 394    */
 395   uint16_t open_port;
 396
 397   /**
 398    * Port that the user said we would have visible to the
 399    * rest of the world.
 400    */
 401   uint16_t adv_port;
 402
 403 };
 404
 405
 406 /**
 407  * Start session timeout
 408  */
 409 static void
 410 start_session_timeout (struct Session *s);
 411
 412
 413 /**
 414  * Increment session timeout due to activity
 415  */
 416 static void
 417 reschedule_session_timeout (struct Session *s);
 418
 419
 420 /**
 421  * Cancel timeout
 422  */
 423 static void
 424 stop_session_timeout (struct Session *s);
 425
 426
 427 /* DEBUG CODE */
 428 static const char *
 429 tcp_address_to_string (void *cls, const void *addr, size_t addrlen);
 430
 431
 432 static unsigned int sessions;
 433
 434
 435 static void
 436 inc_sessions (struct Plugin *plugin, struct Session *session, int line)
 437 {
 438   sessions++;
 439   unsigned int size = GNUNET_CONTAINER_multihashmap_size(plugin->sessionmap);
 440   if (sessions != size)
 441     LOG (GNUNET_ERROR_TYPE_DEBUG, "Inconsistent sessions %u <-> session map size: %u\n",
 442         sessions, size);
 443   LOG (GNUNET_ERROR_TYPE_DEBUG, "%4i Session increased to %u (session map size: %u): `%s' `%s'\n",
 444       line,
 445       sessions,
 446       size,
 447       GNUNET_i2s (&session->target),
 448       tcp_address_to_string (NULL, session->addr, session->addrlen));
 449 }
 450
 451
 452 static void
 453 dec_sessions (struct Plugin *plugin, struct Session *session, int line)
 454 {
 455   GNUNET_assert (sessions > 0);
 456   unsigned int size = GNUNET_CONTAINER_multihashmap_size(plugin->sessionmap);
 457   sessions--;
 458   if (sessions != size)
 459     LOG (GNUNET_ERROR_TYPE_DEBUG, "Inconsistent sessions %u <-> session map size: %u\n",
 460       sessions, size);
 461   LOG (GNUNET_ERROR_TYPE_DEBUG, "%4i Session decreased to %u (session map size: %u): `%s' `%s'\n",
 462       line,
 463       sessions,
 464       size,
 465       GNUNET_i2s (&session->target),
 466       tcp_address_to_string (NULL, session->addr, session->addrlen));
 467 }
 468 /* DEBUG CODE */
 469
 470
 471 /**
 472  * Function to check if an inbound connection is acceptable.
 473  * Mostly used to limit the total number of open connections
 474  * we can have.
 475  *
 476  * @param cls the 'struct Plugin'
 477  * @param ucred credentials, if available, otherwise NULL
 478  * @param addr address
 479  * @param addrlen length of address
 480  * @return GNUNET_YES to allow, GNUNET_NO to deny, GNUNET_SYSERR
 481  *   for unknown address family (will be denied).
 482  */
 483 static int
 484 plugin_tcp_access_check (void *cls,
 485                          const struct GNUNET_CONNECTION_Credentials *ucred,
 486                          const struct sockaddr *addr, socklen_t addrlen)
 487 {
 488   struct Plugin *plugin = cls;
 489
 490   LOG (GNUNET_ERROR_TYPE_ERROR,
 491        "Accepting new incoming TCP connection from `%s'\n",
 492        GNUNET_a2s (addr, addrlen));
 493   if (0 == plugin->max_connections)
 494     return GNUNET_NO;
 495   plugin->max_connections--;
 496   return GNUNET_YES;
 497 }
 498
 499
 500 /**
 501  * Our external IP address/port mapping has changed.
 502  *
 503  * @param cls closure, the 'struct LocalAddrList'
 504  * @param add_remove GNUNET_YES to mean the new public IP address, GNUNET_NO to mean
 505  *     the previous (now invalid) one
 506  * @param addr either the previous or the new public IP address
 507  * @param addrlen actual lenght of the address
 508  */
 509 static void
 510 tcp_nat_port_map_callback (void *cls, int add_remove,
 511                            const struct sockaddr *addr, socklen_t addrlen)
 512 {
 513   struct Plugin *plugin = cls;
 514   struct IPv4TcpAddress t4;
 515   struct IPv6TcpAddress t6;
 516   void *arg;
 517   size_t args;
 518
 519   LOG (GNUNET_ERROR_TYPE_DEBUG,
 520        "NPMC called with %d for address `%s'\n", add_remove,
 521        GNUNET_a2s (addr, addrlen));
 522   /* convert 'addr' to our internal format */
 523   switch (addr->sa_family)
 524   {
 525   case AF_INET:
 526     GNUNET_assert (addrlen == sizeof (struct sockaddr_in));
 527     t4.ipv4_addr = ((struct sockaddr_in *) addr)->sin_addr.s_addr;
 528     t4.t4_port = ((struct sockaddr_in *) addr)->sin_port;
 529     arg = &t4;
 530     args = sizeof (t4);
 531     break;
 532   case AF_INET6:
 533     GNUNET_assert (addrlen == sizeof (struct sockaddr_in6));
 534     memcpy (&t6.ipv6_addr, &((struct sockaddr_in6 *) addr)->sin6_addr,
 535             sizeof (struct in6_addr));
 536     t6.t6_port = ((struct sockaddr_in6 *) addr)->sin6_port;
 537     arg = &t6;
 538     args = sizeof (t6);
 539     break;
 540   default:
 541     GNUNET_break (0);
 542     return;
 543   }
 544   /* modify our published address list */
 545   plugin->env->notify_address (plugin->env->cls, add_remove, arg, args, "tcp");
 546 }
 547
 548
 549 /**
 550  * Function called for a quick conversion of the binary address to
 551  * a numeric address.  Note that the caller must not free the
 552  * address and that the next call to this function is allowed
 553  * to override the address again.
 554  *
 555  * @param cls closure ('struct Plugin*')
 556  * @param addr binary address
 557  * @param addrlen length of the address
 558  * @return string representing the same address
 559  */
 560 static const char *
 561 tcp_address_to_string (void *cls, const void *addr, size_t addrlen)
 562 {
 563   static char rbuf[INET6_ADDRSTRLEN + 12];
 564   char buf[INET6_ADDRSTRLEN];
 565   const void *sb;
 566   struct in_addr a4;
 567   struct in6_addr a6;
 568   const struct IPv4TcpAddress *t4;
 569   const struct IPv6TcpAddress *t6;
 570   int af;
 571   uint16_t port;
 572
 573   switch (addrlen)
 574   {
 575   case sizeof (struct IPv6TcpAddress):
 576     t6 = addr;
 577     af = AF_INET6;
 578     port = ntohs (t6->t6_port);
 579     memcpy (&a6, &t6->ipv6_addr, sizeof (a6));
 580     sb = &a6;
 581     break;
 582   case sizeof (struct IPv4TcpAddress):
 583     t4 = addr;
 584     af = AF_INET;
 585     port = ntohs (t4->t4_port);
 586     memcpy (&a4, &t4->ipv4_addr, sizeof (a4));
 587     sb = &a4;
 588     break;
 589   default:
 590     LOG (GNUNET_ERROR_TYPE_ERROR,
 591          _("Unexpected address length: %u bytes\n"),
 592          (unsigned int) addrlen);
 593     GNUNET_break (0);
 594     return NULL;
 595   }
 596   if (NULL == inet_ntop (af, sb, buf, INET6_ADDRSTRLEN))
 597   {
 598     GNUNET_log_strerror (GNUNET_ERROR_TYPE_WARNING, "inet_ntop");
 599     return NULL;
 600   }
 601   GNUNET_snprintf (rbuf, sizeof (rbuf), (af == AF_INET6) ? "[%s]:%u" : "%s:%u",
 602                    buf, port);
 603   return rbuf;
 604 }
 605
 606
 607 /**
 608  * Function called to convert a string address to
 609  * a binary address.
 610  *
 611  * @param cls closure ('struct Plugin*')
 612  * @param addr string address
 613  * @param addrlen length of the address
 614  * @param buf location to store the buffer
 615  * @param added location to store the number of bytes in the buffer.
 616  *        If the function returns GNUNET_SYSERR, its contents are undefined.
 617  * @return GNUNET_OK on success, GNUNET_SYSERR on failure
 618  */
 619 static int
 620 tcp_string_to_address (void *cls, const char *addr, uint16_t addrlen,
 621     void **buf, size_t *added)
 622 {
 623   struct sockaddr_storage socket_address;
 624
 625   if ((NULL == addr) || (addrlen == 0))
 626   {
 627     GNUNET_break (0);
 628     return GNUNET_SYSERR;
 629   }
 630   if ('\0' != addr[addrlen - 1])
 631   {
 632     GNUNET_break (0);
 633     return GNUNET_SYSERR;
 634   }
 635   if (strlen (addr) != addrlen - 1)
 636   {
 637     GNUNET_break (0);
 638     return GNUNET_SYSERR;
 639   }
 640   if (GNUNET_OK !=
 641       GNUNET_STRINGS_to_address_ip (addr, strlen (addr),
 642                                     &socket_address))
 643   {
 644     GNUNET_break (0);
 645     return GNUNET_SYSERR;
 646   }
 647   switch (socket_address.ss_family)
 648   {
 649   case AF_INET:
 650     {
 651       struct IPv4TcpAddress *t4;
 652       struct sockaddr_in *in4 = (struct sockaddr_in *) &socket_address;
 653
 654       t4 = GNUNET_malloc (sizeof (struct IPv4TcpAddress));
 655       t4->ipv4_addr = in4->sin_addr.s_addr;
 656       t4->t4_port = in4->sin_port;
 657       *buf = t4;
 658       *added = sizeof (struct IPv4TcpAddress);
 659       return GNUNET_OK;
 660     }
 661   case AF_INET6:
 662     {
 663       struct IPv6TcpAddress *t6;
 664       struct sockaddr_in6 *in6 = (struct sockaddr_in6 *) &socket_address;
 665       t6 = GNUNET_malloc (sizeof (struct IPv6TcpAddress));
 666       t6->ipv6_addr = in6->sin6_addr;
 667       t6->t6_port = in6->sin6_port;
 668       *buf = t6;
 669       *added = sizeof (struct IPv6TcpAddress);
 670       return GNUNET_OK;
 671     }
 672   default:
 673     return GNUNET_SYSERR;
 674   }
 675 }
 676
 677
 678 struct SessionClientCtx
 679 {
 680   const struct GNUNET_SERVER_Client *client;
 681   struct Session *ret;
 682 };
 683
 684
 685 static int
 686 session_lookup_by_client_it (void *cls,
 687                              const struct GNUNET_HashCode * key,
 688                              void *value)
 689 {
 690   struct SessionClientCtx *sc_ctx = cls;
 691   struct Session *s = value;
 692
 693   if (s->client == sc_ctx->client)
 694   {
 695     sc_ctx->ret = s;
 696     return GNUNET_NO;
 697   }
 698   return GNUNET_YES;
 699 }
 700
 701
 702 /**
 703  * Find the session handle for the given client.
 704  *
 705  * @param plugin the plugin
 706  * @param client which client to find the session handle for
 707  * @return NULL if no matching session exists
 708  */
 709 static struct Session *
 710 lookup_session_by_client (struct Plugin *plugin,
 711                           const struct GNUNET_SERVER_Client *client)
 712 {
 713   struct SessionClientCtx sc_ctx;
 714
 715   sc_ctx.client = client;
 716   sc_ctx.ret = NULL;
 717   GNUNET_CONTAINER_multihashmap_iterate (plugin->sessionmap, &session_lookup_by_client_it, &sc_ctx);
 718   return sc_ctx.ret;
 719 }
 720
 721
 722 /**
 723  * Create a new session.  Also queues a welcome message.
 724  *
 725  * @param plugin the plugin
 726  * @param target peer to connect to
 727  * @param client client to use, reference counter must have already been increased
 728  * @param is_nat this a NAT session, we should wait for a client to
 729  *               connect to us from an address, then assign that to
 730  *               the session
 731  * @return new session object
 732  */
 733 static struct Session *
 734 create_session (struct Plugin *plugin, const struct GNUNET_PeerIdentity *target,
 735                 struct GNUNET_SERVER_Client *client, int is_nat)
 736 {
 737   struct Session *session;
 738   struct PendingMessage *pm;
 739   struct WelcomeMessage welcome;
 740
 741   if (GNUNET_YES != is_nat)
 742     GNUNET_assert (NULL != client);
 743   else
 744     GNUNET_assert (NULL == client);
 745
 746   LOG (GNUNET_ERROR_TYPE_DEBUG,
 747        "Creating new session for peer `%4s'\n",
 748        GNUNET_i2s (target));
 749   session = GNUNET_malloc (sizeof (struct Session));
 750   session->last_activity = GNUNET_TIME_absolute_get ();
 751   session->plugin = plugin;
 752   session->is_nat = is_nat;
 753   session->client = client;
 754   session->target = *target;
 755   session->expecting_welcome = GNUNET_YES;
 756   session->ats_address_network_type = htonl (GNUNET_ATS_NET_UNSPECIFIED);
 757   pm = GNUNET_malloc (sizeof (struct PendingMessage) +
 758                       sizeof (struct WelcomeMessage));
 759   pm->msg = (const char *) &pm[1];
 760   pm->message_size = sizeof (struct WelcomeMessage);
 761   welcome.header.size = htons (sizeof (struct WelcomeMessage));
 762   welcome.header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_WELCOME);
 763   welcome.clientIdentity = *plugin->env->my_identity;
 764   memcpy (&pm[1], &welcome, sizeof (welcome));
 765   pm->timeout = GNUNET_TIME_UNIT_FOREVER_ABS;
 766   GNUNET_STATISTICS_update (plugin->env->stats,
 767                             gettext_noop ("# bytes currently in TCP buffers"),
 768                             pm->message_size, GNUNET_NO);
 769   GNUNET_CONTAINER_DLL_insert (session->pending_messages_head,
 770                                session->pending_messages_tail, pm);
 771   if (GNUNET_YES != is_nat)
 772   {
 773     GNUNET_STATISTICS_update (plugin->env->stats,
 774                               gettext_noop ("# TCP sessions active"), 1,
 775                               GNUNET_NO);
 776   }
 777   start_session_timeout (session);
 778
 779   return session;
 780 }
 781
 782
 783 /**
 784  * If we have pending messages, ask the server to
 785  * transmit them (schedule the respective tasks, etc.)
 786  *
 787  * @param session for which session should we do this
 788  */
 789 static void
 790 process_pending_messages (struct Session *session);
 791
 792
 793 /**
 794  * Function called to notify a client about the socket
 795  * being ready to queue more data.  "buf" will be
 796  * NULL and "size" zero if the socket was closed for
 797  * writing in the meantime.
 798  *
 799  * @param cls closure
 800  * @param size number of bytes available in buf
 801  * @param buf where the callee should write the message
 802  * @return number of bytes written to buf
 803  */
 804 static size_t
 805 do_transmit (void *cls, size_t size, void *buf)
 806 {
 807   struct Session *session = cls;
 808   struct GNUNET_PeerIdentity pid;
 809   struct Plugin *plugin;
 810   struct PendingMessage *pos;
 811   struct PendingMessage *hd;
 812   struct PendingMessage *tl;
 813   struct GNUNET_TIME_Absolute now;
 814   char *cbuf;
 815   size_t ret;
 816
 817   GNUNET_assert (NULL != session);
 818   session->transmit_handle = NULL;
 819   plugin = session->plugin;
 820   if (NULL == buf)
 821   {
 822     LOG (GNUNET_ERROR_TYPE_DEBUG,
 823          "Timeout trying to transmit to peer `%4s', discarding message queue.\n",
 824          GNUNET_i2s (&session->target));
 825     /* timeout; cancel all messages that have already expired */
 826     hd = NULL;
 827     tl = NULL;
 828     ret = 0;
 829     now = GNUNET_TIME_absolute_get ();
 830     while ((NULL != (pos = session->pending_messages_head)) &&
 831            (pos->timeout.abs_value <= now.abs_value))
 832     {
 833       GNUNET_CONTAINER_DLL_remove (session->pending_messages_head,
 834                                    session->pending_messages_tail, pos);
 835       LOG (GNUNET_ERROR_TYPE_DEBUG,
 836            "Failed to transmit %u byte message to `%4s'.\n",
 837            pos->message_size, GNUNET_i2s (&session->target));
 838       ret += pos->message_size;
 839       GNUNET_CONTAINER_DLL_insert_after (hd, tl, tl, pos);
 840     }
 841     /* do this call before callbacks (so that if callbacks destroy
 842      * session, they have a chance to cancel actions done by this
 843      * call) */
 844     process_pending_messages (session);
 845     pid = session->target;
 846     /* no do callbacks and do not use session again since
 847      * the callbacks may abort the session */
 848     while (NULL != (pos = hd))
 849     {
 850       GNUNET_CONTAINER_DLL_remove (hd, tl, pos);
 851       if (pos->transmit_cont != NULL)
 852         pos->transmit_cont (pos->transmit_cont_cls, &pid, GNUNET_SYSERR, pos->message_size, 0);
 853       GNUNET_free (pos);
 854     }
 855     GNUNET_STATISTICS_update (plugin->env->stats,
 856                               gettext_noop ("# bytes currently in TCP buffers"),
 857                               -(int64_t) ret, GNUNET_NO);
 858     GNUNET_STATISTICS_update (plugin->env->stats,
 859                               gettext_noop
 860                               ("# bytes discarded by TCP (timeout)"), ret,
 861                               GNUNET_NO);
 862     return 0;
 863   }
 864   /* copy all pending messages that would fit */
 865   ret = 0;
 866   cbuf = buf;
 867   hd = NULL;
 868   tl = NULL;
 869   while (NULL != (pos = session->pending_messages_head))
 870   {
 871     if (ret + pos->message_size > size)
 872       break;
 873     GNUNET_CONTAINER_DLL_remove (session->pending_messages_head,
 874                                  session->pending_messages_tail, pos);
 875     GNUNET_assert (size >= pos->message_size);
 876     LOG (GNUNET_ERROR_TYPE_DEBUG,
 877          "Transmitting message of type %u\n",
 878          ntohs (((struct GNUNET_MessageHeader *) pos->msg)->type));
 879     /* FIXME: this memcpy can be up to 7% of our total runtime */
 880     memcpy (cbuf, pos->msg, pos->message_size);
 881     cbuf += pos->message_size;
 882     ret += pos->message_size;
 883     size -= pos->message_size;
 884     GNUNET_CONTAINER_DLL_insert_tail (hd, tl, pos);
 885   }
 886   /* schedule 'continuation' before callbacks so that callbacks that
 887    * cancel everything don't cause us to use a session that no longer
 888    * exists... */
 889   process_pending_messages (session);
 890   session->last_activity = GNUNET_TIME_absolute_get ();
 891   pid = session->target;
 892   /* we'll now call callbacks that may cancel the session; hence
 893    * we should not use 'session' after this point */
 894   while (NULL != (pos = hd))
 895   {
 896     GNUNET_CONTAINER_DLL_remove (hd, tl, pos);
 897     if (pos->transmit_cont != NULL)
 898       pos->transmit_cont (pos->transmit_cont_cls, &pid, GNUNET_OK, pos->message_size, pos->message_size); /* FIXME: include TCP overhead */
 899     GNUNET_free (pos);
 900   }
 901   GNUNET_assert (hd == NULL);
 902   GNUNET_assert (tl == NULL);
 903   LOG (GNUNET_ERROR_TYPE_DEBUG, "Transmitting %u bytes\n",
 904                    ret);
 905   GNUNET_STATISTICS_update (plugin->env->stats,
 906                             gettext_noop ("# bytes currently in TCP buffers"),
 907                             -(int64_t) ret, GNUNET_NO);
 908   GNUNET_STATISTICS_update (plugin->env->stats,
 909                             gettext_noop ("# bytes transmitted via TCP"), ret,
 910                             GNUNET_NO);
 911   return ret;
 912 }
 913
 914
 915 /**
 916  * If we have pending messages, ask the server to
 917  * transmit them (schedule the respective tasks, etc.)
 918  *
 919  * @param session for which session should we do this
 920  */
 921 static void
 922 process_pending_messages (struct Session *session)
 923 {
 924   struct PendingMessage *pm;
 925
 926   GNUNET_assert (session->client != NULL);
 927   if (session->transmit_handle != NULL)
 928     return;
 929   if (NULL == (pm = session->pending_messages_head))
 930     return;
 931
 932   session->transmit_handle =
 933       GNUNET_SERVER_notify_transmit_ready (session->client, pm->message_size,
 934                                            GNUNET_TIME_absolute_get_remaining
 935                                            (pm->timeout), &do_transmit,
 936                                            session);
 937 }
 938
 939
 940 /**
 941  * Functions with this signature are called whenever we need
 942  * to close a session due to a disconnect or failure to
 943  * establish a connection.
 944  *
 945  * @param session session to close down
 946  */
 947 static void
 948 disconnect_session (struct Session *session)
 949 {
 950   struct PendingMessage *pm;
 951   struct Plugin * plugin = session->plugin;
 952
 953   LOG (GNUNET_ERROR_TYPE_DEBUG,
 954        "Disconnecting session of peer `%s' address `%s'\n",
 955        GNUNET_i2s (&session->target),
 956        tcp_address_to_string (NULL, session->addr, session->addrlen));
 957
 958   stop_session_timeout (session);
 959
 960   if (GNUNET_YES == GNUNET_CONTAINER_multihashmap_remove (plugin->sessionmap, &session->target.hashPubKey, session))
 961   {
 962     GNUNET_STATISTICS_update (session->plugin->env->stats,
 963                               gettext_noop ("# TCP sessions active"), -1,
 964                               GNUNET_NO);
 965     dec_sessions (plugin, session, __LINE__);
 966   }
 967   else GNUNET_assert (GNUNET_YES == GNUNET_CONTAINER_multihashmap_remove (plugin->nat_wait_conns, &session->target.hashPubKey, session));
 968
 969   /* clean up state */
 970   if (session->transmit_handle != NULL)
 971   {
 972     GNUNET_SERVER_notify_transmit_ready_cancel (session->transmit_handle);
 973     session->transmit_handle = NULL;
 974   }
 975   session->plugin->env->session_end (session->plugin->env->cls,
 976                                      &session->target, session);
 977
 978   if (GNUNET_SCHEDULER_NO_TASK != session->nat_connection_timeout)
 979   {
 980     GNUNET_SCHEDULER_cancel (session->nat_connection_timeout);
 981     session->nat_connection_timeout = GNUNET_SCHEDULER_NO_TASK;
 982   }
 983
 984   while (NULL != (pm = session->pending_messages_head))
 985   {
 986     LOG (GNUNET_ERROR_TYPE_DEBUG,
 987          pm->transmit_cont !=
 988          NULL ? "Could not deliver message to `%4s'.\n" :
 989          "Could not deliver message to `%4s', notifying.\n",
 990          GNUNET_i2s (&session->target));
 991     GNUNET_STATISTICS_update (session->plugin->env->stats,
 992                               gettext_noop ("# bytes currently in TCP buffers"),
 993                               -(int64_t) pm->message_size, GNUNET_NO);
 994     GNUNET_STATISTICS_update (session->plugin->env->stats,
 995                               gettext_noop
 996                               ("# bytes discarded by TCP (disconnect)"),
 997                               pm->message_size, GNUNET_NO);
 998     GNUNET_CONTAINER_DLL_remove (session->pending_messages_head,
 999                                  session->pending_messages_tail, pm);
1000     if (NULL != pm->transmit_cont)
1001       pm->transmit_cont (pm->transmit_cont_cls, &session->target,
1002                          GNUNET_SYSERR, pm->message_size, 0);
1003     GNUNET_free (pm);
1004   }
1005   if (session->receive_delay_task != GNUNET_SCHEDULER_NO_TASK)
1006   {
1007     GNUNET_SCHEDULER_cancel (session->receive_delay_task);
1008     if (NULL != session->client)
1009       GNUNET_SERVER_receive_done (session->client, GNUNET_SYSERR);
1010   }
1011   if (NULL != session->client)
1012   {
1013     GNUNET_SERVER_client_disconnect (session->client);
1014     GNUNET_SERVER_client_drop (session->client);
1015     session->client = NULL;
1016   }
1017   GNUNET_free_non_null (session->addr);
1018   GNUNET_assert (NULL == session->transmit_handle);
1019   GNUNET_free (session);
1020 }
1021
1022
1023 struct FindSessionContext
1024 {
1025   struct Session *s;
1026   int res;
1027 };
1028
1029 int session_it (void *cls,
1030                const struct GNUNET_HashCode * key,
1031                void *value)
1032 {
1033   struct FindSessionContext *res = cls;
1034   if (res->s == value)
1035   {
1036     res->res = GNUNET_OK;
1037     return GNUNET_NO;
1038   }
1039   else
1040     return GNUNET_YES;
1041 }
1042
1043 int find_session (struct Plugin *plugin, struct Session *session)
1044 {
1045   struct FindSessionContext session_map_res;
1046   struct FindSessionContext nat_map_res;
1047
1048   session_map_res.s = session;
1049   session_map_res.res = GNUNET_SYSERR;
1050   GNUNET_CONTAINER_multihashmap_iterate (plugin->sessionmap, &session_it, &session_map_res);
1051
1052   nat_map_res.s = session;
1053   nat_map_res.res = GNUNET_SYSERR;
1054   GNUNET_CONTAINER_multihashmap_iterate (plugin->nat_wait_conns, &session_it, &nat_map_res);
1055
1056   if ((session_map_res.res == GNUNET_SYSERR) && (nat_map_res.res == GNUNET_SYSERR))
1057   {
1058     GNUNET_break (0);
1059     return GNUNET_SYSERR;
1060   }
1061   return GNUNET_OK;
1062 }
1063
1064
1065 /**
1066  * Function that can be used by the transport service to transmit
1067  * a message using the plugin.   Note that in the case of a
1068  * peer disconnecting, the continuation MUST be called
1069  * prior to the disconnect notification itself.  This function
1070  * will be called with this peer's HELLO message to initiate
1071  * a fresh connection to another peer.
1072  *
1073  * @param cls closure
1074  * @param session which session must be used
1075  * @param msgbuf the message to transmit
1076  * @param msgbuf_size number of bytes in 'msgbuf'
1077  * @param priority how important is the message (most plugins will
1078  *                 ignore message priority and just FIFO)
1079  * @param to how long to wait at most for the transmission (does not
1080  *                require plugins to discard the message after the timeout,
1081  *                just advisory for the desired delay; most plugins will ignore
1082  *                this as well)
1083  * @param cont continuation to call once the message has
1084  *        been transmitted (or if the transport is ready
1085  *        for the next transmission call; or if the
1086  *        peer disconnected...); can be NULL
1087  * @param cont_cls closure for cont
1088  * @return number of bytes used (on the physical network, with overheads);
1089  *         -1 on hard errors (i.e. address invalid); 0 is a legal value
1090  *         and does NOT mean that the message was not transmitted (DV)
1091  */
1092 static ssize_t
1093 tcp_plugin_send (void *cls,
1094     struct Session *session,
1095     const char *msgbuf, size_t msgbuf_size,
1096     unsigned int priority,
1097     struct GNUNET_TIME_Relative to,
1098     GNUNET_TRANSPORT_TransmitContinuation cont, void *cont_cls)
1099 {
1100   struct Plugin * plugin = cls;
1101   struct PendingMessage *pm;
1102
1103   GNUNET_assert (NULL != plugin);
1104   GNUNET_assert (NULL != session);
1105
1106   if (GNUNET_SYSERR == find_session(plugin, session))
1107   {
1108       LOG (GNUNET_ERROR_TYPE_ERROR,
1109            _("Trying to send with invalid session %p\n"));
1110       return GNUNET_SYSERR;
1111   }
1112
1113   /* create new message entry */
1114   pm = GNUNET_malloc (sizeof (struct PendingMessage) + msgbuf_size);
1115   pm->msg = (const char *) &pm[1];
1116   memcpy (&pm[1], msgbuf, msgbuf_size);
1117   pm->message_size = msgbuf_size;
1118   pm->timeout = GNUNET_TIME_relative_to_absolute (to);
1119   pm->transmit_cont = cont;
1120   pm->transmit_cont_cls = cont_cls;
1121
1122   LOG (GNUNET_ERROR_TYPE_DEBUG,
1123        "Asked to transmit %u bytes to `%s', added message to list.\n",
1124        msgbuf_size, GNUNET_i2s (&session->target));
1125
1126   if (GNUNET_YES == GNUNET_CONTAINER_multihashmap_contains_value (plugin->sessionmap,
1127                                                                   &session->target.hashPubKey,
1128                                                                   session))
1129   {
1130     GNUNET_assert (session->client != NULL);
1131     reschedule_session_timeout (session);
1132     GNUNET_SERVER_client_set_timeout (session->client,
1133                                       GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
1134     GNUNET_STATISTICS_update (plugin->env->stats,
1135                               gettext_noop ("# bytes currently in TCP buffers"),
1136                               msgbuf_size, GNUNET_NO);
1137
1138     /* append pm to pending_messages list */
1139     GNUNET_CONTAINER_DLL_insert_tail (session->pending_messages_head,
1140                                       session->pending_messages_tail, pm);
1141
1142     process_pending_messages (session);
1143     return msgbuf_size;
1144   }
1145   else if (GNUNET_YES == GNUNET_CONTAINER_multihashmap_contains_value(plugin->nat_wait_conns, &session->target.hashPubKey, session))
1146   {
1147     LOG (GNUNET_ERROR_TYPE_DEBUG,
1148          "This NAT WAIT session for peer `%s' is not yet ready!\n",
1149          GNUNET_i2s (&session->target));
1150     reschedule_session_timeout (session);
1151     GNUNET_STATISTICS_update (plugin->env->stats,
1152                               gettext_noop ("# bytes currently in TCP buffers"),
1153                               msgbuf_size, GNUNET_NO);
1154
1155     /* append pm to pending_messages list */
1156     GNUNET_CONTAINER_DLL_insert_tail (session->pending_messages_head,
1157                                       session->pending_messages_tail, pm);
1158     return msgbuf_size;
1159   }
1160   else
1161   {
1162     LOG (GNUNET_ERROR_TYPE_ERROR,
1163          "Invalid session %p\n", session);
1164     if (NULL != cont)
1165       cont (cont_cls, &session->target, GNUNET_SYSERR, pm->message_size, 0);
1166     GNUNET_break (0);
1167     GNUNET_free (pm);
1168     return GNUNET_SYSERR; /* session does not exist here */
1169   }
1170 }
1171
1172
1173 struct SessionItCtx
1174 {
1175   void *addr;
1176   size_t addrlen;
1177   struct Session *result;
1178 };
1179
1180
1181 static int
1182 session_lookup_it (void *cls,
1183                    const struct GNUNET_HashCode *key,
1184                    void *value)
1185 {
1186   struct SessionItCtx * si_ctx = cls;
1187   struct Session * session = value;
1188 #if 0
1189   char * a1 = strdup (tcp_address_to_string(NULL, session->addr, session->addrlen));
1190   char * a2 = strdup (tcp_address_to_string(NULL, si_ctx->addr, si_ctx->addrlen));
1191   LOG (GNUNET_ERROR_TYPE_DEBUG,
1192        "Comparing: %s %u <-> %s %u\n",
1193        a1,
1194        session->addrlen,
1195        a2,
1196        si_ctx->addrlen);
1197   GNUNET_free (a1);
1198   GNUNET_free (a2);
1199 #endif
1200   if (session->addrlen != si_ctx->addrlen)
1201   {
1202     return GNUNET_YES;
1203   }
1204   if (0 != memcmp (session->addr, si_ctx->addr, si_ctx->addrlen))
1205   {
1206     return GNUNET_YES;
1207   }
1208 #if 0
1209   a1 = strdup (tcp_address_to_string(NULL, session->addr, session->addrlen));
1210   a2 = strdup (tcp_address_to_string(NULL, si_ctx->addr, si_ctx->addrlen));
1211   LOG (GNUNET_ERROR_TYPE_DEBUG,
1212        "Comparing: %s %u <-> %s %u , OK!\n",
1213        a1,
1214        session->addrlen,
1215        a2,
1216        si_ctx->addrlen);
1217   GNUNET_free (a1);
1218   GNUNET_free (a2);
1219 #endif
1220   /* Found existing session */
1221   si_ctx->result = session;
1222   return GNUNET_NO;
1223 }
1224
1225
1226 /**
1227  * Task cleaning up a NAT connection attempt after timeout
1228  */
1229 static void
1230 nat_connect_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1231 {
1232   struct Session *session = cls;
1233
1234   session->nat_connection_timeout = GNUNET_SCHEDULER_NO_TASK;
1235   LOG (GNUNET_ERROR_TYPE_DEBUG,
1236        "NAT WAIT connection to `%4s' at `%s' could not be established, removing session\n",
1237        GNUNET_i2s (&session->target), tcp_address_to_string(NULL, session->addr, session->addrlen));
1238   disconnect_session (session);
1239 }
1240
1241
1242 /**
1243  * Create a new session to transmit data to the target
1244  * This session will used to send data to this peer and the plugin will
1245  * notify us by calling the env->session_end function
1246  *
1247  * @param cls closure
1248  * @param address pointer to the GNUNET_HELLO_Address
1249  * @return the session if the address is valid, NULL otherwise
1250  */
1251 static struct Session *
1252 tcp_plugin_get_session (void *cls,
1253                         const struct GNUNET_HELLO_Address *address)
1254 {
1255   struct Plugin *plugin = cls;
1256   struct Session *session = NULL;
1257   int af;
1258   const void *sb;
1259   size_t sbs;
1260   struct GNUNET_CONNECTION_Handle *sa;
1261   struct sockaddr_in a4;
1262   struct sockaddr_in6 a6;
1263   const struct IPv4TcpAddress *t4;
1264   const struct IPv6TcpAddress *t6;
1265   struct GNUNET_ATS_Information ats;
1266   unsigned int is_natd = GNUNET_NO;
1267   size_t addrlen;
1268
1269   GNUNET_assert (plugin != NULL);
1270   GNUNET_assert (address != NULL);
1271   addrlen = address->address_length;
1272   LOG (GNUNET_ERROR_TYPE_DEBUG,
1273        "Trying to get session for `%s' address of peer `%s'\n",
1274        tcp_address_to_string(NULL, address->address, address->address_length),
1275        GNUNET_i2s (&address->peer));
1276
1277   /* look for existing session */
1278   if (GNUNET_YES ==
1279       GNUNET_CONTAINER_multihashmap_contains (plugin->sessionmap,
1280                                               &address->peer.hashPubKey))
1281   {
1282     struct SessionItCtx si_ctx;
1283
1284     si_ctx.addr = (void *) address->address;
1285     si_ctx.addrlen = address->address_length;
1286
1287     si_ctx.result = NULL;
1288
1289     GNUNET_CONTAINER_multihashmap_get_multiple (plugin->sessionmap,
1290                                                 &address->peer.hashPubKey,
1291                                                 &session_lookup_it, &si_ctx);
1292     if (si_ctx.result != NULL)
1293     {
1294       session = si_ctx.result;
1295       LOG (GNUNET_ERROR_TYPE_DEBUG,
1296            "Found exisiting session for `%s' address `%s' session %p\n",
1297            GNUNET_i2s (&address->peer),
1298            tcp_address_to_string(NULL, address->address, address->address_length),
1299            session);
1300       return session;
1301     }
1302     LOG (GNUNET_ERROR_TYPE_DEBUG,
1303          "Existing sessions did not match address `%s' or peer `%s'\n",
1304          tcp_address_to_string(NULL, address->address, address->address_length),
1305          GNUNET_i2s (&address->peer));
1306   }
1307
1308   if (addrlen == sizeof (struct IPv6TcpAddress))
1309   {
1310     GNUNET_assert (NULL != address->address);     /* make static analysis happy */
1311     t6 = address->address;
1312     af = AF_INET6;
1313     memset (&a6, 0, sizeof (a6));
1314 #if HAVE_SOCKADDR_IN_SIN_LEN
1315     a6.sin6_len = sizeof (a6);
1316 #endif
1317     a6.sin6_family = AF_INET6;
1318     a6.sin6_port = t6->t6_port;
1319     if (t6->t6_port == 0)
1320       is_natd = GNUNET_YES;
1321     memcpy (&a6.sin6_addr, &t6->ipv6_addr, sizeof (struct in6_addr));
1322     sb = &a6;
1323     sbs = sizeof (a6);
1324   }
1325   else if (addrlen == sizeof (struct IPv4TcpAddress))
1326   {
1327     GNUNET_assert (NULL != address->address);     /* make static analysis happy */
1328     t4 = address->address;
1329     af = AF_INET;
1330     memset (&a4, 0, sizeof (a4));
1331 #if HAVE_SOCKADDR_IN_SIN_LEN
1332     a4.sin_len = sizeof (a4);
1333 #endif
1334     a4.sin_family = AF_INET;
1335     a4.sin_port = t4->t4_port;
1336     if (t4->t4_port == 0)
1337       is_natd = GNUNET_YES;
1338     a4.sin_addr.s_addr = t4->ipv4_addr;
1339     sb = &a4;
1340     sbs = sizeof (a4);
1341   }
1342   else
1343   {
1344     LOG (GNUNET_ERROR_TYPE_ERROR,
1345          _("Address of unexpected length: %u\n"), addrlen);
1346     GNUNET_break (0);
1347     return NULL;
1348   }
1349
1350   ats = plugin->env->get_address_type (plugin->env->cls, sb ,sbs);
1351
1352   if ((is_natd == GNUNET_YES) && (addrlen == sizeof (struct IPv6TcpAddress)))
1353   {
1354     /* NAT client only works with IPv4 addresses */
1355     return NULL;
1356   }
1357
1358   if (0 == plugin->max_connections)
1359   {
1360     /* saturated */
1361     return NULL;
1362   }
1363
1364   if ((is_natd == GNUNET_YES) &&
1365       (GNUNET_YES ==
1366        GNUNET_CONTAINER_multihashmap_contains (plugin->nat_wait_conns,
1367                                                &address->peer.hashPubKey)))
1368   {
1369     /* Only do one NAT punch attempt per peer identity */
1370      return NULL;
1371   }
1372
1373   if ((is_natd == GNUNET_YES) && (NULL != plugin->nat) &&
1374       (GNUNET_NO ==
1375        GNUNET_CONTAINER_multihashmap_contains (plugin->nat_wait_conns,
1376                                                &address->peer.hashPubKey)))
1377   {
1378     LOG (GNUNET_ERROR_TYPE_DEBUG,
1379          "Found valid IPv4 NAT address (creating session)!\n") ;
1380     session = create_session (plugin, &address->peer, NULL, GNUNET_YES);
1381     session->addrlen = 0;
1382     session->addr = NULL;
1383     session->ats_address_network_type = ats.value;
1384     session->nat_connection_timeout = GNUNET_SCHEDULER_add_delayed (NAT_TIMEOUT,
1385                                                                     &nat_connect_timeout,
1386                                                                     session);
1387     GNUNET_assert (session != NULL);
1388     GNUNET_assert (GNUNET_OK ==
1389                    GNUNET_CONTAINER_multihashmap_put (plugin->nat_wait_conns,
1390                                                       &session->target.hashPubKey,
1391                                                       session,
1392                                                       GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY));
1393
1394     LOG (GNUNET_ERROR_TYPE_DEBUG,
1395          "Created NAT WAIT connection to `%4s' at `%s'\n",
1396          GNUNET_i2s (&session->target), GNUNET_a2s (sb, sbs));
1397
1398     if (GNUNET_OK == GNUNET_NAT_run_client (plugin->nat, &a4))
1399       return session;
1400     else
1401     {
1402       LOG (GNUNET_ERROR_TYPE_DEBUG,
1403            "Running NAT client for `%4s' at `%s' failed\n",
1404            GNUNET_i2s (&session->target), GNUNET_a2s (sb, sbs));
1405       disconnect_session (session);
1406       return NULL;
1407     }
1408   }
1409
1410   /* create new outbound session */
1411   GNUNET_assert (0 != plugin->max_connections);
1412   sa = GNUNET_CONNECTION_create_from_sockaddr (af, sb, sbs);
1413   if (sa == NULL)
1414   {
1415     LOG (GNUNET_ERROR_TYPE_DEBUG,
1416          "Failed to create connection to `%4s' at `%s'\n",
1417          GNUNET_i2s (&address->peer), GNUNET_a2s (sb, sbs));
1418     return NULL;
1419   }
1420   plugin->max_connections--;
1421
1422   LOG (GNUNET_ERROR_TYPE_DEBUG,
1423        "Asked to transmit to `%4s', creating fresh session using address `%s'.\n",
1424        GNUNET_i2s (&address->peer), GNUNET_a2s (sb, sbs));
1425
1426   session = create_session (plugin,
1427                             &address->peer,
1428                             GNUNET_SERVER_connect_socket (plugin->server, sa),
1429                             GNUNET_NO);
1430   session->addr = GNUNET_malloc (addrlen);
1431   memcpy (session->addr, address->address, addrlen);
1432   session->addrlen = addrlen;
1433   session->ats_address_network_type = ats.value;
1434
1435   GNUNET_CONTAINER_multihashmap_put (plugin->sessionmap,
1436                                      &session->target.hashPubKey,
1437                                      session, GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
1438   inc_sessions (plugin, session, __LINE__);
1439   LOG (GNUNET_ERROR_TYPE_DEBUG,
1440        "Creating new session for `%s' address `%s' session %p\n",
1441        GNUNET_i2s (&address->peer),
1442        tcp_address_to_string(NULL, address->address, address->address_length),
1443        session);
1444   /* Send TCP Welcome */
1445   process_pending_messages (session);
1446
1447   return session;
1448 }
1449
1450
1451 static int
1452 session_disconnect_it (void *cls,
1453                        const struct GNUNET_HashCode * key,
1454                        void *value)
1455 {
1456   struct Session *session = value;
1457
1458   GNUNET_STATISTICS_update (session->plugin->env->stats,
1459                             gettext_noop
1460                             ("# transport-service disconnect requests for TCP"),
1461                             1, GNUNET_NO);
1462   disconnect_session (session);
1463   return GNUNET_YES;
1464 }
1465
1466
1467 /**
1468  * Function that can be called to force a disconnect from the
1469  * specified neighbour.  This should also cancel all previously
1470  * scheduled transmissions.  Obviously the transmission may have been
1471  * partially completed already, which is OK.  The plugin is supposed
1472  * to close the connection (if applicable) and no longer call the
1473  * transmit continuation(s).
1474  *
1475  * Finally, plugin MUST NOT call the services's receive function to
1476  * notify the service that the connection to the specified target was
1477  * closed after a getting this call.
1478  *
1479  * @param cls closure
1480  * @param target peer for which the last transmission is
1481  *        to be cancelled
1482  */
1483 static void
1484 tcp_plugin_disconnect (void *cls, const struct GNUNET_PeerIdentity *target)
1485 {
1486   struct Plugin *plugin = cls;
1487
1488   LOG (GNUNET_ERROR_TYPE_DEBUG,
1489        "Disconnecting peer `%4s'\n", GNUNET_i2s (target));
1490   GNUNET_CONTAINER_multihashmap_get_multiple (plugin->sessionmap, &target->hashPubKey, &session_disconnect_it, plugin);
1491   GNUNET_CONTAINER_multihashmap_get_multiple (plugin->nat_wait_conns, &target->hashPubKey, &session_disconnect_it, plugin);
1492 }
1493
1494
1495 /**
1496  * Context for address to string conversion.
1497  */
1498 struct PrettyPrinterContext
1499 {
1500   /**
1501    * Function to call with the result.
1502    */
1503   GNUNET_TRANSPORT_AddressStringCallback asc;
1504
1505   /**
1506    * Clsoure for 'asc'.
1507    */
1508   void *asc_cls;
1509
1510   /**
1511    * Port to add after the IP address.
1512    */
1513   uint16_t port;
1514
1515   int ipv6;
1516 };
1517
1518
1519 /**
1520  * Append our port and forward the result.
1521  *
1522  * @param cls the 'struct PrettyPrinterContext*'
1523  * @param hostname hostname part of the address
1524  */
1525 static void
1526 append_port (void *cls, const char *hostname)
1527 {
1528   struct PrettyPrinterContext *ppc = cls;
1529   char *ret;
1530
1531   if (hostname == NULL)
1532   {
1533     ppc->asc (ppc->asc_cls, NULL);
1534     GNUNET_free (ppc);
1535     return;
1536   }
1537   if (GNUNET_YES == ppc->ipv6)
1538     GNUNET_asprintf (&ret, "[%s]:%d", hostname, ppc->port);
1539   else
1540     GNUNET_asprintf (&ret, "%s:%d", hostname, ppc->port);
1541   ppc->asc (ppc->asc_cls, ret);
1542   GNUNET_free (ret);
1543 }
1544
1545
1546 /**
1547  * Convert the transports address to a nice, human-readable
1548  * format.
1549  *
1550  * @param cls closure
1551  * @param type name of the transport that generated the address
1552  * @param addr one of the addresses of the host, NULL for the last address
1553  *        the specific address format depends on the transport
1554  * @param addrlen length of the address
1555  * @param numeric should (IP) addresses be displayed in numeric form?
1556  * @param timeout after how long should we give up?
1557  * @param asc function to call on each string
1558  * @param asc_cls closure for asc
1559  */
1560 static void
1561 tcp_plugin_address_pretty_printer (void *cls, const char *type,
1562                                    const void *addr, size_t addrlen,
1563                                    int numeric,
1564                                    struct GNUNET_TIME_Relative timeout,
1565                                    GNUNET_TRANSPORT_AddressStringCallback asc,
1566                                    void *asc_cls)
1567 {
1568   struct PrettyPrinterContext *ppc;
1569   const void *sb;
1570   size_t sbs;
1571   struct sockaddr_in a4;
1572   struct sockaddr_in6 a6;
1573   const struct IPv4TcpAddress *t4;
1574   const struct IPv6TcpAddress *t6;
1575   uint16_t port;
1576
1577   if (addrlen == sizeof (struct IPv6TcpAddress))
1578   {
1579     t6 = addr;
1580     memset (&a6, 0, sizeof (a6));
1581     a6.sin6_family = AF_INET6;
1582     a6.sin6_port = t6->t6_port;
1583     memcpy (&a6.sin6_addr, &t6->ipv6_addr, sizeof (struct in6_addr));
1584     port = ntohs (t6->t6_port);
1585     sb = &a6;
1586     sbs = sizeof (a6);
1587   }
1588   else if (addrlen == sizeof (struct IPv4TcpAddress))
1589   {
1590     t4 = addr;
1591     memset (&a4, 0, sizeof (a4));
1592     a4.sin_family = AF_INET;
1593     a4.sin_port = t4->t4_port;
1594     a4.sin_addr.s_addr = t4->ipv4_addr;
1595     port = ntohs (t4->t4_port);
1596     sb = &a4;
1597     sbs = sizeof (a4);
1598   }
1599   else if (0 == addrlen)
1600   {
1601     asc (asc_cls, "<inbound connection>");
1602     asc (asc_cls, NULL);
1603     return;
1604   }
1605   else
1606   {
1607     /* invalid address */
1608     GNUNET_break_op (0);
1609     asc (asc_cls, NULL);
1610     return;
1611   }
1612   ppc = GNUNET_malloc (sizeof (struct PrettyPrinterContext));
1613   if (addrlen == sizeof (struct IPv6TcpAddress))
1614     ppc->ipv6 = GNUNET_YES;
1615   else
1616     ppc->ipv6 = GNUNET_NO;
1617   ppc->asc = asc;
1618   ppc->asc_cls = asc_cls;
1619   ppc->port = port;
1620   GNUNET_RESOLVER_hostname_get (sb, sbs, !numeric, timeout, &append_port, ppc);
1621 }
1622
1623
1624 /**
1625  * Check if the given port is plausible (must be either our listen
1626  * port or our advertised port), or any port if we are behind NAT
1627  * and do not have a port open.  If it is neither, we return
1628  * GNUNET_SYSERR.
1629  *
1630  * @param plugin global variables
1631  * @param in_port port number to check
1632  * @return GNUNET_OK if port is either open_port or adv_port
1633  */
1634 static int
1635 check_port (struct Plugin *plugin, uint16_t in_port)
1636 {
1637   if ((in_port == plugin->adv_port) || (in_port == plugin->open_port))
1638     return GNUNET_OK;
1639   return GNUNET_SYSERR;
1640 }
1641
1642
1643 /**
1644  * Function that will be called to check if a binary address for this
1645  * plugin is well-formed and corresponds to an address for THIS peer
1646  * (as per our configuration).  Naturally, if absolutely necessary,
1647  * plugins can be a bit conservative in their answer, but in general
1648  * plugins should make sure that the address does not redirect
1649  * traffic to a 3rd party that might try to man-in-the-middle our
1650  * traffic.
1651  *
1652  * @param cls closure, our 'struct Plugin*'
1653  * @param addr pointer to the address
1654  * @param addrlen length of addr
1655  * @return GNUNET_OK if this is a plausible address for this peer
1656  *         and transport, GNUNET_SYSERR if not
1657  */
1658 static int
1659 tcp_plugin_check_address (void *cls, const void *addr, size_t addrlen)
1660 {
1661   struct Plugin *plugin = cls;
1662   struct IPv4TcpAddress *v4;
1663   struct IPv6TcpAddress *v6;
1664
1665   if ((addrlen != sizeof (struct IPv4TcpAddress)) &&
1666       (addrlen != sizeof (struct IPv6TcpAddress)))
1667   {
1668     GNUNET_break_op (0);
1669     return GNUNET_SYSERR;
1670   }
1671   if (addrlen == sizeof (struct IPv4TcpAddress))
1672   {
1673     v4 = (struct IPv4TcpAddress *) addr;
1674     if (GNUNET_OK != check_port (plugin, ntohs (v4->t4_port)))
1675       return GNUNET_SYSERR;
1676     if (GNUNET_OK !=
1677         GNUNET_NAT_test_address (plugin->nat, &v4->ipv4_addr,
1678                                  sizeof (struct in_addr)))
1679       return GNUNET_SYSERR;
1680   }
1681   else
1682   {
1683     v6 = (struct IPv6TcpAddress *) addr;
1684     if (IN6_IS_ADDR_LINKLOCAL (&v6->ipv6_addr))
1685     {
1686       GNUNET_break_op (0);
1687       return GNUNET_SYSERR;
1688     }
1689     if (GNUNET_OK != check_port (plugin, ntohs (v6->t6_port)))
1690       return GNUNET_SYSERR;
1691     if (GNUNET_OK !=
1692         GNUNET_NAT_test_address (plugin->nat, &v6->ipv6_addr,
1693                                  sizeof (struct in6_addr)))
1694       return GNUNET_SYSERR;
1695   }
1696   return GNUNET_OK;
1697 }
1698
1699
1700 /**
1701  * We've received a nat probe from this peer via TCP.  Finish
1702  * creating the client session and resume sending of queued
1703  * messages.
1704  *
1705  * @param cls closure
1706  * @param client identification of the client
1707  * @param message the actual message
1708  */
1709 static void
1710 handle_tcp_nat_probe (void *cls, struct GNUNET_SERVER_Client *client,
1711                       const struct GNUNET_MessageHeader *message)
1712 {
1713   struct Plugin *plugin = cls;
1714   struct Session *session;
1715   const struct TCP_NAT_ProbeMessage *tcp_nat_probe;
1716   size_t alen;
1717   void *vaddr;
1718   struct IPv4TcpAddress *t4;
1719   struct IPv6TcpAddress *t6;
1720   const struct sockaddr_in *s4;
1721   const struct sockaddr_in6 *s6;
1722
1723   LOG (GNUNET_ERROR_TYPE_DEBUG, "Received NAT probe\n");
1724
1725   /* We have received a TCP NAT probe, meaning we (hopefully) initiated
1726    * a connection to this peer by running gnunet-nat-client.  This peer
1727    * received the punch message and now wants us to use the new connection
1728    * as the default for that peer.  Do so and then send a WELCOME message
1729    * so we can really be connected!
1730    */
1731   if (ntohs (message->size) != sizeof (struct TCP_NAT_ProbeMessage))
1732   {
1733     GNUNET_break_op (0);
1734     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1735     return;
1736   }
1737
1738   tcp_nat_probe = (const struct TCP_NAT_ProbeMessage *) message;
1739   if (0 ==
1740       memcmp (&tcp_nat_probe->clientIdentity, plugin->env->my_identity,
1741               sizeof (struct GNUNET_PeerIdentity)))
1742   {
1743     /* refuse connections from ourselves */
1744     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1745     return;
1746   }
1747
1748   session =
1749       GNUNET_CONTAINER_multihashmap_get (plugin->nat_wait_conns,
1750                                          &tcp_nat_probe->
1751                                          clientIdentity.hashPubKey);
1752   if (session == NULL)
1753   {
1754     LOG (GNUNET_ERROR_TYPE_DEBUG,
1755          "Did NOT find session for NAT probe!\n");
1756     GNUNET_SERVER_receive_done (client, GNUNET_OK);
1757     return;
1758   }
1759   LOG (GNUNET_ERROR_TYPE_DEBUG,
1760        "Found session for NAT probe!\n");
1761
1762   if (session->nat_connection_timeout != GNUNET_SCHEDULER_NO_TASK)
1763   {
1764     GNUNET_SCHEDULER_cancel (session->nat_connection_timeout);
1765     session->nat_connection_timeout = GNUNET_SCHEDULER_NO_TASK;
1766   }
1767
1768   if (GNUNET_OK != GNUNET_SERVER_client_get_address (client, &vaddr, &alen))
1769   {
1770     GNUNET_break (0);
1771     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1772     disconnect_session (session);
1773     return;
1774   }
1775   GNUNET_assert (GNUNET_CONTAINER_multihashmap_remove
1776                  (plugin->nat_wait_conns,
1777                   &tcp_nat_probe->clientIdentity.hashPubKey,
1778                   session) == GNUNET_YES);
1779   GNUNET_CONTAINER_multihashmap_put (plugin->sessionmap,
1780                                      &session->target.hashPubKey, session,
1781                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
1782   session->last_activity = GNUNET_TIME_absolute_get ();
1783   session->inbound = GNUNET_NO;
1784   LOG (GNUNET_ERROR_TYPE_DEBUG,
1785        "Found address `%s' for incoming connection\n",
1786        GNUNET_a2s (vaddr, alen));
1787   switch (((const struct sockaddr *) vaddr)->sa_family)
1788   {
1789   case AF_INET:
1790     s4 = vaddr;
1791     t4 = GNUNET_malloc (sizeof (struct IPv4TcpAddress));
1792     t4->t4_port = s4->sin_port;
1793     t4->ipv4_addr = s4->sin_addr.s_addr;
1794     session->addr = t4;
1795     session->addrlen = sizeof (struct IPv4TcpAddress);
1796     break;
1797   case AF_INET6:
1798     s6 = vaddr;
1799     t6 = GNUNET_malloc (sizeof (struct IPv6TcpAddress));
1800     t6->t6_port = s6->sin6_port;
1801     memcpy (&t6->ipv6_addr, &s6->sin6_addr, sizeof (struct in6_addr));
1802     session->addr = t6;
1803     session->addrlen = sizeof (struct IPv6TcpAddress);
1804     break;
1805   default:
1806     GNUNET_break_op (0);
1807     LOG (GNUNET_ERROR_TYPE_DEBUG,
1808          "Bad address for incoming connection!\n");
1809     GNUNET_free (vaddr);
1810     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1811     disconnect_session (session);
1812     return;
1813   }
1814   GNUNET_free (vaddr);
1815   GNUNET_break (NULL == session->client);
1816   GNUNET_SERVER_client_keep (client);
1817   session->client = client;
1818   inc_sessions (plugin, session, __LINE__);
1819   GNUNET_STATISTICS_update (plugin->env->stats,
1820                             gettext_noop ("# TCP sessions active"), 1,
1821                             GNUNET_NO);
1822   process_pending_messages (session);
1823   GNUNET_SERVER_receive_done (client, GNUNET_OK);
1824 }
1825
1826
1827 /**
1828  * We've received a welcome from this peer via TCP.  Possibly create a
1829  * fresh client record and send back our welcome.
1830  *
1831  * @param cls closure
1832  * @param client identification of the client
1833  * @param message the actual message
1834  */
1835 static void
1836 handle_tcp_welcome (void *cls, struct GNUNET_SERVER_Client *client,
1837                     const struct GNUNET_MessageHeader *message)
1838 {
1839   struct Plugin *plugin = cls;
1840   const struct WelcomeMessage *wm = (const struct WelcomeMessage *) message;
1841   struct Session *session;
1842   size_t alen;
1843   void *vaddr;
1844   struct IPv4TcpAddress *t4;
1845   struct IPv6TcpAddress *t6;
1846   const struct sockaddr_in *s4;
1847   const struct sockaddr_in6 *s6;
1848
1849   if (0 ==
1850       memcmp (&wm->clientIdentity, plugin->env->my_identity,
1851               sizeof (struct GNUNET_PeerIdentity)))
1852   {
1853     /* refuse connections from ourselves */
1854     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1855     return;
1856   }
1857   LOG (GNUNET_ERROR_TYPE_DEBUG,
1858        "Received %s message from `%4s'\n", "WELCOME",
1859        GNUNET_i2s (&wm->clientIdentity));
1860   GNUNET_STATISTICS_update (plugin->env->stats,
1861                             gettext_noop ("# TCP WELCOME messages received"), 1,
1862                             GNUNET_NO);
1863   session = lookup_session_by_client (plugin, client);
1864   if (session != NULL)
1865   {
1866     if (GNUNET_OK == GNUNET_SERVER_client_get_address (client, &vaddr, &alen))
1867     {
1868       LOG (GNUNET_ERROR_TYPE_DEBUG,
1869            "Found existing session %p for peer `%s'\n",
1870            session,
1871            GNUNET_a2s (vaddr, alen));
1872       GNUNET_free (vaddr);
1873     }
1874   }
1875   else
1876   {
1877     GNUNET_SERVER_client_keep (client);
1878     session = create_session (plugin, &wm->clientIdentity, client, GNUNET_NO);
1879     session->inbound = GNUNET_YES;
1880     if (GNUNET_OK == GNUNET_SERVER_client_get_address (client, &vaddr, &alen))
1881     {
1882       if (alen == sizeof (struct sockaddr_in))
1883       {
1884         s4 = vaddr;
1885         t4 = GNUNET_malloc (sizeof (struct IPv4TcpAddress));
1886         t4->t4_port = s4->sin_port;
1887         t4->ipv4_addr = s4->sin_addr.s_addr;
1888         session->addr = t4;
1889         session->addrlen = sizeof (struct IPv4TcpAddress);
1890       }
1891       else if (alen == sizeof (struct sockaddr_in6))
1892       {
1893         s6 = vaddr;
1894         t6 = GNUNET_malloc (sizeof (struct IPv6TcpAddress));
1895         t6->t6_port = s6->sin6_port;
1896         memcpy (&t6->ipv6_addr, &s6->sin6_addr, sizeof (struct in6_addr));
1897         session->addr = t6;
1898         session->addrlen = sizeof (struct IPv6TcpAddress);
1899       }
1900
1901       struct GNUNET_ATS_Information ats;
1902       ats = plugin->env->get_address_type (plugin->env->cls, vaddr ,alen);
1903       session->ats_address_network_type = ats.value;
1904
1905       GNUNET_free (vaddr);
1906     }
1907     else
1908     {
1909       LOG (GNUNET_ERROR_TYPE_DEBUG,
1910            "Did not obtain TCP socket address for incoming connection\n");
1911     }
1912     GNUNET_CONTAINER_multihashmap_put (plugin->sessionmap,
1913                                        &session->target.hashPubKey,
1914                                        session,
1915                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
1916     inc_sessions (plugin, session, __LINE__);
1917   }
1918
1919   if (session->expecting_welcome != GNUNET_YES)
1920   {
1921     GNUNET_break_op (0);
1922     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1923     return;
1924   }
1925   session->last_activity = GNUNET_TIME_absolute_get ();
1926   session->expecting_welcome = GNUNET_NO;
1927
1928
1929   process_pending_messages (session);
1930
1931   GNUNET_SERVER_client_set_timeout (client,
1932                                     GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
1933   GNUNET_SERVER_receive_done (client, GNUNET_OK);
1934 }
1935
1936
1937 /**
1938  * Task to signal the server that we can continue
1939  * receiving from the TCP client now.
1940  *
1941  * @param cls the 'struct Session*'
1942  * @param tc task context (unused)
1943  */
1944 static void
1945 delayed_done (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1946 {
1947   struct Session *session = cls;
1948   struct GNUNET_TIME_Relative delay;
1949   struct GNUNET_ATS_Information ats;
1950
1951   session->receive_delay_task = GNUNET_SCHEDULER_NO_TASK;
1952   delay =
1953       session->plugin->env->receive (session->plugin->env->cls,
1954                                      &session->target, NULL, &ats, 0, session,
1955                                      NULL, 0);
1956   reschedule_session_timeout (session);
1957
1958   if (delay.rel_value == 0)
1959     GNUNET_SERVER_receive_done (session->client, GNUNET_OK);
1960   else
1961     session->receive_delay_task =
1962         GNUNET_SCHEDULER_add_delayed (delay, &delayed_done, session);
1963 }
1964
1965
1966 /**
1967  * We've received data for this peer via TCP.  Unbox,
1968  * compute latency and forward.
1969  *
1970  * @param cls closure
1971  * @param client identification of the client
1972  * @param message the actual message
1973  */
1974 static void
1975 handle_tcp_data (void *cls, struct GNUNET_SERVER_Client *client,
1976                  const struct GNUNET_MessageHeader *message)
1977 {
1978   struct Plugin *plugin = cls;
1979   struct Session *session;
1980   struct GNUNET_TIME_Relative delay;
1981   uint16_t type;
1982
1983   type = ntohs (message->type);
1984   if ((GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_WELCOME == type) ||
1985       (GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_NAT_PROBE == type))
1986   {
1987     /* We don't want to propagate WELCOME and NAT Probe messages up! */
1988     GNUNET_SERVER_receive_done (client, GNUNET_OK);
1989     return;
1990   }
1991   session = lookup_session_by_client (plugin, client);
1992   if (NULL == session)
1993   {
1994     /* No inbound session found */
1995     void *vaddr;
1996     size_t alen;
1997
1998     GNUNET_SERVER_client_get_address (client, &vaddr, &alen);
1999     LOG (GNUNET_ERROR_TYPE_ERROR,
2000          "Received unexpected %u bytes of type %u from `%s'\n",
2001          (unsigned int) ntohs (message->size),
2002          (unsigned int) ntohs (message->type),
2003          GNUNET_a2s(vaddr, alen));
2004     GNUNET_break_op (0);
2005     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
2006     GNUNET_free_non_null(vaddr);
2007     return;
2008   }
2009   else if (GNUNET_YES == session->expecting_welcome)
2010   {
2011     /* Session is expecting WELCOME message */
2012     void *vaddr;
2013     size_t alen;
2014
2015     GNUNET_SERVER_client_get_address (client, &vaddr, &alen);
2016     LOG (GNUNET_ERROR_TYPE_ERROR,
2017          "Received unexpected %u bytes of type %u from `%s'\n",
2018          (unsigned int) ntohs (message->size),
2019          (unsigned int) ntohs (message->type),
2020          GNUNET_a2s(vaddr, alen));
2021     GNUNET_break_op (0);
2022     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
2023     GNUNET_free_non_null(vaddr);
2024     return;
2025   }
2026
2027   session->last_activity = GNUNET_TIME_absolute_get ();
2028   LOG (GNUNET_ERROR_TYPE_DEBUG,
2029                    "Passing %u bytes of type %u from `%4s' to transport service.\n",
2030                    (unsigned int) ntohs (message->size),
2031                    (unsigned int) ntohs (message->type),
2032                    GNUNET_i2s (&session->target));
2033
2034   GNUNET_STATISTICS_update (plugin->env->stats,
2035                             gettext_noop ("# bytes received via TCP"),
2036                             ntohs (message->size), GNUNET_NO);
2037   struct GNUNET_ATS_Information distance[2];
2038
2039   distance[0].type = htonl (GNUNET_ATS_QUALITY_NET_DISTANCE);
2040   distance[0].value = htonl (1);
2041   distance[1].type = htonl (GNUNET_ATS_NETWORK_TYPE);
2042   distance[1].value = session->ats_address_network_type;
2043   GNUNET_break (ntohl(session->ats_address_network_type) != GNUNET_ATS_NET_UNSPECIFIED);
2044
2045   GNUNET_assert (GNUNET_CONTAINER_multihashmap_contains_value (plugin->sessionmap,
2046       &session->target.hashPubKey,
2047       session));
2048
2049   delay = plugin->env->receive (plugin->env->cls,
2050                                 &session->target,
2051                                 message,
2052                                 (const struct GNUNET_ATS_Information *) &distance,
2053                                 2, session,
2054                                 (GNUNET_YES == session->inbound) ? NULL : session->addr,
2055                                 (GNUNET_YES == session->inbound) ? 0 : session->addrlen);
2056
2057   reschedule_session_timeout (session);
2058
2059   if (delay.rel_value == 0)
2060   {
2061     GNUNET_SERVER_receive_done (client, GNUNET_OK);
2062   }
2063   else
2064   {
2065     LOG (GNUNET_ERROR_TYPE_DEBUG,
2066          "Throttling receiving from `%s' for %llu ms\n",
2067          GNUNET_i2s (&session->target),
2068          (unsigned long long) delay.rel_value);
2069     GNUNET_SERVER_disable_receive_done_warning (client);
2070     session->receive_delay_task =
2071         GNUNET_SCHEDULER_add_delayed (delay, &delayed_done, session);
2072   }
2073 }
2074
2075
2076 /**
2077  * Functions with this signature are called whenever a peer
2078  * is disconnected on the network level.
2079  *
2080  * @param cls closure
2081  * @param client identification of the client
2082  */
2083 static void
2084 disconnect_notify (void *cls, struct GNUNET_SERVER_Client *client)
2085 {
2086   struct Plugin *plugin = cls;
2087   struct Session *session;
2088
2089   if (client == NULL)
2090     return;
2091   plugin->max_connections++;
2092   session = lookup_session_by_client (plugin, client);
2093   if (session == NULL)
2094     return;                     /* unknown, nothing to do */
2095   LOG (GNUNET_ERROR_TYPE_DEBUG,
2096        "Destroying session of `%4s' with %s due to network-level disconnect.\n",
2097        GNUNET_i2s (&session->target),
2098        (session->addr !=
2099         NULL) ? tcp_address_to_string (session->plugin,
2100                                        session->addr,
2101                                        session->addrlen) :
2102        "*");
2103   GNUNET_STATISTICS_update (session->plugin->env->stats,
2104                             gettext_noop
2105                             ("# network-level TCP disconnect events"), 1,
2106                             GNUNET_NO);
2107   disconnect_session (session);
2108 }
2109
2110
2111 /**
2112  * We can now send a probe message, copy into buffer to really send.
2113  *
2114  * @param cls closure, a struct TCPProbeContext
2115  * @param size max size to copy
2116  * @param buf buffer to copy message to
2117  * @return number of bytes copied into buf
2118  */
2119 static size_t
2120 notify_send_probe (void *cls, size_t size, void *buf)
2121 {
2122   struct TCPProbeContext *tcp_probe_ctx = cls;
2123   struct Plugin *plugin = tcp_probe_ctx->plugin;
2124   size_t ret;
2125
2126   tcp_probe_ctx->transmit_handle = NULL;
2127   GNUNET_CONTAINER_DLL_remove (plugin->probe_head, plugin->probe_tail,
2128                                tcp_probe_ctx);
2129   if (buf == NULL)
2130   {
2131     GNUNET_CONNECTION_destroy (tcp_probe_ctx->sock);
2132     GNUNET_free (tcp_probe_ctx);
2133     return 0;
2134   }
2135   GNUNET_assert (size >= sizeof (tcp_probe_ctx->message));
2136   memcpy (buf, &tcp_probe_ctx->message, sizeof (tcp_probe_ctx->message));
2137   GNUNET_SERVER_connect_socket (tcp_probe_ctx->plugin->server,
2138                                 tcp_probe_ctx->sock);
2139   ret = sizeof (tcp_probe_ctx->message);
2140   GNUNET_free (tcp_probe_ctx);
2141   return ret;
2142 }
2143
2144
2145 /**
2146  * Function called by the NAT subsystem suggesting another peer wants
2147  * to connect to us via connection reversal.  Try to connect back to the
2148  * given IP.
2149  *
2150  * @param cls closure
2151  * @param addr address to try
2152  * @param addrlen number of bytes in addr
2153  */
2154 static void
2155 try_connection_reversal (void *cls, const struct sockaddr *addr,
2156                          socklen_t addrlen)
2157 {
2158   struct Plugin *plugin = cls;
2159   struct GNUNET_CONNECTION_Handle *sock;
2160   struct TCPProbeContext *tcp_probe_ctx;
2161
2162   /**
2163    * We have received an ICMP response, ostensibly from a peer
2164    * that wants to connect to us! Send a message to establish a connection.
2165    */
2166   sock = GNUNET_CONNECTION_create_from_sockaddr (AF_INET, addr, addrlen);
2167   if (sock == NULL)
2168   {
2169     /* failed for some odd reason (out of sockets?); ignore attempt */
2170     return;
2171   }
2172
2173   /* FIXME: do we need to track these probe context objects so that
2174    * we can clean them up on plugin unload? */
2175   tcp_probe_ctx = GNUNET_malloc (sizeof (struct TCPProbeContext));
2176   tcp_probe_ctx->message.header.size =
2177       htons (sizeof (struct TCP_NAT_ProbeMessage));
2178   tcp_probe_ctx->message.header.type =
2179       htons (GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_NAT_PROBE);
2180   memcpy (&tcp_probe_ctx->message.clientIdentity, plugin->env->my_identity,
2181           sizeof (struct GNUNET_PeerIdentity));
2182   tcp_probe_ctx->plugin = plugin;
2183   tcp_probe_ctx->sock = sock;
2184   GNUNET_CONTAINER_DLL_insert (plugin->probe_head, plugin->probe_tail,
2185                                tcp_probe_ctx);
2186   tcp_probe_ctx->transmit_handle =
2187       GNUNET_CONNECTION_notify_transmit_ready (sock,
2188                                                ntohs (tcp_probe_ctx->
2189                                                       message.header.size),
2190                                                GNUNET_TIME_UNIT_FOREVER_REL,
2191                                                &notify_send_probe,
2192                                                tcp_probe_ctx);
2193
2194 }
2195
2196
2197 /**
2198  * Session was idle, so disconnect it
2199  */
2200 static void
2201 session_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
2202 {
2203   GNUNET_assert (NULL != cls);
2204   struct Session *s = cls;
2205
2206   s->timeout_task = GNUNET_SCHEDULER_NO_TASK;
2207   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2208               "Session %p was idle for %llu ms, disconnecting\n",
2209               s, (unsigned long long) GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT.rel_value);
2210   /* call session destroy function */
2211   disconnect_session(s);
2212 }
2213
2214
2215 /**
2216  * Start session timeout
2217  */
2218 static void
2219 start_session_timeout (struct Session *s)
2220 {
2221   GNUNET_assert (NULL != s);
2222   GNUNET_assert (GNUNET_SCHEDULER_NO_TASK == s->timeout_task);
2223   s->timeout_task =  GNUNET_SCHEDULER_add_delayed (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT,
2224                                                    &session_timeout,
2225                                                    s);
2226   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2227               "Timeout for session %p set to %llu ms\n",
2228               s,  (unsigned long long) GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT.rel_value);
2229 }
2230
2231
2232 /**
2233  * Increment session timeout due to activity
2234  */
2235 static void
2236 reschedule_session_timeout (struct Session *s)
2237 {
2238   GNUNET_assert (NULL != s);
2239   GNUNET_assert (GNUNET_SCHEDULER_NO_TASK != s->timeout_task);
2240
2241   GNUNET_SCHEDULER_cancel (s->timeout_task);
2242   s->timeout_task =  GNUNET_SCHEDULER_add_delayed (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT,
2243                                                    &session_timeout,
2244                                                    s);
2245   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2246               "Timeout rescheduled for session %p set to %llu ms\n",
2247               s, (unsigned long long) GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT.rel_value);
2248 }
2249
2250
2251 /**
2252  * Cancel timeout
2253  */
2254 static void
2255 stop_session_timeout (struct Session *s)
2256 {
2257   GNUNET_assert (NULL != s);
2258
2259   if (GNUNET_SCHEDULER_NO_TASK != s->timeout_task)
2260   {
2261     GNUNET_SCHEDULER_cancel (s->timeout_task);
2262     s->timeout_task = GNUNET_SCHEDULER_NO_TASK;
2263     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2264                 "Timeout stopped for session %p canceled\n",
2265                 s, (unsigned long long) GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT.rel_value);
2266   }
2267 }
2268
2269
2270 /**
2271  * Entry point for the plugin.
2272  *
2273  * @param cls closure, the 'struct GNUNET_TRANSPORT_PluginEnvironment*'
2274  * @return the 'struct GNUNET_TRANSPORT_PluginFunctions*' or NULL on error
2275  */
2276 void *
2277 libgnunet_plugin_transport_tcp_init (void *cls)
2278 {
2279   static const struct GNUNET_SERVER_MessageHandler my_handlers[] = {
2280     {&handle_tcp_welcome, NULL, GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_WELCOME,
2281      sizeof (struct WelcomeMessage)},
2282     {&handle_tcp_nat_probe, NULL, GNUNET_MESSAGE_TYPE_TRANSPORT_TCP_NAT_PROBE,
2283      sizeof (struct TCP_NAT_ProbeMessage)},
2284     {&handle_tcp_data, NULL, GNUNET_MESSAGE_TYPE_ALL, 0},
2285     {NULL, NULL, 0, 0}
2286   };
2287   struct GNUNET_TRANSPORT_PluginEnvironment *env = cls;
2288   struct GNUNET_TRANSPORT_PluginFunctions *api;
2289   struct Plugin *plugin;
2290   struct GNUNET_SERVICE_Context *service;
2291   unsigned long long aport;
2292   unsigned long long bport;
2293   unsigned long long max_connections;
2294   unsigned int i;
2295   struct GNUNET_TIME_Relative idle_timeout;
2296   int ret;
2297   struct sockaddr **addrs;
2298   socklen_t *addrlens;
2299
2300   if (NULL == env->receive)
2301   {
2302     /* run in 'stub' mode (i.e. as part of gnunet-peerinfo), don't fully
2303        initialze the plugin or the API */
2304     api = GNUNET_malloc (sizeof (struct GNUNET_TRANSPORT_PluginFunctions));
2305     api->cls = NULL;
2306     api->address_pretty_printer = &tcp_plugin_address_pretty_printer;
2307     api->address_to_string = &tcp_address_to_string;
2308     api->string_to_address = &tcp_string_to_address;
2309     return api;
2310   }
2311
2312   GNUNET_assert (NULL != env->cfg);
2313   GNUNET_assert (NULL != env->stats);
2314   if (GNUNET_OK !=
2315       GNUNET_CONFIGURATION_get_value_number (env->cfg, "transport-tcp",
2316                                              "MAX_CONNECTIONS",
2317                                              &max_connections))
2318     max_connections = 128;
2319
2320   aport = 0;
2321   if ((GNUNET_OK !=
2322        GNUNET_CONFIGURATION_get_value_number (env->cfg, "transport-tcp", "PORT",
2323                                               &bport)) || (bport > 65535) ||
2324       ((GNUNET_OK ==
2325         GNUNET_CONFIGURATION_get_value_number (env->cfg, "transport-tcp",
2326                                                "ADVERTISED-PORT", &aport)) &&
2327        (aport > 65535)))
2328   {
2329     LOG (GNUNET_ERROR_TYPE_ERROR,
2330          _
2331          ("Require valid port number for service `%s' in configuration!\n"),
2332          "transport-tcp");
2333     return NULL;
2334   }
2335   if (aport == 0)
2336     aport = bport;
2337   if (bport == 0)
2338     aport = 0;
2339   if (bport != 0)
2340   {
2341     service = GNUNET_SERVICE_start ("transport-tcp", env->cfg, GNUNET_SERVICE_OPTION_NONE);
2342     if (service == NULL)
2343     {
2344       LOG (GNUNET_ERROR_TYPE_WARNING,
2345            _("Failed to start service.\n"));
2346       return NULL;
2347     }
2348   }
2349   else
2350     service = NULL;
2351
2352   plugin = GNUNET_malloc (sizeof (struct Plugin));
2353   plugin->sessionmap = GNUNET_CONTAINER_multihashmap_create (max_connections, GNUNET_YES);
2354   plugin->max_connections = max_connections;
2355   plugin->open_port = bport;
2356   plugin->adv_port = aport;
2357   plugin->env = env;
2358   plugin->lsock = NULL;
2359   if ((service != NULL) &&
2360       (GNUNET_SYSERR !=
2361        (ret =
2362         GNUNET_SERVICE_get_server_addresses ("transport-tcp", env->cfg, &addrs,
2363                                              &addrlens))))
2364   {
2365     plugin->nat =
2366         GNUNET_NAT_register (env->cfg, GNUNET_YES, aport, (unsigned int) ret,
2367                              (const struct sockaddr **) addrs, addrlens,
2368                              &tcp_nat_port_map_callback,
2369                              &try_connection_reversal, plugin);
2370     while (ret > 0)
2371     {
2372       ret--;
2373       GNUNET_assert (addrs[ret] != NULL);
2374       GNUNET_free (addrs[ret]);
2375     }
2376     GNUNET_free_non_null (addrs);
2377     GNUNET_free_non_null (addrlens);
2378   }
2379   else
2380   {
2381     plugin->nat = GNUNET_NAT_register (plugin->env->cfg,
2382                                                                                                  GNUNET_YES, 0, 0, NULL, NULL, NULL,
2383                              &try_connection_reversal, plugin);
2384   }
2385   api = GNUNET_malloc (sizeof (struct GNUNET_TRANSPORT_PluginFunctions));
2386   api->cls = plugin;
2387   api->send = &tcp_plugin_send;
2388   api->get_session = &tcp_plugin_get_session;
2389
2390   api->disconnect = &tcp_plugin_disconnect;
2391   api->address_pretty_printer = &tcp_plugin_address_pretty_printer;
2392   api->check_address = &tcp_plugin_check_address;
2393   api->address_to_string = &tcp_address_to_string;
2394   api->string_to_address = &tcp_string_to_address;
2395   plugin->service = service;
2396   if (service != NULL)
2397   {
2398     plugin->server = GNUNET_SERVICE_get_server (service);
2399   }
2400   else
2401   {
2402     if (GNUNET_OK !=
2403         GNUNET_CONFIGURATION_get_value_time (env->cfg, "transport-tcp",
2404                                              "TIMEOUT", &idle_timeout))
2405     {
2406       GNUNET_log_config_missing (GNUNET_ERROR_TYPE_ERROR,
2407                                  "transport-tcp", "TIMEOUT");
2408       if (plugin->nat != NULL)
2409         GNUNET_NAT_unregister (plugin->nat);
2410       GNUNET_free (plugin);
2411       GNUNET_free (api);
2412       return NULL;
2413     }
2414     plugin->server =
2415         GNUNET_SERVER_create_with_sockets (&plugin_tcp_access_check, plugin,
2416                                            NULL, idle_timeout, GNUNET_YES);
2417   }
2418   plugin->handlers = GNUNET_malloc (sizeof (my_handlers));
2419   memcpy (plugin->handlers, my_handlers, sizeof (my_handlers));
2420   for (i = 0;
2421        i < sizeof (my_handlers) / sizeof (struct GNUNET_SERVER_MessageHandler);
2422        i++)
2423     plugin->handlers[i].callback_cls = plugin;
2424   GNUNET_SERVER_add_handlers (plugin->server, plugin->handlers);
2425   GNUNET_SERVER_disconnect_notify (plugin->server, &disconnect_notify, plugin);
2426   plugin->nat_wait_conns = GNUNET_CONTAINER_multihashmap_create (16, GNUNET_YES);
2427   if (bport != 0)
2428     LOG (GNUNET_ERROR_TYPE_INFO,
2429          _("TCP transport listening on port %llu\n"), bport);
2430   else
2431     LOG (GNUNET_ERROR_TYPE_INFO,
2432          _
2433          ("TCP transport not listening on any port (client only)\n"));
2434   if (aport != bport)
2435     LOG (GNUNET_ERROR_TYPE_INFO,
2436                      _
2437                      ("TCP transport advertises itself as being on port %llu\n"),
2438                      aport);
2439   /* Initially set connections to 0 */
2440   GNUNET_STATISTICS_set(plugin->env->stats,
2441                         gettext_noop ("# TCP sessions active"), 0,
2442                         GNUNET_NO);
2443   return api;
2444 }
2445
2446
2447 /**
2448  * Exit point from the plugin.
2449  */
2450 void *
2451 libgnunet_plugin_transport_tcp_done (void *cls)
2452 {
2453   struct GNUNET_TRANSPORT_PluginFunctions *api = cls;
2454   struct Plugin *plugin = api->cls;
2455   struct TCPProbeContext *tcp_probe;
2456
2457   if (NULL == plugin)
2458   {
2459     GNUNET_free (api);
2460     return NULL;
2461   }
2462   LOG (GNUNET_ERROR_TYPE_DEBUG, "Shutting down TCP plugin\n");
2463
2464   /* Removing leftover sessions */
2465   GNUNET_CONTAINER_multihashmap_iterate(plugin->sessionmap, &session_disconnect_it, NULL);
2466   /* Removing leftover NAT sessions */
2467   GNUNET_CONTAINER_multihashmap_iterate(plugin->nat_wait_conns, &session_disconnect_it, NULL);
2468
2469   if (plugin->service != NULL)
2470     GNUNET_SERVICE_stop (plugin->service);
2471   else
2472     GNUNET_SERVER_destroy (plugin->server);
2473   GNUNET_free (plugin->handlers);
2474   if (plugin->nat != NULL)
2475     GNUNET_NAT_unregister (plugin->nat);
2476   while (NULL != (tcp_probe = plugin->probe_head))
2477   {
2478     GNUNET_CONTAINER_DLL_remove (plugin->probe_head, plugin->probe_tail,
2479                                  tcp_probe);
2480     GNUNET_CONNECTION_destroy (tcp_probe->sock);
2481     GNUNET_free (tcp_probe);
2482   }
2483   GNUNET_CONTAINER_multihashmap_destroy (plugin->nat_wait_conns);
2484   GNUNET_CONTAINER_multihashmap_destroy (plugin->sessionmap);
2485   GNUNET_free (plugin);
2486   GNUNET_free (api);
2487   return NULL;
2488 }
2489
2490 /* end of plugin_transport_tcp.c */