trying to fix #1813 by actually respecting delay values, also some minor code cleanup
[oweals/gnunet.git] / src / transport / plugin_transport_udp.c
index c7be2e18ee355897fffae6eeae55d3ce08271f34..ad5b165b184265e4519290fc08e10dca892a3a37 100644 (file)
@@ -1,10 +1,10 @@
 /*
      This file is part of GNUnet
-     (C) 2010 Christian Grothoff (and other contributing authors)
+     (C) 2010, 2011 Christian Grothoff (and other contributing authors)
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
-     by the Free Software Foundation; either version 2, or (at your
+     by the Free Software Foundation; either version 3, or (at your
      option) any later version.
 
      GNUnet is distributed in the hope that it will be useful, but
 
 /**
  * @file transport/plugin_transport_udp.c
- * @brief Implementation of the UDP transport service
+ * @brief Implementation of the UDP NAT punching
+ *        transport service
  * @author Christian Grothoff
  * @author Nathan Evans
  */
-
 #include "platform.h"
 #include "gnunet_hello_lib.h"
-#include "gnunet_connection_lib.h"
-#include "gnunet_os_lib.h"
-#include "gnunet_peerinfo_service.h"
+#include "gnunet_util_lib.h"
+#include "gnunet_fragmentation_lib.h"
+#include "gnunet_nat_lib.h"
 #include "gnunet_protocols.h"
 #include "gnunet_resolver_service.h"
-#include "gnunet_server_lib.h"
-#include "gnunet_service_lib.h"
 #include "gnunet_signatures.h"
+#include "gnunet_constants.h"
 #include "gnunet_statistics_service.h"
 #include "gnunet_transport_service.h"
-#include "plugin_transport.h"
+#include "gnunet_transport_plugin.h"
 #include "transport.h"
 
-#define DEBUG_UDP GNUNET_NO
+#define LOG(kind,...) GNUNET_log_from (kind, "transport-udp", __VA_ARGS__)
+
+
+#define DEBUG_UDP GNUNET_EXTRA_LOGGING
+
+/**
+ * MTU for fragmentation subsystem.  Should be conservative since
+ * all communicating peers MUST work with this MTU.
+ */
+#define UDP_MTU 1400
 
 /**
- * Transport cost to peer, always 1 for UDP (direct connection)
+ * Number of messages we can defragment in parallel.  We only really
+ * defragment 1 message at a time, but if messages get re-ordered, we
+ * may want to keep knowledge about the previous message to avoid
+ * discarding the current message in favor of a single fragment of a
+ * previous message.  3 should be good since we don't expect massive
+ * message reorderings with UDP.
  */
-#define UDP_DIRECT_DISTANCE 1
+#define UDP_MAX_MESSAGES_IN_DEFRAG 3
 
 /**
- * How long until we give up on transmitting the welcome message?
+ * We keep a defragmentation queue per sender address.  How many
+ * sender addresses do we support at the same time? Memory consumption
+ * is roughly a factor of 32k * UDP_MAX_MESSAGES_IN_DEFRAG times this
+ * value. (So 128 corresponds to 12 MB and should suffice for
+ * connecting to roughly 128 peers via UDP).
  */
-#define HOSTNAME_RESOLVE_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 5)
+#define UDP_MAX_SENDER_ADDRESSES_WITH_DEFRAG 128
 
 
 /**
- * Message-Packet header.
+ * UDP Message-Packet header (after defragmentation).
  */
 struct UDPMessage
 {
   /**
-   * size of the message, in bytes, including this header.
+   * Message header.
    */
   struct GNUNET_MessageHeader header;
 
   /**
-   * What is the identity of the sender (GNUNET_hash of public key)
+   * Always zero for now.
+   */
+  uint32_t reserved;
+
+  /**
+   * What is the identity of the sender
    */
   struct GNUNET_PeerIdentity sender;
 
 };
 
 
+/**
+ * UDP ACK Message-Packet header (after defragmentation).
+ */
+struct UDP_ACK_Message
+{
+  /**
+   * Message header.
+   */
+  struct GNUNET_MessageHeader header;
+
+  /**
+   * Desired delay for flow control
+   */
+  uint32_t delay;
+
+  /**
+   * What is the identity of the sender
+   */
+  struct GNUNET_PeerIdentity sender;
+};
+
+
 /**
  * Network format for IPv4 addresses.
  */
@@ -79,13 +123,12 @@ struct IPv4UdpAddress
   /**
    * IPv4 address, in network byte order.
    */
-  uint32_t ipv4_addr;
+  uint32_t ipv4_addr GNUNET_PACKED;
 
   /**
    * Port number, in network byte order.
    */
-  uint16_t u_port;
-
+  uint16_t u4_port GNUNET_PACKED;
 };
 
 
@@ -94,38 +137,115 @@ struct IPv4UdpAddress
  */
 struct IPv6UdpAddress
 {
+
   /**
    * IPv6 address.
    */
-  unsigned char ipv6_addr[16];
+  struct in6_addr ipv6_addr GNUNET_PACKED;
 
   /**
    * Port number, in network byte order.
    */
-  uint16_t u6_port;
+  uint16_t u6_port GNUNET_PACKED;
+};
+
+
+/* Forward definition */
+struct Plugin;
+
+
+/**
+ * Session with another peer.  FIXME: why not make this into
+ * a regular 'struct Session' and pass it around!?
+ */
+struct Session
+{
+
+  /**
+   * Which peer is this session for?
+   */
+  struct GNUNET_PeerIdentity target;
+
+  /**
+   * Pointer to the global plugin struct.
+   */
+  struct Plugin *plugin;
+
+  /**
+   * Address of the other peer
+   */
+  const struct sockaddr *sock_addr;
+
+  size_t addrlen;
+
+  /**
+   * Function to call upon completion of the transmission.
+   */
+  GNUNET_TRANSPORT_TransmitContinuation cont;
+
+  /**
+   * Closure for 'cont'.
+   */
+  void *cont_cls;
+
+  /**
+   * Current outgoing message to this peer.
+   */
+  struct GNUNET_FRAGMENT_Context *frag;
+
+  struct GNUNET_TIME_Absolute valid_until;
+
+  GNUNET_SCHEDULER_TaskIdentifier invalidation_task;
+
+  GNUNET_SCHEDULER_TaskIdentifier delayed_cont_task;
+
+  /**
+   * Desired delay for next sending we send to other peer
+   */
+  struct GNUNET_TIME_Relative flow_delay_for_other_peer;
 
+  /**
+   * Desired delay for next sending we received from other peer
+   */
+  struct GNUNET_TIME_Absolute flow_delay_from_other_peer;
 };
 
 
 /**
- *
+ * Data structure to track defragmentation contexts based
+ * on the source of the UDP traffic.
  */
-struct PrettyPrinterContext
+struct ReceiveContext
 {
+
   /**
-   *
+   * Defragmentation context.
    */
-  GNUNET_TRANSPORT_AddressStringCallback asc;
+  struct GNUNET_DEFRAGMENT_Context *defrag;
 
   /**
-   * Closure for 'asc'.
+   * Source address this receive context is for (allocated at the
+   * end of the struct).
    */
-  void *asc_cls;
+  const struct sockaddr *src_addr;
 
   /**
-   *
+   * Reference to master plugin struct.
    */
-  uint16_t port;
+  struct Plugin *plugin;
+
+  /**
+   * Node in the defrag heap.
+   */
+  struct GNUNET_CONTAINER_HeapNode *hnode;
+
+  /**
+   * Length of 'src_addr'
+   */
+  size_t addr_len;
+
+  struct GNUNET_PeerIdentity id;
+
 };
 
 
@@ -134,25 +254,58 @@ struct PrettyPrinterContext
  */
 struct Plugin
 {
+
   /**
    * Our environment.
    */
   struct GNUNET_TRANSPORT_PluginEnvironment *env;
 
   /**
-   * Handle for the statistics service.
+   * Session of peers with whom we are currently connected,
+   * map of peer identity to 'struct PeerSession'.
+   */
+  struct GNUNET_CONTAINER_MultiHashMap *sessions;
+
+  /**
+   * Session of peers with whom we are currently connected,
+   * map of peer identity to 'struct PeerSession'.
+   */
+  struct GNUNET_CONTAINER_MultiHashMap *inbound_sessions;
+
+  /**
+   * Heap with all of our defragmentation activities.
+   */
+  struct GNUNET_CONTAINER_Heap *defrags;
+
+  /**
+   * ID of select task
+   */
+  GNUNET_SCHEDULER_TaskIdentifier select_task;
+
+  /**
+   * Tokenizer for inbound messages.
+   */
+  struct GNUNET_SERVER_MessageStreamTokenizer *mst;
+
+  /**
+   * Bandwidth tracker to limit global UDP traffic.
    */
-  struct GNUNET_STATISTICS_Handle *statistics;
+  struct GNUNET_BANDWIDTH_Tracker tracker;
 
   /**
-   * Handle to the network service.
+   * Address we were told to bind to exclusively (IPv4).
    */
-  struct GNUNET_SERVICE_Context *service;
+  char *bind4_address;
 
   /**
-   * Handle for request of hostname resolution, non-NULL if pending.
+   * Address we were told to bind to exclusively (IPv6).
    */
-  struct GNUNET_RESOLVER_RequestHandle *hostname_dns;
+  char *bind6_address;
+
+  /**
+   * Handle to NAT traversal support.
+   */
+  struct GNUNET_NAT_Handle *nat;
 
   /**
    * FD Read set
@@ -160,543 +313,1067 @@ struct Plugin
   struct GNUNET_NETWORK_FDSet *rs;
 
   /**
-   * ID of task used to update our addresses when one expires.
+   * The read socket for IPv4
    */
-  GNUNET_SCHEDULER_TaskIdentifier address_update_task;
+  struct GNUNET_NETWORK_Handle *sockv4;
 
   /**
-   * ID of select task
+   * The read socket for IPv6
    */
-  GNUNET_SCHEDULER_TaskIdentifier select_task;
+  struct GNUNET_NETWORK_Handle *sockv6;
+
+  /**
+   * expected delay for ACKs
+   */
+  struct GNUNET_TIME_Relative last_expected_delay;
 
   /**
-   * Port that we are actually listening on.
+   * Port we listen on.
    */
-  uint16_t open_port;
+  uint16_t port;
 
   /**
-   * Port that the user said we would have visible to the
-   * rest of the world.
+   * Port we advertise on.
    */
-  uint16_t adv_port;
+  uint16_t aport;
+
+};
 
+struct PeerSessionIteratorContext
+{
+  struct Session * result;
+  const void * addr;
+  size_t addrlen;
 };
 
-/* *********** globals ************* */
 
 /**
- * The socket that we transmit all data with
+ * Lookup the session for the given peer.
+ *
+ * @param plugin the plugin
+ * @param peer peer's identity
+ * @return NULL if we have no session
  */
-static struct GNUNET_NETWORK_Handle *udp_sock;
+static struct Session *
+find_session (struct Plugin *plugin, const struct GNUNET_PeerIdentity *peer)
+{
+  return GNUNET_CONTAINER_multihashmap_get (plugin->sessions,
+                                            &peer->hashPubKey);
+}
+
+
+static int 
+inbound_session_iterator (void *cls,
+                         const GNUNET_HashCode * key,
+                         void *value)
+{
+  struct PeerSessionIteratorContext *psc = cls;
+  struct Session *s = value;
+  if (s->addrlen == psc->addrlen)
+  {
+    if (0 == memcmp (&s[1], psc->addr, s->addrlen))
+      psc->result = s;
+  }
+  if (psc->result != NULL)
+    return GNUNET_NO;
+  return GNUNET_YES;
+}
+
 
 /**
- * Disconnect from a remote node.
+ * Lookup the session for the given peer.
  *
- * @param cls closure ('struct Plugin'), unused
- * @param target peer do disconnect
- * @return GNUNET_OK on success, GNUNET_SYSERR if the operation failed
+ * @param plugin the plugin
+ * @param peer peer's identity
+ * @return NULL if we have no session
+ */
+static struct Session *
+find_inbound_session (struct Plugin *plugin,
+                      const struct GNUNET_PeerIdentity *peer,
+                      const void * addr, size_t addrlen)
+{
+  struct PeerSessionIteratorContext psc;
+  psc.result = NULL;
+  psc.addrlen = addrlen;
+  psc.addr = addr;
+
+  GNUNET_CONTAINER_multihashmap_get_multiple(plugin->inbound_sessions, &peer->hashPubKey, &inbound_session_iterator, &psc);
+  return psc.result;
+}
+
+
+static int 
+inbound_session_by_addr_iterator (void *cls,
+                                 const GNUNET_HashCode * key,
+                                 void *value)
+{
+  struct PeerSessionIteratorContext *psc = cls;
+  struct Session *s = value;
+  if (s->addrlen == psc->addrlen)
+  {
+    if (0 == memcmp (&s[1], psc->addr, s->addrlen))
+      psc->result = s;
+  }
+  if (psc->result != NULL)
+    return GNUNET_NO;
+  else
+    return GNUNET_YES;
+};
+
+/**
+ * Lookup the session for the given peer just by address.
+ *
+ * @param plugin the plugin
+ * @param addr address
+ * @param addrlen address length
+ * @return NULL if we have no session
+ */
+static struct Session *
+find_inbound_session_by_addr (struct Plugin *plugin, const void * addr, size_t addrlen)
+{
+  struct PeerSessionIteratorContext psc;
+  psc.result = NULL;
+  psc.addrlen = addrlen;
+  psc.addr = addr;
+
+  GNUNET_CONTAINER_multihashmap_iterate (plugin->inbound_sessions, &inbound_session_by_addr_iterator, &psc);
+  return psc.result;
+}
+
+
+/**
+ * Destroy a session, plugin is being unloaded.
+ *
+ * @param cls unused
+ * @param key hash of public key of target peer
+ * @param value a 'struct PeerSession*' to clean up
+ * @return GNUNET_OK (continue to iterate)
  */
-void
-udp_disconnect (void *cls, 
-               const struct GNUNET_PeerIdentity *target)
+static int
+destroy_session (void *cls, const GNUNET_HashCode * key, void *value)
 {
-  /* nothing to do, UDP is stateless */
+  struct Session *peer_session = value;
+
+  if (peer_session->frag != NULL)
+    GNUNET_FRAGMENT_context_destroy (peer_session->frag);
+  if (GNUNET_SCHEDULER_NO_TASK != peer_session->delayed_cont_task)
+    GNUNET_SCHEDULER_cancel (peer_session->delayed_cont_task);
+  GNUNET_free (peer_session);
+  return GNUNET_OK;
 }
 
 /**
- * Shutdown the server process (stop receiving inbound traffic). Maybe
- * restarted later!
+ * Destroy a session, plugin is being unloaded.
  *
- * @param cls closure, the 'struct Plugin*'
+ * @param cls unused
+ * @param key hash of public key of target peer
+ * @param value a 'struct PeerSession*' to clean up
+ * @return GNUNET_OK (continue to iterate)
  */
 static int
-udp_transport_server_stop (void *cls)
+destroy_inbound_session (void *cls, const GNUNET_HashCode * key, void *value)
+{
+  struct Session *s = value;
+
+  if (s->invalidation_task != GNUNET_SCHEDULER_NO_TASK)
+    GNUNET_SCHEDULER_cancel(s->invalidation_task);
+  if (GNUNET_SCHEDULER_NO_TASK != s->delayed_cont_task)
+    GNUNET_SCHEDULER_cancel (s->delayed_cont_task);
+  GNUNET_free (s);
+  return GNUNET_OK;
+}
+
+/**
+ * Disconnect from a remote node.  Clean up session if we have one for this peer
+ *
+ * @param cls closure for this call (should be handle to Plugin)
+ * @param target the peeridentity of the peer to disconnect
+ * @return GNUNET_OK on success, GNUNET_SYSERR if the operation failed
+ */
+static void
+udp_disconnect (void *cls, const struct GNUNET_PeerIdentity *target)
 {
   struct Plugin *plugin = cls;
-  int ret;
+  struct Session *session;
+
+  session = find_session (plugin, target);
+  if (NULL == session)
+    return;
+  GNUNET_assert (GNUNET_OK ==
+                 GNUNET_CONTAINER_multihashmap_remove (plugin->sessions,
+                                                       &target->hashPubKey,
+                                                       session));
+
+  GNUNET_CONTAINER_multihashmap_get_multiple (plugin->inbound_sessions,
+      &target->hashPubKey,
+      &destroy_inbound_session, NULL);
+  GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR, "sendto");
+  LOG (GNUNET_ERROR_TYPE_ERROR,
+              "UDP DISCONNECT\n");
+
+  plugin->last_expected_delay = GNUNET_FRAGMENT_context_destroy (session->frag);
+  if (GNUNET_SCHEDULER_NO_TASK != session->delayed_cont_task)
+    GNUNET_SCHEDULER_cancel (session->delayed_cont_task);
+  if (session->cont != NULL)
+    session->cont (session->cont_cls, target, GNUNET_SYSERR);
+  GNUNET_free (session);
+}
 
-  GNUNET_assert (udp_sock != NULL);
-  if (plugin->select_task != GNUNET_SCHEDULER_NO_TASK)
+
+/**
+ * Actually send out the message.
+ *
+ * @param plugin the plugin
+ * @param sa the address to send the message to
+ * @param msg message to transmit
+ * @return the number of bytes written
+ */
+static ssize_t
+udp_send (struct Plugin *plugin, const struct sockaddr *sa,
+          const struct GNUNET_MessageHeader *msg)
+{
+  ssize_t sent;
+  size_t slen;
+
+  switch (sa->sa_family)
+  {
+  case AF_INET:
+    if (NULL == plugin->sockv4)
+      return 0;
+    sent =
+        GNUNET_NETWORK_socket_sendto (plugin->sockv4, msg, ntohs (msg->size),
+                                      sa, slen = sizeof (struct sockaddr_in));
+    break;
+  case AF_INET6:
+    if (NULL == plugin->sockv6)
+      return 0;
+    sent =
+        GNUNET_NETWORK_socket_sendto (plugin->sockv6, msg, ntohs (msg->size),
+                                      sa, slen = sizeof (struct sockaddr_in6));
+    break;
+  default:
+    GNUNET_break (0);
+    return 0;
+  }
+  if (GNUNET_SYSERR == sent)
+  {
+    GNUNET_log_strerror (GNUNET_ERROR_TYPE_ERROR, "sendto");
+    LOG (GNUNET_ERROR_TYPE_ERROR,
+                "UDP transmited %u-byte message to %s (%d: %s)\n",
+                (unsigned int) ntohs (msg->size), GNUNET_a2s (sa, slen),
+                (int) sent, (sent < 0) ? STRERROR (errno) : "ok");
+
+  }
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+              "UDP transmited %u-byte message to %s (%d: %s)\n",
+              (unsigned int) ntohs (msg->size), GNUNET_a2s (sa, slen),
+              (int) sent, (sent < 0) ? STRERROR (errno) : "ok");
+  return sent;
+}
+
+
+/**
+ * Function that is called with messages created by the fragmentation
+ * module.  In the case of the 'proc' callback of the
+ * GNUNET_FRAGMENT_context_create function, this function must
+ * eventually call 'GNUNET_FRAGMENT_context_transmission_done'.
+ *
+ * @param cls closure, the 'struct PeerSession'
+ * @param msg the message that was created
+ */
+static void
+send_fragment (void *cls, const struct GNUNET_MessageHeader *msg)
+{
+  struct Session *session = cls;
+
+  udp_send (session->plugin, session->sock_addr, msg);
+  GNUNET_FRAGMENT_context_transmission_done (session->frag);
+}
+
+
+static struct Session *
+create_session (struct Plugin *plugin, const struct GNUNET_PeerIdentity *target,
+    const void *addr, size_t addrlen,
+    GNUNET_TRANSPORT_TransmitContinuation cont, void *cont_cls)
+{
+  struct Session * peer_session;
+  const struct IPv4UdpAddress *t4;
+  const struct IPv6UdpAddress *t6;
+  struct sockaddr_in *v4;
+  struct sockaddr_in6 *v6;
+  size_t len;
+
+  switch (addrlen)
+  {
+  case sizeof (struct IPv4UdpAddress):
+    if (NULL == plugin->sockv4)
+    {
+      return NULL;
+    }
+    t4 = addr;
+    peer_session =
+        GNUNET_malloc (sizeof (struct Session) +
+                       sizeof (struct sockaddr_in));
+    len = sizeof (struct sockaddr_in);
+    v4 = (struct sockaddr_in *) &peer_session[1];
+    v4->sin_family = AF_INET;
+#if HAVE_SOCKADDR_IN_SIN_LEN
+    v4->sin_len = sizeof (struct sockaddr_in);
+#endif
+    v4->sin_port = t4->u4_port;
+    v4->sin_addr.s_addr = t4->ipv4_addr;
+    break;
+  case sizeof (struct IPv6UdpAddress):
+    if (NULL == plugin->sockv6)
     {
-      GNUNET_SCHEDULER_cancel (plugin->env->sched, plugin->select_task);
-      plugin->select_task = GNUNET_SCHEDULER_NO_TASK;
+      return NULL;
     }
+    t6 = addr;
+    peer_session =
+        GNUNET_malloc (sizeof (struct Session) +
+                       sizeof (struct sockaddr_in6));
+    len = sizeof (struct sockaddr_in6);
+    v6 = (struct sockaddr_in6 *) &peer_session[1];
+    v6->sin6_family = AF_INET6;
+#if HAVE_SOCKADDR_IN_SIN_LEN
+    v6->sin6_len = sizeof (struct sockaddr_in6);
+#endif
+    v6->sin6_port = t6->u6_port;
+    v6->sin6_addr = t6->ipv6_addr;
+    break;
+  default:
+    /* Must have a valid address to send to */
+    GNUNET_break_op (0);
+    return NULL;
+  }
+
+  peer_session->valid_until = GNUNET_TIME_absolute_get_zero ();
+  peer_session->invalidation_task = GNUNET_SCHEDULER_NO_TASK;
+  peer_session->addrlen = len;
+  peer_session->target = *target;
+  peer_session->plugin = plugin;
+  peer_session->sock_addr = (const struct sockaddr *) &peer_session[1];
+  peer_session->cont = cont;
+  peer_session->cont_cls = cont_cls;
+
+  return peer_session;
+}
+
+static const char *
+udp_address_to_string (void *cls, const void *addr, size_t addrlen);
+
+
+static void
+udp_call_continuation (void *cls,
+                      const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct Session *s = cls;
+  GNUNET_TRANSPORT_TransmitContinuation cont = s->cont;
 
-  ret = GNUNET_NETWORK_socket_close (udp_sock);
-  if (ret != GNUNET_SYSERR)
-    udp_sock = NULL;
-  return ret;
+  s->delayed_cont_task = GNUNET_SCHEDULER_NO_TASK;
+  s->cont = NULL;
+  cont (s->cont_cls, &s->target, GNUNET_OK);
 }
 
+
 /**
  * Function that can be used by the transport service to transmit
  * a message using the plugin.
  *
- * @param cls closure, the 'struct Plugin*'
+ * @param cls closure
  * @param target who should receive this message (ignored by UDP)
  * @param msgbuf one or more GNUNET_MessageHeader(s) strung together
  * @param msgbuf_size the size of the msgbuf to send
  * @param priority how important is the message (ignored by UDP)
  * @param timeout when should we time out (give up) if we can not transmit?
- * @param session which session must be used (always NULL for UDP)
- * @param addr the addr to send the message to, needs to be a sockaddr for us
+ * @param session identifier used for this session (NULL for UDP)
+ * @param addr the addr to send the message to
  * @param addrlen the len of addr
- * @param force_address GNUNET_YES if the plugin MUST use the given address,
- *                GNUNET_NO means the plugin may use any other address and
- *                GNUNET_SYSERR means that only reliable existing
- *                bi-directional connections should be used (regardless
- *                of address)
+ * @param force_address not used, we had better have an address to send to
+ *        because we are stateless!!
  * @param cont continuation to call once the message has
  *        been transmitted (or if the transport is ready
  *        for the next transmission call; or if the
  *        peer disconnected...)
  * @param cont_cls closure for cont
  *
- * @return the number of bytes written, -1 on error (in this case, cont is not called)
+ * @return the number of bytes written (may return 0 and the message can
+ *         still be transmitted later!)
  */
 static ssize_t
-udp_plugin_send (void *cls,
-                 const struct GNUNET_PeerIdentity *target,
-                 const char *msgbuf,
-                 size_t msgbuf_size,
-                 unsigned int priority,
-                 struct GNUNET_TIME_Relative timeout,
-                struct Session *session,
-                 const void *addr,
-                 size_t addrlen,
-                 int force_address,
+udp_plugin_send (void *cls, const struct GNUNET_PeerIdentity *target,
+                 const char *msgbuf, size_t msgbuf_size, unsigned int priority,
+                 struct GNUNET_TIME_Relative timeout, struct Session *session,
+                 const void *addr, size_t addrlen, int force_address,
                  GNUNET_TRANSPORT_TransmitContinuation cont, void *cont_cls)
 {
   struct Plugin *plugin = cls;
-  struct UDPMessage *message;
-  int ssize;
-  ssize_t sent;
-  int af;
-  const void *sb;
-  size_t sbs;
-  struct sockaddr_in a4;
-  struct sockaddr_in6 a6;
+  struct Session *peer_session;
+  struct Session *s;
   const struct IPv4UdpAddress *t4;
   const struct IPv6UdpAddress *t6;
-
-  GNUNET_assert (NULL == session);
-  GNUNET_assert(udp_sock != NULL);
-  if ( (addr == NULL) || (addrlen == 0) )
-    {
-#if DEBUG_UDP
-  GNUNET_log_from (GNUNET_ERROR_TYPE_INFO, "udp", _
-                   ("udp_plugin_send called without address, returning!\n"));
-#endif
-      return -1; /* Can never send if we don't have an address!! */
-    }
-  if (force_address == GNUNET_SYSERR)
-    return -1; /* never reliable */
-
-  if (addrlen == sizeof (struct IPv6UdpAddress))
-    {
-      t6 = addr;
-      af = AF_INET6;
-      memset (&a6, 0, sizeof (a6));
-      a6.sin6_family = AF_INET6;
-      a6.sin6_port = t6->u6_port;
-      memcpy (a6.sin6_addr.s6_addr,
-             t6->ipv6_addr,
-             16);      
-      sb = &a6;
-      sbs = sizeof (a6);
-    }
-  else if (addrlen == sizeof (struct IPv4UdpAddress))
+  size_t mlen = msgbuf_size + sizeof (struct UDPMessage);
+  char mbuf[mlen];
+  struct UDPMessage *udp;
+  struct GNUNET_TIME_Relative delta;
+
+  if (mlen >= GNUNET_SERVER_MAX_MESSAGE_SIZE)
+  {
+    GNUNET_break (0);
+    return GNUNET_SYSERR;
+  }
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+      "UDP transmits %u-byte message to `%s' using address `%s' session 0x%X mode %i\n",
+      msgbuf_size, GNUNET_i2s (target),
+      udp_address_to_string (NULL, addr, addrlen),
+      session, force_address);
+
+  if ((force_address == GNUNET_SYSERR) && (session == NULL))
+    return GNUNET_SYSERR;
+
+  s = NULL;
+  /* safety check: comparing address to address stored in session */
+  if ((session != NULL) && (addr != NULL) && (addrlen != 0))
+  {
+    s = session;
+    GNUNET_assert (GNUNET_YES == GNUNET_CONTAINER_multihashmap_contains_value (
+        plugin->inbound_sessions, &target->hashPubKey, s));
+
+    if  (0 != memcmp (&s->target, target, sizeof (struct GNUNET_PeerIdentity)))
+      return GNUNET_SYSERR;
+    switch (addrlen)
     {
+    case sizeof (struct IPv4UdpAddress):
+      if (NULL == plugin->sockv4)
+      {
+        if (cont != NULL)
+          cont (cont_cls, target, GNUNET_SYSERR);
+        return GNUNET_SYSERR;
+      }
       t4 = addr;
-      af = AF_INET;
-      memset (&a4, 0, sizeof (a4));
-      a4.sin_family = AF_INET;
-      a4.sin_port = t4->u_port;
-      a4.sin_addr.s_addr = t4->ipv4_addr;
-      sb = &a4;
-      sbs = sizeof (a4);
+      if (s->addrlen != (sizeof (struct sockaddr_in)))
+        return GNUNET_SYSERR;
+      struct sockaddr_in *a4 = (struct sockaddr_in *) s->sock_addr;
+      GNUNET_assert (a4->sin_port == t4->u4_port);
+      GNUNET_assert (0 == memcmp(&a4->sin_addr, &t4->ipv4_addr, sizeof (struct in_addr)));
+      LOG (GNUNET_ERROR_TYPE_DEBUG,
+                  "Session 0x%X successfully checked!\n", session);
+      break;
+    case sizeof (struct IPv6UdpAddress):
+      if (NULL == plugin->sockv6)
+      {
+        if (cont != NULL)
+          cont (cont_cls, target, GNUNET_SYSERR);
+        return GNUNET_SYSERR;
+      }
+      t6 = addr;
+      GNUNET_assert (s->addrlen == sizeof (struct sockaddr_in6));
+      struct sockaddr_in6 *a6 = (struct sockaddr_in6 *) s->sock_addr;
+      GNUNET_assert (a6->sin6_port == t6->u6_port);
+      GNUNET_assert (0 == memcmp(&a6->sin6_addr, &t6->ipv6_addr, sizeof (struct in6_addr)));
+      LOG (GNUNET_ERROR_TYPE_DEBUG,
+                  "Session 0x%X successfully checked!\n", session);
+      break;
+    default:
+      /* Must have a valid address to send to */
+      GNUNET_break_op (0);
     }
+  }
+//session_invalid:
+  if ((addr == NULL) || (addrlen == 0))
+    return GNUNET_SYSERR;
+  peer_session = create_session (plugin, target, addr, addrlen, cont, cont_cls);
+  if (peer_session == NULL)
+  {
+    if (cont != NULL)
+      cont (cont_cls, target, GNUNET_SYSERR);
+    return GNUNET_SYSERR;;
+  }
+
+  /* Message */
+  udp = (struct UDPMessage *) mbuf;
+  udp->header.size = htons (mlen);
+  udp->header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_UDP_MESSAGE);
+  udp->reserved = htonl (0);
+  udp->sender = *plugin->env->my_identity;
+  memcpy (&udp[1], msgbuf, msgbuf_size);
+
+  if (s != NULL)  
+    delta = GNUNET_TIME_absolute_get_remaining (s->flow_delay_from_other_peer);
   else
+    delta = GNUNET_TIME_UNIT_ZERO;
+  if (mlen <= UDP_MTU)
+  {
+    mlen = udp_send (plugin, peer_session->sock_addr, &udp->header);
+    if (cont != NULL)
     {
-      GNUNET_break_op (0);
-      return -1;
+      if ( (delta.rel_value > 0) &&
+          (mlen > 0) )
+      {
+       s->cont = cont;
+       s->cont_cls = cont_cls;
+       s->delayed_cont_task = GNUNET_SCHEDULER_add_delayed (delta,
+                                                            &udp_call_continuation,
+                                                            s);
+      }
+      else
+       cont (cont_cls, target, (mlen > 0) ? GNUNET_OK : GNUNET_SYSERR);
     }
-
-  /* Build the message to be sent */
-  message = GNUNET_malloc (sizeof (struct UDPMessage) + msgbuf_size);
-  ssize = sizeof (struct UDPMessage) + msgbuf_size;
-
-#if DEBUG_UDP
-  GNUNET_log_from (GNUNET_ERROR_TYPE_INFO, "udp", 
-                   "In udp_send, ssize is %d, sending message to `%s'\n", 
-                  ssize, 
-                  GNUNET_a2s(sb, sbs));
-#endif
-  message->header.size = htons (ssize);
-  message->header.type = htons (0);
-  memcpy (&message->sender, plugin->env->my_identity,
-          sizeof (struct GNUNET_PeerIdentity));
-  memcpy (&message[1], msgbuf, msgbuf_size);
-  sent =
-    GNUNET_NETWORK_socket_sendto (udp_sock, message, ssize,
-                                  sb, sbs);
-  if ( (cont != NULL) &&
-       (sent != -1) )
-    cont (cont_cls, target, GNUNET_OK);
-  GNUNET_free (message);
-  return sent;
+    GNUNET_free_non_null (peer_session);
+  }
+  else
+  {
+    GNUNET_assert (GNUNET_OK ==
+                   GNUNET_CONTAINER_multihashmap_put (plugin->sessions,
+                                                      &target->hashPubKey,
+                                                      peer_session,
+                                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY));
+    peer_session->frag =
+        GNUNET_FRAGMENT_context_create (plugin->env->stats, UDP_MTU,
+                                        &plugin->tracker,
+                                        plugin->last_expected_delay,
+                                        &udp->header, &send_fragment,
+                                        peer_session);
+  }
+  return mlen;
 }
 
 
 /**
- * Add the IP of our network interface to the list of
- * our external IP addresses.
- *
- * @param cls closure (the 'struct Plugin*')
- * @param name name of the interface (can be NULL for unknown)
- * @param isDefault is this presumably the default interface
- * @param addr address of this interface (can be NULL for unknown or unassigned)
- * @param addrlen length of the address
- * @return GNUNET_OK to continue iterating
+ * Closure for 'process_inbound_tokenized_messages'
  */
-static int
-process_interfaces (void *cls,
-                    const char *name,
-                    int isDefault,
-                    const struct sockaddr *addr, socklen_t addrlen)
+struct SourceInformation
 {
-  struct Plugin *plugin = cls;
-  int af;
-  struct IPv4UdpAddress t4;
-  struct IPv6UdpAddress t6;
-  void *arg;
-  uint16_t args;
+  /**
+   * Sender identity.
+   */
+  struct GNUNET_PeerIdentity sender;
 
-  af = addr->sa_family;
-  if (af == AF_INET)
-    {
-      t4.ipv4_addr = ((struct sockaddr_in *) addr)->sin_addr.s_addr;
-      t4.u_port = htons (plugin->adv_port);
-      arg = &t4;
-      args = sizeof (t4);
-    }
-  else if (af == AF_INET6)
-    {
-      memcpy (t6.ipv6_addr,
-             ((struct sockaddr_in6 *) addr)->sin6_addr.s6_addr,
-             16);
-      t6.u6_port = htons (plugin->adv_port);
-      arg = &t6;
-      args = sizeof (t6);
-    }
-  else
-    {
-      GNUNET_break (0);
-      return GNUNET_OK;
-    }
-  GNUNET_log_from (GNUNET_ERROR_TYPE_INFO |
-                   GNUNET_ERROR_TYPE_BULK,
-                   "udp", 
-                  _("Found address `%s' (%s)\n"),
-                   GNUNET_a2s (addr, addrlen), 
-                  name);
-  plugin->env->notify_address (plugin->env->cls,
-                               "udp",
-                               arg, args, GNUNET_TIME_UNIT_FOREVER_REL);
-  return GNUNET_OK;
-}
+  /**
+   * Source address.
+   */
+  const void *arg;
+
+  /**
+   * Number of bytes in source address.
+   */
+  size_t args;
+
+  struct Session * session;
+};
 
 
 /**
- * Function called by the resolver for each address obtained from DNS
- * for our own hostname.  Add the addresses to the list of our
- * external IP addresses.
+ * Message tokenizer has broken up an incomming message. Pass it on
+ * to the service.
  *
- * @param cls closure
- * @param addr one of the addresses of the host, NULL for the last address
- * @param addrlen length of the address
+ * @param cls the 'struct Plugin'
+ * @param client the 'struct SourceInformation'
+ * @param hdr the actual message
  */
 static void
-process_hostname_ips (void *cls,
-                      const struct sockaddr *addr, socklen_t addrlen)
+process_inbound_tokenized_messages (void *cls, void *client,
+                                    const struct GNUNET_MessageHeader *hdr)
 {
   struct Plugin *plugin = cls;
+  struct SourceInformation *si = client;
+  struct GNUNET_ATS_Information distance;
+  struct GNUNET_TIME_Relative delay;
+
+  /* setup ATS */
+  distance.type = htonl (GNUNET_ATS_QUALITY_NET_DISTANCE);
+  distance.value = htonl (1);
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+                   "Giving Session %X %s  to transport\n", si->session, GNUNET_i2s(&si->session->target));
+  delay = plugin->env->receive (plugin->env->cls, &si->sender, hdr, &distance, 1, si->session,
+                        si->arg, si->args);
+  si->session->flow_delay_for_other_peer = delay;
+}
 
-  if (addr == NULL)
-    {
-      plugin->hostname_dns = NULL;
-      return;
-    }
-  process_interfaces (plugin, "<hostname>", GNUNET_YES, addr, addrlen);
+static void
+invalidation_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct Session * s = cls;
+  s->invalidation_task = GNUNET_SCHEDULER_NO_TASK;
+  LOG (GNUNET_ERROR_TYPE_ERROR,
+                   "Session %X (`%s') is now invalid\n", s, GNUNET_a2s (s->sock_addr,s->addrlen));
+
+  s->plugin->env->session_end(s->plugin->env->cls, &s->target, s);
+  GNUNET_assert (GNUNET_YES == GNUNET_CONTAINER_multihashmap_remove(s->plugin->inbound_sessions, &s->target.hashPubKey, s));
+  GNUNET_free (s);
 }
 
 
-/*
- * @param cls the plugin handle
- * @param tc the scheduling context (for rescheduling this function again)
- *
- * We have been notified that our writeset has something to read.  Presumably
- * select has been called already, so we can go ahead and start reading from
- * the socket immediately.  Then we check if there is more to be read by
- * calling select ourselves while there is stuff on the wire.  Then reschedule
- * this function to be called again once more is available.
+/**
+ * We've received a UDP Message.  Process it (pass contents to main service).
  *
+ * @param plugin plugin context
+ * @param msg the message
+ * @param sender_addr sender address
+ * @param sender_addr_len number of bytes in sender_addr
  */
 static void
-udp_plugin_select (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+process_udp_message (struct Plugin *plugin, const struct UDPMessage *msg,
+                     const struct sockaddr *sender_addr,
+                     socklen_t sender_addr_len)
 {
-  struct Plugin *plugin = cls;
-  char *buf;
-  struct UDPMessage *msg;
-  struct GNUNET_PeerIdentity *sender;
-  unsigned int buflen;
-  socklen_t fromlen;
-  struct sockaddr_storage addr;
-  ssize_t ret;
-  int offset;
-  int count;
-  int tsize;
-  char *msgbuf;
-  const struct GNUNET_MessageHeader *currhdr;
-  struct IPv4UdpAddress t4;
-  struct IPv6UdpAddress t6;
-  const struct sockaddr_in *s4;
-  const struct sockaddr_in6 *s6;
-  const void *ca;
-  size_t calen;
-
+  struct SourceInformation si;
+  struct IPv4UdpAddress u4;
+  struct IPv6UdpAddress u6;
+  const void *arg;
+  size_t args;
+
+  if (0 != ntohl (msg->reserved))
+  {
+    GNUNET_break_op (0);
+    return;
+  }
+  if (ntohs (msg->header.size) <
+      sizeof (struct GNUNET_MessageHeader) + sizeof (struct UDPMessage))
+  {
+    GNUNET_break_op (0);
+    return;
+  }
+
+  /* convert address */
+  switch (sender_addr->sa_family)
+  {
+  case AF_INET:
+    GNUNET_assert (sender_addr_len == sizeof (struct sockaddr_in));
+    u4.ipv4_addr = ((struct sockaddr_in *) sender_addr)->sin_addr.s_addr;
+    u4.u4_port = ((struct sockaddr_in *) sender_addr)->sin_port;
+    arg = &u4;
+    args = sizeof (u4);
+    break;
+  case AF_INET6:
+    GNUNET_assert (sender_addr_len == sizeof (struct sockaddr_in6));
+    u6.ipv6_addr = ((struct sockaddr_in6 *) sender_addr)->sin6_addr;
+    u6.u6_port = ((struct sockaddr_in6 *) sender_addr)->sin6_port;
+    arg = &u6;
+    args = sizeof (u6);
+    break;
+  default:
+    GNUNET_break (0);
+    return;
+  }
 #if DEBUG_UDP
-      GNUNET_log_from (GNUNET_ERROR_TYPE_INFO, "udp", _
-                       ("entered select...\n"));
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+                   "Received message with %u bytes from peer `%s' at `%s'\n",
+                   (unsigned int) ntohs (msg->header.size),
+                   GNUNET_i2s (&msg->sender), GNUNET_a2s (sender_addr,
+                                                          sender_addr_len));
 #endif
 
-      buflen = GNUNET_NETWORK_socket_recvfrom_amount (udp_sock);
+  /* create a session for inbound connections */
+  const struct UDPMessage * udp_msg = (const struct UDPMessage *) msg;
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+              "Lookup inbound UDP sessions for peer `%s' address `%s'\n",
+              GNUNET_i2s (&udp_msg->sender),
+              udp_address_to_string(NULL, arg, args));
+
+  struct Session * s = NULL;
+  s = find_inbound_session (plugin, &udp_msg->sender, sender_addr, sender_addr_len);
+
+  if (s != NULL)
+  {
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
+                "Found existing inbound UDP sessions 0x%X for peer `%s' address `%s'\n",
+                s,
+                GNUNET_i2s (&s->target),
+                udp_address_to_string(NULL, arg, args));
+  }
+  else
+  {
+    s = create_session (plugin, &udp_msg->sender, arg, args, NULL, NULL);
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
+                "Creating inbound UDP sessions 0x%X for peer `%s' address `%s'\n",
+                s,
+                GNUNET_i2s (&s->target),
+                udp_address_to_string(NULL, arg, args));
+
+    GNUNET_assert (GNUNET_OK == GNUNET_CONTAINER_multihashmap_put (plugin->inbound_sessions,
+                                                      &s->target.hashPubKey,
+                                                      s,
+                                                     GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE));
+  }
+  s->valid_until = GNUNET_TIME_relative_to_absolute (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
+  if (s->invalidation_task != GNUNET_SCHEDULER_NO_TASK)
+  {
+    GNUNET_SCHEDULER_cancel(s->invalidation_task);
+    s->invalidation_task = GNUNET_SCHEDULER_NO_TASK;
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
+                "Rescheduling %X' `%s'\n",
+                s, udp_address_to_string(NULL, arg, args));
+  }
+  s->invalidation_task = GNUNET_SCHEDULER_add_delayed(GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT, &invalidation_task, s);
+  /* iterate over all embedded messages */
+  si.sender = msg->sender;
+  si.arg = arg;
+  si.args = args;
+  si.session = s;
+  GNUNET_SERVER_mst_receive (plugin->mst, &si, (const char *) &msg[1],
+                             ntohs (msg->header.size) -
+                             sizeof (struct UDPMessage), GNUNET_YES, GNUNET_NO);
+}
 
-#if DEBUG_UDP
-      GNUNET_log_from (GNUNET_ERROR_TYPE_INFO, "udp", _
-                       ("we expect to read %u bytes\n"), buflen);
-#endif
 
-    if (buflen == GNUNET_NO)
-      return;
+/**
+ * Process a defragmented message.
+ *
+ * @param cls the 'struct ReceiveContext'
+ * @param msg the message
+ */
+static void
+fragment_msg_proc (void *cls, const struct GNUNET_MessageHeader *msg)
+{
+  struct ReceiveContext *rc = cls;
+
+  if (ntohs (msg->type) != GNUNET_MESSAGE_TYPE_TRANSPORT_UDP_MESSAGE)
+  {
+    GNUNET_break (0);
+    return;
+  }
+  if (ntohs (msg->size) < sizeof (struct UDPMessage))
+  {
+    GNUNET_break (0);
+    return;
+  }
+  process_udp_message (rc->plugin, (const struct UDPMessage *) msg,
+                       rc->src_addr, rc->addr_len);
+}
 
-    buf = GNUNET_malloc (buflen);
-    fromlen = sizeof (addr);
 
-    memset (&addr, 0, fromlen);
-    ret =
-      GNUNET_NETWORK_socket_recvfrom (udp_sock, buf, buflen,
-                                      (struct sockaddr *) &addr, &fromlen);
+/**
+ * Transmit an acknowledgement.
+ *
+ * @param cls the 'struct ReceiveContext'
+ * @param id message ID (unused)
+ * @param msg ack to transmit
+ */
+static void
+ack_proc (void *cls, uint32_t id, const struct GNUNET_MessageHeader *msg)
+{
+  struct ReceiveContext *rc = cls;
+
+  size_t msize = sizeof (struct UDP_ACK_Message) + ntohs (msg->size);
+  char buf[msize];
+  struct UDP_ACK_Message *udp_ack;
+  uint32_t delay = 0;
+
+  struct Session *s;
+  s = find_inbound_session_by_addr (rc->plugin, rc->src_addr, rc->addr_len);
+  if (s != NULL)
+  {
+    if (s->flow_delay_for_other_peer.rel_value <= UINT32_MAX)
+      delay = s->flow_delay_for_other_peer.rel_value;
+    else
+      delay = UINT32_MAX;
+  }
+
 
 #if DEBUG_UDP
-    GNUNET_log_from (GNUNET_ERROR_TYPE_INFO, "udp", _
-                     ("socket_recv returned %u, src_addr_len is %u\n"), ret,
-                     fromlen);
+  LOG (GNUNET_ERROR_TYPE_DEBUG, "Sending ACK to `%s' including delay of %u ms\n",
+                   GNUNET_a2s (rc->src_addr,
+                               (rc->src_addr->sa_family ==
+                                AF_INET) ? sizeof (struct sockaddr_in) :
+                               sizeof (struct sockaddr_in6)),
+                               delay);
 #endif
+  udp_ack = (struct UDP_ACK_Message *) buf;
+  udp_ack->header.size = htons ((uint16_t) msize);
+  udp_ack->header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_UDP_ACK);
+  udp_ack->delay = htonl (delay);
+  udp_ack->sender = *rc->plugin->env->my_identity;
+  memcpy (&udp_ack[1], msg, ntohs (msg->size));
+  (void) udp_send (rc->plugin, rc->src_addr, &udp_ack->header);
+}
 
-    if (ret <= 0)
-      {
-        GNUNET_free (buf);
-        return;
-      }
-    msg = (struct UDPMessage *) buf;
-
-#if DEBUG_UDP
-    GNUNET_log_from (GNUNET_ERROR_TYPE_INFO, "udp", _
-                     ("header reports message size of %d\n"),
-                     ntohs (msg->header.size));
 
-    GNUNET_log_from (GNUNET_ERROR_TYPE_INFO, "udp", _
-                     ("header reports message type of %d\n"),
-                     ntohs (msg->header.type));
-#endif
-    if (ntohs (msg->header.size) < sizeof (struct UDPMessage))
-      {
-        GNUNET_free (buf);
-        GNUNET_NETWORK_fdset_zero (plugin->rs);
-        GNUNET_NETWORK_fdset_set (plugin->rs, udp_sock);
-        return;
-      }
-    msgbuf = (char *)&msg[1];
-    sender = GNUNET_malloc (sizeof (struct GNUNET_PeerIdentity));
-    memcpy (sender, &msg->sender, sizeof (struct GNUNET_PeerIdentity));
+/**
+ * Closure for 'find_receive_context'.
+ */
+struct FindReceiveContext
+{
+  /**
+   * Where to store the result.
+   */
+  struct ReceiveContext *rc;
 
-    offset = 0;
-    count = 0;
-    tsize = ntohs (msg->header.size) - sizeof(struct UDPMessage);
-#if DEBUG_UDP
-    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, "UDP", _
-                     ("offset is %d, tsize is %d (UDPMessage size is %d)\n"),
-                     offset, tsize, sizeof(struct UDPMessage));
-#endif
+  /**
+   * Address to find.
+   */
+  const struct sockaddr *addr;
 
-    if (fromlen == sizeof (struct sockaddr_in))
-      {
-       s4 = (const struct sockaddr_in*) &addr;
-       t4.u_port = s4->sin_port;
-       t4.ipv4_addr = s4->sin_addr.s_addr;
-       ca = &t4;
-       calen = sizeof (struct IPv4UdpAddress);
-      }
-    else if (fromlen == sizeof (struct sockaddr_in6))
-      {
-       s6 = (const struct sockaddr_in6*) &addr;
-       t6.u6_port = s6->sin6_port;
-       memcpy (t6.ipv6_addr,
-               s6->sin6_addr.s6_addr,
-               16);
-       ca = &t6;
-       calen = sizeof (struct IPv6UdpAddress);
-      }
-    else
-      {
-       GNUNET_break (0);
-       ca = NULL;
-       calen = 0;
-      }
-    while (offset < tsize)
-      {
-        currhdr = (struct GNUNET_MessageHeader *)&msgbuf[offset];
-#if DEBUG_UDP
-    GNUNET_log_from (GNUNET_ERROR_TYPE_INFO, "udp", _
-                     ("processing msg %d: type %d, size %d at offset %d\n"),
-                     count, ntohs(currhdr->type), ntohs(currhdr->size), offset);
-#endif
-        plugin->env->receive (plugin->env->cls,
-                             sender, currhdr, UDP_DIRECT_DISTANCE, 
-                             NULL, ca, calen);
-        offset += ntohs(currhdr->size);
-#if DEBUG_UDP
-    GNUNET_log_from (GNUNET_ERROR_TYPE_INFO, "udp", _
-                     ("offset now %d, tsize %d\n"),
-                     offset, tsize);
-#endif
-        count++;
-      }
+  /**
+   * Number of bytes in 'addr'.
+   */
+  socklen_t addr_len;
 
-    GNUNET_free (sender);
-    GNUNET_free (buf);
+  struct Session * session;
+};
 
-  plugin->select_task =
-    GNUNET_SCHEDULER_add_select (plugin->env->sched,
-                                 GNUNET_SCHEDULER_PRIORITY_DEFAULT,
-                                 GNUNET_SCHEDULER_NO_TASK,
-                                 GNUNET_TIME_UNIT_FOREVER_REL, plugin->rs,
-                                 NULL, &udp_plugin_select, plugin);
 
+/**
+ * Scan the heap for a receive context with the given address.
+ *
+ * @param cls the 'struct FindReceiveContext'
+ * @param node internal node of the heap
+ * @param element value stored at the node (a 'struct ReceiveContext')
+ * @param cost cost associated with the node
+ * @return GNUNET_YES if we should continue to iterate,
+ *         GNUNET_NO if not.
+ */
+static int
+find_receive_context (void *cls, struct GNUNET_CONTAINER_HeapNode *node,
+                      void *element, GNUNET_CONTAINER_HeapCostType cost)
+{
+  struct FindReceiveContext *frc = cls;
+  struct ReceiveContext *e = element;
+
+  if ((frc->addr_len == e->addr_len) &&
+      (0 == memcmp (frc->addr, e->src_addr, frc->addr_len)))
+  {
+    frc->rc = e;
+    return GNUNET_NO;
+  }
+  return GNUNET_YES;
 }
 
+
 /**
- * Create a UDP socket.  If possible, use IPv6, otherwise
- * try IPv4.
- * @param cls closure, the 'struct Plugin*'
+ * Read and process a message from the given socket.
+ *
+ * @param plugin the overall plugin
+ * @param rsock socket to read from
  */
-static struct GNUNET_NETWORK_Handle *
-udp_transport_server_start (void *cls)
+static void
+udp_read (struct Plugin *plugin, struct GNUNET_NETWORK_Handle *rsock)
 {
-  struct Plugin *plugin = cls;
-  struct GNUNET_NETWORK_Handle *desc;
-  struct sockaddr_in serverAddrv4;
-  struct sockaddr_in6 serverAddrv6;
-  struct sockaddr *serverAddr;
-  socklen_t addrlen;
+  socklen_t fromlen;
+  char addr[32];
+  char buf[65536];
+  ssize_t ret;
+  const struct GNUNET_MessageHeader *msg;
+  const struct GNUNET_MessageHeader *ack;
+  struct Session *peer_session;
+  const struct UDP_ACK_Message *udp_ack;
+  struct ReceiveContext *rc;
+  struct GNUNET_TIME_Absolute now;
+  struct FindReceiveContext frc;
+  struct Session * s = NULL;
+  struct GNUNET_TIME_Relative flow_delay;
+
+  fromlen = sizeof (addr);
+  memset (&addr, 0, sizeof (addr));
+  ret =
+      GNUNET_NETWORK_socket_recvfrom (rsock, buf, sizeof (buf),
+                                      (struct sockaddr *) &addr, &fromlen);
+  if (ret < sizeof (struct GNUNET_MessageHeader))
+  {
+    GNUNET_break_op (0);
+    return;
+  }
+  msg = (const struct GNUNET_MessageHeader *) buf;
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+              "UDP received %u-byte message from `%s' type %i\n", (unsigned int) ret,
+              GNUNET_a2s ((const struct sockaddr *) addr, fromlen), ntohs(msg->type));
+
+  if (ret != ntohs (msg->size))
+  {
+    GNUNET_break_op (0);
+    return;
+  }
+  switch (ntohs (msg->type))
+  {
+  case GNUNET_MESSAGE_TYPE_TRANSPORT_UDP_MESSAGE:
+    if (ntohs (msg->size) < sizeof (struct UDPMessage))
+    {
+      GNUNET_break_op (0);
+      return;
+    }
+    process_udp_message (plugin, (const struct UDPMessage *) msg,
+                         (const struct sockaddr *) addr, fromlen);
+    return;
+  case GNUNET_MESSAGE_TYPE_TRANSPORT_UDP_ACK:
 
-  desc = NULL;
-  if (GNUNET_YES !=
-      GNUNET_CONFIGURATION_get_value_yesno (plugin->env->cfg, "GNUNETD",
-                                            "DISABLE-IPV6"))
+    if (ntohs (msg->size) <
+        sizeof (struct UDP_ACK_Message) + sizeof (struct GNUNET_MessageHeader))
     {
-      desc = GNUNET_NETWORK_socket_create (PF_INET6, SOCK_DGRAM, 17);
-      if (desc != NULL)
-        {
-          memset (&serverAddrv6, 0, sizeof (serverAddrv6));
-#if HAVE_SOCKADDR_IN_SIN_LEN
-          serverAddrv6.sin6_len = sizeof (serverAddrv6);
-#endif
-          serverAddrv6.sin6_family = AF_INET6;
-          serverAddrv6.sin6_addr = in6addr_any;
-          serverAddrv6.sin6_port = htons (plugin->open_port);
-          addrlen = sizeof (serverAddrv6);
-          serverAddr = (struct sockaddr *) &serverAddrv6;
-        }
+      GNUNET_break_op (0);
+      return;
     }
-  if (NULL == desc)
+    udp_ack = (const struct UDP_ACK_Message *) msg;
+    s = find_inbound_session(plugin, &udp_ack->sender, addr, fromlen);
+    if (s != NULL)
     {
-      desc = GNUNET_NETWORK_socket_create (PF_INET, SOCK_DGRAM, 17);
-      if (NULL == desc)
-        {
-          GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, "udp", "socket");
-          return NULL;
-        }
-      else
-        {
-          memset (&serverAddrv4, 0, sizeof (serverAddrv4));
-#if HAVE_SOCKADDR_IN_SIN_LEN
-          serverAddrv4.sin_len = sizeof (serverAddrv4);
+      flow_delay.rel_value = (uint64_t) ntohl(udp_ack->delay);
+
+      LOG (GNUNET_ERROR_TYPE_DEBUG,
+                  "We received a sending delay of %llu\n", flow_delay.rel_value);
+
+      s->flow_delay_from_other_peer = GNUNET_TIME_relative_to_absolute (flow_delay);
+    }
+    ack = (const struct GNUNET_MessageHeader *) &udp_ack[1];
+    if (ntohs (ack->size) != ntohs (msg->size) - sizeof (struct UDP_ACK_Message))
+    {
+      GNUNET_break_op (0);
+      return;
+    }
+#if DEBUG_UDP
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
+                "UDP processes %u-byte acknowledgement from `%s' at `%s'\n",
+                (unsigned int) ntohs (msg->size), GNUNET_i2s (&udp_ack->sender),
+                GNUNET_a2s ((const struct sockaddr *) addr, fromlen));
 #endif
-          serverAddrv4.sin_family = AF_INET;
-          serverAddrv4.sin_addr.s_addr = INADDR_ANY;
-          serverAddrv4.sin_port = htons (plugin->open_port);
-          addrlen = sizeof (serverAddrv4);
-          serverAddr = (struct sockaddr *) &serverAddrv4;
-        }
+
+    peer_session = find_session (plugin, &udp_ack->sender);
+    if (NULL == peer_session)
+    {
+#if DEBUG_UDP
+      LOG (GNUNET_ERROR_TYPE_DEBUG,
+                  "Session for ACK not found, dropping ACK!\n");
+#endif
+      return;
     }
+    if (GNUNET_OK != GNUNET_FRAGMENT_process_ack (peer_session->frag, ack))
+      return;
+    GNUNET_assert (GNUNET_OK ==
+                   GNUNET_CONTAINER_multihashmap_remove (plugin->sessions,
+                                                         &udp_ack->
+                                                         sender.hashPubKey,
+                                                         peer_session));
+    plugin->last_expected_delay =
+        GNUNET_FRAGMENT_context_destroy (peer_session->frag);
+    if (peer_session->cont != NULL)
+      peer_session->cont (peer_session->cont_cls, &udp_ack->sender, GNUNET_OK);
+    GNUNET_free (peer_session);
+    return;
+  case GNUNET_MESSAGE_TYPE_FRAGMENT:
+    frc.rc = NULL;
+    frc.addr = (const struct sockaddr *) addr;
+    frc.addr_len = fromlen;
+    GNUNET_CONTAINER_heap_iterate (plugin->defrags, &find_receive_context,
+                                   &frc);
+    now = GNUNET_TIME_absolute_get ();
+    rc = frc.rc;
+    if (rc == NULL)
+    {
+      /* need to create a new RC */
+      rc = GNUNET_malloc (sizeof (struct ReceiveContext) + fromlen);
+      memcpy (&rc[1], addr, fromlen);
+      rc->src_addr = (const struct sockaddr *) &rc[1];
+      rc->addr_len = fromlen;
+      rc->plugin = plugin;
+      rc->defrag =
+          GNUNET_DEFRAGMENT_context_create (plugin->env->stats, UDP_MTU,
+                                            UDP_MAX_MESSAGES_IN_DEFRAG, rc,
+                                            &fragment_msg_proc, &ack_proc);
+      rc->hnode =
+          GNUNET_CONTAINER_heap_insert (plugin->defrags, rc,
+                                        (GNUNET_CONTAINER_HeapCostType)
+                                        now.abs_value);
+    }
+#if DEBUG_UDP
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
+                "UDP processes %u-byte fragment from `%s'\n",
+                (unsigned int) ntohs (msg->size),
+                GNUNET_a2s ((const struct sockaddr *) addr, fromlen));
+#endif
 
-  if (desc != NULL)
+    if (GNUNET_OK == GNUNET_DEFRAGMENT_process_fragment (rc->defrag, msg))
+    {
+      /* keep this 'rc' from expiring */
+      GNUNET_CONTAINER_heap_update_cost (plugin->defrags, rc->hnode,
+                                         (GNUNET_CONTAINER_HeapCostType)
+                                         now.abs_value);
+    }
+    if (GNUNET_CONTAINER_heap_get_size (plugin->defrags) >
+        UDP_MAX_SENDER_ADDRESSES_WITH_DEFRAG)
     {
-      GNUNET_assert (GNUNET_NETWORK_socket_bind (desc, serverAddr, addrlen) ==
-                     GNUNET_OK);
+      /* remove 'rc' that was inactive the longest */
+      rc = GNUNET_CONTAINER_heap_remove_root (plugin->defrags);
+      GNUNET_assert (NULL != rc);
+      GNUNET_DEFRAGMENT_context_destroy (rc->defrag);
+      GNUNET_free (rc);
     }
+    return;
+  default:
+    GNUNET_break_op (0);
+    return;
+  }
+}
 
-  plugin->rs = GNUNET_NETWORK_fdset_create ();
 
-  GNUNET_NETWORK_fdset_zero (plugin->rs);
-  GNUNET_NETWORK_fdset_set (plugin->rs, desc);
+/**
+ * We have been notified that our writeset has something to read.  We don't
+ * know which socket needs to be read, so we have to check each one
+ * Then reschedule this function to be called again once more is available.
+ *
+ * @param cls the plugin handle
+ * @param tc the scheduling context (for rescheduling this function again)
+ */
+static void
+udp_plugin_select (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct Plugin *plugin = cls;
 
+  plugin->select_task = GNUNET_SCHEDULER_NO_TASK;
+  if ((tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN) != 0)
+    return;
+  if ((NULL != plugin->sockv4) &&
+      (GNUNET_NETWORK_fdset_isset (tc->read_ready, plugin->sockv4)))
+    udp_read (plugin, plugin->sockv4);
+  if ((NULL != plugin->sockv6) &&
+      (GNUNET_NETWORK_fdset_isset (tc->read_ready, plugin->sockv6)))
+    udp_read (plugin, plugin->sockv6);
   plugin->select_task =
-    GNUNET_SCHEDULER_add_select (plugin->env->sched,
-                                 GNUNET_SCHEDULER_PRIORITY_DEFAULT,
-                                 GNUNET_SCHEDULER_NO_TASK,
-                                 GNUNET_TIME_UNIT_FOREVER_REL, plugin->rs,
-                                 NULL, &udp_plugin_select, plugin);
+      GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_DEFAULT,
+                                   GNUNET_SCHEDULER_NO_TASK,
+                                   GNUNET_TIME_UNIT_FOREVER_REL, plugin->rs,
+                                   NULL, &udp_plugin_select, plugin);
 
-  return desc;
 }
 
 
 /**
- * Check if the given port is plausible (must be either
- * our listen port or our advertised port).  If it is
- * neither, we return one of these two ports at random.
+ * Check if the given port is plausible (must be either our listen
+ * port or our advertised port).  If it is neither, we return
+ * GNUNET_SYSERR.
  *
- * @return either in_port or a more plausible port
+ * @param plugin global variables
+ * @param in_port port number to check
+ * @return GNUNET_OK if port is either open_port or adv_port
  */
-static uint16_t
+static int
 check_port (struct Plugin *plugin, uint16_t in_port)
 {
-  if ((in_port == plugin->adv_port) || (in_port == plugin->open_port))
-    return in_port;
-  return (GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK,
-                                    2) == 0)
-    ? plugin->open_port : plugin->adv_port;
+  if ((in_port == plugin->port) || (in_port == plugin->aport))
+    return GNUNET_OK;
+  return GNUNET_SYSERR;
 }
 
 
 /**
- * Another peer has suggested an address for this peer and transport
- * plugin.  Check that this could be a valid address.  This function
- * is not expected to 'validate' the address in the sense of trying to
- * connect to it but simply to see if the binary format is technically
- * legal for establishing a connection.
+ * Function that will be called to check if a binary address for this
+ * plugin is well-formed and corresponds to an address for THIS peer
+ * (as per our configuration).  Naturally, if absolutely necessary,
+ * plugins can be a bit conservative in their answer, but in general
+ * plugins should make sure that the address does not redirect
+ * traffic to a 3rd party that might try to man-in-the-middle our
+ * traffic.
  *
- * @param cls handle to Plugin
- * @param addr address to check
+ * @param cls closure, should be our handle to the Plugin
+ * @param addr pointer to the address
  * @param addrlen length of addr
  * @return GNUNET_OK if this is a plausible address for this peer
  *         and transport, GNUNET_SYSERR if not
+ *
  */
 static int
-udp_check_address (void *cls, void *addr, size_t addrlen)
+udp_plugin_check_address (void *cls, const void *addr, size_t addrlen)
 {
   struct Plugin *plugin = cls;
   struct IPv4UdpAddress *v4;
@@ -704,26 +1381,118 @@ udp_check_address (void *cls, void *addr, size_t addrlen)
 
   if ((addrlen != sizeof (struct IPv4UdpAddress)) &&
       (addrlen != sizeof (struct IPv6UdpAddress)))
-    {
-      GNUNET_break_op (0);
-      return GNUNET_SYSERR;
-    }
+  {
+    GNUNET_break_op (0);
+    return GNUNET_SYSERR;
+  }
   if (addrlen == sizeof (struct IPv4UdpAddress))
-    {
-      v4 = (struct IPv4UdpAddress *) addr;
-      v4->u_port = htons (check_port (plugin, ntohs (v4->u_port)));
-    }
+  {
+    v4 = (struct IPv4UdpAddress *) addr;
+    if (GNUNET_OK != check_port (plugin, ntohs (v4->u4_port)))
+      return GNUNET_SYSERR;
+    if (GNUNET_OK !=
+        GNUNET_NAT_test_address (plugin->nat, &v4->ipv4_addr,
+                                 sizeof (struct in_addr)))
+      return GNUNET_SYSERR;
+  }
   else
+  {
+    v6 = (struct IPv6UdpAddress *) addr;
+    if (IN6_IS_ADDR_LINKLOCAL (&v6->ipv6_addr))
     {
-      v6 = (struct IPv6UdpAddress *) addr;
-      v6->u6_port = htons (check_port (plugin, ntohs (v6->u6_port)));
+      GNUNET_break_op (0);
+      return GNUNET_SYSERR;
     }
+    if (GNUNET_OK != check_port (plugin, ntohs (v6->u6_port)))
+      return GNUNET_SYSERR;
+    if (GNUNET_OK !=
+        GNUNET_NAT_test_address (plugin->nat, &v6->ipv6_addr,
+                                 sizeof (struct in6_addr)))
+      return GNUNET_SYSERR;
+  }
   return GNUNET_OK;
 }
 
 
+/**
+ * Function called for a quick conversion of the binary address to
+ * a numeric address.  Note that the caller must not free the
+ * address and that the next call to this function is allowed
+ * to override the address again.
+ *
+ * @param cls closure
+ * @param addr binary address
+ * @param addrlen length of the address
+ * @return string representing the same address
+ */
+static const char *
+udp_address_to_string (void *cls, const void *addr, size_t addrlen)
+{
+  static char rbuf[INET6_ADDRSTRLEN + 10];
+  char buf[INET6_ADDRSTRLEN];
+  const void *sb;
+  struct in_addr a4;
+  struct in6_addr a6;
+  const struct IPv4UdpAddress *t4;
+  const struct IPv6UdpAddress *t6;
+  int af;
+  uint16_t port;
+
+  if (addrlen == sizeof (struct IPv6UdpAddress))
+  {
+    t6 = addr;
+    af = AF_INET6;
+    port = ntohs (t6->u6_port);
+    memcpy (&a6, &t6->ipv6_addr, sizeof (a6));
+    sb = &a6;
+  }
+  else if (addrlen == sizeof (struct IPv4UdpAddress))
+  {
+    t4 = addr;
+    af = AF_INET;
+    port = ntohs (t4->u4_port);
+    memcpy (&a4, &t4->ipv4_addr, sizeof (a4));
+    sb = &a4;
+  }
+  else
+  {
+    GNUNET_break_op (0);
+    return NULL;
+  }
+  inet_ntop (af, sb, buf, INET6_ADDRSTRLEN);
+  GNUNET_snprintf (rbuf, sizeof (rbuf), (af == AF_INET6) ? "[%s]:%u" : "%s:%u",
+                  buf, port);
+  return rbuf;
+}
+
+
+/**
+ * Closure for 'append_port'.
+ */
+struct PrettyPrinterContext
+{
+  /**
+   * Function to call with the result.
+   */
+  GNUNET_TRANSPORT_AddressStringCallback asc;
+
+  /**
+   * Clsoure for 'asc'.
+   */
+  void *asc_cls;
+
+  /**
+   * Port to add after the IP address.
+   */
+  uint16_t port;
+};
+
+
 /**
  * Append our port and forward the result.
+ *
+ * @param cls a 'struct PrettyPrinterContext'
+ * @param hostname result from DNS resolver
  */
 static void
 append_port (void *cls, const char *hostname)
@@ -732,11 +1501,11 @@ append_port (void *cls, const char *hostname)
   char *ret;
 
   if (hostname == NULL)
-    {
-      ppc->asc (ppc->asc_cls, NULL);
-      GNUNET_free (ppc);
-      return;
-    }
+  {
+    ppc->asc (ppc->asc_cls, NULL);
+    GNUNET_free (ppc);
+    return;
+  }
   GNUNET_asprintf (&ret, "%s:%d", hostname, ppc->port);
   ppc->asc (ppc->asc_cls, ret);
   GNUNET_free (ret);
@@ -758,122 +1527,108 @@ append_port (void *cls, const char *hostname)
  * @param asc_cls closure for asc
  */
 static void
-udp_plugin_address_pretty_printer (void *cls,
-                                   const char *type,
-                                   const void *addr,
-                                   size_t addrlen,
+udp_plugin_address_pretty_printer (void *cls, const char *type,
+                                   const void *addr, size_t addrlen,
                                    int numeric,
                                    struct GNUNET_TIME_Relative timeout,
                                    GNUNET_TRANSPORT_AddressStringCallback asc,
                                    void *asc_cls)
 {
-  struct Plugin *plugin = cls;
   struct PrettyPrinterContext *ppc;
   const void *sb;
+  size_t sbs;
   struct sockaddr_in a4;
   struct sockaddr_in6 a6;
-  const struct IPv4UdpAddress *t4;
-  const struct IPv6UdpAddress *t6;
-  int af;
-  size_t sbs;
+  const struct IPv4UdpAddress *u4;
+  const struct IPv6UdpAddress *u6;
   uint16_t port;
 
   if (addrlen == sizeof (struct IPv6UdpAddress))
-    {
-      t6 = addr;
-      af = AF_INET6;
-      memset (&a6, 0, sizeof (a6));
-      a6.sin6_family = AF_INET6;
-      a6.sin6_port = t6->u6_port;
-      port = ntohs (t6->u6_port);
-      memcpy (a6.sin6_addr.s6_addr,
-             t6->ipv6_addr,
-             16);      
-      sb = &a6;
-      sbs = sizeof (a6);
-    }
+  {
+    u6 = addr;
+    memset (&a6, 0, sizeof (a6));
+    a6.sin6_family = AF_INET6;
+#if HAVE_SOCKADDR_IN_SIN_LEN
+    a6.sin6_len = sizeof (a6);
+#endif
+    a6.sin6_port = u6->u6_port;
+    memcpy (&a6.sin6_addr, &u6->ipv6_addr, sizeof (struct in6_addr));
+    port = ntohs (u6->u6_port);
+    sb = &a6;
+    sbs = sizeof (a6);
+  }
   else if (addrlen == sizeof (struct IPv4UdpAddress))
-    {
-      t4 = addr;
-      af = AF_INET;
-      memset (&a4, 0, sizeof (a4));
-      a4.sin_family = AF_INET;
-      a4.sin_port = t4->u_port;
-      a4.sin_addr.s_addr = t4->ipv4_addr;
-      port = ntohs (t4->u_port);
-      sb = &a4;
-      sbs = sizeof (a4);
-    }
+  {
+    u4 = addr;
+    memset (&a4, 0, sizeof (a4));
+    a4.sin_family = AF_INET;
+#if HAVE_SOCKADDR_IN_SIN_LEN
+    a4.sin_len = sizeof (a4);
+#endif
+    a4.sin_port = u4->u4_port;
+    a4.sin_addr.s_addr = u4->ipv4_addr;
+    port = ntohs (u4->u4_port);
+    sb = &a4;
+    sbs = sizeof (a4);
+  }
   else
-    {
-      /* invalid address */
-      GNUNET_break_op (0);
-      asc (asc_cls, NULL);
-      return;
-    }
+  {
+    /* invalid address */
+    GNUNET_break_op (0);
+    asc (asc_cls, NULL);
+    return;
+  }
   ppc = GNUNET_malloc (sizeof (struct PrettyPrinterContext));
   ppc->asc = asc;
   ppc->asc_cls = asc_cls;
   ppc->port = port;
-  GNUNET_RESOLVER_hostname_get (plugin->env->sched,
-                                plugin->env->cfg,
-                                sb,
-                                sbs,
-                                !numeric, timeout, &append_port, ppc);
+  GNUNET_RESOLVER_hostname_get (sb, sbs, !numeric, timeout, &append_port, ppc);
 }
 
 
-
 /**
- * Function called for a quick conversion of the binary address to
- * a numeric address.  Note that the caller must not free the 
- * address and that the next call to this function is allowed
- * to override the address again.
+ * Our external IP address/port mapping has changed.
  *
- * @param cls closure
- * @param addr binary address
- * @param addr_len length of the address
- * @return string representing the same address 
+ * @param cls closure, the 'struct LocalAddrList'
+ * @param add_remove GNUNET_YES to mean the new public IP address, GNUNET_NO to mean
+ *     the previous (now invalid) one
+ * @param addr either the previous or the new public IP address
+ * @param addrlen actual lenght of the address
  */
-static const char* 
-udp_address_to_string (void *cls,
-                      const void *addr,
-                      size_t addrlen)
+static void
+udp_nat_port_map_callback (void *cls, int add_remove,
+                           const struct sockaddr *addr, socklen_t addrlen)
 {
-  static char buf[INET6_ADDRSTRLEN];
-  const void *sb;
-  struct sockaddr_in a4;
-  struct sockaddr_in6 a6;
-  const struct IPv4UdpAddress *t4;
-  const struct IPv6UdpAddress *t6;
-  int af;
-
-  if (addrlen == sizeof (struct IPv6UdpAddress))
-    {
-      t6 = addr;
-      af = AF_INET6;
-      memset (&a6, 0, sizeof (a6));
-      a6.sin6_family = AF_INET6;
-      a6.sin6_port = t6->u6_port;
-      memcpy (a6.sin6_addr.s6_addr,
-             t6->ipv6_addr,
-             16);      
-      sb = &a6;
-    }
-  else if (addrlen == sizeof (struct IPv4UdpAddress))
-    {
-      t4 = addr;
-      af = AF_INET;
-      memset (&a4, 0, sizeof (a4));
-      a4.sin_family = AF_INET;
-      a4.sin_port = t4->u_port;
-      a4.sin_addr.s_addr = t4->ipv4_addr;
-      sb = &a4;
-    }
-  else
-    return NULL;
-  
-  return inet_ntop (af, sb, buf, INET6_ADDRSTRLEN);
+  struct Plugin *plugin = cls;
+  struct IPv4UdpAddress u4;
+  struct IPv6UdpAddress u6;
+  void *arg;
+  size_t args;
+
+  /* convert 'addr' to our internal format */
+  switch (addr->sa_family)
+  {
+  case AF_INET:
+    GNUNET_assert (addrlen == sizeof (struct sockaddr_in));
+    u4.ipv4_addr = ((struct sockaddr_in *) addr)->sin_addr.s_addr;
+    u4.u4_port = ((struct sockaddr_in *) addr)->sin_port;
+    arg = &u4;
+    args = sizeof (u4);
+    break;
+  case AF_INET6:
+    GNUNET_assert (addrlen == sizeof (struct sockaddr_in6));
+    memcpy (&u6.ipv6_addr, &((struct sockaddr_in6 *) addr)->sin6_addr,
+            sizeof (struct in6_addr));
+    u6.u6_port = ((struct sockaddr_in6 *) addr)->sin6_port;
+    arg = &u6;
+    args = sizeof (u6);
+    break;
+  default:
+    GNUNET_break (0);
+    return;
+  }
+  /* modify our published address list */
+  plugin->env->notify_address (plugin->env->cls, add_remove, arg, args);
 }
 
 
@@ -881,106 +1636,277 @@ udp_address_to_string (void *cls,
  * The exported method. Makes the core api available via a global and
  * returns the udp transport API.
  *
- * @param cls closure, the 'struct GNUNET_TRANSPORT_PluginEnvironment*'
- * @return the 'struct GNUNET_TRANSPORT_PluginFunctions*' or NULL on error
+ * @param cls our 'struct GNUNET_TRANSPORT_PluginEnvironment'
+ * @return our 'struct GNUNET_TRANSPORT_PluginFunctions'
  */
 void *
 libgnunet_plugin_transport_udp_init (void *cls)
 {
   struct GNUNET_TRANSPORT_PluginEnvironment *env = cls;
+  unsigned long long port;
+  unsigned long long aport;
   struct GNUNET_TRANSPORT_PluginFunctions *api;
   struct Plugin *plugin;
-  struct GNUNET_SERVICE_Context *service;
-  unsigned long long aport;
-  unsigned long long bport;
-  unsigned long long mtu;
-
-  service = GNUNET_SERVICE_start ("transport-udp", env->sched, env->cfg);
-  if (service == NULL)
-    {
-      GNUNET_log_from (GNUNET_ERROR_TYPE_WARNING, "udp", _
-                       ("Failed to start service for `%s' transport plugin.\n"),
-                       "udp");
-      return NULL;
-    }
-  aport = 0;
-  if ((GNUNET_OK !=
-       GNUNET_CONFIGURATION_get_value_number (env->cfg,
-                                              "transport-udp",
-                                              "PORT",
-                                              &bport)) ||
-      (bport > 65535) ||
-      ((GNUNET_OK ==
-        GNUNET_CONFIGURATION_get_value_number (env->cfg,
-                                               "transport-udp",
-                                               "ADVERTISED-PORT",
-                                               &aport)) && (aport > 65535)))
-    {
-      GNUNET_log_from (GNUNET_ERROR_TYPE_ERROR,
-                       "udp",
-                       _
-                       ("Require valid port number for service `%s' in configuration!\n"),
-                       "transport-udp");
-      GNUNET_SERVICE_stop (service);
-      return NULL;
-    }
-  if (aport == 0)
-    aport = bport;
-
-  mtu = 1240;
-  if (mtu < 1200)
-    GNUNET_log_from (GNUNET_ERROR_TYPE_INFO,
-                     "udp",
-                     _("MTU %llu for `%s' is probably too low!\n"), mtu,
-                     "UDP");
+  int sockets_created;
+  struct sockaddr_in serverAddrv4;
+  struct sockaddr_in6 serverAddrv6;
+  struct sockaddr *serverAddr;
+  struct sockaddr *addrs[2];
+  socklen_t addrlens[2];
+  socklen_t addrlen;
+  unsigned int tries;
+  unsigned long long udp_max_bps;
+
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_number (env->cfg, "transport-udp", "PORT",
+                                             &port))
+    port = 2086;
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_number (env->cfg, "transport-udp",
+                                             "MAX_BPS", &udp_max_bps))
+    udp_max_bps = 1024 * 1024 * 50;     /* 50 MB/s == infinity for practical purposes */
+  if (GNUNET_OK !=
+      GNUNET_CONFIGURATION_get_value_number (env->cfg, "transport-udp",
+                                             "ADVERTISED_PORT", &aport))
+    aport = port;
+  if (port > 65535)
+  {
+    LOG (GNUNET_ERROR_TYPE_WARNING,
+                _("Given `%s' option is out of range: %llu > %u\n"), "PORT",
+                port, 65535);
+    return NULL;
+  }
+  memset (&serverAddrv6, 0, sizeof (serverAddrv6));
+  memset (&serverAddrv4, 0, sizeof (serverAddrv4));
 
   plugin = GNUNET_malloc (sizeof (struct Plugin));
-  plugin->open_port = bport;
-  plugin->adv_port = aport;
+  GNUNET_BANDWIDTH_tracker_init (&plugin->tracker,
+                                 GNUNET_BANDWIDTH_value_init ((uint32_t)
+                                                              udp_max_bps), 30);
+  plugin->last_expected_delay = GNUNET_TIME_UNIT_SECONDS;
+  plugin->port = port;
+  plugin->aport = aport;
   plugin->env = env;
-  plugin->statistics = NULL;
   api = GNUNET_malloc (sizeof (struct GNUNET_TRANSPORT_PluginFunctions));
   api->cls = plugin;
 
   api->send = &udp_plugin_send;
   api->disconnect = &udp_disconnect;
   api->address_pretty_printer = &udp_plugin_address_pretty_printer;
-  api->check_address = &udp_check_address;
   api->address_to_string = &udp_address_to_string;
-  plugin->service = service;
-
-  /* FIXME: do the two calls below periodically again and
-     not just once (since the info we get might change...) */
-  GNUNET_OS_network_interfaces_list (&process_interfaces, plugin);
-  plugin->hostname_dns = GNUNET_RESOLVER_hostname_resolve (env->sched,
-                                                           env->cfg,
-                                                           AF_UNSPEC,
-                                                           HOSTNAME_RESOLVE_TIMEOUT,
-                                                           &process_hostname_ips,
-                                                           plugin);
-
-  udp_sock = udp_transport_server_start (plugin);
+  api->check_address = &udp_plugin_check_address;
+
+  if (GNUNET_YES ==
+      GNUNET_CONFIGURATION_get_value_string (env->cfg, "transport-udp",
+                                             "BINDTO", &plugin->bind4_address))
+  {
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
+                "Binding udp plugin to specific address: `%s'\n",
+                plugin->bind4_address);
+    if (1 != inet_pton (AF_INET, plugin->bind4_address, &serverAddrv4.sin_addr))
+    {
+      GNUNET_free (plugin->bind4_address);
+      GNUNET_free (plugin);
+      GNUNET_free (api);
+      return NULL;
+    }
+  }
+
+  if (GNUNET_YES ==
+      GNUNET_CONFIGURATION_get_value_string (env->cfg, "transport-udp",
+                                             "BINDTO6", &plugin->bind6_address))
+  {
+    LOG (GNUNET_ERROR_TYPE_DEBUG,
+                "Binding udp plugin to specific address: `%s'\n",
+                plugin->bind6_address);
+    if (1 !=
+        inet_pton (AF_INET6, plugin->bind6_address, &serverAddrv6.sin6_addr))
+    {
+      LOG (GNUNET_ERROR_TYPE_ERROR, _("Invalid IPv6 address: `%s'\n"),
+                  plugin->bind6_address);
+      GNUNET_free_non_null (plugin->bind4_address);
+      GNUNET_free (plugin->bind6_address);
+      GNUNET_free (plugin);
+      GNUNET_free (api);
+      return NULL;
+    }
+  }
+
+  plugin->defrags =
+      GNUNET_CONTAINER_heap_create (GNUNET_CONTAINER_HEAP_ORDER_MIN);
+  plugin->sessions =
+      GNUNET_CONTAINER_multihashmap_create (UDP_MAX_SENDER_ADDRESSES_WITH_DEFRAG
+                                            * 2);
+  plugin->inbound_sessions =
+      GNUNET_CONTAINER_multihashmap_create (UDP_MAX_SENDER_ADDRESSES_WITH_DEFRAG
+                                            * 2);
+  sockets_created = 0;
+  if ((GNUNET_YES !=
+       GNUNET_CONFIGURATION_get_value_yesno (plugin->env->cfg, "nat",
+                                             "DISABLEV6")))
+  {
+    plugin->sockv6 = GNUNET_NETWORK_socket_create (PF_INET6, SOCK_DGRAM, 0);
+    if (NULL == plugin->sockv6)
+    {
+      GNUNET_log_strerror (GNUNET_ERROR_TYPE_WARNING, "socket");
+    }
+    else
+    {
+#if HAVE_SOCKADDR_IN_SIN_LEN
+      serverAddrv6.sin6_len = sizeof (serverAddrv6);
+#endif
+      serverAddrv6.sin6_family = AF_INET6;
+      serverAddrv6.sin6_addr = in6addr_any;
+      serverAddrv6.sin6_port = htons (plugin->port);
+      addrlen = sizeof (serverAddrv6);
+      serverAddr = (struct sockaddr *) &serverAddrv6;
+#if DEBUG_UDP
+      LOG (GNUNET_ERROR_TYPE_DEBUG, "Binding to IPv6 port %d\n",
+                  ntohs (serverAddrv6.sin6_port));
+#endif
+      tries = 0;
+      while (GNUNET_NETWORK_socket_bind (plugin->sockv6, serverAddr, addrlen) !=
+             GNUNET_OK)
+      {
+        serverAddrv6.sin6_port = htons (GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_STRONG, 33537) + 32000);        /* Find a good, non-root port */
+#if DEBUG_UDP
+        LOG (GNUNET_ERROR_TYPE_DEBUG,
+                    "IPv6 Binding failed, trying new port %d\n",
+                    ntohs (serverAddrv6.sin6_port));
+#endif
+        tries++;
+        if (tries > 10)
+        {
+          GNUNET_NETWORK_socket_close (plugin->sockv6);
+          plugin->sockv6 = NULL;
+          break;
+        }
+      }
+      if (plugin->sockv6 != NULL)
+      {
+        addrs[sockets_created] = (struct sockaddr *) &serverAddrv6;
+        addrlens[sockets_created] = sizeof (serverAddrv6);
+        sockets_created++;
+      }
+    }
+  }
+
+  plugin->mst =
+      GNUNET_SERVER_mst_create (&process_inbound_tokenized_messages, plugin);
+  plugin->sockv4 = GNUNET_NETWORK_socket_create (PF_INET, SOCK_DGRAM, 0);
+  if (NULL == plugin->sockv4)
+  {
+    GNUNET_log_strerror (GNUNET_ERROR_TYPE_WARNING, "socket");
+  }
+  else
+  {
+#if HAVE_SOCKADDR_IN_SIN_LEN
+    serverAddrv4.sin_len = sizeof (serverAddrv4);
+#endif
+    serverAddrv4.sin_family = AF_INET;
+    serverAddrv4.sin_addr.s_addr = INADDR_ANY;
+    serverAddrv4.sin_port = htons (plugin->port);
+    addrlen = sizeof (serverAddrv4);
+    serverAddr = (struct sockaddr *) &serverAddrv4;
+#if DEBUG_UDP
+    LOG (GNUNET_ERROR_TYPE_DEBUG, "Binding to IPv4 port %d\n",
+                ntohs (serverAddrv4.sin_port));
+#endif
+    tries = 0;
+    while (GNUNET_NETWORK_socket_bind (plugin->sockv4, serverAddr, addrlen) !=
+           GNUNET_OK)
+    {
+      serverAddrv4.sin_port = htons (GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_STRONG, 33537) + 32000);   /* Find a good, non-root port */
+#if DEBUG_UDP
+      LOG (GNUNET_ERROR_TYPE_DEBUG,
+                  "IPv4 Binding failed, trying new port %d\n",
+                  ntohs (serverAddrv4.sin_port));
+#endif
+      tries++;
+      if (tries > 10)
+      {
+        GNUNET_NETWORK_socket_close (plugin->sockv4);
+        plugin->sockv4 = NULL;
+        break;
+      }
+    }
+    if (plugin->sockv4 != NULL)
+    {
+      addrs[sockets_created] = (struct sockaddr *) &serverAddrv4;
+      addrlens[sockets_created] = sizeof (serverAddrv4);
+      sockets_created++;
+    }
+  }
 
-  GNUNET_assert (udp_sock != NULL);
+  plugin->rs = GNUNET_NETWORK_fdset_create ();
+  GNUNET_NETWORK_fdset_zero (plugin->rs);
+  if (NULL != plugin->sockv4)
+    GNUNET_NETWORK_fdset_set (plugin->rs, plugin->sockv4);
+  if (NULL != plugin->sockv6)
+    GNUNET_NETWORK_fdset_set (plugin->rs, plugin->sockv6);
 
+  plugin->select_task =
+      GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_DEFAULT,
+                                   GNUNET_SCHEDULER_NO_TASK,
+                                   GNUNET_TIME_UNIT_FOREVER_REL, plugin->rs,
+                                   NULL, &udp_plugin_select, plugin);
+  if (sockets_created == 0)
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING, _("Failed to open UDP sockets\n"));
+  plugin->nat =
+      GNUNET_NAT_register (env->cfg, GNUNET_NO, port, sockets_created,
+                           (const struct sockaddr **) addrs, addrlens,
+                           &udp_nat_port_map_callback, NULL, plugin);
   return api;
 }
 
+/**
+ * Shutdown the plugin.
+ *
+ * @param cls our 'struct GNUNET_TRANSPORT_PluginFunctions'
+ * @return NULL
+ */
 void *
 libgnunet_plugin_transport_udp_done (void *cls)
 {
   struct GNUNET_TRANSPORT_PluginFunctions *api = cls;
   struct Plugin *plugin = api->cls;
+  struct ReceiveContext *rc;
+
+  /* FIXME: clean up heap and hashmap */
+  GNUNET_CONTAINER_multihashmap_iterate (plugin->sessions, &destroy_session,
+                                         NULL);
+  GNUNET_CONTAINER_multihashmap_destroy (plugin->sessions);
+  plugin->sessions = NULL;
+  GNUNET_CONTAINER_multihashmap_iterate (plugin->inbound_sessions, &destroy_inbound_session,
+                                         NULL);
+  GNUNET_CONTAINER_multihashmap_destroy (plugin->inbound_sessions);
+  plugin->inbound_sessions = NULL;
+  while (NULL != (rc = GNUNET_CONTAINER_heap_remove_root (plugin->defrags)))
+  {
+    GNUNET_DEFRAGMENT_context_destroy (rc->defrag);
+    GNUNET_free (rc);
+  }
+  GNUNET_CONTAINER_heap_destroy (plugin->defrags);
 
-  udp_transport_server_stop (plugin);
-  if (NULL != plugin->hostname_dns)
-    {
-      GNUNET_RESOLVER_request_cancel (plugin->hostname_dns);
-      plugin->hostname_dns = NULL;
-    }
-  GNUNET_SERVICE_stop (plugin->service);
-
+  if (plugin->select_task != GNUNET_SCHEDULER_NO_TASK)
+  {
+    GNUNET_SCHEDULER_cancel (plugin->select_task);
+    plugin->select_task = GNUNET_SCHEDULER_NO_TASK;
+  }
+  if (plugin->sockv4 != NULL)
+  {
+    GNUNET_break (GNUNET_OK == GNUNET_NETWORK_socket_close (plugin->sockv4));
+    plugin->sockv4 = NULL;
+  }
+  if (plugin->sockv6 != NULL)
+  {
+    GNUNET_break (GNUNET_OK == GNUNET_NETWORK_socket_close (plugin->sockv6));
+    plugin->sockv6 = NULL;
+  }
+  GNUNET_SERVER_mst_destroy (plugin->mst);
   GNUNET_NETWORK_fdset_destroy (plugin->rs);
+  GNUNET_NAT_unregister (plugin->nat);
+  plugin->nat = NULL;
   GNUNET_free (plugin);
   GNUNET_free (api);
   return NULL;