fix
[oweals/gnunet.git] / src / ats / ats_api_scheduling.c
index 4855efadb0867a1b983ff4242c4f81e768aac15c..783b9f59617c8fcaa6c55f1ba5a55e176ad07844 100644 (file)
@@ -1,59 +1,96 @@
 /*
      This file is part of GNUnet.
-     (C) 2010,2011 Christian Grothoff (and other contributing authors)
+     Copyright (C) 2010-2015 GNUnet e.V.
 
-     GNUnet is free software; you can redistribute it and/or modify
-     it under the terms of the GNU General Public License as published
-     by the Free Software Foundation; either version 3, or (at your
-     option) any later version.
+     GNUnet is free software: you can redistribute it and/or modify it
+     under the terms of the GNU Affero General Public License as published
+     by the Free Software Foundation, either version 3 of the License,
+     or (at your option) any later version.
 
      GNUnet is distributed in the hope that it will be useful, but
      WITHOUT ANY WARRANTY; without even the implied warranty of
      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
-     General Public License for more details.
-
-     You should have received a copy of the GNU General Public License
-     along with GNUnet; see the file COPYING.  If not, write to the
-     Free Software Foundation, Inc., 59 Temple Place - Suite 330,
-     Boston, MA 02111-1307, USA.
+     Affero General Public License for more details.
+    
+     You should have received a copy of the GNU Affero General Public License
+     along with this program.  If not, see <http://www.gnu.org/licenses/>.
 */
 /**
  * @file ats/ats_api_scheduling.c
  * @brief automatic transport selection and outbound bandwidth determination
  * @author Christian Grothoff
  * @author Matthias Wachs
+ *
+ * TODO:
+ * - we could avoid a linear scan over the
+ *   active addresses in some cases, so if
+ *   there is need, we can still optimize here
+ * - we might want to split off the logic to
+ *   determine LAN vs. WAN, as it has nothing
+ *   to do with accessing the ATS service.
  */
 #include "platform.h"
 #include "gnunet_ats_service.h"
 #include "ats.h"
 
+/**
+ * How frequently do we scan the interfaces for changes to the addresses?
+ */
+#define INTERFACE_PROCESSING_INTERVAL GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 2)
+
+#define LOG(kind,...) GNUNET_log_from(kind, "ats-scheduling-api", __VA_ARGS__)
 
 /**
- * Message in linked list we should send to the ATS service.  The
- * actual binary message follows this struct.
+ * Session ID we use if there is no session / slot.
  */
-struct PendingMessage
+#define NOT_FOUND 0
+
+
+/**
+ * Information we track per address, incoming or outgoing.  It also
+ * doesn't matter if we have a session, any address that ATS is
+ * allowed to suggest right now should be tracked.
+ */
+struct GNUNET_ATS_AddressRecord
 {
 
   /**
-   * Kept in a DLL.
-   */ 
-  struct PendingMessage *next;
+   * Scheduling handle this address record belongs to.
+   */
+  struct GNUNET_ATS_SchedulingHandle *sh;
 
   /**
-   * Kept in a DLL.
-   */ 
-  struct PendingMessage *prev;
+   * Address data.
+   */
+  struct GNUNET_HELLO_Address *address;
 
   /**
-   * Size of the message.
+   * Session handle.  NULL if we have an address but no
+   * active session for this address.
    */
-  size_t size;
+  struct GNUNET_ATS_Session *session;
 
   /**
-   * Is this the 'ATS_START' message?
-   */ 
-  int is_init;
+   * Performance data about the address.
+   */
+  struct GNUNET_ATS_PropertiesNBO properties;
+
+  /**
+   * Which slot (index) in the session array does
+   * this record correspond to?
+   * FIXME: a linear search on this is really crappy!
+   * Maybe switch to a 64-bit global counter and be
+   * done with it?  Or does that then cause too much
+   * trouble on the ATS-service side?
+   */
+  uint32_t slot;
+
+  /**
+   * We're about to destroy this address record, just ATS does
+   * not know this yet.  Once ATS confirms its destruction,
+   * we can clean up.
+   */
+  int in_destroy;
 };
 
 
@@ -62,7 +99,7 @@ struct PendingMessage
  */
 struct GNUNET_ATS_SchedulingHandle
 {
-  
+
   /**
    * Our configuration.
    */
@@ -72,31 +109,16 @@ struct GNUNET_ATS_SchedulingHandle
    * Callback to invoke on suggestions.
    */
   GNUNET_ATS_AddressSuggestionCallback suggest_cb;
-  
-  /**
-   * Closure for 'suggest_cb'.
-   */
-  void *suggest_cb_cls;
-
-  /**
-   * Connection to ATS service.
-   */
-  struct GNUNET_CLIENT_Connection *client;
-
-  /**
-   * Head of list of messages for the ATS service.
-   */
-  struct PendingMessage *pending_head;
 
   /**
-   * Tail of list of messages for the ATS service
+   * Closure for @e suggest_cb.
    */
-  struct PendingMessage *pending_tail;
+  void *suggest_cb_cls;
 
   /**
-   * Current request for transmission to ATS.
+   * Message queue for sending requests to the ATS service.
    */
-  struct GNUNET_CLIENT_TransmitHandle *th;
+  struct GNUNET_MQ_Handle *mq;
 
   /**
    * Array of session objects (we need to translate them to numbers and back
@@ -104,15 +126,20 @@ struct GNUNET_ATS_SchedulingHandle
    * network).  Index 0 is always NULL and reserved to represent the NULL pointer.
    * Unused entries are also NULL.
    */
-  struct Session **session_array;
+  struct GNUNET_ATS_AddressRecord **session_array;
 
   /**
    * Task to trigger reconnect.
-   */ 
-  GNUNET_SCHEDULER_TaskIdentifier task;
-  
+   */
+  struct GNUNET_SCHEDULER_Task *task;
+
   /**
-   * Size of the session array.
+   * Reconnect backoff delay.
+   */
+  struct GNUNET_TIME_Relative backoff;
+
+  /**
+   * Size of the @e session_array.
    */
   unsigned int session_array_size;
 
@@ -128,253 +155,353 @@ static void
 reconnect (struct GNUNET_ATS_SchedulingHandle *sh);
 
 
-
 /**
  * Re-establish the connection to the ATS service.
  *
  * @param cls handle to use to re-connect.
- * @param tc scheduler context
  */
 static void
-reconnect_task (void *cls,
-               const struct GNUNET_SCHEDULER_TaskContext *tc)
+reconnect_task (void *cls)
 {
   struct GNUNET_ATS_SchedulingHandle *sh = cls;
 
-  sh->task = GNUNET_SCHEDULER_NO_TASK;
+  sh->task = NULL;
   reconnect (sh);
 }
 
 
 /**
- * Transmit messages from the message queue to the service
- * (if there are any, and if we are not already trying).
+ * Disconnect from ATS and then reconnect.
  *
- * @param sh handle to use
- */
-static void
-do_transmit (struct GNUNET_ATS_SchedulingHandle *sh);
-
-
-/**
- * Type of a function to call when we receive a message
- * from the service.
- *
- * @param cls the 'struct GNUNET_ATS_SchedulingHandle'
- * @param msg message received, NULL on timeout or fatal error
+ * @param sh our handle
  */
 static void
-process_ats_message (void *cls,
-                    const struct GNUNET_MessageHeader *msg);
+force_reconnect (struct GNUNET_ATS_SchedulingHandle *sh)
+{
+  if (NULL != sh->mq)
+  {
+    GNUNET_MQ_destroy (sh->mq);
+    sh->mq = NULL;
+  }
+  sh->suggest_cb (sh->suggest_cb_cls,
+                  NULL, NULL, NULL,
+                  GNUNET_BANDWIDTH_ZERO,
+                  GNUNET_BANDWIDTH_ZERO);
+  sh->backoff = GNUNET_TIME_STD_BACKOFF (sh->backoff);
+  sh->task = GNUNET_SCHEDULER_add_delayed (sh->backoff,
+                                           &reconnect_task,
+                                           sh);
+}
 
 
 /**
- * We can now transmit a message to ATS. Do it.
+ * Find the session object corresponding to the given session ID.
  *
- * @param cls the 'struct GNUNET_ATS_SchedulingHandle'
- * @param size number of bytes we can transmit to ATS
- * @param buf where to copy the messages
- * @return number of bytes copied into buf
+ * @param sh our handle
+ * @param session_id current session ID
+ * @param peer peer the session belongs to
+ * @return the session object (or NULL)
  */
-static size_t
-transmit_message_to_ats (void *cls,
-                        size_t size,
-                        void *buf)
+static struct GNUNET_ATS_AddressRecord *
+find_session (struct GNUNET_ATS_SchedulingHandle *sh,
+              uint32_t session_id,
+              const struct GNUNET_PeerIdentity *peer)
 {
-  struct GNUNET_ATS_SchedulingHandle *sh = cls;
-  struct PendingMessage *p;
-  size_t ret;
-  char *cbuf;
-
-  sh->th = NULL;
-  ret = 0;
-  cbuf = buf;
-  while ( (NULL != (p = sh->pending_head)) &&
-         (p->size <= size) )
+  struct GNUNET_ATS_AddressRecord *ar;
+
+  if (session_id >= sh->session_array_size)
   {
-    memcpy (&cbuf[ret], &p[1], p->size);    
-    ret += p->size;
-    size -= p->size;
-    GNUNET_CONTAINER_DLL_remove (sh->pending_head,
-                                sh->pending_tail,
-                                p);
-    if (GNUNET_YES == p->is_init)
-      GNUNET_CLIENT_receive (sh->client,
-                            &process_ats_message, sh,
-                            GNUNET_TIME_UNIT_FOREVER_REL);
-    GNUNET_free (p);
+    GNUNET_break (0);
+    return NULL;
+  }
+  if (0 == session_id)
+    return NULL;
+  ar = sh->session_array[session_id];
+  if (NULL == ar)
+  {
+    GNUNET_break (0);
+    return NULL;
   }
-  do_transmit (sh);
-  return ret;
+  if (NULL == ar->address)
+  {
+    /* address was destroyed in the meantime, this can happen
+       as we communicate asynchronously with the ATS service. */
+    return NULL;
+  }
+  if (0 != memcmp (peer,
+                   &ar->address->peer,
+                   sizeof (struct GNUNET_PeerIdentity)))
+  {
+    GNUNET_break (0);
+    return NULL;
+  }
+  return ar;
 }
 
 
 /**
- * Transmit messages from the message queue to the service
- * (if there are any, and if we are not already trying).
+ * Get an available session ID.
  *
- * @param sh handle to use
+ * @param sh our handle
+ * @return an unused slot, but never NOT_FOUND (0)
  */
-static void
-do_transmit (struct GNUNET_ATS_SchedulingHandle *sh)
+static uint32_t
+find_empty_session_slot (struct GNUNET_ATS_SchedulingHandle *sh)
 {
-  struct PendingMessage *p;
-
-  if (NULL != sh->th)
-    return;
-  if (NULL == (p = sh->pending_head))
-    return;
-  sh->th = GNUNET_CLIENT_notify_transmit_ready (sh->client,
-                                               p->size,
-                                               GNUNET_TIME_UNIT_FOREVER_REL,
-                                               GNUNET_YES,
-                                               &transmit_message_to_ats, sh);
+  static uint32_t off;
+  uint32_t i;
+
+  GNUNET_assert (0 != sh->session_array_size);
+  i = 0;
+  while ( ( (NOT_FOUND == off) ||
+            (NULL != sh->session_array[off % sh->session_array_size]) ) &&
+          (i < sh->session_array_size) )
+  {
+    off++;
+    i++;
+  }
+  if ( (NOT_FOUND != off % sh->session_array_size) &&
+       (NULL == sh->session_array[off % sh->session_array_size]) )
+    return off;
+  i = sh->session_array_size;
+  GNUNET_array_grow (sh->session_array,
+                     sh->session_array_size,
+                     sh->session_array_size * 2);
+  return i;
 }
 
 
 /**
- * Find the session object corresponding to the given session ID.
+ * Get the ID for the given session object.
  *
  * @param sh our handle
- * @param session_id current session ID
- * @return the session object (or NULL)
+ * @param session session object
+ * @param address the address we are looking for
+ * @return the session id or NOT_FOUND for error
  */
-static struct Session*
-find_session (struct GNUNET_ATS_SchedulingHandle *sh,
-             uint32_t session_id)
+static uint32_t
+find_session_id (struct GNUNET_ATS_SchedulingHandle *sh,
+                 struct GNUNET_ATS_Session *session,
+                 const struct GNUNET_HELLO_Address *address)
 {
-  if (session_id >= sh->session_array_size)
+  uint32_t i;
+
+  if (NULL == address)
   {
     GNUNET_break (0);
-    return NULL;
+    return NOT_FOUND;
   }
-  return sh->session_array[session_id];
+  for (i = 1; i < sh->session_array_size; i++)
+    if ( (NULL != sh->session_array[i]) &&
+         (GNUNET_NO == sh->session_array[i]->in_destroy) &&
+         ( (session == sh->session_array[i]->session) ||
+           (NULL == sh->session_array[i]->session) ) &&
+         (0 == memcmp (&address->peer,
+                       &sh->session_array[i]->address->peer,
+                       sizeof (struct GNUNET_PeerIdentity))) &&
+         (0 == GNUNET_HELLO_address_cmp (address,
+                                         sh->session_array[i]->address)) )
+      return i;
+  return NOT_FOUND;
 }
 
 
 /**
- * Get the ID for the given session object.  If we do not have an ID for
- * the given session object, allocate one.
+ * Release the session slot from the session table (ATS service is
+ * also done using it).
  *
  * @param sh our handle
- * @param session session object
- * @return the session id
+ * @param session_id identifies session that is no longer valid
  */
-static uint32_t 
-get_session_id (struct GNUNET_ATS_SchedulingHandle *sh,
-               struct Session *session)
+static void
+release_session (struct GNUNET_ATS_SchedulingHandle *sh,
+                 uint32_t session_id)
 {
-  unsigned int i;
-  unsigned int f;
-  
-  f = 0;
-  for (i=1;i<sh->session_array_size;i++)
+  struct GNUNET_ATS_AddressRecord *ar;
+
+  if (NOT_FOUND == session_id)
+    return;
+  if (session_id >= sh->session_array_size)
   {
-    if (session == sh->session_array[i])
-      return i;
-    if ( (f == 0) &&
-        (sh->session_array[i] == NULL) )
-      f = i;
+    GNUNET_break (0);
+    force_reconnect (sh);
+    return;
   }
-  if (f == 0)
+  /* this slot should have been removed from remove_session before */
+  ar = sh->session_array[session_id];
+  if (NULL != ar->session)
   {
-    f = sh->session_array_size;
-    GNUNET_array_grow (sh->session_array,
-                      sh->session_array_size,
-                      sh->session_array_size * 2);
+    GNUNET_break (0);
+    force_reconnect (sh);
+    return;
   }
-  sh->session_array[f] = session;
-  return f;
+  GNUNET_HELLO_address_free (ar->address);
+  GNUNET_free (ar);
+  sh->session_array[session_id] = NULL;
 }
 
 
 /**
- * Remove the session of the given session ID from the session
- * table (it is no longer valid).
+ * Type of a function to call when we receive a session release
+ * message from the service.
  *
- * @param sh our handle
- * @param session_id identifies session that is no longer valid
+ * @param cls the `struct GNUNET_ATS_SchedulingHandle`
+ * @param srm message received
  */
 static void
-remove_session (struct GNUNET_ATS_SchedulingHandle *sh,
-               uint32_t session_id)
+handle_ats_session_release (void *cls,
+                           const struct GNUNET_ATS_SessionReleaseMessage *srm)
 {
-  GNUNET_assert (session_id < sh->session_array_size);
-  sh->session_array[session_id] = NULL;
+  struct GNUNET_ATS_SchedulingHandle *sh = cls;
+
+  /* Note: peer field in srm not necessary right now,
+     but might be good to have in the future */
+  release_session (sh,
+                   ntohl (srm->session_id));
 }
 
 
 /**
- * Type of a function to call when we receive a message
- * from the service.
+ * Type of a function to call when we receive a address suggestion
+ * message from the service.
  *
- * @param cls the 'struct GNUNET_ATS_SchedulingHandle'
- * @param msg message received, NULL on timeout or fatal error
+ * @param cls the `struct GNUNET_ATS_SchedulingHandle`
+ * @param m message received
  */
 static void
-process_ats_message (void *cls,
-                    const struct GNUNET_MessageHeader *msg)
+handle_ats_address_suggestion (void *cls,
+                              const struct AddressSuggestionMessage *m)
 {
   struct GNUNET_ATS_SchedulingHandle *sh = cls;
-  const struct AddressSuggestionMessage *m;
-  const struct GNUNET_ATS_Information *atsi;
-  const char *address;
-  const char *plugin_name;
-  uint16_t address_length;
-  uint16_t plugin_name_length;
-  uint32_t ats_count;
-
-  if (NULL == msg) 
+  struct GNUNET_ATS_AddressRecord *ar;
+  uint32_t session_id;
+
+  session_id = ntohl (m->session_id);
+  if (0 == session_id)
   {
-    GNUNET_CLIENT_disconnect (sh->client, GNUNET_NO);
-    sh->client = NULL;
-    sh->task = GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS,
-                                            &reconnect_task, sh);
+    GNUNET_break (0);
+    force_reconnect (sh);
     return;
   }
-  if ( (ntohs (msg->type) != GNUNET_MESSAGE_TYPE_ATS_ADDRESS_SUGGESTION) ||
-       (ntohs (msg->size) <= sizeof (struct AddressSuggestionMessage)) )
+  ar = find_session (sh,
+                     session_id,
+                     &m->peer);
+  if (NULL == ar)
   {
     GNUNET_break (0);
-    GNUNET_CLIENT_disconnect (sh->client, GNUNET_NO);
-    sh->client = NULL;
-    sh->task = GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS,
-                                            &reconnect_task, sh);
+    force_reconnect (sh);
+    return;
+  }
+  if (NULL == sh->suggest_cb)
+    return;
+  if (GNUNET_YES == ar->in_destroy)
+  {
+    /* ignore suggestion, as this address is dying, unless BW is 0,
+       in that case signal 'disconnect' via BW 0 */
+    if ( (0 == ntohl (m->bandwidth_out.value__)) &&
+         (0 == ntohl (m->bandwidth_in.value__)) )
+    {
+      LOG (GNUNET_ERROR_TYPE_DEBUG,
+           "ATS suggests disconnect from peer `%s' with BW %u/%u\n",
+           GNUNET_i2s (&ar->address->peer),
+           (unsigned int) ntohl (m->bandwidth_out.value__),
+           (unsigned int) ntohl (m->bandwidth_in.value__));
+      sh->suggest_cb (sh->suggest_cb_cls,
+                      &m->peer,
+                      NULL,
+                      NULL,
+                      m->bandwidth_out,
+                      m->bandwidth_in);
+    }
     return;
   }
-  m = (const struct AddressSuggestionMessage*) msg;
-  ats_count = ntohl (m->ats_count);
-  address_length = ntohs (m->address_length);
-  atsi = (const struct GNUNET_ATS_Information*) &m[1];
-  address = (const char*) &atsi[ats_count];
-  plugin_name = &address[address_length];
-  plugin_name_length = ntohs (m->plugin_name_length);
-  if ( (address_length +
-       plugin_name_length +
-       ats_count * sizeof (struct GNUNET_ATS_Information) +
-       sizeof (struct AddressSuggestionMessage) != ntohs (msg->size))  ||
-       (ats_count > GNUNET_SERVER_MAX_MESSAGE_SIZE / sizeof (struct GNUNET_ATS_Information)) ||
-       (plugin_name[plugin_name_length - 1] != '\0') )
+  if ( (NULL == ar->session) &&
+       (GNUNET_HELLO_address_check_option (ar->address,
+                                           GNUNET_HELLO_ADDRESS_INFO_INBOUND)) )
   {
     GNUNET_break (0);
-    GNUNET_CLIENT_disconnect (sh->client, GNUNET_NO);
-    sh->client = NULL;
-    sh->task = GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS,
-                                            &reconnect_task, sh);
     return;
   }
+  sh->backoff = GNUNET_TIME_UNIT_ZERO;
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+       "ATS suggests address slot %u for peer `%s' using plugin %s\n",
+       ar->slot,
+       GNUNET_i2s (&ar->address->peer),
+       ar->address->transport_name);
   sh->suggest_cb (sh->suggest_cb_cls,
-                 &m->peer,
-                 plugin_name,
-                 address, address_length,
-                 find_session (sh, ntohl (m->session_id)),
-                 m->bandwidth_out,
-                 m->bandwidth_in,
-                 atsi,
-                 ats_count);
-  GNUNET_CLIENT_receive (sh->client,
-                        &process_ats_message, sh,
-                        GNUNET_TIME_UNIT_FOREVER_REL);
+                  &m->peer,
+                  ar->address,
+                  ar->session,
+                  m->bandwidth_out,
+                  m->bandwidth_in);
+}
+
+
+/**
+ * We encountered an error handling the MQ to the
+ * ATS service.  Reconnect.
+ *
+ * @param cls the `struct GNUNET_ATS_SchedulingHandle`
+ * @param error details about the error
+ */
+static void
+error_handler (void *cls,
+               enum GNUNET_MQ_Error error)
+{
+  struct GNUNET_ATS_SchedulingHandle *sh = cls;
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+       "ATS connection died (code %d), reconnecting\n",
+       (int) error);
+  force_reconnect (sh);
+}
+
+
+/**
+ * Generate and transmit the `struct AddressAddMessage` for the given
+ * address record.
+ *
+ * @param sh the scheduling handle to use for transmission
+ * @param ar the address to inform the ATS service about
+ */
+static void
+send_add_address_message (struct GNUNET_ATS_SchedulingHandle *sh,
+                          const struct GNUNET_ATS_AddressRecord *ar)
+{
+  struct GNUNET_MQ_Envelope *ev;
+  struct AddressAddMessage *m;
+  char *pm;
+  size_t namelen;
+  size_t msize;
+
+  if (NULL == sh->mq)
+    return; /* disconnected, skip for now */
+  GNUNET_break (GNUNET_ATS_NET_UNSPECIFIED != ar->properties.scope);
+  namelen = strlen (ar->address->transport_name) + 1;
+  msize = ar->address->address_length + namelen;
+  ev = GNUNET_MQ_msg_extra (m, msize, GNUNET_MESSAGE_TYPE_ATS_ADDRESS_ADD);
+  m->peer = ar->address->peer;
+  m->address_length = htons (ar->address->address_length);
+  m->address_local_info = htonl ((uint32_t) ar->address->local_info);
+  m->plugin_name_length = htons (namelen);
+  m->session_id = htonl (ar->slot);
+  m->properties = ar->properties;
+
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+       "Adding address for peer `%s', plugin `%s', session %p slot %u\n",
+       GNUNET_i2s (&ar->address->peer),
+       ar->address->transport_name,
+       ar->session,
+       ar->slot);
+  pm = (char *) &m[1];
+  GNUNET_memcpy (pm,
+          ar->address->address,
+          ar->address->address_length);
+  if (NULL != ar->address->transport_name)
+    GNUNET_memcpy (&pm[ar->address->address_length],
+            ar->address->transport_name,
+            namelen);
+  GNUNET_MQ_send (sh->mq, ev);
 }
 
 
@@ -386,28 +513,49 @@ process_ats_message (void *cls,
 static void
 reconnect (struct GNUNET_ATS_SchedulingHandle *sh)
 {
-  struct PendingMessage *p;
+  struct GNUNET_MQ_MessageHandler handlers[] = {
+    GNUNET_MQ_hd_fixed_size (ats_session_release,
+                             GNUNET_MESSAGE_TYPE_ATS_SESSION_RELEASE,
+                             struct GNUNET_ATS_SessionReleaseMessage,
+                             sh),
+    GNUNET_MQ_hd_fixed_size (ats_address_suggestion,
+                             GNUNET_MESSAGE_TYPE_ATS_ADDRESS_SUGGESTION,
+                             struct AddressSuggestionMessage,
+                             sh),
+    GNUNET_MQ_handler_end ()
+  };
+  struct GNUNET_MQ_Envelope *ev;
   struct ClientStartMessage *init;
-
-  GNUNET_assert (NULL == sh->client);
-  sh->client = GNUNET_CLIENT_connect ("ats", sh->cfg);
-  GNUNET_assert (NULL != sh->client);
-  if ( (NULL == (p = sh->pending_head)) ||
-       (GNUNET_YES != p->is_init) )
+  unsigned int i;
+  struct GNUNET_ATS_AddressRecord *ar;
+
+  GNUNET_assert (NULL == sh->mq);
+  sh->mq = GNUNET_CLIENT_connect (sh->cfg,
+                                  "ats",
+                                  handlers,
+                                  &error_handler,
+                                  sh);
+  if (NULL == sh->mq)
+  {
+    GNUNET_break (0);
+    force_reconnect (sh);
+    return;
+  }
+  ev = GNUNET_MQ_msg (init,
+                      GNUNET_MESSAGE_TYPE_ATS_START);
+  init->start_flag = htonl (START_FLAG_SCHEDULING);
+  GNUNET_MQ_send (sh->mq, ev);
+  if (NULL == sh->mq)
+    return;
+  for (i=0;i<sh->session_array_size;i++)
   {
-    p = GNUNET_malloc (sizeof (struct PendingMessage) +
-                      sizeof (struct ClientStartMessage));
-    p->size = sizeof (struct ClientStartMessage);
-    p->is_init = GNUNET_YES;
-    init = (struct ClientStartMessage *) &p[1];
-    init->header.type = htons (GNUNET_MESSAGE_TYPE_ATS_START);
-    init->header.size = htons (sizeof (struct ClientStartMessage));
-    init->start_flag = htonl (START_FLAG_SCHEDULING);
-    GNUNET_CONTAINER_DLL_insert (sh->pending_head,
-                                sh->pending_tail,
-                                p);
+    ar = sh->session_array[i];
+    if (NULL == ar)
+      continue;
+    send_add_address_message (sh, ar);
+    if (NULL == sh->mq)
+      return;
   }
-  do_transmit (sh);
 }
 
 
@@ -416,23 +564,23 @@ reconnect (struct GNUNET_ATS_SchedulingHandle *sh)
  *
  * @param cfg configuration to use
  * @param suggest_cb notification to call whenever the suggestation changed
- * @param suggest_cb_cls closure for 'suggest_cb'
+ * @param suggest_cb_cls closure for @a suggest_cb
  * @return ats context
  */
 struct GNUNET_ATS_SchedulingHandle *
 GNUNET_ATS_scheduling_init (const struct GNUNET_CONFIGURATION_Handle *cfg,
-                           GNUNET_ATS_AddressSuggestionCallback suggest_cb,
-                           void *suggest_cb_cls)
+                            GNUNET_ATS_AddressSuggestionCallback suggest_cb,
+                            void *suggest_cb_cls)
 {
   struct GNUNET_ATS_SchedulingHandle *sh;
 
-  sh = GNUNET_malloc (sizeof (struct GNUNET_ATS_SchedulingHandle));
+  sh = GNUNET_new (struct GNUNET_ATS_SchedulingHandle);
   sh->cfg = cfg;
   sh->suggest_cb = suggest_cb;
   sh->suggest_cb_cls = suggest_cb_cls;
   GNUNET_array_grow (sh->session_array,
-                    sh->session_array_size,
-                    4);
+                     sh->session_array_size,
+                     4);
   reconnect (sh);
   return sh;
 }
@@ -446,59 +594,139 @@ GNUNET_ATS_scheduling_init (const struct GNUNET_CONFIGURATION_Handle *cfg,
 void
 GNUNET_ATS_scheduling_done (struct GNUNET_ATS_SchedulingHandle *sh)
 {
-  struct PendingMessage *p;
+  struct GNUNET_ATS_AddressRecord *ar;
+  unsigned int i;
 
-  while (NULL != (p = sh->pending_head))
+  if (NULL != sh->mq)
   {
-    GNUNET_CONTAINER_DLL_remove (sh->pending_head,
-                                sh->pending_tail,
-                                p);
-    GNUNET_free (p);
+    GNUNET_MQ_destroy (sh->mq);
+    sh->mq = NULL;
   }
-  if (NULL != sh->client)
+  if (NULL != sh->task)
   {
-    GNUNET_CLIENT_disconnect (sh->client, GNUNET_NO);
-    sh->client = NULL;
+    GNUNET_SCHEDULER_cancel (sh->task);
+    sh->task = NULL;
   }
-  if (GNUNET_SCHEDULER_NO_TASK != sh->task)
+  for (i=0;i<sh->session_array_size;i++)
   {
-    GNUNET_SCHEDULER_cancel (sh->task);
-    sh->task = GNUNET_SCHEDULER_NO_TASK;
+    if (NULL != (ar = sh->session_array[i]))
+    {
+      GNUNET_HELLO_address_free (ar->address);
+      GNUNET_free (ar);
+      sh->session_array[i] = NULL;
+    }
   }
   GNUNET_array_grow (sh->session_array,
-                    sh->session_array_size,
-                    0);
+                     sh->session_array_size,
+                     0);
   GNUNET_free (sh);
 }
 
 
 /**
- * We would like to establish a new connection with a peer.  ATS
- * should suggest a good address to begin with.
+ * We have a new address ATS should know. Addresses have to be added
+ * with this function before they can be: updated, set in use and
+ * destroyed.
  *
  * @param sh handle
- * @param peer identity of the peer we need an address for
+ * @param address the address
+ * @param session session handle, can be NULL
+ * @param prop performance data for the address
+ * @return handle to the address representation inside ATS, NULL
+ *         on error (i.e. ATS knows this exact address already)
+ */
+struct GNUNET_ATS_AddressRecord *
+GNUNET_ATS_address_add (struct GNUNET_ATS_SchedulingHandle *sh,
+                        const struct GNUNET_HELLO_Address *address,
+                        struct GNUNET_ATS_Session *session,
+                        const struct GNUNET_ATS_Properties *prop)
+{
+  struct GNUNET_ATS_AddressRecord *ar;
+  size_t namelen;
+  size_t msize;
+  uint32_t s;
+
+  if (NULL == address)
+  {
+    /* we need a valid address */
+    GNUNET_break (0);
+    return NULL;
+  }
+  GNUNET_break (GNUNET_ATS_NET_UNSPECIFIED != prop->scope);
+  namelen = strlen (address->transport_name) + 1;
+  msize = address->address_length + namelen;
+  if ((msize + sizeof (struct AddressUpdateMessage) >= GNUNET_MAX_MESSAGE_SIZE) ||
+      (address->address_length >= GNUNET_MAX_MESSAGE_SIZE) ||
+      (namelen >= GNUNET_MAX_MESSAGE_SIZE) )
+  {
+    /* address too large for us, this should not happen */
+    GNUNET_break (0);
+    return NULL;
+  }
+
+  if (NOT_FOUND !=
+      find_session_id (sh,
+                       session,
+                       address))
+  {
+    /* Already existing, nothing todo, but this should not happen */
+    GNUNET_break (0);
+    return NULL;
+  }
+  s = find_empty_session_slot (sh);
+  ar = GNUNET_new (struct GNUNET_ATS_AddressRecord);
+  ar->sh = sh;
+  ar->slot = s;
+  ar->session = session;
+  ar->address = GNUNET_HELLO_address_copy (address);
+  GNUNET_ATS_properties_hton (&ar->properties,
+                              prop);
+  sh->session_array[s] = ar;
+  send_add_address_message (sh, ar);
+  return ar;
+}
+
+
+/**
+ * An address was used to initiate a session.
+ *
+ * @param ar address record to update information for
+ * @param session session handle
  */
 void
-GNUNET_ATS_suggest_address (struct GNUNET_ATS_SchedulingHandle *sh,
-                            const struct GNUNET_PeerIdentity *peer)
+GNUNET_ATS_address_add_session (struct GNUNET_ATS_AddressRecord *ar,
+                                struct GNUNET_ATS_Session *session)
 {
-  struct PendingMessage *p;
-  struct RequestAddressMessage *m;
-
-  p = GNUNET_malloc (sizeof (struct PendingMessage) +
-                    sizeof (struct RequestAddressMessage));
-  p->size = sizeof (struct RequestAddressMessage);
-  p->is_init = GNUNET_NO;
-  m = (struct RequestAddressMessage*) &p[1];
-  m->header.type = htons (GNUNET_MESSAGE_TYPE_ATS_REQUEST_ADDRESS);
-  m->header.size = htons (sizeof (struct RequestAddressMessage));
-  m->reserved = htonl (0);
-  m->peer = *peer;
-  GNUNET_CONTAINER_DLL_insert_tail (sh->pending_head,
-                                   sh->pending_tail,
-                                   p);
-  do_transmit (sh);
+  GNUNET_break (NULL == ar->session);
+  ar->session = session;
+}
+
+
+/**
+ * A session was destroyed, disassociate it from the
+ * given address record.  If this was an incoming
+ * addess, destroy the address as well.
+ *
+ * @param ar address record to update information for
+ * @param session session handle
+ * @return #GNUNET_YES if the @a ar was destroyed because
+ *                     it was an incoming address,
+ *         #GNUNET_NO if the @ar was kept because we can
+ *                    use it still to establish a new session
+ */
+int
+GNUNET_ATS_address_del_session (struct GNUNET_ATS_AddressRecord *ar,
+                                struct GNUNET_ATS_Session *session)
+{
+  GNUNET_assert (session == ar->session);
+  ar->session = NULL;
+  if (GNUNET_HELLO_address_check_option (ar->address,
+                                         GNUNET_HELLO_ADDRESS_INFO_INBOUND))
+  {
+    GNUNET_ATS_address_destroy (ar);
+    return GNUNET_YES;
+  }
+  return GNUNET_NO;
 }
 
 
@@ -510,119 +738,65 @@ GNUNET_ATS_suggest_address (struct GNUNET_ATS_SchedulingHandle *sh,
  * which case the call may be ignored or the information may be stored
  * for later use).  Update bandwidth assignments.
  *
- * @param sh handle
- * @param peer identity of the new peer
- * @param plugin_name name of the transport plugin
- * @param plugin_addr address  (if available)
- * @param plugin_addr_len number of bytes in plugin_addr
- * @param session session handle (if available)
- * @param ats performance data for the address
- * @param ats_count number of performance records in 'ats'
+ * @param ar address record to update information for
+ * @param prop performance data for the address
  */
 void
-GNUNET_ATS_address_update (struct GNUNET_ATS_SchedulingHandle *sh,
-                           const struct GNUNET_PeerIdentity *peer,
-                           const char *plugin_name,
-                           const void *plugin_addr, size_t plugin_addr_len,
-                          struct Session *session,
-                           const struct GNUNET_ATS_Information *ats,
-                           uint32_t ats_count)
+GNUNET_ATS_address_update (struct GNUNET_ATS_AddressRecord *ar,
+                           const struct GNUNET_ATS_Properties *prop)
 {
-  struct PendingMessage *p;
+  struct GNUNET_ATS_SchedulingHandle *sh = ar->sh;
+  struct GNUNET_MQ_Envelope *ev;
   struct AddressUpdateMessage *m;
-  struct GNUNET_ATS_Information *am;
-  char *pm;
-  size_t namelen;
-  size_t msize;
 
-  namelen = (plugin_name == NULL) ? 0 : strlen (plugin_name) + 1;                                              
-  msize = sizeof (struct AddressUpdateMessage) + plugin_addr_len + 
-    ats_count * sizeof (struct GNUNET_ATS_Information) + namelen;
-  if ( (msize >= GNUNET_SERVER_MAX_MESSAGE_SIZE) ||
-       (plugin_addr_len  >= GNUNET_SERVER_MAX_MESSAGE_SIZE) ||
-       (namelen  >= GNUNET_SERVER_MAX_MESSAGE_SIZE) ||
-       (ats_count >= GNUNET_SERVER_MAX_MESSAGE_SIZE / sizeof (struct GNUNET_ATS_Information)) )
-  {
-    GNUNET_break (0);
-    return;
-  }
-  p = GNUNET_malloc (sizeof (struct PendingMessage) +  msize);
-  p->size = msize;
-  p->is_init = GNUNET_NO;
-  m = (struct AddressUpdateMessage*) &p[1];
-  m->header.type = htons (GNUNET_MESSAGE_TYPE_ATS_ADDRESS_UPDATE);
-  m->header.size = htons (msize);
-  m->ats_count = htonl (ats_count);
-  m->peer = *peer;
-  m->address_length = htons (plugin_addr_len);
-  m->plugin_name_length = htons (namelen);
-  m->session_id = htonl (get_session_id (sh, session));
-  am = (struct GNUNET_ATS_Information*) &m[1];
-  memcpy (am, ats, ats_count * sizeof (struct GNUNET_ATS_Information));
-  pm = (char *) &am[ats_count];
-  memcpy (pm, plugin_addr, plugin_addr_len);
-  memcpy (&pm[plugin_addr_len], plugin_name, namelen);
-  GNUNET_CONTAINER_DLL_insert_tail (sh->pending_head,
-                                   sh->pending_tail,
-                                   p);
-  do_transmit (sh);
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+       "Updating address for peer `%s', plugin `%s', session %p slot %u\n",
+       GNUNET_i2s (&ar->address->peer),
+       ar->address->transport_name,
+       ar->session,
+       ar->slot);
+  GNUNET_break (GNUNET_ATS_NET_UNSPECIFIED != prop->scope);
+  GNUNET_ATS_properties_hton (&ar->properties,
+                              prop);
+  if (NULL == sh->mq)
+    return; /* disconnected, skip for now */
+  ev = GNUNET_MQ_msg (m, GNUNET_MESSAGE_TYPE_ATS_ADDRESS_UPDATE);
+  m->session_id = htonl (ar->slot);
+  m->peer = ar->address->peer;
+  m->properties = ar->properties;
+  GNUNET_MQ_send (sh->mq,
+                  ev);
 }
 
 
 /**
- * A session got destroyed, stop including it as a valid address.
+ * An address got destroyed, stop using it as a valid address.
  *
- * @param sh handle
- * @param peer identity of the peer
- * @param plugin_name name of the transport plugin
- * @param plugin_addr address  (if available)
- * @param plugin_addr_len number of bytes in plugin_addr
- * @param session session handle that is no longer valid
+ * @param ar address to destroy
  */
 void
-GNUNET_ATS_address_destroyed (struct GNUNET_ATS_SchedulingHandle *sh,
-                              const struct GNUNET_PeerIdentity *peer,
-                             const char *plugin_name,
-                             const void *plugin_addr, 
-                             size_t plugin_addr_len,
-                             struct Session *session)
+GNUNET_ATS_address_destroy (struct GNUNET_ATS_AddressRecord *ar)
 {
-  struct PendingMessage *p;
+  struct GNUNET_ATS_SchedulingHandle *sh = ar->sh;
+  struct GNUNET_MQ_Envelope *ev;
   struct AddressDestroyedMessage *m;
-  char *pm;
-  size_t namelen;
-  size_t msize;
-  uint32_t session_id;
 
-  namelen = (plugin_name == NULL) ? 0 : strlen (plugin_name) + 1;                                              
-  msize = sizeof (struct AddressUpdateMessage) + plugin_addr_len + 
-    namelen;
-  if ( (msize >= GNUNET_SERVER_MAX_MESSAGE_SIZE) ||
-       (plugin_addr_len  >= GNUNET_SERVER_MAX_MESSAGE_SIZE) ||
-       (namelen  >= GNUNET_SERVER_MAX_MESSAGE_SIZE) )
-  {
-    GNUNET_break (0);
+  LOG (GNUNET_ERROR_TYPE_DEBUG,
+       "Deleting address for peer `%s', plugin `%s', slot %u session %p\n",
+       GNUNET_i2s (&ar->address->peer),
+       ar->address->transport_name,
+       ar->slot,
+       ar->session);
+  GNUNET_break (NULL == ar->session);
+  ar->session = NULL;
+  ar->in_destroy = GNUNET_YES;
+  if (NULL == sh->mq)
     return;
-  }
-  p = GNUNET_malloc (sizeof (struct PendingMessage) +  msize);
-  p->size = msize;
-  p->is_init = GNUNET_NO;
-  m = (struct AddressDestroyedMessage*) &p[1];
-  m->header.type = htons (GNUNET_MESSAGE_TYPE_ATS_ADDRESS_DESTROYED);
-  m->header.size = htons (msize);
-  m->reserved = htonl (0);
-  m->peer = *peer;
-  m->address_length = htons (plugin_addr_len);
-  m->plugin_name_length = htons (namelen);
-  m->session_id = htonl (session_id = get_session_id (sh, session));
-  pm = (char *) &m[1];
-  memcpy (pm, plugin_addr, plugin_addr_len);
-  memcpy (&pm[plugin_addr_len], plugin_name, namelen);
-  GNUNET_CONTAINER_DLL_insert_tail (sh->pending_head,
-                                   sh->pending_tail,
-                                   p);
-  do_transmit (sh);
-  remove_session (sh, session_id);
+  ev = GNUNET_MQ_msg (m, GNUNET_MESSAGE_TYPE_ATS_ADDRESS_DESTROYED);
+  m->session_id = htonl (ar->slot);
+  m->peer = ar->address->peer;
+  GNUNET_MQ_send (sh->mq, ev);
 }
 
+
 /* end of ats_api_scheduling.c */