- pausing, unpausing
[oweals/gnunet.git] / src / transport / plugin_transport_http_client.c
index 6f74fdf34189e1a0c077c131948da60ebaf38689..bf24d97d619e572f0c7a2b3d712fc49f251b40bc 100644 (file)
 #define LIBGNUNET_PLUGIN_TRANSPORT_DONE libgnunet_plugin_transport_http_client_done
 #endif
 
+#define VERBOSE_CURL GNUNET_YES
 
-#define HTTP_NOT_VALIDATED_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 15)
+#define PUT_DISCONNECT_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 1)
+
+#define ENABLE_PUT GNUNET_YES
+#define ENABLE_GET GNUNET_YES
 
 #include "platform.h"
 #include "gnunet_protocols.h"
-#include "gnunet_connection_lib.h"
+#include "gnunet_common.h"
 #include "gnunet_server_lib.h"
-#include "gnunet_service_lib.h"
-#include "gnunet_statistics_service.h"
-#include "gnunet_transport_service.h"
 #include "gnunet_transport_plugin.h"
 #include "plugin_transport_http_common.h"
 #include <curl/curl.h>
@@ -96,7 +97,6 @@ struct HTTP_Message
   void *transmit_cont_cls;
 };
 
-
 /**
  * Session handle for connections.
  */
@@ -118,6 +118,11 @@ struct Session
    */
   struct Session *prev;
 
+  /**
+   * The URL to connect to
+   */
+  char *url;
+
   /**
    * Address
    */
@@ -139,17 +144,19 @@ struct Session
   struct HTTP_Client_Plugin *plugin;
 
   /**
-   * Is client send handle paused since there are no data to send?
-   * GNUNET_YES/NO
+   * Was session given to transport service?
    */
-  int client_put_paused;
-
+ // int session_passed;
 
   /**
    * Client send handle
    */
   void *client_put;
 
+  int put_paused;
+
+  int put_tmp_disconnecting;
+
   /**
    * Client receive handle
    */
@@ -170,6 +177,11 @@ struct Session
    */
   struct GNUNET_SERVER_MessageStreamTokenizer *msg_tk;
 
+  /**
+   * Session timeout task
+   */
+  GNUNET_SCHEDULER_TaskIdentifier put_disconnect_task;
+
   /**
    * Session timeout task
    */
@@ -187,6 +199,7 @@ struct Session
  struct GNUNET_TIME_Absolute next_receive;
 };
 
+
 /**
  * Encapsulation of all of the state of the plugin.
  */
@@ -255,30 +268,127 @@ struct HTTP_Client_Plugin
   GNUNET_SCHEDULER_TaskIdentifier client_perform_task;
 };
 
+
 /**
  * Encapsulation of all of the state of the plugin.
  */
 struct HTTP_Client_Plugin *p;
 
+
 /**
- * Start session timeout
+ * Start session timeout for a session
+ * @param s the session
  */
 static void
 client_start_session_timeout (struct Session *s);
 
+
 /**
- * Increment session timeout due to activity
+ * Increment session timeout due to activity for a session
+ * @param s the session
  */
 static void
 client_reschedule_session_timeout (struct Session *s);
 
+
 /**
- * Cancel timeout
+ * Cancel timeout for a session
+ * @param s the session
  */
 static void
 client_stop_session_timeout (struct Session *s);
 
 
+/**
+ * Function setting up file descriptors and scheduling task to run
+ *
+ * @param  plugin plugin as closure
+ * @param now schedule task in 1ms, regardless of what curl may say
+ * @return GNUNET_SYSERR for hard failure, GNUNET_OK for ok
+ */
+static int
+client_schedule (struct HTTP_Client_Plugin *plugin, int now);
+
+static int
+client_connect_put (struct Session *s);
+
+/**
+ * Does a session s exists?
+ *
+ * @param plugin the plugin
+ * @param s desired session
+ * @return GNUNET_YES or GNUNET_NO
+ */
+static int
+client_exist_session (struct HTTP_Client_Plugin *plugin, struct Session *s)
+{
+  struct Session * head;
+
+  GNUNET_assert (NULL != plugin);
+  GNUNET_assert (NULL != s);
+
+  for (head = plugin->head; head != NULL; head = head->next)
+  {
+    if (head == s)
+      return GNUNET_YES;
+  }
+  return GNUNET_NO;
+}
+
+#if VERBOSE_CURL
+/**
+ * Function to log curl debug messages with GNUNET_log
+ *
+ * @param curl handle
+ * @param type curl_infotype
+ * @param data data
+ * @param size size
+ * @param cls  closure
+ * @return 0
+ */
+static int
+client_log (CURL * curl, curl_infotype type, char *data, size_t size, void *cls)
+{
+  char *ttype;
+  if ((type == CURLINFO_TEXT) || (type == CURLINFO_HEADER_IN) || (type == CURLINFO_HEADER_OUT))
+  {
+    char text[size + 2];
+
+    switch (type) {
+      case CURLINFO_TEXT:
+        ttype = "TEXT";
+        break;
+      case CURLINFO_HEADER_IN:
+        ttype = "HEADER_IN";
+        break;
+      case CURLINFO_HEADER_OUT:
+        ttype = "HEADER_OUT";
+        break;
+      default:
+        break;
+    }
+
+    memcpy (text, data, size);
+    if (text[size - 1] == '\n')
+      text[size] = '\0';
+    else
+    {
+      text[size] = '\n';
+      text[size + 1] = '\0';
+    }
+#if BUILD_HTTPS
+    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, "transport-https_client",
+                     "Connection %p %s: %s", cls, ttype, text);
+#else
+    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, "transport-http_client",
+                     "Connection %p %s: %s", cls, ttype, text);
+#endif
+  }
+  return 0;
+}
+#endif
+
+
 /**
  * Function that can be used by the transport service to transmit
  * a message using the plugin.   Note that in the case of a
@@ -308,26 +418,214 @@ client_stop_session_timeout (struct Session *s);
  */
 static ssize_t
 http_client_plugin_send (void *cls,
-                  struct Session *session,
+                  struct Session *s,
                   const char *msgbuf, size_t msgbuf_size,
                   unsigned int priority,
                   struct GNUNET_TIME_Relative to,
                   GNUNET_TRANSPORT_TransmitContinuation cont, void *cont_cls)
 {
   struct HTTP_Client_Plugin *plugin = cls;
-  int bytes_sent = 0;
+  struct HTTP_Message *msg;
 
   GNUNET_assert (plugin != NULL);
-  GNUNET_assert (session != NULL);
+  GNUNET_assert (s != NULL);
+
+  /* lookup if session is really existing */
+  if (GNUNET_YES != client_exist_session (plugin, s))
+  {
+    GNUNET_break (0);
+    return GNUNET_SYSERR;
+  }
+
+  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, s->plugin->name,
+                   "Session %p/connection %p: Sending message with %u to peer `%s' with \n",
+                   s, s->client_put,
+                   msgbuf_size, GNUNET_i2s (&s->target));
+
+  /* create new message and schedule */
+  msg = GNUNET_malloc (sizeof (struct HTTP_Message) + msgbuf_size);
+  msg->next = NULL;
+  msg->size = msgbuf_size;
+  msg->pos = 0;
+  msg->buf = (char *) &msg[1];
+  msg->transmit_cont = cont;
+  msg->transmit_cont_cls = cont_cls;
+  memcpy (msg->buf, msgbuf, msgbuf_size);
+  GNUNET_CONTAINER_DLL_insert_tail (s->msg_head, s->msg_tail, msg);
+
+  if (GNUNET_YES == s->put_tmp_disconnecting)
+  {
+      GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, s->plugin->name,
+                       "Session %p: Reconnecting PUT connection\n",
+                       s);
+      s->put_tmp_disconnecting = GNUNET_NO;
+      if (GNUNET_SYSERR == client_connect_put (s))
+      {
+        return GNUNET_SYSERR;
+      }
+  }
+
+  if (GNUNET_YES == s->put_paused)
+  {
+    GNUNET_assert (s->put_disconnect_task != GNUNET_SCHEDULER_NO_TASK);
+    GNUNET_SCHEDULER_cancel (s->put_disconnect_task);
+    s->put_disconnect_task = GNUNET_SCHEDULER_NO_TASK;
+    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, s->plugin->name,
+                     "Session %p/connection %p: unpausing connection\n",
+                     s, s->client_put);
+    s->put_paused = GNUNET_NO;
+    curl_easy_pause (s->client_put, CURLPAUSE_CONT);
+  }
+  client_schedule (s->plugin, GNUNET_YES);
+  client_reschedule_session_timeout (s);
+  return msgbuf_size;
+}
+
+
+/**
+ * Delete session s
+ *
+ * @param s the session to delete
+ */
+static void
+client_delete_session (struct Session *s)
+{
+  struct HTTP_Client_Plugin *plugin = s->plugin;
+  struct HTTP_Message *pos;
+  struct HTTP_Message *next;
 
-  GNUNET_break (0);
+  client_stop_session_timeout (s);
+
+  if (GNUNET_SCHEDULER_NO_TASK != s->put_disconnect_task)
+  {
+      GNUNET_SCHEDULER_cancel (s->put_disconnect_task);
+      s->put_disconnect_task = GNUNET_SCHEDULER_NO_TASK;
+  }
+
+  GNUNET_CONTAINER_DLL_remove (plugin->head, plugin->tail, s);
+
+  next = s->msg_head;
+  while (NULL != (pos = next))
+  {
+    next = pos->next;
+    GNUNET_CONTAINER_DLL_remove (s->msg_head, s->msg_tail, pos);
+    if (pos->transmit_cont != NULL)
+      pos->transmit_cont (pos->transmit_cont_cls, &s->target, GNUNET_SYSERR);
+    GNUNET_free (pos);
+  }
 
-  /*  struct Plugin *plugin = cls; */
-  return bytes_sent;
+  if (s->msg_tk != NULL)
+  {
+    GNUNET_SERVER_mst_destroy (s->msg_tk);
+    s->msg_tk = NULL;
+  }
+  GNUNET_free (s->addr);
+  GNUNET_free (s->url);
+  GNUNET_free (s);
 }
 
 
 
+/**
+ * Disconnect a session
+ *
+ * @param s session
+ * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ */
+static int
+client_disconnect (struct Session *s)
+{
+  struct HTTP_Client_Plugin *plugin = s->plugin;
+  struct HTTP_Message *msg;
+  struct HTTP_Message *t;
+  int res = GNUNET_OK;
+  CURLMcode mret;
+
+  if (GNUNET_YES != client_exist_session (plugin, s))
+  {
+    GNUNET_break (0);
+    return GNUNET_SYSERR;
+  }
+
+  if (s->client_put != NULL)
+  {
+    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                     "Session %p/connection %p: disconnecting PUT connection to peer `%s'\n",
+                     s, s->client_put, GNUNET_i2s (&s->target));
+
+    /* remove curl handle from multi handle */
+    mret = curl_multi_remove_handle (plugin->curl_multi_handle, s->client_put);
+    if (mret != CURLM_OK)
+    {
+      /* clean up easy handle, handle is now invalid and free'd */
+      res = GNUNET_SYSERR;
+      GNUNET_break (0);
+    }
+    curl_easy_cleanup (s->client_put);
+    s->client_put = NULL;
+  }
+
+
+  if (s->recv_wakeup_task != GNUNET_SCHEDULER_NO_TASK)
+  {
+    GNUNET_SCHEDULER_cancel (s->recv_wakeup_task);
+    s->recv_wakeup_task = GNUNET_SCHEDULER_NO_TASK;
+  }
+
+  if (s->client_get != NULL)
+  {
+      GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                       "Session %p/connection %p: disconnecting GET connection to peer `%s'\n",
+                       s, s->client_get, GNUNET_i2s (&s->target));
+
+    /* remove curl handle from multi handle */
+    mret = curl_multi_remove_handle (plugin->curl_multi_handle, s->client_get);
+    if (mret != CURLM_OK)
+    {
+      /* clean up easy handle, handle is now invalid and free'd */
+      res = GNUNET_SYSERR;
+      GNUNET_break (0);
+    }
+    curl_easy_cleanup (s->client_get);
+    s->client_get = NULL;
+  }
+
+  msg = s->msg_head;
+  while (msg != NULL)
+  {
+    t = msg->next;
+    if (NULL != msg->transmit_cont)
+      msg->transmit_cont (msg->transmit_cont_cls, &s->target, GNUNET_SYSERR);
+    GNUNET_CONTAINER_DLL_remove (s->msg_head, s->msg_tail, msg);
+    GNUNET_free (msg);
+    msg = t;
+  }
+
+  GNUNET_assert (plugin->cur_connections >= 2);
+  plugin->cur_connections -= 2;
+  GNUNET_STATISTICS_set (plugin->env->stats,
+      "# HTTP client sessions",
+      plugin->cur_connections,
+      GNUNET_NO);
+
+  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                   "Session %p: notifying transport about ending session\n",s);
+
+  plugin->env->session_end (plugin->env->cls, &s->target, s);
+  client_delete_session (s);
+
+  /* Re-schedule since handles have changed */
+  if (plugin->client_perform_task != GNUNET_SCHEDULER_NO_TASK)
+  {
+    GNUNET_SCHEDULER_cancel (plugin->client_perform_task);
+    plugin->client_perform_task = GNUNET_SCHEDULER_NO_TASK;
+  }
+  client_schedule (plugin, GNUNET_YES);
+
+  return res;
+}
+
+
 /**
  * Function that can be used to force the plugin to disconnect
  * from the given peer and cancel all previous transmissions
@@ -339,11 +637,30 @@ http_client_plugin_send (void *cls,
 static void
 http_client_plugin_disconnect (void *cls, const struct GNUNET_PeerIdentity *target)
 {
-  // struct Plugin *plugin = cls;
-  // FIXME
-  GNUNET_break (0);
+  struct HTTP_Client_Plugin *plugin = cls;
+  struct Session *next = NULL;
+  struct Session *pos = NULL;
+
+  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                   "Transport tells me to disconnect `%s'\n",
+                   GNUNET_i2s (target));
+
+  next = plugin->head;
+  while (NULL != (pos = next))
+  {
+    next = pos->next;
+    if (0 == memcmp (target, &pos->target, sizeof (struct GNUNET_PeerIdentity)))
+    {
+      GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                       "Disconnecting session %p to `%pos'\n",
+                       pos, GNUNET_i2s (target));
+      GNUNET_assert (GNUNET_OK == client_disconnect (pos));
+    }
+  }
+
 }
 
+
 static struct Session *
 client_lookup_session (struct HTTP_Client_Plugin *plugin,
                        const struct GNUNET_HELLO_Address *address)
@@ -358,21 +675,21 @@ client_lookup_session (struct HTTP_Client_Plugin *plugin,
   return NULL;
 }
 
-static int
-client_exist_session (struct HTTP_Client_Plugin *plugin, struct Session *s)
+static void
+client_put_disconnect (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  struct Session * head;
+  struct Session *s = cls;
+  s->put_disconnect_task = GNUNET_SCHEDULER_NO_TASK;
+  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, s->plugin->name,
+                   "Session %p/connection %p: will be disconnected due to no activity\n",
+                   s, s->client_put);
+  s->put_paused = GNUNET_NO;
+  s->put_tmp_disconnecting = GNUNET_YES;
+  curl_easy_pause (s->client_put, CURLPAUSE_CONT);
+  client_schedule (s->plugin, GNUNET_YES);
+}
 
-  GNUNET_assert (NULL != plugin);
-  GNUNET_assert (NULL != s);
 
-  for (head = plugin->head; head != NULL; head = head->next)
-  {
-    if (head == s)
-      return GNUNET_YES;
-  }
-  return GNUNET_NO;
-}
 
 /**
  * Callback method used with libcurl
@@ -397,11 +714,22 @@ client_send_cb (void *stream, size_t size, size_t nmemb, void *cls)
     GNUNET_break (0);
     return 0;
   }
+  if (GNUNET_YES == s->put_tmp_disconnecting)
+  {
+
+      GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, s->plugin->name,
+                       "Session %p/connection %p: disconnect due to inactivity\n",
+                       s, s->client_put);
+      return 0;
+  }
+
   if (NULL == msg)
   {
     GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
-                     "Nothing to for session %p send! Suspending PUT handle!\n", s);
-    s->client_put_paused = GNUNET_YES;
+                     "Session %p/connection %p: nothing to send, suspending\n",
+                     s, s->client_put);
+    s->put_disconnect_task = GNUNET_SCHEDULER_add_delayed (PUT_DISCONNECT_TIMEOUT, &client_put_disconnect, s);
+    s->put_paused = GNUNET_YES;
     return CURL_READFUNC_PAUSE;
   }
   /* data to send */
@@ -414,8 +742,8 @@ client_send_cb (void *stream, size_t size, size_t nmemb, void *cls)
   if (msg->pos == msg->size)
   {
     GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
-                     "Session %p message with %u bytes sent, removing message from queue\n",
-                     s, msg->size, msg->pos);
+                     "Session %p/connection %p: sent message with %u bytes sent, removing message from queue\n",
+                     s, s->client_put, msg->size, msg->pos);
     /* Calling transmit continuation  */
     GNUNET_CONTAINER_DLL_remove (s->msg_head, s->msg_tail, msg);
     if (NULL != msg->transmit_cont)
@@ -427,6 +755,12 @@ client_send_cb (void *stream, size_t size, size_t nmemb, void *cls)
 }
 
 
+/**
+ * Wake up a curl handle which was suspended
+ *
+ * @param cls the session
+ * @param tc task context
+ */
 static void
 client_wake_up (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
@@ -441,13 +775,20 @@ client_wake_up (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
     return;
   GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, s->plugin->name,
-                   "Client: %p Waking up receive handle\n", s->client_get);
+                   "Session %p/connection %p: Waking up GET handle\n", s, s->client_get);
   if (s->client_get != NULL)
     curl_easy_pause (s->client_get, CURLPAUSE_CONT);
 }
 
 
-
+/**
+ * Callback for message stream tokenizer
+ *
+ * @param cls the session
+ * @param client not used
+ * @param message the message received
+ * @return always GNUNET_OK
+ */
 static int
 client_receive_mst_cb (void *cls, void *client,
                        const struct GNUNET_MessageHeader *message)
@@ -456,7 +797,6 @@ client_receive_mst_cb (void *cls, void *client,
   struct HTTP_Client_Plugin *plugin;
   struct GNUNET_TIME_Relative delay;
   struct GNUNET_ATS_Information atsi[2];
-
   if (GNUNET_YES != client_exist_session(p, s))
   {
     GNUNET_break (0);
@@ -464,7 +804,6 @@ client_receive_mst_cb (void *cls, void *client,
   }
   plugin = s->plugin;
 
-
   atsi[0].type = htonl (GNUNET_ATS_QUALITY_NET_DISTANCE);
   atsi[0].value = htonl (1);
   atsi[1].type = htonl (GNUNET_ATS_NETWORK_TYPE);
@@ -474,6 +813,7 @@ client_receive_mst_cb (void *cls, void *client,
   delay = s->plugin->env->receive (plugin->env->cls, &s->target, message,
                                    (const struct GNUNET_ATS_Information *) &atsi, 2,
                                    s, s->addr, s->addrlen);
+
   s->next_receive =
       GNUNET_TIME_absolute_add (GNUNET_TIME_absolute_get (), delay);
 
@@ -490,10 +830,9 @@ client_receive_mst_cb (void *cls, void *client,
 }
 
 
-
 /**
- * Callback method used with libcurl
- * Method is called when libcurl needs to write data during sending
+ * Callback method used with libcurl when data for a PUT connection are
+ * received. We do not expect data here, so we just dismiss it
  *
  * @param stream pointer where to write data
  * @param size size of an individual element
@@ -502,12 +841,27 @@ client_receive_mst_cb (void *cls, void *client,
  * @return bytes read from stream
  */
 static size_t
-client_receive (void *stream, size_t size, size_t nmemb, void *cls)
+client_receive_put (void *stream, size_t size, size_t nmemb, void *cls)
 {
-  return 0;
+  return size * nmemb;
+}
 
-  struct Session *s = cls;
-  struct GNUNET_TIME_Absolute now;
+
+/**
+ * Callback method used with libcurl when data for a GET connection are
+ * received. Forward to MST
+ *
+ * @param stream pointer where to write data
+ * @param size size of an individual element
+ * @param nmemb count of elements that can be written to the buffer
+ * @param cls destination pointer, passed to the libcurl handle
+ * @return bytes read from stream
+ */
+static size_t
+client_receive (void *stream, size_t size, size_t nmemb, void *cls)
+{
+  struct Session *s = cls;
+  struct GNUNET_TIME_Absolute now;
   size_t len = size * nmemb;
   struct HTTP_Client_Plugin *plugin = s->plugin;
 
@@ -536,9 +890,9 @@ client_receive (void *stream, size_t size, size_t nmemb, void *cls)
     s->msg_tk = GNUNET_SERVER_mst_create (&client_receive_mst_cb, s);
   GNUNET_SERVER_mst_receive (s->msg_tk, s, stream, len, GNUNET_NO, GNUNET_NO);
   return len;
-
 }
 
+
 /**
  * Task performing curl operations
  *
@@ -548,6 +902,7 @@ client_receive (void *stream, size_t size, size_t nmemb, void *cls)
 static void
 client_run (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
 
+
 /**
  * Function setting up file descriptors and scheduling task to run
  *
@@ -617,100 +972,6 @@ client_schedule (struct HTTP_Client_Plugin *plugin, int now)
 }
 
 
-
-static int
-client_disconnect (struct Session *s)
-{
-
-  int res = GNUNET_OK;
-  CURLMcode mret;
-  struct HTTP_Client_Plugin *plugin = s->plugin;
-  struct HTTP_Message *msg;
-  struct HTTP_Message *t;
-
-  if (GNUNET_YES != client_exist_session (plugin, s))
-  {
-    GNUNET_break (0);
-    return GNUNET_SYSERR;
-  }
-
-  if (s->client_put != NULL)
-  {
-    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
-                     "Client: %p / %p Deleting outbound PUT session to peer `%s'\n",
-                     s, s->client_put, GNUNET_i2s (&s->target));
-
-    /* remove curl handle from multi handle */
-    mret = curl_multi_remove_handle (plugin->curl_multi_handle, s->client_put);
-    if (mret != CURLM_OK)
-    {
-      /* clean up easy handle, handle is now invalid and free'd */
-      res = GNUNET_SYSERR;
-      GNUNET_break (0);
-    }
-    curl_easy_cleanup (s->client_put);
-    s->client_put = NULL;
-  }
-
-
-  if (s->recv_wakeup_task != GNUNET_SCHEDULER_NO_TASK)
-  {
-    GNUNET_SCHEDULER_cancel (s->recv_wakeup_task);
-    s->recv_wakeup_task = GNUNET_SCHEDULER_NO_TASK;
-  }
-
-  if (s->client_get != NULL)
-  {
-    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
-                     "Client: %p / %p Deleting outbound GET session to peer `%s'\n",
-                     s,
-                     s->client_get, GNUNET_i2s (&s->target));
-
-    /* remove curl handle from multi handle */
-    mret = curl_multi_remove_handle (plugin->curl_multi_handle, s->client_get);
-    if (mret != CURLM_OK)
-    {
-      /* clean up easy handle, handle is now invalid and free'd */
-      res = GNUNET_SYSERR;
-      GNUNET_break (0);
-    }
-    curl_easy_cleanup (s->client_get);
-    s->client_get = NULL;
-  }
-
-  msg = s->msg_head;
-  while (msg != NULL)
-  {
-    t = msg->next;
-    if (NULL != msg->transmit_cont)
-      msg->transmit_cont (msg->transmit_cont_cls, &s->target, GNUNET_SYSERR);
-    GNUNET_CONTAINER_DLL_remove (s->msg_head, s->msg_tail, msg);
-    GNUNET_free (msg);
-    msg = t;
-  }
-
-  plugin->cur_connections -= 2;
-  plugin->env->session_end (plugin->env->cls, &s->target, s);
-
-  GNUNET_assert (plugin->cur_connections > 0);
-  plugin->cur_connections --;
-  GNUNET_STATISTICS_set (plugin->env->stats,
-      "# HTTP client connections",
-      plugin->cur_connections,
-      GNUNET_NO);
-
-  /* Re-schedule since handles have changed */
-  if (plugin->client_perform_task != GNUNET_SCHEDULER_NO_TASK)
-  {
-    GNUNET_SCHEDULER_cancel (plugin->client_perform_task);
-    plugin->client_perform_task = GNUNET_SCHEDULER_NO_TASK;
-  }
-  client_schedule (plugin, GNUNET_YES);
-
-  return res;
-}
-
-
 /**
  * Task performing curl operations
  *
@@ -720,9 +981,9 @@ client_disconnect (struct Session *s)
 static void
 client_run (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  GNUNET_break (0);
   struct HTTP_Client_Plugin *plugin = cls;
   int running;
+  int http_statuscode;
   CURLMcode mret;
 
   GNUNET_assert (cls != NULL);
@@ -768,16 +1029,49 @@ client_run (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
       GNUNET_assert (s != NULL);
       if (msg->msg == CURLMSG_DONE)
       {
-        GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
-                         "Client: %p connection to '%s'  %s ended with reason %i: `%s'\n",
-                         msg->easy_handle, GNUNET_i2s (&s->target),
-                         http_common_plugin_address_to_string (NULL, s->addr,
-                                                        s->addrlen),
-                         msg->data.result,
-                         curl_easy_strerror (msg->data.result));
-
-        /* Disconnect other transmission direction and tell transport */
-        client_disconnect (s);
+        curl_easy_getinfo (easy_h, CURLINFO_RESPONSE_CODE, &http_statuscode);
+        if (easy_h == s->client_put)
+        {
+            if  ((0 != msg->data.result) || (http_statuscode != 200))
+            {
+                GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                  "Session %p/connection %p: PUT connection to `%s' ended with status %i reason %i: `%s'\n",
+                  s, msg->easy_handle, GNUNET_i2s (&s->target),
+                  http_statuscode,
+                  msg->data.result,
+                  curl_easy_strerror (msg->data.result));
+            }
+            else
+              GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                "Session %p/connection %p: PUT connection to `%s' ended normal\n",
+                s, msg->easy_handle, GNUNET_i2s (&s->target));
+            if (s->client_get == NULL)
+            {
+              /* Disconnect other transmission direction and tell transport */
+            }
+            curl_multi_remove_handle (plugin->curl_multi_handle, easy_h);
+            curl_easy_cleanup (easy_h);
+            s->client_put = NULL;
+        }
+        if (easy_h == s->client_get)
+        {
+            if  ((0 != msg->data.result) || (http_statuscode != 200))
+            {
+              GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                "Session %p/connection %p: GET connection to `%s' ended with status %i reason %i: `%s'\n",
+                s, msg->easy_handle, GNUNET_i2s (&s->target),
+                http_statuscode,
+                msg->data.result,
+                curl_easy_strerror (msg->data.result));
+
+            }
+            else
+              GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                "Session %p/connection %p: GET connection to `%s' ended normal\n",
+                s, msg->easy_handle, GNUNET_i2s (&s->target));
+            /* Disconnect other transmission direction and tell transport */
+            client_disconnect (s);
+        }
       }
     }
   }
@@ -785,34 +1079,10 @@ client_run (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   client_schedule (plugin, GNUNET_NO);
 }
 
-
 static int
-client_connect (struct Session *s)
+client_connect_get (struct Session *s)
 {
-
-  struct HTTP_Client_Plugin *plugin = s->plugin;
-  int res = GNUNET_OK;
-  char *url;
   CURLMcode mret;
-
-  /* create url */
-  if (NULL == http_common_plugin_address_to_string (NULL, s->addr, s->addrlen))
-  {
-    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
-                     "Invalid address peer `%s'\n",
-                     GNUNET_i2s (&s->target));
-    return GNUNET_SYSERR;
-  }
-
-  GNUNET_asprintf (&url, "%s%s;%u",
-      http_common_plugin_address_to_string (plugin, s->addr, s->addrlen),
-                   GNUNET_h2s_full (&plugin->env->my_identity->hashPubKey),
-                   plugin->last_tag);
-
-  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
-                   "Initiating outbound session peer `%s' using address `%s'\n",
-                   GNUNET_i2s (&s->target), url);
-
   /* create get connection */
   s->client_get = curl_easy_init ();
 #if VERBOSE_CURL
@@ -825,26 +1095,43 @@ client_connect (struct Session *s)
   curl_easy_setopt (s->client_get, CURLOPT_SSL_VERIFYPEER, 0);
   curl_easy_setopt (s->client_get, CURLOPT_SSL_VERIFYHOST, 0);
 #endif
-  curl_easy_setopt (s->client_get, CURLOPT_URL, url);
+  curl_easy_setopt (s->client_get, CURLOPT_URL, s->url);
   //curl_easy_setopt (s->client_get, CURLOPT_HEADERFUNCTION, &curl_get_header_cb);
   //curl_easy_setopt (s->client_get, CURLOPT_WRITEHEADER, ps);
   curl_easy_setopt (s->client_get, CURLOPT_READFUNCTION, client_send_cb);
   curl_easy_setopt (s->client_get, CURLOPT_READDATA, s);
   curl_easy_setopt (s->client_get, CURLOPT_WRITEFUNCTION, client_receive);
   curl_easy_setopt (s->client_get, CURLOPT_WRITEDATA, s);
-  curl_easy_setopt (s->client_get, CURLOPT_TIMEOUT_MS,
-                    (long) GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT.rel_value);
+  /* No timeout by default, timeout done with session timeout */
+  curl_easy_setopt (s->client_get, CURLOPT_TIMEOUT, 0);
   curl_easy_setopt (s->client_get, CURLOPT_PRIVATE, s);
   curl_easy_setopt (s->client_get, CURLOPT_CONNECTTIMEOUT_MS,
-                    (long) HTTP_NOT_VALIDATED_TIMEOUT.rel_value);
+                    (long) HTTP_CLIENT_NOT_VALIDATED_TIMEOUT.rel_value);
   curl_easy_setopt (s->client_get, CURLOPT_BUFFERSIZE,
                     2 * GNUNET_SERVER_MAX_MESSAGE_SIZE);
 #if CURL_TCP_NODELAY
   curl_easy_setopt (ps->recv_endpoint, CURLOPT_TCP_NODELAY, 1);
 #endif
+  mret = curl_multi_add_handle (s->plugin->curl_multi_handle, s->client_get);
+  if (mret != CURLM_OK)
+  {
+    curl_easy_cleanup (s->client_get);
+    GNUNET_break (0);
+    return GNUNET_SYSERR;
+  }
 
+  return GNUNET_OK;
+}
+
+static int
+client_connect_put (struct Session *s)
+{
+  CURLMcode mret;
   /* create put connection */
-  s->client_put = curl_easy_init ();
+  if (NULL == s->client_put)
+  {
+    s->client_put = curl_easy_init ();
+  }
 #if VERBOSE_CURL
   curl_easy_setopt (s->client_put, CURLOPT_VERBOSE, 1L);
   curl_easy_setopt (s->client_put, CURLOPT_DEBUGFUNCTION, &client_log);
@@ -855,44 +1142,77 @@ client_connect (struct Session *s)
   curl_easy_setopt (s->client_put, CURLOPT_SSL_VERIFYPEER, 0);
   curl_easy_setopt (s->client_put, CURLOPT_SSL_VERIFYHOST, 0);
 #endif
-  curl_easy_setopt (s->client_put, CURLOPT_URL, url);
-  curl_easy_setopt (s->client_put, CURLOPT_PUT, 1L);
-  //curl_easy_setopt (s->client_put, CURLOPT_HEADERFUNCTION, &curl_put_header_cb);
+  curl_easy_setopt (s->client_put, CURLOPT_URL, s->url);
+  curl_easy_setopt (s->client_put, CURLOPT_UPLOAD, 1L);
+  //curl_easy_setopt (s->client_put, CURLOPT_HEADERFUNCTION, &client_curl_header);
   //curl_easy_setopt (s->client_put, CURLOPT_WRITEHEADER, ps);
   curl_easy_setopt (s->client_put, CURLOPT_READFUNCTION, client_send_cb);
   curl_easy_setopt (s->client_put, CURLOPT_READDATA, s);
-  curl_easy_setopt (s->client_put, CURLOPT_WRITEFUNCTION, client_receive);
+  curl_easy_setopt (s->client_put, CURLOPT_WRITEFUNCTION, client_receive_put);
   curl_easy_setopt (s->client_put, CURLOPT_WRITEDATA, s);
-  curl_easy_setopt (s->client_put, CURLOPT_TIMEOUT_MS,
-                    (long) GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT.rel_value);
+  /* No timeout by default, timeout done with session timeout */
+  curl_easy_setopt (s->client_put, CURLOPT_TIMEOUT, 0);
   curl_easy_setopt (s->client_put, CURLOPT_PRIVATE, s);
   curl_easy_setopt (s->client_put, CURLOPT_CONNECTTIMEOUT_MS,
-                    (long) HTTP_NOT_VALIDATED_TIMEOUT.rel_value);
+                    (long) HTTP_CLIENT_NOT_VALIDATED_TIMEOUT.rel_value);
   curl_easy_setopt (s->client_put, CURLOPT_BUFFERSIZE,
                     2 * GNUNET_SERVER_MAX_MESSAGE_SIZE);
 #if CURL_TCP_NODELAY
   curl_easy_setopt (s->client_put, CURLOPT_TCP_NODELAY, 1);
 #endif
-  GNUNET_free (url);
-
-  mret = curl_multi_add_handle (plugin->curl_multi_handle, s->client_get);
+  mret = curl_multi_add_handle (s->plugin->curl_multi_handle, s->client_put);
   if (mret != CURLM_OK)
   {
-    curl_easy_cleanup (s->client_get);
-    GNUNET_break (0);
+   GNUNET_log_from (GNUNET_ERROR_TYPE_ERROR, s->plugin->name,
+                    "Failed to add curl handle to multihandle: `%s'\n",
+                    curl_multi_strerror (mret));
+
+    curl_easy_cleanup (s->client_put);
+    s->client_put = NULL;
     return GNUNET_SYSERR;
   }
+  return GNUNET_OK;
+}
 
-  mret = curl_multi_add_handle (plugin->curl_multi_handle, s->client_put);
-  if (mret != CURLM_OK)
+static int
+client_connect (struct Session *s)
+{
+
+  struct HTTP_Client_Plugin *plugin = s->plugin;
+  int res = GNUNET_OK;
+
+
+  /* create url */
+  if (NULL == http_common_plugin_address_to_string (NULL, s->addr, s->addrlen))
   {
-    curl_multi_remove_handle (plugin->curl_multi_handle, s->client_get);
-    curl_easy_cleanup (s->client_get);
-    curl_easy_cleanup (s->client_put);
-    GNUNET_break (0);
+    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                     "Invalid address peer `%s'\n",
+                     GNUNET_i2s (&s->target));
     return GNUNET_SYSERR;
   }
 
+  GNUNET_asprintf (&s->url, "%s/%s;%u",
+      http_common_plugin_address_to_string (plugin, s->addr, s->addrlen),
+                   GNUNET_h2s_full (&plugin->env->my_identity->hashPubKey),
+                   plugin->last_tag);
+
+  plugin->last_tag++;
+
+  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                   "Initiating outbound session peer `%s' using address `%s'\n",
+                   GNUNET_i2s (&s->target), s->url);
+
+  if ((GNUNET_SYSERR == client_connect_get (s)) ||
+      (GNUNET_SYSERR == client_connect_put (s)))
+  {
+      GNUNET_break (0);
+      return GNUNET_SYSERR;
+  }
+
+  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+               "Session %p: connected with connections GET %p and PUT %p\n",
+               s, s->client_get, s->client_put);
+
   /* Perform connect */
   plugin->cur_connections += 2;
   GNUNET_STATISTICS_set (plugin->env->stats,
@@ -910,35 +1230,6 @@ client_connect (struct Session *s)
   return res;
 }
 
-void
-client_delete_session (struct Session *s)
-{
-  struct HTTP_Client_Plugin *plugin = s->plugin;
-  struct HTTP_Message *pos = s->msg_head;
-  struct HTTP_Message *next = NULL;
-
-  client_stop_session_timeout (s);
-
-  GNUNET_CONTAINER_DLL_remove (plugin->head, plugin->tail, s);
-
-  while (NULL != (pos = next))
-  {
-    next = pos->next;
-    GNUNET_CONTAINER_DLL_remove (s->msg_head, s->msg_tail, pos);
-    if (pos->transmit_cont != NULL)
-      pos->transmit_cont (pos->transmit_cont_cls, &s->target, GNUNET_SYSERR);
-    GNUNET_free (pos);
-  }
-
-  if (s->msg_tk != NULL)
-  {
-    GNUNET_SERVER_mst_destroy (s->msg_tk);
-    s->msg_tk = NULL;
-  }
-  GNUNET_free (s->addr);
-  GNUNET_free (s);
-}
-
 
 /**
  * Creates a new outbound session the transport service will use to send data to the
@@ -954,12 +1245,15 @@ http_client_plugin_get_session (void *cls,
 {
   struct HTTP_Client_Plugin *plugin = cls;
   struct Session * s = NULL;
+  struct sockaddr *sa;
+  struct GNUNET_ATS_Information ats;
+  size_t salen = 0;
+  int res;
 
   GNUNET_assert (plugin != NULL);
   GNUNET_assert (address != NULL);
   GNUNET_assert (address->address != NULL);
 
-
   /* find existing session */
   s = client_lookup_session (plugin, address);
   if (s != NULL)
@@ -975,14 +1269,48 @@ http_client_plugin_get_session (void *cls,
     return NULL;
   }
 
+  ats.type = htonl (GNUNET_ATS_NETWORK_TYPE);
+  ats.value = htonl (GNUNET_ATS_NET_UNSPECIFIED);
+  sa = http_common_socket_from_address (address->address, address->address_length, &res);
+
+  if (GNUNET_SYSERR == res)
+  {
+      return NULL;
+  }
+  else if (GNUNET_YES == res)
+  {
+      GNUNET_assert (NULL != sa);
+      if (AF_INET == sa->sa_family)
+      {
+          salen = sizeof (struct sockaddr_in);
+      }
+      else if (AF_INET == sa->sa_family)
+      {
+          salen = sizeof (struct sockaddr_in6);
+      }
+      ats = plugin->env->get_address_type (plugin->env->cls, sa, salen);
+      GNUNET_free (sa);
+  }
+  else if (GNUNET_NO == res)
+  {
+      ats.value = htonl (GNUNET_ATS_COST_WAN);
+  }
+
+  if (GNUNET_ATS_NET_UNSPECIFIED == ntohl(ats.value))
+  {
+      GNUNET_break (0);
+      return NULL;
+  }
+
   s = GNUNET_malloc (sizeof (struct Session));
   memcpy (&s->target, &address->peer, sizeof (struct GNUNET_PeerIdentity));
   s->plugin = plugin;
   s->addr = GNUNET_malloc (address->address_length);
   memcpy (s->addr, address->address, address->address_length);
   s->addrlen = address->address_length;
-  //s->ats_address_network_type = ats.value;
-  GNUNET_break (0);
+  s->ats_address_network_type = ats.value;
+  s->put_paused = GNUNET_NO;
+  s->put_tmp_disconnecting = GNUNET_NO;
 
   client_start_session_timeout (s);
 
@@ -1002,6 +1330,13 @@ http_client_plugin_get_session (void *cls,
   return s;
 }
 
+
+/**
+ * Setup http_client plugin
+ *
+ * @param plugin the plugin handle
+ * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ */
 static int
 client_start (struct HTTP_Client_Plugin *plugin)
 {
@@ -1030,33 +1365,38 @@ client_session_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc
   s->timeout_task = GNUNET_SCHEDULER_NO_TASK;
   GNUNET_log (TIMEOUT_LOG,
               "Session %p was idle for %llu ms, disconnecting\n",
-              s, (unsigned long long) TIMEOUT.rel_value);
+              s, (unsigned long long) CLIENT_SESSION_TIMEOUT.rel_value);
 
   /* call session destroy function */
   GNUNET_assert (GNUNET_OK == client_disconnect (s));
 }
 
+
 /**
-* Start session timeout
-*/
+ * Start session timeout for session s
+ *
+ * @param s the session
+ */
 static void
 client_start_session_timeout (struct Session *s)
 {
 
  GNUNET_assert (NULL != s);
  GNUNET_assert (GNUNET_SCHEDULER_NO_TASK == s->timeout_task);
- s->timeout_task =  GNUNET_SCHEDULER_add_delayed (TIMEOUT,
+ s->timeout_task =  GNUNET_SCHEDULER_add_delayed (CLIENT_SESSION_TIMEOUT,
                                                   &client_session_timeout,
                                                   s);
  GNUNET_log (TIMEOUT_LOG,
              "Timeout for session %p set to %llu ms\n",
-             s,  (unsigned long long) TIMEOUT.rel_value);
- GNUNET_break (0);
+             s,  (unsigned long long) CLIENT_SESSION_TIMEOUT.rel_value);
 }
 
+
 /**
-* Increment session timeout due to activity
-*/
+ * Increment session timeout due to activity for session s
+ *
+ * param s the session
+ */
 static void
 client_reschedule_session_timeout (struct Session *s)
 {
@@ -1065,18 +1405,20 @@ client_reschedule_session_timeout (struct Session *s)
  GNUNET_assert (GNUNET_SCHEDULER_NO_TASK != s->timeout_task);
 
  GNUNET_SCHEDULER_cancel (s->timeout_task);
- s->timeout_task =  GNUNET_SCHEDULER_add_delayed (TIMEOUT,
+ s->timeout_task =  GNUNET_SCHEDULER_add_delayed (CLIENT_SESSION_TIMEOUT,
                                                   &client_session_timeout,
                                                   s);
  GNUNET_log (TIMEOUT_LOG,
              "Timeout rescheduled for session %p set to %llu ms\n",
-             s, (unsigned long long) TIMEOUT.rel_value);
- GNUNET_break (0);
+             s, (unsigned long long) CLIENT_SESSION_TIMEOUT.rel_value);
 }
 
+
 /**
-* Cancel timeout
-*/
+ * Cancel timeout due to activity for session s
+ *
+ * param s the session
+ */
 static void
 client_stop_session_timeout (struct Session *s)
 {
@@ -1112,21 +1454,46 @@ http_client_plugin_address_suggested (void *cls, const void *addr, size_t addrle
   return GNUNET_NO;
 }
 
+
 /**
  * Exit point from the plugin.
+ *
+ * @param cls api as closure
+ * @return NULL
  */
 void *
 LIBGNUNET_PLUGIN_TRANSPORT_DONE (void *cls)
 {
   struct GNUNET_TRANSPORT_PluginFunctions *api = cls;
   struct HTTP_Client_Plugin *plugin = api->cls;
+  struct Session *pos;
+  struct Session *next;
 
   if (NULL == api->cls)
   {
+    /* Stub shutdown */
     GNUNET_free (api);
     return NULL;
   }
 
+  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                   _("Shutting down plugin `%s'\n"),
+                   plugin->name);
+
+
+  next = plugin->head;
+  while (NULL != (pos = next))
+  {
+      next = pos->next;
+      client_disconnect (pos);
+  }
+  if (GNUNET_SCHEDULER_NO_TASK != plugin->client_perform_task)
+  {
+      GNUNET_SCHEDULER_cancel (plugin->client_perform_task);
+      plugin->client_perform_task = GNUNET_SCHEDULER_NO_TASK;
+  }
+
+
   if (NULL != plugin->curl_multi_handle)
   {
     curl_multi_cleanup (plugin->curl_multi_handle);
@@ -1134,12 +1501,40 @@ LIBGNUNET_PLUGIN_TRANSPORT_DONE (void *cls)
   }
   curl_global_cleanup ();
 
+  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                   _("Shutdown for plugin `%s' complete\n"),
+                   plugin->name);
+
   GNUNET_free (plugin);
   GNUNET_free (api);
   return NULL;
 }
 
 
+/**
+ * Configure plugin
+ *
+ * @param plugin the plugin handle
+ * @return GNUNET_OK on success, GNUNET_SYSERR on failure
+ */
+static int
+client_configure_plugin (struct HTTP_Client_Plugin *plugin)
+{
+  unsigned long long max_connections;
+
+  /* Optional parameters */
+  if (GNUNET_OK != GNUNET_CONFIGURATION_get_value_number (plugin->env->cfg,
+                      plugin->name,
+                      "MAX_CONNECTIONS", &max_connections))
+    max_connections = 128;
+  plugin->max_connections = max_connections;
+
+  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                   _("Maximum number of connections is %u\n"),
+                   plugin->max_connections);
+  return GNUNET_OK;
+}
+
 /**
  * Entry point for the plugin.
  */
@@ -1183,6 +1578,13 @@ LIBGNUNET_PLUGIN_TRANSPORT_INIT (void *cls)
   plugin->name = "transport-http_client";
   plugin->protocol = "http";
 #endif
+  plugin->last_tag = 1;
+
+  if (GNUNET_SYSERR == client_configure_plugin (plugin))
+  {
+      LIBGNUNET_PLUGIN_TRANSPORT_DONE (api);
+      return NULL;
+  }
 
   /* Start client */
   if (GNUNET_SYSERR == client_start (plugin))