- fix error messages
[oweals/gnunet.git] / src / transport / plugin_transport_http_client.c
index d19d0c9997291a7d911afa694c9f103d493f1c13..ba7fd45a3850d13a9950758eae038aca034ebf47 100644 (file)
@@ -1,6 +1,6 @@
 /*
      This file is part of GNUnet
-     (C) 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 Christian Grothoff (and other contributing authors)
+     (C) 2002-2013 Christian Grothoff (and other contributing authors)
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
  */
 
 #if BUILD_HTTPS
+#define PLUGIN_NAME "https_client"
+#define HTTP_STAT_STR_CONNECTIONS "# HTTPS client connections"
 #define LIBGNUNET_PLUGIN_TRANSPORT_INIT libgnunet_plugin_transport_https_client_init
 #define LIBGNUNET_PLUGIN_TRANSPORT_DONE libgnunet_plugin_transport_https_client_done
 #else
+#define PLUGIN_NAME "http_client"
+#define HTTP_STAT_STR_CONNECTIONS "# HTTP client connections"
 #define LIBGNUNET_PLUGIN_TRANSPORT_INIT libgnunet_plugin_transport_http_client_init
 #define LIBGNUNET_PLUGIN_TRANSPORT_DONE libgnunet_plugin_transport_http_client_done
 #endif
@@ -40,9 +44,8 @@
 #define ENABLE_GET GNUNET_YES
 
 #include "platform.h"
+#include "gnunet_util_lib.h"
 #include "gnunet_protocols.h"
-#include "gnunet_common.h"
-#include "gnunet_server_lib.h"
 #include "gnunet_transport_plugin.h"
 #include "plugin_transport_http_common.h"
 #include <curl/curl.h>
@@ -104,25 +107,25 @@ struct HTTP_Message
  */
 struct Session;
 
+
 /**
  * A connection handle
- * 
+ *
  */
 struct ConnectionHandle
 {
   /**
-   * The curl easy handle 
+   * The curl easy handle
    */
   CURL *easyhandle;
-  
+
   /**
-   * The related session 
+   * The related session
    */
   struct Session *s;
 };
 
 
-
 /**
  * Session handle for connections.
  */
@@ -152,7 +155,7 @@ struct Session
   /**
    * Address
    */
-  void *addr;
+  struct HttpAddress *addr;
 
   /**
    * Address length
@@ -276,6 +279,11 @@ struct HTTP_Client_Plugin
    */
   char *protocol;
 
+  /**
+   * My options to be included in the address
+   */
+  uint32_t options;
+
   /**
    * Maximum number of sockets the plugin can use
    * Each http inbound /outbound connections are two connections
@@ -315,20 +323,6 @@ struct HTTP_Client_Plugin
 };
 
 
-/**
- * Encapsulation of all of the state of the plugin.
- */
-struct HTTP_Client_Plugin *p;
-
-
-/**
- * Start session timeout for a session
- * @param s the session
- */
-static void
-client_start_session_timeout (struct Session *s);
-
-
 /**
  * Increment session timeout due to activity for a session
  * @param s the session
@@ -337,14 +331,6 @@ static void
 client_reschedule_session_timeout (struct Session *s);
 
 
-/**
- * Cancel timeout for a session
- * @param s the session
- */
-static void
-client_stop_session_timeout (struct Session *s);
-
-
 /**
  * Function setting up file descriptors and scheduling task to run
  *
@@ -357,10 +343,10 @@ client_schedule (struct HTTP_Client_Plugin *plugin, int now);
 
 
 /**
- * Connect a HTTP put connection 
+ * Connect a HTTP put connection
  *
  * @param s the session to connect
- * @return GNUNET_SYSERR for hard failure, GNUNET_OK for success
+ * @return #GNUNET_SYSERR for hard failure, #GNUNET_OK for success
  */
 static int
 client_connect_put (struct Session *s);
@@ -371,21 +357,17 @@ client_connect_put (struct Session *s);
  *
  * @param plugin the plugin
  * @param s desired session
- * @return GNUNET_YES or GNUNET_NO
+ * @return #GNUNET_YES or #GNUNET_NO
  */
 static int
-client_exist_session (struct HTTP_Client_Plugin *plugin, struct Session *s)
+client_exist_session (struct HTTP_Client_Plugin *plugin,
+                      struct Session *s)
 {
   struct Session * head;
 
-  GNUNET_assert (NULL != plugin);
-  GNUNET_assert (NULL != s);
-
   for (head = plugin->head; head != NULL; head = head->next)
-  {
     if (head == s)
       return GNUNET_YES;
-  }
   return GNUNET_NO;
 }
 
@@ -401,7 +383,7 @@ client_exist_session (struct HTTP_Client_Plugin *plugin, struct Session *s)
  * @return always 0
  */
 static int
-client_log (CURL *curl, curl_infotype type, 
+client_log (CURL *curl, curl_infotype type,
            const char *data, size_t size, void *cls)
 {
   struct ConnectionHandle *ch = cls;
@@ -492,9 +474,6 @@ http_client_plugin_send (void *cls,
   struct HTTP_Message *msg;
   char *stat_txt;
 
-  GNUNET_assert (plugin != NULL);
-  GNUNET_assert (s != NULL);
-
   /* lookup if session is really existing */
   if (GNUNET_YES != client_exist_session (plugin, s))
   {
@@ -518,10 +497,11 @@ http_client_plugin_send (void *cls,
   memcpy (msg->buf, msgbuf, msgbuf_size);
   GNUNET_CONTAINER_DLL_insert_tail (s->msg_head, s->msg_tail, msg);
 
-  GNUNET_asprintf (&stat_txt, "# bytes currently in %s_client buffers", plugin->protocol);
+  GNUNET_asprintf (&stat_txt,
+                   "# bytes currently in %s_client buffers",
+                   plugin->protocol);
   GNUNET_STATISTICS_update (plugin->env->stats,
                             stat_txt, msgbuf_size, GNUNET_NO);
-
   GNUNET_free (stat_txt);
 
   if (GNUNET_YES == s->put_tmp_disconnecting)
@@ -543,7 +523,8 @@ http_client_plugin_send (void *cls,
                      "Session %p/connection %p: unpausing connection\n",
                      s, s->client_put);
     s->put_paused = GNUNET_NO;
-    curl_easy_pause (s->client_put, CURLPAUSE_CONT);
+    if (NULL != s->client_put)
+      curl_easy_pause (s->client_put, CURLPAUSE_CONT);
   }
   else if (GNUNET_YES == s->put_tmp_disconnected)
   {
@@ -560,7 +541,6 @@ http_client_plugin_send (void *cls,
   }
 
   client_schedule (s->plugin, GNUNET_YES);
-  client_reschedule_session_timeout (s);
   return msgbuf_size;
 }
 
@@ -577,8 +557,11 @@ client_delete_session (struct Session *s)
   struct HTTP_Message *pos;
   struct HTTP_Message *next;
 
-  client_stop_session_timeout (s);
-
+  if (GNUNET_SCHEDULER_NO_TASK != s->timeout_task)
+  {
+    GNUNET_SCHEDULER_cancel (s->timeout_task);
+    s->timeout_task = GNUNET_SCHEDULER_NO_TASK;
+  }
   if (GNUNET_SCHEDULER_NO_TASK != s->put_disconnect_task)
   {
       GNUNET_SCHEDULER_cancel (s->put_disconnect_task);
@@ -610,17 +593,18 @@ client_delete_session (struct Session *s)
 }
 
 
-
 /**
  * Disconnect a session
  *
+ * @param cls the `struct HTTP_Client_Plugin`
  * @param s session
- * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
  */
 static int
-client_disconnect (struct Session *s)
+http_client_session_disconnect (void *cls,
+                                struct Session *s)
 {
-  struct HTTP_Client_Plugin *plugin = s->plugin;
+  struct HTTP_Client_Plugin *plugin = cls;
   struct HTTP_Message *msg;
   struct HTTP_Message *t;
   int res = GNUNET_OK;
@@ -632,7 +616,7 @@ client_disconnect (struct Session *s)
     return GNUNET_SYSERR;
   }
 
-  if (s->client_put != NULL)
+  if (NULL != s->client_put)
   {
     GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
                      "Session %p/connection %p: disconnecting PUT connection to peer `%s'\n",
@@ -657,12 +641,12 @@ client_disconnect (struct Session *s)
     s->recv_wakeup_task = GNUNET_SCHEDULER_NO_TASK;
   }
 
-  if (s->client_get != NULL)
+  if (NULL != s->client_get)
   {
-      GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
-                       "Session %p/connection %p: disconnecting GET connection to peer `%s'\n",
-                       s, s->client_get, GNUNET_i2s (&s->target));
-
+    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                     "Session %p/connection %p: disconnecting GET connection to peer `%s'\n",
+                     s, s->client_get,
+                     GNUNET_i2s (&s->target));
     /* remove curl handle from multi handle */
     mret = curl_multi_remove_handle (plugin->curl_multi_handle, s->client_get);
     if (mret != CURLM_OK)
@@ -676,7 +660,7 @@ client_disconnect (struct Session *s)
   }
 
   msg = s->msg_head;
-  while (msg != NULL)
+  while (NULL != msg)
   {
     t = msg->next;
     if (NULL != msg->transmit_cont)
@@ -691,10 +675,9 @@ client_disconnect (struct Session *s)
   GNUNET_assert (plugin->cur_connections >= 2);
   plugin->cur_connections -= 2;
   GNUNET_STATISTICS_set (plugin->env->stats,
-      "# HTTP client sessions",
-      plugin->cur_connections,
-      GNUNET_NO);
-
+                         HTTP_STAT_STR_CONNECTIONS,
+                         plugin->cur_connections,
+                         GNUNET_NO);
   GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
                    "Session %p: notifying transport about ending session\n",s);
 
@@ -713,6 +696,21 @@ client_disconnect (struct Session *s)
 }
 
 
+/**
+ * Function that is called to get the keepalive factor.
+ * GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT is divided by this number to
+ * calculate the interval between keepalive packets.
+ *
+ * @param cls closure with the `struct Plugin`
+ * @return keepalive factor
+ */
+static unsigned int
+http_client_query_keepalive_factor (void *cls)
+{
+  return 3;
+}
+
+
 /**
  * Function that can be used to force the plugin to disconnect
  * from the given peer and cancel all previous transmissions
@@ -722,7 +720,8 @@ client_disconnect (struct Session *s)
  * @param target peer from which to disconnect
  */
 static void
-http_client_plugin_disconnect (void *cls, const struct GNUNET_PeerIdentity *target)
+http_client_peer_disconnect (void *cls,
+                             const struct GNUNET_PeerIdentity *target)
 {
   struct HTTP_Client_Plugin *plugin = cls;
   struct Session *next = NULL;
@@ -741,15 +740,16 @@ http_client_plugin_disconnect (void *cls, const struct GNUNET_PeerIdentity *targ
       GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
                        "Disconnecting session %p to `%pos'\n",
                        pos, GNUNET_i2s (target));
-      GNUNET_assert (GNUNET_OK == client_disconnect (pos));
+      GNUNET_assert (GNUNET_OK == http_client_session_disconnect (plugin,
+                                                                  pos));
     }
   }
-
 }
 
+
 /**
  * Check if a sessions exists for an specific address
- * 
+ *
  * @param plugin the plugin
  * @param address the address
  * @return the session or NULL
@@ -768,22 +768,25 @@ client_lookup_session (struct HTTP_Client_Plugin *plugin,
   return NULL;
 }
 
+
 static void
-client_put_disconnect (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+client_put_disconnect (void *cls,
+                       const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct Session *s = cls;
+
   s->put_disconnect_task = GNUNET_SCHEDULER_NO_TASK;
   GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, s->plugin->name,
                    "Session %p/connection %p: will be disconnected due to no activity\n",
                    s, s->client_put);
   s->put_paused = GNUNET_NO;
   s->put_tmp_disconnecting = GNUNET_YES;
-  curl_easy_pause (s->client_put, CURLPAUSE_CONT);
+  if (NULL != s->client_put)
+    curl_easy_pause (s->client_put, CURLPAUSE_CONT);
   client_schedule (s->plugin, GNUNET_YES);
 }
 
 
-
 /**
  * Callback method used with libcurl
  * Method is called when libcurl needs to read data during sending
@@ -791,7 +794,7 @@ client_put_disconnect (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
  * @param stream pointer where to write data
  * @param size size of an individual element
  * @param nmemb count of elements that can be written to the buffer
- * @param cls source pointer, passed to the libcurl handle
+ * @param cls our `struct Session`
  * @return bytes written to stream, returning 0 will terminate connection!
  */
 static size_t
@@ -856,8 +859,6 @@ client_send_cb (void *stream, size_t size, size_t nmemb, void *cls)
   GNUNET_STATISTICS_update (plugin->env->stats,
                             stat_txt, len, GNUNET_NO);
   GNUNET_free (stat_txt);
-
-  client_reschedule_session_timeout (s);
   return len;
 }
 
@@ -869,11 +870,13 @@ client_send_cb (void *stream, size_t size, size_t nmemb, void *cls)
  * @param tc task context
  */
 static void
-client_wake_up (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+client_wake_up (void *cls,
+                const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct Session *s = cls;
+  struct HTTP_Client_Plugin *p = s->plugin;
 
-  if (GNUNET_YES != client_exist_session(p, s))
+  if (GNUNET_YES != client_exist_session (p, s))
   {
     GNUNET_break (0);
     return;
@@ -882,9 +885,13 @@ client_wake_up (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
     return;
   GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, s->plugin->name,
-                   "Session %p/connection %p: Waking up GET handle\n", s, s->client_get);
-  if (s->client_get != NULL)
+                   "Session %p/connection %p: Waking up GET handle\n",
+                   s,
+                   s->client_get);
+  s->put_paused = GNUNET_NO;
+  if (NULL != s->client_get)
     curl_easy_pause (s->client_get, CURLPAUSE_CONT);
+
 }
 
 
@@ -894,7 +901,7 @@ client_wake_up (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
  * @param cls the session
  * @param client not used
  * @param message the message received
- * @return always GNUNET_OK
+ * @return always #GNUNET_OK
  */
 static int
 client_receive_mst_cb (void *cls, void *client,
@@ -903,26 +910,32 @@ client_receive_mst_cb (void *cls, void *client,
   struct Session *s = cls;
   struct HTTP_Client_Plugin *plugin;
   struct GNUNET_TIME_Relative delay;
-  struct GNUNET_ATS_Information atsi[2];
+  struct GNUNET_ATS_Information atsi;
   char *stat_txt;
-  if (GNUNET_YES != client_exist_session(p, s))
+
+  plugin = s->plugin;
+  if (GNUNET_YES != client_exist_session (plugin, s))
   {
     GNUNET_break (0);
     return GNUNET_OK;
   }
-  plugin = s->plugin;
 
-  atsi[0].type = htonl (GNUNET_ATS_QUALITY_NET_DISTANCE);
-  atsi[0].value = htonl (1);
-  atsi[1].type = htonl (GNUNET_ATS_NETWORK_TYPE);
-  atsi[1].value = s->ats_address_network_type;
+  atsi.type = htonl (GNUNET_ATS_NETWORK_TYPE);
+  atsi.value = s->ats_address_network_type;
   GNUNET_break (s->ats_address_network_type != ntohl (GNUNET_ATS_NET_UNSPECIFIED));
-
   delay = s->plugin->env->receive (plugin->env->cls, &s->target, message,
-                                   (const struct GNUNET_ATS_Information *) &atsi, 2,
-                                   s, s->addr, s->addrlen);
-
-  GNUNET_asprintf (&stat_txt, "# bytes received via %s_client", plugin->protocol);
+                                   s, (const char *) s->addr, s->addrlen);
+
+  plugin->env->update_address_metrics (plugin->env->cls,
+                                      &s->target,
+                                      s->addr,
+                                      s->addrlen,
+                                      s,
+                                      &atsi, 1);
+
+  GNUNET_asprintf (&stat_txt,
+                   "# bytes received via %s_client",
+                   plugin->protocol);
   GNUNET_STATISTICS_update (plugin->env->stats,
                             stat_txt, ntohs(message->size), GNUNET_NO);
   GNUNET_free (stat_txt);
@@ -930,13 +943,16 @@ client_receive_mst_cb (void *cls, void *client,
   s->next_receive =
       GNUNET_TIME_absolute_add (GNUNET_TIME_absolute_get (), delay);
 
-  if (GNUNET_TIME_absolute_get ().abs_value < s->next_receive.abs_value)
+  if (GNUNET_TIME_absolute_get ().abs_value_us < s->next_receive.abs_value_us)
   {
-
     GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
-                     "Client: peer `%s' address `%s' next read delayed for %llu ms\n",
-                     GNUNET_i2s (&s->target), GNUNET_a2s (s->addr, s->addrlen),
-                     delay);
+                     "Client: peer `%s' address `%s' next read delayed for %s\n",
+                     GNUNET_i2s (&s->target),
+                     http_common_plugin_address_to_string (NULL,
+                                                          s->plugin->protocol,
+                                                          s->addr, s->addrlen),
+                     GNUNET_STRINGS_relative_time_to_string (delay,
+                                                            GNUNET_YES));
   }
   client_reschedule_session_timeout (s);
   return GNUNET_OK;
@@ -982,14 +998,16 @@ client_receive (void *stream, size_t size, size_t nmemb, void *cls)
                    s, s->client_get,
                    len, GNUNET_i2s (&s->target));
   now = GNUNET_TIME_absolute_get ();
-  if (now.abs_value < s->next_receive.abs_value)
+  if (now.abs_value_us < s->next_receive.abs_value_us)
   {
     struct GNUNET_TIME_Absolute now = GNUNET_TIME_absolute_get ();
     struct GNUNET_TIME_Relative delta =
         GNUNET_TIME_absolute_get_difference (now, s->next_receive);
     GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, s->plugin->name,
-                     "Session %p / connection %p: No inbound bandwidth available! Next read was delayed for %llu ms\n",
-                     s, s->client_get, delta.rel_value);
+                     "Session %p / connection %p: No inbound bandwidth available! Next read was delayed for %s\n",
+                     s, s->client_get,
+                    GNUNET_STRINGS_relative_time_to_string (delta,
+                                                            GNUNET_YES));
     if (s->recv_wakeup_task != GNUNET_SCHEDULER_NO_TASK)
     {
       GNUNET_SCHEDULER_cancel (s->recv_wakeup_task);
@@ -1021,7 +1039,7 @@ client_run (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
  *
  * @param plugin the plugin as closure
  * @param now schedule task in 1ms, regardless of what curl may say
- * @return GNUNET_SYSERR for hard failure, GNUNET_OK for ok
+ * @return #GNUNET_SYSERR for hard failure, #GNUNET_OK for ok
  */
 static int
 client_schedule (struct HTTP_Client_Plugin *plugin, int now)
@@ -1204,7 +1222,7 @@ client_run (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
             /* Disconnect other transmission direction and tell transport */
             s->get.easyhandle = NULL;
             s->get.s = NULL;
-            client_disconnect (s);
+            http_client_session_disconnect (plugin, s);
         }
       }
     }
@@ -1216,13 +1234,14 @@ client_run (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 
 /**
  * Connect GET connection for a session
- * 
+ *
  * @param s the session to connect
- * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
+ * @return #GNUNET_OK on success, #GNUNET_SYSERR otherwise
  */
 static int
 client_connect_get (struct Session *s)
 {
+
   CURLMcode mret;
   /* create get connection */
   s->client_get = curl_easy_init ();
@@ -1235,9 +1254,24 @@ client_connect_get (struct Session *s)
 #endif
 #if BUILD_HTTPS
   curl_easy_setopt (s->client_get, CURLOPT_SSLVERSION, CURL_SSLVERSION_TLSv1);
-  curl_easy_setopt (s->client_get, CURLOPT_SSL_VERIFYPEER, 0);
-  curl_easy_setopt (s->client_get, CURLOPT_SSL_VERIFYHOST, 0);
+  if (HTTP_OPTIONS_VERIFY_CERTIFICATE ==
+      (ntohl (s->addr->options) & HTTP_OPTIONS_VERIFY_CERTIFICATE))
+  {
+    curl_easy_setopt (s->client_get, CURLOPT_SSL_VERIFYPEER, 1L);
+    curl_easy_setopt (s->client_get, CURLOPT_SSL_VERIFYHOST, 2L);
+  }
+  else
+  {
+    curl_easy_setopt (s->client_get, CURLOPT_SSL_VERIFYPEER, 0);
+    curl_easy_setopt (s->client_get, CURLOPT_SSL_VERIFYHOST, 0);
+  }
+  curl_easy_setopt (s->client_get, CURLOPT_PROTOCOLS, CURLPROTO_HTTPS);
+  curl_easy_setopt (s->client_get, CURLOPT_REDIR_PROTOCOLS, CURLPROTO_HTTPS);
+#else
+  curl_easy_setopt (s->client_get, CURLOPT_PROTOCOLS, CURLPROTO_HTTP);
+  curl_easy_setopt (s->client_get, CURLOPT_REDIR_PROTOCOLS, CURLPROTO_HTTP);
 #endif
+
   curl_easy_setopt (s->client_get, CURLOPT_URL, s->url);
   //curl_easy_setopt (s->client_get, CURLOPT_HEADERFUNCTION, &curl_get_header_cb);
   //curl_easy_setopt (s->client_get, CURLOPT_WRITEHEADER, ps);
@@ -1249,18 +1283,21 @@ client_connect_get (struct Session *s)
   curl_easy_setopt (s->client_get, CURLOPT_TIMEOUT, 0);
   curl_easy_setopt (s->client_get, CURLOPT_PRIVATE, s);
   curl_easy_setopt (s->client_get, CURLOPT_CONNECTTIMEOUT_MS,
-                    (long) HTTP_CLIENT_NOT_VALIDATED_TIMEOUT.rel_value);
+                    (long) (HTTP_CLIENT_NOT_VALIDATED_TIMEOUT.rel_value_us / 1000LL));
   curl_easy_setopt (s->client_get, CURLOPT_BUFFERSIZE,
                     2 * GNUNET_SERVER_MAX_MESSAGE_SIZE);
 #if CURL_TCP_NODELAY
   curl_easy_setopt (ps->recv_endpoint, CURLOPT_TCP_NODELAY, 1);
 #endif
+  curl_easy_setopt (s->client_get, CURLOPT_FOLLOWLOCATION, 0);
+
   mret = curl_multi_add_handle (s->plugin->curl_multi_handle, s->client_get);
   if (mret != CURLM_OK)
   {
-      GNUNET_log_from (GNUNET_ERROR_TYPE_ERROR, s->plugin->name,
-                       "Session %p : Failed to add GET handle to multihandle: `%s'\n",
-                       s, curl_multi_strerror (mret));
+    GNUNET_log_from (GNUNET_ERROR_TYPE_ERROR, s->plugin->name,
+                     "Session %p : Failed to add GET handle to multihandle: `%s'\n",
+                     s,
+                     curl_multi_strerror (mret));
     curl_easy_cleanup (s->client_get);
     s->client_get = NULL;
     s->get.s = NULL;
@@ -1272,19 +1309,21 @@ client_connect_get (struct Session *s)
   return GNUNET_OK;
 }
 
+
 /**
- * Connect a HTTP put connection 
+ * Connect a HTTP put connection
  *
  * @param s the session to connect
- * @return GNUNET_SYSERR for hard failure, GNUNET_OK for ok
+ * @return #GNUNET_SYSERR for hard failure, #GNUNET_OK for ok
  */
 static int
 client_connect_put (struct Session *s)
 {
   CURLMcode mret;
+
   /* create put connection */
   GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, s->plugin->name,
-                       "Session %p : Init PUT handle \n", s);
+                   "Session %p : Init PUT handle\n", s);
   s->client_put = curl_easy_init ();
   s->put.s = s;
   s->put.easyhandle = s->client_put;
@@ -1295,8 +1334,22 @@ client_connect_put (struct Session *s)
 #endif
 #if BUILD_HTTPS
   curl_easy_setopt (s->client_put, CURLOPT_SSLVERSION, CURL_SSLVERSION_TLSv1);
-  curl_easy_setopt (s->client_put, CURLOPT_SSL_VERIFYPEER, 0);
-  curl_easy_setopt (s->client_put, CURLOPT_SSL_VERIFYHOST, 0);
+  if (HTTP_OPTIONS_VERIFY_CERTIFICATE ==
+      (ntohl (s->addr->options) & HTTP_OPTIONS_VERIFY_CERTIFICATE))
+  {
+    curl_easy_setopt (s->client_put, CURLOPT_SSL_VERIFYPEER, 1L);
+    curl_easy_setopt (s->client_put, CURLOPT_SSL_VERIFYHOST, 2L);
+  }
+  else
+  {
+    curl_easy_setopt (s->client_put, CURLOPT_SSL_VERIFYPEER, 0);
+    curl_easy_setopt (s->client_put, CURLOPT_SSL_VERIFYHOST, 0);
+  }
+  curl_easy_setopt (s->client_get, CURLOPT_PROTOCOLS, CURLPROTO_HTTPS);
+  curl_easy_setopt (s->client_get, CURLOPT_REDIR_PROTOCOLS, CURLPROTO_HTTPS);
+#else
+  curl_easy_setopt (s->client_get, CURLOPT_PROTOCOLS, CURLPROTO_HTTP);
+  curl_easy_setopt (s->client_get, CURLOPT_REDIR_PROTOCOLS, CURLPROTO_HTTP);
 #endif
   curl_easy_setopt (s->client_put, CURLOPT_URL, s->url);
   curl_easy_setopt (s->client_put, CURLOPT_UPLOAD, 1L);
@@ -1310,7 +1363,7 @@ client_connect_put (struct Session *s)
   curl_easy_setopt (s->client_put, CURLOPT_TIMEOUT, 0);
   curl_easy_setopt (s->client_put, CURLOPT_PRIVATE, s);
   curl_easy_setopt (s->client_put, CURLOPT_CONNECTTIMEOUT_MS,
-                    (long) HTTP_CLIENT_NOT_VALIDATED_TIMEOUT.rel_value);
+                    (long) (HTTP_CLIENT_NOT_VALIDATED_TIMEOUT.rel_value_us / 1000LL));
   curl_easy_setopt (s->client_put, CURLOPT_BUFFERSIZE,
                     2 * GNUNET_SERVER_MAX_MESSAGE_SIZE);
 #if CURL_TCP_NODELAY
@@ -1319,9 +1372,10 @@ client_connect_put (struct Session *s)
   mret = curl_multi_add_handle (s->plugin->curl_multi_handle, s->client_put);
   if (mret != CURLM_OK)
   {
-   GNUNET_log_from (GNUNET_ERROR_TYPE_ERROR, s->plugin->name,
-                    "Session %p : Failed to add PUT handle to multihandle: `%s'\n",
-                    s, curl_multi_strerror (mret));
+    GNUNET_log_from (GNUNET_ERROR_TYPE_ERROR, s->plugin->name,
+                     "Session %p : Failed to add PUT handle to multihandle: `%s'\n",
+                     s,
+                     curl_multi_strerror (mret));
     curl_easy_cleanup (s->client_put);
     s->client_put = NULL;
     s->put.easyhandle = NULL;
@@ -1336,9 +1390,9 @@ client_connect_put (struct Session *s)
 
 /**
  * Connect both PUT and GET connection for a session
- * 
+ *
  * @param s the session to connect
- * @return GNUNET_OK on success, GNUNET_SYSERR otherwise
+ * @return #GNUNET_OK on success, #GNUNET_SYSERR otherwise
  */
 static int
 client_connect (struct Session *s)
@@ -1347,20 +1401,22 @@ client_connect (struct Session *s)
   struct HTTP_Client_Plugin *plugin = s->plugin;
   int res = GNUNET_OK;
 
-
   /* create url */
-  if (NULL == http_common_plugin_address_to_string (NULL, s->addr, s->addrlen))
+  if (NULL == http_common_plugin_address_to_string (NULL,
+                                                    plugin->protocol,
+                                                    s->addr, s->addrlen))
   {
-    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+    GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG,
+                     plugin->name,
                      "Invalid address peer `%s'\n",
                      GNUNET_i2s (&s->target));
     return GNUNET_SYSERR;
   }
 
   GNUNET_asprintf (&s->url, "%s/%s;%u",
-      http_common_plugin_address_to_string (plugin, s->addr, s->addrlen),
-                   GNUNET_h2s_full (&plugin->env->my_identity->hashPubKey),
-                   plugin->last_tag);
+                  http_common_plugin_address_to_url (NULL, s->addr, s->addrlen),
+                  GNUNET_i2s_full (plugin->env->my_identity),
+                  plugin->last_tag);
 
   plugin->last_tag++;
 
@@ -1371,20 +1427,21 @@ client_connect (struct Session *s)
   if ((GNUNET_SYSERR == client_connect_get (s)) ||
       (GNUNET_SYSERR == client_connect_put (s)))
   {
-      GNUNET_break (0);
-      return GNUNET_SYSERR;
+    GNUNET_break (0);
+    return GNUNET_SYSERR;
   }
 
-  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
-               "Session %p: connected with connections GET %p and PUT %p\n",
-               s, s->client_get, s->client_put);
+  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG,
+                   plugin->name,
+                   "Session %p: connected with connections GET %p and PUT %p\n",
+                   s, s->client_get, s->client_put);
 
   /* Perform connect */
   plugin->cur_connections += 2;
   GNUNET_STATISTICS_set (plugin->env->stats,
-      "# HTTP client connections",
-      plugin->cur_connections,
-      GNUNET_NO);
+                         HTTP_STAT_STR_CONNECTIONS,
+                         plugin->cur_connections,
+                         GNUNET_NO);
 
   /* Re-schedule since handles have changed */
   if (plugin->client_perform_task != GNUNET_SCHEDULER_NO_TASK)
@@ -1398,8 +1455,48 @@ client_connect (struct Session *s)
 
 
 /**
- * Creates a new outbound session the transport service will use to send data to the
- * peer
+ * Function obtain the network type for a session
+ *
+ * @param cls closure (`struct Plugin*`)
+ * @param session the session
+ * @return the network type
+ */
+static enum GNUNET_ATS_Network_Type
+http_client_get_network (void *cls,
+                        struct Session *session)
+{
+  return ntohl (session->ats_address_network_type);
+}
+
+
+/**
+ * Session was idle, so disconnect it
+ *
+ * @param cls the `struct Session` of the idle session
+ * @param tc scheduler context
+ */
+static void
+client_session_timeout (void *cls,
+                        const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct Session *s = cls;
+
+  s->timeout_task = GNUNET_SCHEDULER_NO_TASK;
+  GNUNET_log (TIMEOUT_LOG,
+              "Session %p was idle for %s, disconnecting\n",
+              s,
+             GNUNET_STRINGS_relative_time_to_string (HTTP_CLIENT_SESSION_TIMEOUT,
+                                                     GNUNET_YES));
+
+  /* call session destroy function */
+  GNUNET_assert (GNUNET_OK == http_client_session_disconnect (s->plugin,
+                                                              s));
+}
+
+
+/**
+ * Creates a new outbound session the transport service will use to
+ * send data to the peer
  *
  * @param cls the plugin
  * @param address the address
@@ -1407,7 +1504,7 @@ client_connect (struct Session *s)
  */
 static struct Session *
 http_client_plugin_get_session (void *cls,
-                  const struct GNUNET_HELLO_Address *address)
+                                const struct GNUNET_HELLO_Address *address)
 {
   struct HTTP_Client_Plugin *plugin = cls;
   struct Session * s = NULL;
@@ -1416,8 +1513,6 @@ http_client_plugin_get_session (void *cls,
   size_t salen = 0;
   int res;
 
-  GNUNET_assert (plugin != NULL);
-  GNUNET_assert (address != NULL);
   GNUNET_assert (address->address != NULL);
 
   /* find existing session */
@@ -1435,41 +1530,42 @@ http_client_plugin_get_session (void *cls,
     return NULL;
   }
 
+  /* Determine network location */
   ats.type = htonl (GNUNET_ATS_NETWORK_TYPE);
   ats.value = htonl (GNUNET_ATS_NET_UNSPECIFIED);
   sa = http_common_socket_from_address (address->address, address->address_length, &res);
-
   if (GNUNET_SYSERR == res)
   {
-      return NULL;
+    return NULL;
   }
   else if (GNUNET_YES == res)
   {
-      GNUNET_assert (NULL != sa);
-      if (AF_INET == sa->sa_family)
-      {
-          salen = sizeof (struct sockaddr_in);
-      }
-      else if (AF_INET == sa->sa_family)
-      {
-          salen = sizeof (struct sockaddr_in6);
-      }
-      ats = plugin->env->get_address_type (plugin->env->cls, sa, salen);
-      GNUNET_free (sa);
+    GNUNET_assert (NULL != sa);
+    if (AF_INET == sa->sa_family)
+    {
+      salen = sizeof (struct sockaddr_in);
+    }
+    else if (AF_INET6 == sa->sa_family)
+    {
+      salen = sizeof (struct sockaddr_in6);
+    }
+    ats = plugin->env->get_address_type (plugin->env->cls, sa, salen);
+    //fprintf (stderr, "Address %s is in %s\n", GNUNET_a2s (sa,salen), GNUNET_ATS_print_network_type(ntohl(ats.value)));
+    GNUNET_free (sa);
   }
   else if (GNUNET_NO == res)
   {
-      ats.value = htonl (GNUNET_ATS_COST_WAN);
+    /* Cannot convert to sockaddr -> is external hostname */
+    ats.value = htonl (GNUNET_ATS_NET_WAN);
   }
-
-  if (GNUNET_ATS_NET_UNSPECIFIED == ntohl(ats.value))
+  if (GNUNET_ATS_NET_UNSPECIFIED == ntohl (ats.value))
   {
-      GNUNET_break (0);
-      return NULL;
+    GNUNET_break (0);
+    return NULL;
   }
 
-  s = GNUNET_malloc (sizeof (struct Session));
-  memcpy (&s->target, &address->peer, sizeof (struct GNUNET_PeerIdentity));
+  s = GNUNET_new (struct Session);
+  s->target = address->peer;
   s->plugin = plugin;
   s->addr = GNUNET_malloc (address->address_length);
   memcpy (s->addr, address->address, address->address_length);
@@ -1478,7 +1574,14 @@ http_client_plugin_get_session (void *cls,
   s->put_paused = GNUNET_NO;
   s->put_tmp_disconnecting = GNUNET_NO;
   s->put_tmp_disconnected = GNUNET_NO;
-  client_start_session_timeout (s);
+  s->timeout_task =  GNUNET_SCHEDULER_add_delayed (HTTP_CLIENT_SESSION_TIMEOUT,
+                                                   &client_session_timeout,
+                                                   s);
+  GNUNET_log_from (GNUNET_ERROR_TYPE_DEBUG, plugin->name,
+                   "Created new session %p for `%s' address `%s''\n",
+                   s,
+                   http_common_plugin_address_to_string (NULL, plugin->protocol, s->addr, s->addrlen),
+                   GNUNET_i2s (&s->target));
 
   /* add new session */
   GNUNET_CONTAINER_DLL_insert (plugin->head, plugin->tail, s);
@@ -1488,7 +1591,7 @@ http_client_plugin_get_session (void *cls,
   {
     GNUNET_log_from (GNUNET_ERROR_TYPE_ERROR, plugin->name,
                      "Cannot connect to peer `%s' address `%s''\n",
-                     http_common_plugin_address_to_string (NULL, s->addr, s->addrlen),
+                     http_common_plugin_address_to_string (NULL, plugin->protocol, s->addr, s->addrlen),
                      GNUNET_i2s (&s->target));
     client_delete_session (s);
     return NULL;
@@ -1501,7 +1604,7 @@ http_client_plugin_get_session (void *cls,
  * Setup http_client plugin
  *
  * @param plugin the plugin handle
- * @return GNUNET_OK on success, GNUNET_SYSERR on error
+ * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
  */
 static int
 client_start (struct HTTP_Client_Plugin *plugin)
@@ -1519,44 +1622,6 @@ client_start (struct HTTP_Client_Plugin *plugin)
   return GNUNET_OK;
 }
 
-/**
- * Session was idle, so disconnect it
- */
-static void
-client_session_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
-{
-  GNUNET_assert (NULL != cls);
-  struct Session *s = cls;
-
-  s->timeout_task = GNUNET_SCHEDULER_NO_TASK;
-  GNUNET_log (TIMEOUT_LOG,
-              "Session %p was idle for %llu ms, disconnecting\n",
-              s, (unsigned long long) CLIENT_SESSION_TIMEOUT.rel_value);
-
-  /* call session destroy function */
-  GNUNET_assert (GNUNET_OK == client_disconnect (s));
-}
-
-
-/**
- * Start session timeout for session s
- *
- * @param s the session
- */
-static void
-client_start_session_timeout (struct Session *s)
-{
-
- GNUNET_assert (NULL != s);
- GNUNET_assert (GNUNET_SCHEDULER_NO_TASK == s->timeout_task);
- s->timeout_task =  GNUNET_SCHEDULER_add_delayed (CLIENT_SESSION_TIMEOUT,
-                                                  &client_session_timeout,
-                                                  s);
- GNUNET_log (TIMEOUT_LOG,
-             "Timeout for session %p set to %llu ms\n",
-             s,  (unsigned long long) CLIENT_SESSION_TIMEOUT.rel_value);
-}
-
 
 /**
  * Increment session timeout due to activity for session s
@@ -1566,36 +1631,16 @@ client_start_session_timeout (struct Session *s)
 static void
 client_reschedule_session_timeout (struct Session *s)
 {
-
- GNUNET_assert (NULL != s);
- GNUNET_assert (GNUNET_SCHEDULER_NO_TASK != s->timeout_task);
-
- GNUNET_SCHEDULER_cancel (s->timeout_task);
- s->timeout_task =  GNUNET_SCHEDULER_add_delayed (CLIENT_SESSION_TIMEOUT,
-                                                  &client_session_timeout,
-                                                  s);
- GNUNET_log (TIMEOUT_LOG,
-             "Timeout rescheduled for session %p set to %llu ms\n",
-             s, (unsigned long long) CLIENT_SESSION_TIMEOUT.rel_value);
-}
-
-
-/**
- * Cancel timeout due to activity for session s
- *
- * param s the session
- */
-static void
-client_stop_session_timeout (struct Session *s)
-{
- GNUNET_assert (NULL != s);
-
- if (GNUNET_SCHEDULER_NO_TASK != s->timeout_task)
- {
-   GNUNET_SCHEDULER_cancel (s->timeout_task);
-   s->timeout_task = GNUNET_SCHEDULER_NO_TASK;
-   GNUNET_log (TIMEOUT_LOG, "Timeout stopped for session %p\n", s);
- }
+  GNUNET_assert (GNUNET_SCHEDULER_NO_TASK != s->timeout_task);
+  GNUNET_SCHEDULER_cancel (s->timeout_task);
+  s->timeout_task =  GNUNET_SCHEDULER_add_delayed (HTTP_CLIENT_SESSION_TIMEOUT,
+                                                   &client_session_timeout,
+                                                   s);
+  GNUNET_log (TIMEOUT_LOG,
+              "Timeout rescheduled for session %p set to %s\n",
+              s,
+              GNUNET_STRINGS_relative_time_to_string (HTTP_CLIENT_SESSION_TIMEOUT,
+                                                      GNUNET_YES));
 }
 
 
@@ -1605,14 +1650,16 @@ client_stop_session_timeout (struct Session *s)
  * address.  If so, consider adding it to the list
  * of addresses.
  *
- * @param cls closure
+ * @param cls closure with the `struct Plugin`
  * @param addr pointer to the address
- * @param addrlen length of addr
- * @return GNUNET_OK if this is a plausible address for this peer
- *         and transport
+ * @param addrlen length of @a addr
+ * @return #GNUNET_OK if this is a plausible address for this peer
+ *         and transport; always returns #GNUNET_NO (this is the client!)
  */
 static int
-http_client_plugin_address_suggested (void *cls, const void *addr, size_t addrlen)
+http_client_plugin_address_suggested (void *cls,
+                                      const void *addr,
+                                      size_t addrlen)
 {
   /* struct Plugin *plugin = cls; */
 
@@ -1650,13 +1697,13 @@ LIBGNUNET_PLUGIN_TRANSPORT_DONE (void *cls)
   next = plugin->head;
   while (NULL != (pos = next))
   {
-      next = pos->next;
-      client_disconnect (pos);
+    next = pos->next;
+    http_client_session_disconnect (plugin, pos);
   }
   if (GNUNET_SCHEDULER_NO_TASK != plugin->client_perform_task)
   {
-      GNUNET_SCHEDULER_cancel (plugin->client_perform_task);
-      plugin->client_perform_task = GNUNET_SCHEDULER_NO_TASK;
+    GNUNET_SCHEDULER_cancel (plugin->client_perform_task);
+    plugin->client_perform_task = GNUNET_SCHEDULER_NO_TASK;
   }
 
 
@@ -1681,7 +1728,7 @@ LIBGNUNET_PLUGIN_TRANSPORT_DONE (void *cls)
  * Configure plugin
  *
  * @param plugin the plugin handle
- * @return GNUNET_OK on success, GNUNET_SYSERR on failure
+ * @return #GNUNET_OK on success, #GNUNET_SYSERR on failure
  */
 static int
 client_configure_plugin (struct HTTP_Client_Plugin *plugin)
@@ -1701,6 +1748,32 @@ client_configure_plugin (struct HTTP_Client_Plugin *plugin)
   return GNUNET_OK;
 }
 
+
+static const char *
+http_plugin_address_to_string (void *cls,
+                               const void *addr,
+                               size_t addrlen)
+{
+  return http_common_plugin_address_to_string (cls, PLUGIN_NAME, addr, addrlen);
+}
+
+
+static void
+http_client_plugin_update_session_timeout (void *cls,
+                                  const struct GNUNET_PeerIdentity *peer,
+                                  struct Session *session)
+{
+  struct HTTP_Client_Plugin *plugin = cls;
+
+  /* lookup if session is really existing */
+  if (GNUNET_YES != client_exist_session (plugin, session))
+  {
+    GNUNET_break (0);
+    return;
+  }
+  client_reschedule_session_timeout (session);
+}
+
 /**
  * Entry point for the plugin.
  */
@@ -1715,27 +1788,29 @@ LIBGNUNET_PLUGIN_TRANSPORT_INIT (void *cls)
   {
     /* run in 'stub' mode (i.e. as part of gnunet-peerinfo), don't fully
        initialze the plugin or the API */
-    api = GNUNET_malloc (sizeof (struct GNUNET_TRANSPORT_PluginFunctions));
+    api = GNUNET_new (struct GNUNET_TRANSPORT_PluginFunctions);
     api->cls = NULL;
-    api->address_to_string = &http_common_plugin_address_to_string;
+    api->address_to_string = &http_plugin_address_to_string;
     api->string_to_address = &http_common_plugin_string_to_address;
     api->address_pretty_printer = &http_common_plugin_address_pretty_printer;
     return api;
   }
 
-  plugin = GNUNET_malloc (sizeof (struct HTTP_Client_Plugin));
-  p = plugin;
+  plugin = GNUNET_new (struct HTTP_Client_Plugin);
   plugin->env = env;
-  api = GNUNET_malloc (sizeof (struct GNUNET_TRANSPORT_PluginFunctions));
+  api = GNUNET_new (struct GNUNET_TRANSPORT_PluginFunctions);
   api->cls = plugin;
   api->send = &http_client_plugin_send;
-  api->disconnect = &http_client_plugin_disconnect;
+  api->disconnect_session = &http_client_session_disconnect;
+  api->query_keepalive_factor = &http_client_query_keepalive_factor;
+  api->disconnect_peer = &http_client_peer_disconnect;
   api->check_address = &http_client_plugin_address_suggested;
   api->get_session = &http_client_plugin_get_session;
-  api->address_to_string = &http_common_plugin_address_to_string;
+  api->address_to_string = &http_plugin_address_to_string;
   api->string_to_address = &http_common_plugin_string_to_address;
   api->address_pretty_printer = &http_common_plugin_address_pretty_printer;
-
+  api->get_network = &http_client_get_network;
+  api->update_session_timeout = &http_client_plugin_update_session_timeout;
 
 #if BUILD_HTTPS
   plugin->name = "transport-https_client";
@@ -1745,18 +1820,19 @@ LIBGNUNET_PLUGIN_TRANSPORT_INIT (void *cls)
   plugin->protocol = "http";
 #endif
   plugin->last_tag = 1;
+  plugin->options = 0; /* Setup options */
 
   if (GNUNET_SYSERR == client_configure_plugin (plugin))
   {
-      LIBGNUNET_PLUGIN_TRANSPORT_DONE (api);
-      return NULL;
+    LIBGNUNET_PLUGIN_TRANSPORT_DONE (api);
+    return NULL;
   }
 
   /* Start client */
   if (GNUNET_SYSERR == client_start (plugin))
   {
-      LIBGNUNET_PLUGIN_TRANSPORT_DONE (api);
-      return NULL;
+    LIBGNUNET_PLUGIN_TRANSPORT_DONE (api);
+    return NULL;
   }
   return api;
 }