NAMESTORE/JSON: fix parsing exp and flags
[oweals/gnunet.git] / src / hostlist / gnunet-daemon-hostlist_server.c
index df45cd516bfb285f02e15f6144b742a04ef2b51d..529fe4e6249323b90fc22a9a447fbcd20beeea58 100644 (file)
@@ -1,21 +1,21 @@
 /*
      This file is part of GNUnet.
-     (C) 2008, 2009, 2010, 2014 Christian Grothoff (and other contributing authors)
+     Copyright (C) 2008, 2009, 2010, 2014, 2016 GNUnet e.V.
 
-     GNUnet is free software; you can redistribute it and/or modify
-     it under the terms of the GNU General Public License as published
-     by the Free Software Foundation; either version 3, or (at your
-     option) any later version.
+     GNUnet is free software: you can redistribute it and/or modify it
+     under the terms of the GNU Affero General Public License as published
+     by the Free Software Foundation, either version 3 of the License,
+     or (at your option) any later version.
 
      GNUnet is distributed in the hope that it will be useful, but
      WITHOUT ANY WARRANTY; without even the implied warranty of
      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
-     General Public License for more details.
+     Affero General Public License for more details.
+    
+     You should have received a copy of the GNU Affero General Public License
+     along with this program.  If not, see <http://www.gnu.org/licenses/>.
 
-     You should have received a copy of the GNU General Public License
-     along with GNUnet; see the file COPYING.  If not, write to the
-     Free Software Foundation, Inc., 59 Temple Place - Suite 330,
-     Boston, MA 02111-1307, USA.
+     SPDX-License-Identifier: AGPL3.0-or-later
 */
 
 /**
@@ -74,12 +74,12 @@ static struct GNUNET_PEERINFO_NotifyContext *notify;
 /**
  * Our primary task for IPv4.
  */
-static GNUNET_SCHEDULER_TaskIdentifier hostlist_task_v4;
+static struct GNUNET_SCHEDULER_Task *hostlist_task_v4;
 
 /**
  * Our primary task for IPv6.
  */
-static GNUNET_SCHEDULER_TaskIdentifier hostlist_task_v6;
+static struct GNUNET_SCHEDULER_Task *hostlist_task_v6;
 
 /**
  * Our canonical response.
@@ -103,15 +103,25 @@ static char *hostlist_uri;
 
 
 /**
- * Context for host processor.
+ * Context for #host_processor().
  */
 struct HostSet
 {
-  unsigned int size;
+  /**
+   * Iterator used to build @e data (NULL when done).
+   */
+  struct GNUNET_PEERINFO_IteratorContext *pitr;
 
+  /**
+   * Place where we accumulate all of the HELLO messages.
+   */
   char *data;
 
-  struct GNUNET_PEERINFO_IteratorContext *pitr;
+  /**
+   * Number of bytes in @e data.
+   */
+  unsigned int size;
+
 };
 
 
@@ -121,6 +131,27 @@ struct HostSet
 static struct HostSet *builder;
 
 
+/**
+ * Add headers to a request indicating that we allow Cross-Origin Resource
+ * Sharing.
+ *
+ * @param response response to add headers to
+ */
+static void
+add_cors_headers (struct MHD_Response *response)
+{
+  MHD_add_response_header (response,
+                           "Access-Control-Allow-Origin",
+                           "*");
+  MHD_add_response_header (response,
+                           "Access-Control-Allow-Methods",
+                           "GET, OPTIONS");
+  MHD_add_response_header (response,
+                           "Access-Control-Max-Age",
+                           "86400");
+}
+
+
 /**
  * Function that assembles our response.
  */
@@ -133,8 +164,10 @@ finish_response ()
               "Creating hostlist response with %u bytes\n",
               (unsigned int) builder->size);
   response =
-      MHD_create_response_from_data (builder->size, builder->data, MHD_YES,
-                                     MHD_NO);
+      MHD_create_response_from_buffer (builder->size,
+                                       builder->data,
+                                       MHD_RESPMEM_MUST_FREE);
+  add_cors_headers (response);
   if ((NULL == daemon_handle_v4) && (NULL == daemon_handle_v6))
   {
     MHD_destroy_response (response);
@@ -181,7 +214,7 @@ check_has_addr (void *cls,
  * @param cls closure, NULL
  * @param peer id of the peer, NULL for last call
  * @param hello hello message for the peer (can be NULL)
- * @param error message
+ * @param err_msg message
  */
 static void
 host_processor (void *cls,
@@ -199,6 +232,7 @@ host_processor (void *cls,
     builder->pitr = NULL;
     GNUNET_free_non_null (builder->data);
     GNUNET_free (builder);
+    builder = NULL;
     GNUNET_log (GNUNET_ERROR_TYPE_INFO,
                 _("Error in communication with PEERINFO service: %s\n"),
                 err_msg);
@@ -235,21 +269,26 @@ host_processor (void *cls,
               (unsigned int) s,
               "HELLO",
               GNUNET_i2s (peer));
-  if ((old + s >= GNUNET_MAX_MALLOC_CHECKED) ||
-      (old + s >= MAX_BYTES_PER_HOSTLISTS))
+  if ( (old + s >= GNUNET_MAX_MALLOC_CHECKED) ||
+       (old + s >= MAX_BYTES_PER_HOSTLISTS) )
   {
+    /* too large, skip! */
     GNUNET_STATISTICS_update (stats,
                               gettext_noop
                               ("bytes not included in hostlist (size limit)"),
                               s, GNUNET_NO);
-    return;                     /* too large, skip! */
+    return;
   }
   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
               "Adding peer `%s' to hostlist (%u bytes)\n",
               GNUNET_i2s (peer),
               (unsigned int) s);
-  GNUNET_array_grow (builder->data, builder->size, old + s);
-  memcpy (&builder->data[old], hello, s);
+  GNUNET_array_grow (builder->data,
+                     builder->size,
+                     old + s);
+  GNUNET_memcpy (&builder->data[old],
+          hello,
+          s);
 }
 
 
@@ -277,32 +316,12 @@ accept_policy_callback (void *cls,
 }
 
 
-/**
- * Add headers to a request indicating that we allow Cross-Origin Resource
- * Sharing.
- *
- * @param response response to add headers to
- */
-static void
-add_cors_headers (struct MHD_Response *response)
-{
-  MHD_add_response_header (response,
-                           "Access-Control-Allow-Origin",
-                           "*");
-  MHD_add_response_header (response,
-                           "Access-Control-Allow-Methods",
-                           "GET, OPTIONS");
-  MHD_add_response_header (response,
-                           "Access-Control-Max-Age",
-                           "86400");
-}
-
-
 /**
  * Main request handler.
  *
  * @param cls argument given together with the function
  *        pointer when the handler was registered with MHD
+ * @param connection
  * @param url the requested url
  * @param method the HTTP method used (#MHD_HTTP_METHOD_GET,
  *        #MHD_HTTP_METHOD_PUT, etc.)
@@ -370,9 +389,7 @@ access_handler_callback (void *cls,
   if (NULL == *con_cls)
   {
     (*con_cls) = &dummy;
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "Sending 100 CONTINUE reply\n");
-    return MHD_YES;             /* send 100 continue */
+    return MHD_YES;
   }
   if (0 != *upload_data_size)
   {
@@ -400,7 +417,6 @@ access_handler_callback (void *cls,
   GNUNET_STATISTICS_update (stats,
                             gettext_noop ("hostlist requests processed"),
                             1, GNUNET_YES);
-  add_cors_headers (response);
   return MHD_queue_response (connection, MHD_HTTP_OK, response);
 }
 
@@ -408,46 +424,47 @@ access_handler_callback (void *cls,
 /**
  * Handler called by CORE when CORE is ready to transmit message
  *
- * @param cls closure
+ * @param cls closure with the `const struct GNUNET_PeerIdentity *` of
+ *            the peer we are sending to
  * @param size size of buffer to copy message to
  * @param buf buffer to copy message to
  * @return number of bytes copied to @a buf
  */
-static size_t
-adv_transmit_ready (void *cls,
-                    size_t size,
-                    void *buf)
+static void
+adv_transmit (struct GNUNET_MQ_Handle *mq)
 {
   static uint64_t hostlist_adv_count;
-  size_t transmission_size;
+  const void *extra;
+  uint64_t flags;
   size_t uri_size;              /* Including \0 termination! */
-  struct GNUNET_MessageHeader header;
-  char *cbuf;
+  struct GNUNET_MessageHeader *header;
+  struct GNUNET_MQ_Envelope *env;
 
-  if (NULL == buf)
-  {
-    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                "Transmission failed, buffer invalid!\n");
-    return 0;
-  }
+  extra = GNUNET_CORE_get_mq_options (GNUNET_YES,
+                                     GNUNET_CORE_PRIO_BEST_EFFORT,
+                                     &flags);
   uri_size = strlen (hostlist_uri) + 1;
-  transmission_size = sizeof (struct GNUNET_MessageHeader) + uri_size;
-  header.type = htons (GNUNET_MESSAGE_TYPE_HOSTLIST_ADVERTISEMENT);
-  header.size = htons (transmission_size);
-  GNUNET_assert (size >= transmission_size);
-  memcpy (buf, &header, sizeof (struct GNUNET_MessageHeader));
-  cbuf = buf;
-  memcpy (&cbuf[sizeof (struct GNUNET_MessageHeader)], hostlist_uri, uri_size);
+  env = GNUNET_MQ_msg_extra (header,
+                            uri_size,
+                            GNUNET_MESSAGE_TYPE_HOSTLIST_ADVERTISEMENT);
+  GNUNET_memcpy (&header[1],
+                hostlist_uri,
+                uri_size);
+  GNUNET_MQ_env_set_options (env,
+                            flags,
+                            extra);
+  GNUNET_MQ_send (mq,
+                 env);
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
               "Sent advertisement message: Copied %u bytes into buffer!\n",
-              (unsigned int) transmission_size);
+              (unsigned int) uri_size);
   hostlist_adv_count++;
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " # Sent advertisement message: %u\n",
-              hostlist_adv_count);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              " # Sent advertisement message: %llu\n",
+              (unsigned long long) hostlist_adv_count);
   GNUNET_STATISTICS_update (stats,
                             gettext_noop ("# hostlist advertisements send"), 1,
                             GNUNET_NO);
-  return transmission_size;
 }
 
 
@@ -456,59 +473,39 @@ adv_transmit_ready (void *cls,
  *
  * @param cls closure
  * @param peer peer identity this notification is about
+ * @param mq queue for transmission to @a peer
+ * @return NULL (must!)
  */
-static void
+static void *
 connect_handler (void *cls,
-                 const struct GNUNET_PeerIdentity *peer)
+                 const struct GNUNET_PeerIdentity *peer,
+                struct GNUNET_MQ_Handle *mq)
 {
   size_t size;
 
-  if (!advertising)
-    return;
+  if (! advertising)
+    return NULL;
   if (NULL == hostlist_uri)
-    return;
+    return NULL;
   size = strlen (hostlist_uri) + 1;
   if (size + sizeof (struct GNUNET_MessageHeader) >=
-      GNUNET_SERVER_MAX_MESSAGE_SIZE)
+      GNUNET_MAX_MESSAGE_SIZE)
   {
     GNUNET_break (0);
-    return;
+    return NULL;
   }
   size += sizeof (struct GNUNET_MessageHeader);
   if (NULL == core)
   {
     GNUNET_break (0);
-    return;
+    return NULL;
   }
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
               "Asked CORE to transmit advertisement message with a size of %u bytes to peer `%s'\n",
-              size,
+              (unsigned int) size,
               GNUNET_i2s (peer));
-  if (NULL ==
-      GNUNET_CORE_notify_transmit_ready (core, GNUNET_YES,
-                                         GNUNET_CORE_PRIO_BEST_EFFORT,
-                                         GNUNET_ADV_TIMEOUT,
-                                         peer,
-                                         size,
-                                         &adv_transmit_ready, NULL))
-  {
-    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                _("Advertisement message could not be queued by core\n"));
-  }
-}
-
-
-/**
- * Method called whenever a given peer disconnects.
- *
- * @param cls closure
- * @param peer peer identity this notification is about
- */
-static void
-disconnect_handler (void *cls,
-                    const struct GNUNET_PeerIdentity *peer)
-{
-  /* nothing to do */
+  adv_transmit (mq);
+  return NULL;
 }
 
 
@@ -550,8 +547,9 @@ process_notify (void *cls,
     builder = GNUNET_new (struct HostSet);
   }
   GNUNET_assert (NULL != peerinfo);
-  builder->pitr =
-      GNUNET_PEERINFO_iterate (peerinfo, GNUNET_NO, NULL, GNUNET_TIME_UNIT_MINUTES,
+  builder->pitr
+    = GNUNET_PEERINFO_iterate (peerinfo,
+                               GNUNET_NO, NULL,
                                &host_processor, NULL);
 }
 
@@ -560,7 +558,7 @@ process_notify (void *cls,
  * Function that queries MHD's select sets and
  * starts the task waiting for them.
  */
-static GNUNET_SCHEDULER_TaskIdentifier
+static struct GNUNET_SCHEDULER_Task *
 prepare_daemon (struct MHD_Daemon *daemon_handle);
 
 
@@ -569,21 +567,16 @@ prepare_daemon (struct MHD_Daemon *daemon_handle);
  * and schedule the next run.
  *
  * @param cls the `struct MHD_Daemon` of the HTTP server to run
- * @param tc scheduler context
  */
 static void
-run_daemon (void *cls,
-            const struct GNUNET_SCHEDULER_TaskContext *tc)
+run_daemon (void *cls)
 {
   struct MHD_Daemon *daemon_handle = cls;
 
   if (daemon_handle == daemon_handle_v4)
-    hostlist_task_v4 = GNUNET_SCHEDULER_NO_TASK;
+    hostlist_task_v4 = NULL;
   else
-    hostlist_task_v6 = GNUNET_SCHEDULER_NO_TASK;
-
-  if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
-    return;
+    hostlist_task_v6 = NULL;
   GNUNET_assert (MHD_YES == MHD_run (daemon_handle));
   if (daemon_handle == daemon_handle_v4)
     hostlist_task_v4 = prepare_daemon (daemon_handle);
@@ -598,10 +591,10 @@ run_daemon (void *cls,
  *
  * @param daemon_handle HTTP server to prepare to run
  */
-static GNUNET_SCHEDULER_TaskIdentifier
+static struct GNUNET_SCHEDULER_Task *
 prepare_daemon (struct MHD_Daemon *daemon_handle)
 {
-  GNUNET_SCHEDULER_TaskIdentifier ret;
+  struct GNUNET_SCHEDULER_Task * ret;
   fd_set rs;
   fd_set ws;
   fd_set es;
@@ -618,7 +611,9 @@ prepare_daemon (struct MHD_Daemon *daemon_handle)
   wrs = GNUNET_NETWORK_fdset_create ();
   wws = GNUNET_NETWORK_fdset_create ();
   max = -1;
-  GNUNET_assert (MHD_YES == MHD_get_fdset (daemon_handle, &rs, &ws, &es, &max));
+  GNUNET_assert (MHD_YES ==
+                MHD_get_fdset (daemon_handle,
+                               &rs, &ws, &es, &max));
   haveto = MHD_get_timeout (daemon_handle, &timeout);
   if (haveto == MHD_YES)
     tv.rel_value_us = (uint64_t) timeout * 1000LL;
@@ -626,10 +621,9 @@ prepare_daemon (struct MHD_Daemon *daemon_handle)
     tv = GNUNET_TIME_UNIT_FOREVER_REL;
   GNUNET_NETWORK_fdset_copy_native (wrs, &rs, max + 1);
   GNUNET_NETWORK_fdset_copy_native (wws, &ws, max + 1);
-  ret =
-      GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_HIGH,
-                                  tv, wrs, wws,
-                                   &run_daemon, daemon_handle);
+  ret = GNUNET_SCHEDULER_add_select (GNUNET_SCHEDULER_PRIORITY_HIGH,
+                                    tv, wrs, wws,
+                                    &run_daemon, daemon_handle);
   GNUNET_NETWORK_fdset_destroy (wrs);
   GNUNET_NETWORK_fdset_destroy (wws);
   return ret;
@@ -642,8 +636,7 @@ prepare_daemon (struct MHD_Daemon *daemon_handle)
  * @param c configuration to use
  * @param st statistics handle to use
  * @param co core handle to use
- * @param server_ch[OUT] set to handler for CORE connect events
- * @param server_dh[OUT] set to handler for CORE disconnect events
+ * @param[out] server_ch set to handler for CORE connect events
  * @param advertise #GNUNET_YES if we should advertise our hostlist
  * @return #GNUNET_OK on success
  */
@@ -652,7 +645,6 @@ GNUNET_HOSTLIST_server_start (const struct GNUNET_CONFIGURATION_Handle *c,
                               struct GNUNET_STATISTICS_Handle *st,
                               struct GNUNET_CORE_Handle *co,
                               GNUNET_CORE_ConnectEventHandler *server_ch,
-                              GNUNET_CORE_DisconnectEventHandler *server_dh,
                               int advertise)
 {
   unsigned long long port;
@@ -669,11 +661,15 @@ GNUNET_HOSTLIST_server_start (const struct GNUNET_CONFIGURATION_Handle *c,
 
   advertising = advertise;
   if (! advertising)
+  {
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "Advertising not enabled on this hostlist server\n");
+  }
   else
+  {
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "Advertising enabled on this hostlist server\n");
+  }
   cfg = c;
   stats = st;
   peerinfo = GNUNET_PEERINFO_connect (cfg);
@@ -727,17 +723,30 @@ GNUNET_HOSTLIST_server_start (const struct GNUNET_CONFIGURATION_Handle *c,
 
   if (GNUNET_CONFIGURATION_have_value (cfg, "HOSTLIST", "BINDTOIPV4"))
   {
-    GNUNET_break (GNUNET_OK ==
-                  GNUNET_CONFIGURATION_get_value_string (cfg, "HOSTLIST",
-                                                         "BINDTOIP", &ipv4));
+    if (GNUNET_OK !=
+        GNUNET_CONFIGURATION_get_value_string (cfg, "HOSTLIST",
+                                               "BINDTOIP", &ipv4))
+    {
+      GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                  _("BINDTOIP does not a valid IPv4 address! Ignoring BINDTOIPV4.\n"));
+    }
+
   }
   else
     ipv4 = NULL;
-  if (GNUNET_CONFIGURATION_have_value (cfg, "HOSTLIST", "BINDTOIPV6"))
-  {
-    GNUNET_break (GNUNET_OK ==
-                  GNUNET_CONFIGURATION_get_value_string (cfg, "HOSTLIST",
-                                                         "BINDTOIP", &ipv6));
+  if (GNUNET_CONFIGURATION_have_value (cfg,
+                                      "HOSTLIST",
+                                      "BINDTOIPV6"))
+  {
+    if (GNUNET_OK !=
+        GNUNET_CONFIGURATION_get_value_string (cfg,
+                                              "HOSTLIST",
+                                               "BINDTOIP",
+                                              &ipv6))
+      {
+      GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+          _("BINDTOIP does not a valid IPv4 address! Ignoring BINDTOIPV6.\n"));
+    }
   }
   else
     ipv6 = NULL;
@@ -787,9 +796,9 @@ GNUNET_HOSTLIST_server_start (const struct GNUNET_CONFIGURATION_Handle *c,
                                        &accept_policy_callback, NULL,
                                        &access_handler_callback, NULL,
                                        MHD_OPTION_CONNECTION_LIMIT,
-                                       (unsigned int) 16,
+                                       (unsigned int) 128,
                                        MHD_OPTION_PER_IP_CONNECTION_LIMIT,
-                                       (unsigned int) 1,
+                                       (unsigned int) 32,
                                        MHD_OPTION_CONNECTION_TIMEOUT,
                                        (unsigned int) 16,
                                        MHD_OPTION_CONNECTION_MEMORY_LIMIT,
@@ -802,9 +811,9 @@ GNUNET_HOSTLIST_server_start (const struct GNUNET_CONFIGURATION_Handle *c,
                                        &accept_policy_callback, NULL,
                                        &access_handler_callback, NULL,
                                        MHD_OPTION_CONNECTION_LIMIT,
-                                       (unsigned int) 16,
+                                       (unsigned int) 128,
                                        MHD_OPTION_PER_IP_CONNECTION_LIMIT,
-                                       (unsigned int) 1,
+                                       (unsigned int) 32,
                                        MHD_OPTION_CONNECTION_TIMEOUT,
                                        (unsigned int) 16,
                                        MHD_OPTION_CONNECTION_MEMORY_LIMIT,
@@ -824,12 +833,12 @@ GNUNET_HOSTLIST_server_start (const struct GNUNET_CONFIGURATION_Handle *c,
 
   core = co;
   *server_ch = &connect_handler;
-  *server_dh = &disconnect_handler;
   if (NULL != daemon_handle_v4)
     hostlist_task_v4 = prepare_daemon (daemon_handle_v4);
   if (NULL != daemon_handle_v6)
     hostlist_task_v6 = prepare_daemon (daemon_handle_v6);
-  notify = GNUNET_PEERINFO_notify (cfg, GNUNET_NO,
+  notify = GNUNET_PEERINFO_notify (cfg,
+                                   GNUNET_NO,
                                    &process_notify, NULL);
   return GNUNET_OK;
 }
@@ -841,16 +850,17 @@ GNUNET_HOSTLIST_server_start (const struct GNUNET_CONFIGURATION_Handle *c,
 void
 GNUNET_HOSTLIST_server_stop ()
 {
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Hostlist server shutdown\n");
-  if (GNUNET_SCHEDULER_NO_TASK != hostlist_task_v6)
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "Hostlist server shutdown\n");
+  if (NULL != hostlist_task_v6)
   {
     GNUNET_SCHEDULER_cancel (hostlist_task_v6);
-    hostlist_task_v6 = GNUNET_SCHEDULER_NO_TASK;
+    hostlist_task_v6 = NULL;
   }
-  if (GNUNET_SCHEDULER_NO_TASK != hostlist_task_v4)
+  if (NULL != hostlist_task_v4)
   {
     GNUNET_SCHEDULER_cancel (hostlist_task_v4);
-    hostlist_task_v4 = GNUNET_SCHEDULER_NO_TASK;
+    hostlist_task_v4 = NULL;
   }
   if (NULL != daemon_handle_v4)
   {
@@ -881,6 +891,7 @@ GNUNET_HOSTLIST_server_stop ()
     }
     GNUNET_free_non_null (builder->data);
     GNUNET_free (builder);
+    builder = NULL;
   }
   if (NULL != peerinfo)
   {