trying to fix #3576
[oweals/gnunet.git] / src / fs / fs_search.c
index d4f0770e3f18824c1fcde857c54219fe4934fbd0..c85d6d3df62d5e07225d59814e74bc1773e3c105 100644 (file)
@@ -1,6 +1,6 @@
 /*
      This file is part of GNUnet.
-     (C) 2001-2013 Christian Grothoff (and other contributing authors)
+     (C) 2001-2014 Christian Grothoff (and other contributing authors)
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
@@ -171,7 +171,9 @@ struct GetResultContext
  * @return #GNUNET_OK
  */
 static int
-get_result_present (void *cls, const struct GNUNET_HashCode * key, void *value)
+get_result_present (void *cls,
+                    const struct GNUNET_HashCode *key,
+                    void *value)
 {
   struct GetResultContext *grc = cls;
   struct GNUNET_FS_SearchResult *sr = value;
@@ -216,7 +218,8 @@ signal_probe_result (struct GNUNET_FS_SearchResult *sr)
  * @param tc scheduler context
  */
 static void
-probe_failure_handler (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+probe_failure_handler (void *cls,
+                       const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct GNUNET_FS_SearchResult *sr = cls;
 
@@ -224,11 +227,7 @@ probe_failure_handler (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   sr->availability_trials++;
   GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
   sr->probe_ctx = NULL;
-  if (GNUNET_SCHEDULER_NO_TASK != sr->probe_ping_task)
-  {
-    GNUNET_SCHEDULER_cancel (sr->probe_ping_task);
-    sr->probe_ping_task = GNUNET_SCHEDULER_NO_TASK;
-  }
+  GNUNET_FS_stop_probe_ping_task_ (sr);
   GNUNET_FS_search_result_sync_ (sr);
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
              "Probe #%u for search result %p failed\n",
@@ -245,7 +244,8 @@ probe_failure_handler (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
  * @param tc scheduler context
  */
 static void
-probe_success_handler (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+probe_success_handler (void *cls,
+                       const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct GNUNET_FS_SearchResult *sr = cls;
 
@@ -254,11 +254,7 @@ probe_success_handler (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   sr->availability_success++;
   GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
   sr->probe_ctx = NULL;
-  if (GNUNET_SCHEDULER_NO_TASK != sr->probe_ping_task)
-  {
-    GNUNET_SCHEDULER_cancel (sr->probe_ping_task);
-    sr->probe_ping_task = GNUNET_SCHEDULER_NO_TASK;
-  }
+  GNUNET_FS_stop_probe_ping_task_ (sr);
   GNUNET_FS_search_result_sync_ (sr);
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
              "Probe #%u for search result %p succeeded\n",
@@ -367,20 +363,64 @@ GNUNET_FS_search_probe_progress_ (void *cls,
 /**
  * Task run periodically to remind clients that a probe is active.
  *
- * @param cls the 'struct GNUNET_FS_SearchResult' that we are probing for
+ * @param cls the `struct GNUNET_FS_SearchResult` that we are probing for
  * @param tc scheduler context
  */
 static void
-probe_ping_task (void *cls,
-                const struct GNUNET_SCHEDULER_TaskContext *tc)
+probe_ping_task_cb (void *cls,
+                    const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  struct GNUNET_FS_SearchResult *sr = cls;
+  struct GNUNET_FS_Handle *h = cls;
+  struct GNUNET_FS_SearchResult *sr;
 
-  signal_probe_result (sr);
-  sr->probe_ping_task
+  for (sr = h->probes_head; NULL != sr; sr = sr->next)
+    if (NULL != sr->probe_ctx->client)
+      signal_probe_result (sr);
+  h->probe_ping_task
     = GNUNET_SCHEDULER_add_delayed (GNUNET_FS_PROBE_UPDATE_FREQUENCY,
-                                   &probe_ping_task,
-                                   sr);
+                                   &probe_ping_task_cb,
+                                   h);
+}
+
+
+/**
+ * Start the ping task for this search result.
+ *
+ * @param sr result to start pinging for.
+ */
+static void
+start_probe_ping_task (struct GNUNET_FS_SearchResult *sr)
+{
+  struct GNUNET_FS_Handle *h = sr->h;
+
+  GNUNET_CONTAINER_DLL_insert (h->probes_head,
+                               h->probes_tail,
+                               sr);
+  if (GNUNET_SCHEDULER_NO_TASK == h->probe_ping_task)
+    h->probe_ping_task
+      = GNUNET_SCHEDULER_add_now (&probe_ping_task_cb,
+                                  h);
+}
+
+
+/**
+ * Stop the ping task for this search result.
+ *
+ * @param sr result to start pinging for.
+ */
+void
+GNUNET_FS_stop_probe_ping_task_ (struct GNUNET_FS_SearchResult *sr)
+{
+  struct GNUNET_FS_Handle *h = sr->h;
+
+  GNUNET_CONTAINER_DLL_remove (h->probes_head,
+                               h->probes_tail,
+                               sr);
+  if (NULL == h->probes_head)
+  {
+    GNUNET_SCHEDULER_cancel (h->probe_ping_task);
+    h->probe_ping_task = GNUNET_SCHEDULER_NO_TASK;
+  }
 }
 
 
@@ -431,9 +471,7 @@ GNUNET_FS_search_start_probe_ (struct GNUNET_FS_SearchResult *sr)
                                 len, sr->anonymity,
                                 GNUNET_FS_DOWNLOAD_NO_TEMPORARIES |
                                 GNUNET_FS_DOWNLOAD_IS_PROBE, sr, NULL);
-  sr->probe_ping_task
-    = GNUNET_SCHEDULER_add_now (&probe_ping_task,
-                               sr);
+  start_probe_ping_task (sr);
 }
 
 
@@ -480,11 +518,7 @@ GNUNET_FS_search_stop_probe_ (struct GNUNET_FS_SearchResult *sr)
   {
     GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
     sr->probe_ctx = NULL;
-  }
-  if (GNUNET_SCHEDULER_NO_TASK != sr->probe_ping_task)
-  {
-    GNUNET_SCHEDULER_cancel (sr->probe_ping_task);
-    sr->probe_ping_task = GNUNET_SCHEDULER_NO_TASK;
+    GNUNET_FS_stop_probe_ping_task_ (sr);
   }
   if (GNUNET_SCHEDULER_NO_TASK != sr->probe_cancel_task)
   {
@@ -584,7 +618,7 @@ process_ksk_result (struct GNUNET_FS_SearchContext *sc,
                   (koff < sc->uri->data.ksk.keywordCount));
   sr->keyword_bitmap[koff / 8] |= (1 << (koff % 8));
   /* check if mandatory satisfied */
-  if (1 == GNUNET_CONTAINER_multihashmap_size (ent->results))
+  if (1 <= GNUNET_CONTAINER_multihashmap_size (ent->results))
   {
     if (ent->mandatory)
     {
@@ -1006,7 +1040,9 @@ struct MessageBuilderContext
  * @return #GNUNET_OK to continue iterating
  */
 static int
-build_result_set (void *cls, const struct GNUNET_HashCode * key, void *value)
+build_result_set (void *cls,
+                  const struct GNUNET_HashCode *key,
+                  void *value)
 {
   struct MessageBuilderContext *mbc = cls;
   struct GNUNET_FS_SearchResult *sr = value;
@@ -1029,9 +1065,8 @@ build_result_set (void *cls, const struct GNUNET_HashCode * key, void *value)
 
 
 /**
- * Iterating over the known results, count those
- * matching the given result range and increment
- * put count for each.
+ * Iterating over the known results, count those matching the given
+ * result range and increment put count for each.
  *
  * @param cls the `struct MessageBuilderContext`
  * @param key key for a result
@@ -1039,7 +1074,9 @@ build_result_set (void *cls, const struct GNUNET_HashCode * key, void *value)
  * @return #GNUNET_OK to continue iterating
  */
 static int
-find_result_set (void *cls, const struct GNUNET_HashCode * key, void *value)
+find_result_set (void *cls,
+                 const struct GNUNET_HashCode *key,
+                 void *value)
 {
   struct MessageBuilderContext *mbc = cls;
   struct GNUNET_FS_SearchResult *sr = value;
@@ -1053,8 +1090,9 @@ find_result_set (void *cls, const struct GNUNET_HashCode * key, void *value)
 
 
 /**
- * We're ready to transmit the search request to the
- * file-sharing service.  Do it.
+ * We're ready to transmit the search request to the file-sharing
+ * service.  Do it.  If the request is too large to fit into a single
+ * message, transmit in increments.
  *
  * @param cls closure
  * @param size number of bytes available in @a buf
@@ -1069,7 +1107,8 @@ transmit_search_request (void *cls, size_t size, void *buf)
   size_t msize;
   struct SearchMessage *sm;
   struct GNUNET_CRYPTO_EcdsaPublicKey dpub;
-  unsigned int sqms;
+  unsigned int total_seen_results; /* total number of result hashes to send */
+  unsigned int message_size_limit;
   uint32_t options;
 
   if (NULL == buf)
@@ -1081,7 +1120,7 @@ transmit_search_request (void *cls, size_t size, void *buf)
   mbc.skip_cnt = sc->search_request_map_offset;
   sm = buf;
   sm->header.type = htons (GNUNET_MESSAGE_TYPE_FS_START_SEARCH);
-  mbc.xoff = (struct GNUNET_HashCode *) & sm[1];
+  mbc.xoff = (struct GNUNET_HashCode *) &sm[1];
   options = SEARCH_MESSAGE_OPTION_NONE;
   if (0 != (sc->options & GNUNET_FS_SEARCH_OPTION_LOOPBACK_ONLY))
     options |= SEARCH_MESSAGE_OPTION_LOOPBACK_ONLY;
@@ -1090,15 +1129,16 @@ transmit_search_request (void *cls, size_t size, void *buf)
     msize = sizeof (struct SearchMessage);
     GNUNET_assert (size >= msize);
     mbc.keyword_offset = sc->keyword_offset;
-    /* calculate total number of known results (in put_cnt => sqms) */
+    /* calculate total number of known results (in put_cnt => total_seen_results) */
     mbc.put_cnt = 0;
     GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
                                            &find_result_set, &mbc);
-    sqms = mbc.put_cnt;
+    total_seen_results = mbc.put_cnt;
     /* calculate how many results we can send in this message */
-    mbc.put_cnt = (size - msize) / sizeof (struct GNUNET_HashCode);
-    mbc.put_cnt = GNUNET_MIN (mbc.put_cnt, sqms - mbc.skip_cnt);
-    if (sc->search_request_map_offset < sqms)
+    message_size_limit = (size - msize) / sizeof (struct GNUNET_HashCode);
+    mbc.put_cnt = GNUNET_MIN (message_size_limit,
+                              total_seen_results - mbc.skip_cnt);
+    if (sc->search_request_map_offset < total_seen_results)
       GNUNET_assert (mbc.put_cnt > 0);
 
     /* now build message */
@@ -1110,8 +1150,9 @@ transmit_search_request (void *cls, size_t size, void *buf)
     sm->query = sc->requests[sc->keyword_offset].uquery;
     GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
                                            &build_result_set, &mbc);
-    GNUNET_assert (sqms >= sc->search_request_map_offset);
-    if (sqms != sc->search_request_map_offset)
+    GNUNET_assert (0 == mbc.put_cnt);
+    GNUNET_assert (total_seen_results >= sc->search_request_map_offset);
+    if (total_seen_results != sc->search_request_map_offset)
     {
       /* more requesting to be done... */
       sm->options = htonl (options | SEARCH_MESSAGE_OPTION_CONTINUED);
@@ -1120,6 +1161,7 @@ transmit_search_request (void *cls, size_t size, void *buf)
     }
     sm->options = htonl (options);
     sc->keyword_offset++;
+    sc->search_request_map_offset = 0;
     if (sc->uri->data.ksk.keywordCount != sc->keyword_offset)
     {
       /* more requesting to be done... */
@@ -1142,18 +1184,19 @@ transmit_search_request (void *cls, size_t size, void *buf)
     GNUNET_CRYPTO_hash (&dpub,
                        sizeof (dpub),
                        &sm->query);
-    mbc.put_cnt = (size - msize) / sizeof (struct GNUNET_HashCode);
-    sqms = GNUNET_CONTAINER_multihashmap_size (sc->master_result_map);
-    mbc.put_cnt = GNUNET_MIN (mbc.put_cnt, sqms - mbc.skip_cnt);
+    message_size_limit = (size - msize) / sizeof (struct GNUNET_HashCode);
+    total_seen_results = GNUNET_CONTAINER_multihashmap_size (sc->master_result_map);
+    mbc.put_cnt = GNUNET_MIN (message_size_limit,
+                              total_seen_results - mbc.skip_cnt);
     mbc.keyword_offset = 0;
-    if (sc->search_request_map_offset < sqms)
+    if (sc->search_request_map_offset < total_seen_results)
       GNUNET_assert (mbc.put_cnt > 0);
     msize += sizeof (struct GNUNET_HashCode) * mbc.put_cnt;
     GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
                                            &build_result_set, &mbc);
     sm->header.size = htons (msize);
-    GNUNET_assert (sqms >= sc->search_request_map_offset);
-    if (sqms != sc->search_request_map_offset)
+    GNUNET_assert (total_seen_results >= sc->search_request_map_offset);
+    if (total_seen_results != sc->search_request_map_offset)
     {
       /* more requesting to be done... */
       sm->options = htonl (options | SEARCH_MESSAGE_OPTION_CONTINUED);
@@ -1162,7 +1205,8 @@ transmit_search_request (void *cls, size_t size, void *buf)
     }
     sm->options = htonl (options);
   }
-  GNUNET_CLIENT_receive (sc->client, &receive_results, sc,
+  GNUNET_CLIENT_receive (sc->client,
+                         &receive_results, sc,
                          GNUNET_TIME_UNIT_FOREVER_REL);
   return msize;
 }
@@ -1178,20 +1222,21 @@ static void
 schedule_transmit_search_request (struct GNUNET_FS_SearchContext *sc)
 {
   size_t size;
-  unsigned int sqms;
+  unsigned int left;
   unsigned int fit;
+  unsigned int request;
 
   size = sizeof (struct SearchMessage);
-  sqms =
+  left =
       GNUNET_CONTAINER_multihashmap_size (sc->master_result_map) -
       sc->search_request_map_offset;
   fit = (GNUNET_SERVER_MAX_MESSAGE_SIZE - 1 - size) / sizeof (struct GNUNET_HashCode);
-  fit = GNUNET_MIN (fit, sqms);
-  size += sizeof (struct GNUNET_HashCode) * fit;
+  request = GNUNET_MIN (fit, left);
+  size += sizeof (struct GNUNET_HashCode) * request;
   GNUNET_CLIENT_notify_transmit_ready (sc->client, size,
                                        GNUNET_CONSTANTS_SERVICE_TIMEOUT,
-                                       GNUNET_NO, &transmit_search_request, sc);
-
+                                       GNUNET_NO,
+                                       &transmit_search_request, sc);
 }
 
 
@@ -1374,6 +1419,7 @@ GNUNET_FS_search_start_searching_ (struct GNUNET_FS_SearchContext *sc)
   sc->client = GNUNET_CLIENT_connect ("fs", sc->h->cfg);
   if (NULL == sc->client)
     return GNUNET_SYSERR;
+  sc->search_request_map_offset = 0;
   schedule_transmit_search_request (sc);
   return GNUNET_OK;
 }
@@ -1398,11 +1444,7 @@ search_result_freeze_probes (void *cls,
   {
     GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
     sr->probe_ctx = NULL;
-  }
-  if (GNUNET_SCHEDULER_NO_TASK != sr->probe_ping_task)
-  {
-    GNUNET_SCHEDULER_cancel (sr->probe_ping_task);
-    sr->probe_ping_task = GNUNET_SCHEDULER_NO_TASK;
+    GNUNET_FS_stop_probe_ping_task_ (sr);
   }
   if (GNUNET_SCHEDULER_NO_TASK != sr->probe_cancel_task)
   {
@@ -1680,7 +1722,6 @@ search_result_free (void *cls,
   }
   GNUNET_break (NULL == sr->probe_ctx);
   GNUNET_break (GNUNET_SCHEDULER_NO_TASK == sr->probe_cancel_task);
-  GNUNET_break (GNUNET_SCHEDULER_NO_TASK == sr->probe_ping_task);
   GNUNET_break (NULL == sr->client_info);
   GNUNET_free_non_null (sr->serialization);
   GNUNET_FS_uri_destroy (sr->uri);