adding single location for no_forcestart configuration list
[oweals/gnunet.git] / src / fs / fs_search.c
index 7e4e38b2714d1c1a7e3375d8559ace47dcaeefeb..a9c9389c4199a11c86ed25e0b5d69d66ac906a34 100644 (file)
@@ -1,6 +1,6 @@
 /*
      This file is part of GNUnet.
-     (C) 2001-2013 Christian Grothoff (and other contributing authors)
+     (C) 2001-2014 Christian Grothoff (and other contributing authors)
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
@@ -542,14 +542,16 @@ process_ksk_result (struct GNUNET_FS_SearchContext *sc,
   GNUNET_assert (NULL != sc);
   GNUNET_FS_uri_to_key (uri, &key);
   if (GNUNET_SYSERR ==
-      GNUNET_CONTAINER_multihashmap_get_multiple (ent->results, &key,
+      GNUNET_CONTAINER_multihashmap_get_multiple (ent->results,
+                                                  &key,
                                                   &test_result_present,
                                                   (void *) uri))
     return;                     /* duplicate result */
   /* try to find search result in master map */
   grc.sr = NULL;
   grc.uri = uri;
-  GNUNET_CONTAINER_multihashmap_get_multiple (sc->master_result_map, &key,
+  GNUNET_CONTAINER_multihashmap_get_multiple (sc->master_result_map,
+                                              &key,
                                               &get_result_present, &grc);
   sr = grc.sr;
   is_new = (NULL == sr) || (sr->mandatory_missing > 0);
@@ -571,16 +573,34 @@ process_ksk_result (struct GNUNET_FS_SearchContext *sc,
   {
     GNUNET_CONTAINER_meta_data_merge (sr->meta, meta);
   }
+  GNUNET_break (GNUNET_OK ==
+                GNUNET_CONTAINER_multihashmap_put (ent->results,
+                                                   &sr->key,
+                                                   sr,
+                                                   GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY));
+
   koff = ent - sc->requests;
-  GNUNET_assert ( (ent >= sc->requests) && (koff < sc->uri->data.ksk.keywordCount));
+  GNUNET_assert ( (ent >= sc->requests) &&
+                  (koff < sc->uri->data.ksk.keywordCount));
   sr->keyword_bitmap[koff / 8] |= (1 << (koff % 8));
   /* check if mandatory satisfied */
-  if (ent->mandatory)
-    sr->mandatory_missing--;
-  else
-    sr->optional_support++;
+  if (1 <= GNUNET_CONTAINER_multihashmap_size (ent->results))
+  {
+    if (ent->mandatory)
+    {
+      GNUNET_break (sr->mandatory_missing > 0);
+      sr->mandatory_missing--;
+    }
+    else
+    {
+      sr->optional_support++;
+    }
+  }
   if (0 != sr->mandatory_missing)
+  {
+    GNUNET_break (NULL == sr->client_info);
     return;
+  }
   if (is_new)
     notify_client_chk_result (sc, sr);
   else
@@ -649,7 +669,10 @@ process_sks_result (struct GNUNET_FS_SearchContext *sc,
   GNUNET_FS_search_result_sync_ (sr);
   GNUNET_FS_search_start_probe_ (sr);
   /* notify client */
-  notify_client_chk_result (sc, sr);
+  if (0 == sr->mandatory_missing)
+    notify_client_chk_result (sc, sr);
+  else
+    GNUNET_break (NULL == sr->client_info);
   /* search for updates */
   if (0 == strlen (id_update))
     return;                     /* no updates */
@@ -746,11 +769,16 @@ process_kblock (struct GNUNET_FS_SearchContext *sc,
   }
   if (NULL == (uri = GNUNET_FS_uri_parse (&pt[1], &emsg)))
   {
-    GNUNET_break_op (0);        /* ublock malformed */
-    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
-                _("Failed to parse URI `%s': %s\n"),
-                &pt[1],
-                emsg);
+    if (GNUNET_FS_VERSION > 0x00090400)
+    {
+      /* we broke this in 0x00090300, so don't bitch
+         too loudly just one version up... */
+      GNUNET_break_op (0);        /* ublock malformed */
+      GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                  _("Failed to parse URI `%s': %s\n"),
+                  &pt[1],
+                  emsg);
+    }
     GNUNET_free_non_null (emsg);
     return;
   }
@@ -765,7 +793,10 @@ process_kblock (struct GNUNET_FS_SearchContext *sc,
     GNUNET_FS_uri_destroy (uri);
     return;
   }
-  process_ksk_result (sc, &sc->requests[i], uri, meta);
+  process_ksk_result (sc,
+                      &sc->requests[i],
+                      uri,
+                      meta);
 
   /* clean up */
   GNUNET_CONTAINER_meta_data_destroy (meta);
@@ -975,7 +1006,9 @@ struct MessageBuilderContext
  * @return #GNUNET_OK to continue iterating
  */
 static int
-build_result_set (void *cls, const struct GNUNET_HashCode * key, void *value)
+build_result_set (void *cls,
+                  const struct GNUNET_HashCode *key,
+                  void *value)
 {
   struct MessageBuilderContext *mbc = cls;
   struct GNUNET_FS_SearchResult *sr = value;
@@ -998,9 +1031,8 @@ build_result_set (void *cls, const struct GNUNET_HashCode * key, void *value)
 
 
 /**
- * Iterating over the known results, count those
- * matching the given result range and increment
- * put count for each.
+ * Iterating over the known results, count those matching the given
+ * result range and increment put count for each.
  *
  * @param cls the `struct MessageBuilderContext`
  * @param key key for a result
@@ -1008,7 +1040,9 @@ build_result_set (void *cls, const struct GNUNET_HashCode * key, void *value)
  * @return #GNUNET_OK to continue iterating
  */
 static int
-find_result_set (void *cls, const struct GNUNET_HashCode * key, void *value)
+find_result_set (void *cls,
+                 const struct GNUNET_HashCode *key,
+                 void *value)
 {
   struct MessageBuilderContext *mbc = cls;
   struct GNUNET_FS_SearchResult *sr = value;
@@ -1022,8 +1056,9 @@ find_result_set (void *cls, const struct GNUNET_HashCode * key, void *value)
 
 
 /**
- * We're ready to transmit the search request to the
- * file-sharing service.  Do it.
+ * We're ready to transmit the search request to the file-sharing
+ * service.  Do it.  If the request is too large to fit into a single
+ * message, transmit in increments.
  *
  * @param cls closure
  * @param size number of bytes available in @a buf
@@ -1038,7 +1073,8 @@ transmit_search_request (void *cls, size_t size, void *buf)
   size_t msize;
   struct SearchMessage *sm;
   struct GNUNET_CRYPTO_EcdsaPublicKey dpub;
-  unsigned int sqms;
+  unsigned int total_seen_results; /* total number of result hashes to send */
+  unsigned int message_size_limit;
   uint32_t options;
 
   if (NULL == buf)
@@ -1050,7 +1086,7 @@ transmit_search_request (void *cls, size_t size, void *buf)
   mbc.skip_cnt = sc->search_request_map_offset;
   sm = buf;
   sm->header.type = htons (GNUNET_MESSAGE_TYPE_FS_START_SEARCH);
-  mbc.xoff = (struct GNUNET_HashCode *) & sm[1];
+  mbc.xoff = (struct GNUNET_HashCode *) &sm[1];
   options = SEARCH_MESSAGE_OPTION_NONE;
   if (0 != (sc->options & GNUNET_FS_SEARCH_OPTION_LOOPBACK_ONLY))
     options |= SEARCH_MESSAGE_OPTION_LOOPBACK_ONLY;
@@ -1059,15 +1095,16 @@ transmit_search_request (void *cls, size_t size, void *buf)
     msize = sizeof (struct SearchMessage);
     GNUNET_assert (size >= msize);
     mbc.keyword_offset = sc->keyword_offset;
-    /* calculate total number of known results (in put_cnt => sqms) */
+    /* calculate total number of known results (in put_cnt => total_seen_results) */
     mbc.put_cnt = 0;
     GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
                                            &find_result_set, &mbc);
-    sqms = mbc.put_cnt;
+    total_seen_results = mbc.put_cnt;
     /* calculate how many results we can send in this message */
-    mbc.put_cnt = (size - msize) / sizeof (struct GNUNET_HashCode);
-    mbc.put_cnt = GNUNET_MIN (mbc.put_cnt, sqms - mbc.skip_cnt);
-    if (sc->search_request_map_offset < sqms)
+    message_size_limit = (size - msize) / sizeof (struct GNUNET_HashCode);
+    mbc.put_cnt = GNUNET_MIN (message_size_limit,
+                              total_seen_results - mbc.skip_cnt);
+    if (sc->search_request_map_offset < total_seen_results)
       GNUNET_assert (mbc.put_cnt > 0);
 
     /* now build message */
@@ -1079,8 +1116,9 @@ transmit_search_request (void *cls, size_t size, void *buf)
     sm->query = sc->requests[sc->keyword_offset].uquery;
     GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
                                            &build_result_set, &mbc);
-    GNUNET_assert (sqms >= sc->search_request_map_offset);
-    if (sqms != sc->search_request_map_offset)
+    GNUNET_assert (0 == mbc.put_cnt);
+    GNUNET_assert (total_seen_results >= sc->search_request_map_offset);
+    if (total_seen_results != sc->search_request_map_offset)
     {
       /* more requesting to be done... */
       sm->options = htonl (options | SEARCH_MESSAGE_OPTION_CONTINUED);
@@ -1089,6 +1127,7 @@ transmit_search_request (void *cls, size_t size, void *buf)
     }
     sm->options = htonl (options);
     sc->keyword_offset++;
+    sc->search_request_map_offset = 0;
     if (sc->uri->data.ksk.keywordCount != sc->keyword_offset)
     {
       /* more requesting to be done... */
@@ -1111,18 +1150,19 @@ transmit_search_request (void *cls, size_t size, void *buf)
     GNUNET_CRYPTO_hash (&dpub,
                        sizeof (dpub),
                        &sm->query);
-    mbc.put_cnt = (size - msize) / sizeof (struct GNUNET_HashCode);
-    sqms = GNUNET_CONTAINER_multihashmap_size (sc->master_result_map);
-    mbc.put_cnt = GNUNET_MIN (mbc.put_cnt, sqms - mbc.skip_cnt);
+    message_size_limit = (size - msize) / sizeof (struct GNUNET_HashCode);
+    total_seen_results = GNUNET_CONTAINER_multihashmap_size (sc->master_result_map);
+    mbc.put_cnt = GNUNET_MIN (message_size_limit,
+                              total_seen_results - mbc.skip_cnt);
     mbc.keyword_offset = 0;
-    if (sc->search_request_map_offset < sqms)
+    if (sc->search_request_map_offset < total_seen_results)
       GNUNET_assert (mbc.put_cnt > 0);
     msize += sizeof (struct GNUNET_HashCode) * mbc.put_cnt;
     GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
                                            &build_result_set, &mbc);
     sm->header.size = htons (msize);
-    GNUNET_assert (sqms >= sc->search_request_map_offset);
-    if (sqms != sc->search_request_map_offset)
+    GNUNET_assert (total_seen_results >= sc->search_request_map_offset);
+    if (total_seen_results != sc->search_request_map_offset)
     {
       /* more requesting to be done... */
       sm->options = htonl (options | SEARCH_MESSAGE_OPTION_CONTINUED);
@@ -1131,7 +1171,8 @@ transmit_search_request (void *cls, size_t size, void *buf)
     }
     sm->options = htonl (options);
   }
-  GNUNET_CLIENT_receive (sc->client, &receive_results, sc,
+  GNUNET_CLIENT_receive (sc->client,
+                         &receive_results, sc,
                          GNUNET_TIME_UNIT_FOREVER_REL);
   return msize;
 }
@@ -1147,20 +1188,21 @@ static void
 schedule_transmit_search_request (struct GNUNET_FS_SearchContext *sc)
 {
   size_t size;
-  unsigned int sqms;
+  unsigned int left;
   unsigned int fit;
+  unsigned int request;
 
   size = sizeof (struct SearchMessage);
-  sqms =
+  left =
       GNUNET_CONTAINER_multihashmap_size (sc->master_result_map) -
       sc->search_request_map_offset;
   fit = (GNUNET_SERVER_MAX_MESSAGE_SIZE - 1 - size) / sizeof (struct GNUNET_HashCode);
-  fit = GNUNET_MIN (fit, sqms);
-  size += sizeof (struct GNUNET_HashCode) * fit;
+  request = GNUNET_MIN (fit, left);
+  size += sizeof (struct GNUNET_HashCode) * request;
   GNUNET_CLIENT_notify_transmit_ready (sc->client, size,
                                        GNUNET_CONSTANTS_SERVICE_TIMEOUT,
-                                       GNUNET_NO, &transmit_search_request, sc);
-
+                                       GNUNET_NO,
+                                       &transmit_search_request, sc);
 }
 
 
@@ -1264,6 +1306,36 @@ search_start (struct GNUNET_FS_Handle *h,
 }
 
 
+/**
+ * Update the 'results' map for the individual keywords with the
+ * results from the 'global' result set.
+ *
+ * @param cls closure, the `struct GNUNET_FS_SearchContext *`
+ * @param key current key code
+ * @param value value in the hash map, the `struct GNUNET_FS_SearchResult *`
+ * @return #GNUNET_YES (we should continue to iterate)
+ */
+static int
+update_sre_result_maps (void *cls,
+                        const struct GNUNET_HashCode *key,
+                        void *value)
+{
+  struct GNUNET_FS_SearchContext *sc = cls;
+  struct GNUNET_FS_SearchResult *sr = value;
+  unsigned int i;
+
+  for (i = 0; i < sc->uri->data.ksk.keywordCount; i++)
+    if (0 != (sr->keyword_bitmap[i / 8] & (1 << (i % 8))))
+      GNUNET_break (GNUNET_OK ==
+                    GNUNET_CONTAINER_multihashmap_put (sc->requests[i].results,
+                                                       &sr->key,
+                                                       sr,
+                                                       GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY));
+
+  return GNUNET_YES;
+}
+
+
 /**
  * Build the request and actually initiate the search using the
  * GNUnet FS service.
@@ -1295,9 +1367,9 @@ GNUNET_FS_search_start_searching_ (struct GNUNET_FS_SearchContext *sc)
       sre = &sc->requests[i];
       sre->keyword = GNUNET_strdup (keyword);
       GNUNET_CRYPTO_ecdsa_public_key_derive (&anon_pub,
-                                          keyword,
-                                          "fs-ublock",
-                                          &sre->dpub);
+                                             keyword,
+                                             "fs-ublock",
+                                             &sre->dpub);
       GNUNET_CRYPTO_hash (&sre->dpub,
                          sizeof (struct GNUNET_CRYPTO_EcdsaPublicKey),
                          &sre->uquery);
@@ -1306,10 +1378,14 @@ GNUNET_FS_search_start_searching_ (struct GNUNET_FS_SearchContext *sc)
         sc->mandatory_count++;
       sre->results = GNUNET_CONTAINER_multihashmap_create (4, GNUNET_NO);
     }
+    GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
+                                           &update_sre_result_maps,
+                                           sc);
   }
   sc->client = GNUNET_CLIENT_connect ("fs", sc->h->cfg);
   if (NULL == sc->client)
     return GNUNET_SYSERR;
+  sc->search_request_map_offset = 0;
   schedule_transmit_search_request (sc);
   return GNUNET_OK;
 }
@@ -1401,11 +1477,15 @@ search_result_suspend (void *cls,
     sr->update_search = NULL;
   }
   GNUNET_FS_search_stop_probe_ (sr);
-  pi.status = GNUNET_FS_STATUS_SEARCH_RESULT_SUSPEND;
-  pi.value.search.specifics.result_suspend.cctx = sr->client_info;
-  pi.value.search.specifics.result_suspend.meta = sr->meta;
-  pi.value.search.specifics.result_suspend.uri = sr->uri;
-  sr->client_info = GNUNET_FS_search_make_status_ (&pi, sc->h, sc);
+  if (0 == sr->mandatory_missing)
+  {
+    /* client is aware of search result, notify about suspension event */
+    pi.status = GNUNET_FS_STATUS_SEARCH_RESULT_SUSPEND;
+    pi.value.search.specifics.result_suspend.cctx = sr->client_info;
+    pi.value.search.specifics.result_suspend.meta = sr->meta;
+    pi.value.search.specifics.result_suspend.uri = sr->uri;
+    sr->client_info = GNUNET_FS_search_make_status_ (&pi, sc->h, sc);
+  }
   GNUNET_break (NULL == sr->client_info);
   GNUNET_free_non_null (sr->serialization);
   GNUNET_FS_uri_destroy (sr->uri);
@@ -1559,10 +1639,12 @@ search_result_stop (void *cls,
     sr->download->search = NULL;
     sr->download->top =
         GNUNET_FS_make_top (sr->download->h,
-                            &GNUNET_FS_download_signal_suspend_, sr->download);
+                            &GNUNET_FS_download_signal_suspend_,
+                            sr->download);
     if (NULL != sr->download->serialization)
     {
-      GNUNET_FS_remove_sync_file_ (sc->h, GNUNET_FS_SYNC_PATH_CHILD_DOWNLOAD,
+      GNUNET_FS_remove_sync_file_ (sc->h,
+                                   GNUNET_FS_SYNC_PATH_CHILD_DOWNLOAD,
                                    sr->download->serialization);
       GNUNET_free (sr->download->serialization);
       sr->download->serialization = NULL;
@@ -1572,6 +1654,13 @@ search_result_stop (void *cls,
     GNUNET_FS_download_sync_ (sr->download);
     sr->download = NULL;
   }
+  if (0 != sr->mandatory_missing)
+  {
+    /* client is unaware of search result as
+       it does not match required keywords */
+    GNUNET_break (NULL == sr->client_info);
+    return GNUNET_OK;
+  }
   pi.status = GNUNET_FS_STATUS_SEARCH_RESULT_STOPPED;
   pi.value.search.specifics.result_stopped.cctx = sr->client_info;
   pi.value.search.specifics.result_stopped.meta = sr->meta;