- fixed string to address parsing
[oweals/gnunet.git] / src / fs / fs_search.c
index 60b7a1cc8d9745072e563cbed33c945a73702d5d..94a77e13645837b5246932af3b8f4e63acdd4ba7 100644 (file)
@@ -1,6 +1,6 @@
 /*
      This file is part of GNUnet.
-     (C) 2001, 2002, 2003, 2004, 2005, 2006, 2008, 2009 Christian Grothoff (and other contributing authors)
+     (C) 2001-2006, 2008-2012 Christian Grothoff (and other contributing authors)
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
 #include "gnunet_constants.h"
 #include "gnunet_fs_service.h"
 #include "gnunet_protocols.h"
-#include "fs.h"
+#include "fs_api.h"
 
-#define DEBUG_SEARCH GNUNET_NO
+#define DEBUG_SEARCH GNUNET_EXTRA_LOGGING
+
+/**
+ * Number of availability trials we perform per search result.
+ */
+#define AVAILABILITY_TRIALS_MAX 8
 
 /**
  * Fill in all of the generic fields for a search event and
@@ -48,8 +53,8 @@ GNUNET_FS_search_make_status_ (struct GNUNET_FS_ProgressInfo *pi,
 
   pi->value.search.sc = sc;
   pi->value.search.cctx = sc->client_info;
-  pi->value.search.pctx
-      (sc->psearch_result == NULL) ? NULL : sc->psearch_result->client_info;
+  pi->value.search.pctx =
+      (sc->psearch_result == NULL) ? NULL : sc->psearch_result->client_info;
   pi->value.search.query = sc->uri;
   pi->value.search.duration =
       GNUNET_TIME_absolute_get_duration (sc->start_time);
@@ -62,7 +67,7 @@ GNUNET_FS_search_make_status_ (struct GNUNET_FS_ProgressInfo *pi,
 /**
  * Check if the given result is identical
  * to the given URI.
- * 
+ *
  * @param cls points to the URI we check against
  * @param key not used
  * @param value a "struct GNUNET_FS_SearchResult" who's URI we
@@ -85,7 +90,7 @@ test_result_present (void *cls, const GNUNET_HashCode * key, void *value)
 /**
  * We've found a new CHK result.  Let the client
  * know about it.
- * 
+ *
  * @param sc the search context
  * @param sr the specific result
  */
@@ -107,7 +112,7 @@ notify_client_chk_result (struct GNUNET_FS_SearchContext *sc,
 /**
  * We've found new information about an existing CHK result.  Let the
  * client know about it.
- * 
+ *
  * @param sc the search context
  * @param sr the specific result
  */
@@ -116,15 +121,15 @@ notify_client_chk_update (struct GNUNET_FS_SearchContext *sc,
                           struct GNUNET_FS_SearchResult *sr)
 {
   struct GNUNET_FS_ProgressInfo pi;
-
   pi.status = GNUNET_FS_STATUS_SEARCH_UPDATE;
   pi.value.search.specifics.update.cctx = sr->client_info;
   pi.value.search.specifics.update.meta = sr->meta;
   pi.value.search.specifics.update.uri = sr->uri;
-  pi.value.search.specifics.update.availability_rank
-      2 * sr->availability_success - sr->availability_trials;
-  pi.value.search.specifics.update.availability_certainty
-      sr->availability_trials;
+  pi.value.search.specifics.update.availability_rank =
+      2 * sr->availability_success - sr->availability_trials;
+  pi.value.search.specifics.update.availability_certainty =
+      sr->availability_trials;
   pi.value.search.specifics.update.applicability_rank = sr->optional_support;
   sr->client_info = GNUNET_FS_search_make_status_ (&pi, sc);
 }
@@ -151,7 +156,7 @@ struct GetResultContext
 /**
  * Check if the given result is identical to the given URI and if so
  * return it.
- * 
+ *
  * @param cls a "struct GetResultContext"
  * @param key not used
  * @param value a "struct GNUNET_FS_SearchResult" who's URI we
@@ -179,7 +184,7 @@ signal_probe_result (struct GNUNET_FS_SearchResult *sr)
 {
   struct GNUNET_FS_ProgressInfo pi;
 
-  pi.status = GNUNET_FS_STATUS_SEARCH_START;
+  pi.status = GNUNET_FS_STATUS_SEARCH_UPDATE;
   pi.value.search.specifics.update.cctx = sr->client_info;
   pi.value.search.specifics.update.meta = sr->meta;
   pi.value.search.specifics.update.uri = sr->uri;
@@ -187,7 +192,7 @@ signal_probe_result (struct GNUNET_FS_SearchResult *sr)
   pi.value.search.specifics.update.availability_certainty =
       sr->availability_trials;
   pi.value.search.specifics.update.applicability_rank = sr->optional_support;
-  sr->sc->client_info = GNUNET_FS_search_make_status_ (&pi, sr->sc);
+  sr->client_info = GNUNET_FS_search_make_status_ (&pi, sr->sc);
   GNUNET_FS_search_start_probe_ (sr);
 }
 
@@ -203,7 +208,10 @@ probe_failure_handler (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct GNUNET_FS_SearchResult *sr = cls;
 
+  sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
   sr->availability_trials++;
+  GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
+  sr->probe_ctx = NULL;
   GNUNET_FS_search_result_sync_ (sr);
   signal_probe_result (sr);
 }
@@ -220,8 +228,11 @@ probe_success_handler (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct GNUNET_FS_SearchResult *sr = cls;
 
+  sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
   sr->availability_trials++;
   sr->availability_success++;
+  GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
+  sr->probe_ctx = NULL;
   GNUNET_FS_search_result_sync_ (sr);
   signal_probe_result (sr);
 }
@@ -282,8 +293,7 @@ GNUNET_FS_search_probe_progress_ (void *cls,
       sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
     }
     sr->probe_cancel_task =
-        GNUNET_SCHEDULER_add_delayed (sr->remaining_probe_time,
-                                      &probe_success_handler, sr);
+        GNUNET_SCHEDULER_add_now (&probe_success_handler, sr);
     break;
   case GNUNET_FS_STATUS_DOWNLOAD_STOPPED:
     if (sr->probe_cancel_task != GNUNET_SCHEDULER_NO_TASK)
@@ -382,20 +392,21 @@ process_ksk_result (struct GNUNET_FS_SearchContext *sc,
   struct GNUNET_FS_SearchResult *sr;
   struct GetResultContext grc;
   int is_new;
+  unsigned int koff;
 
   /* check if new */
+  GNUNET_assert (NULL != sc);
   GNUNET_FS_uri_to_key (uri, &key);
   if (GNUNET_SYSERR ==
-      GNUNET_CONTAINER_multihashmap_get_multiple (ent->results,
-                                                  &key,
+      GNUNET_CONTAINER_multihashmap_get_multiple (ent->results, &key,
                                                   &test_result_present,
                                                   (void *) uri))
     return;                     /* duplicate result */
   /* try to find search result in master map */
   grc.sr = NULL;
   grc.uri = uri;
-  GNUNET_CONTAINER_multihashmap_get_multiple (sc->master_result_map,
-                                              &key, &get_result_present, &grc);
+  GNUNET_CONTAINER_multihashmap_get_multiple (sc->master_result_map, &key,
+                                              &get_result_present, &grc);
   sr = grc.sr;
   is_new = (NULL == sr) || (sr->mandatory_missing > 0);
   if (NULL == sr)
@@ -406,15 +417,17 @@ process_ksk_result (struct GNUNET_FS_SearchContext *sc,
     sr->meta = GNUNET_CONTAINER_meta_data_duplicate (meta);
     sr->mandatory_missing = sc->mandatory_count;
     sr->key = key;
-    GNUNET_CONTAINER_multihashmap_put (sc->master_result_map,
-                                       &key,
-                                       sr,
+    sr->keyword_bitmap = GNUNET_malloc ((sc->uri->data.ksk.keywordCount + 7) / 8); /* round up, count bits */
+    GNUNET_CONTAINER_multihashmap_put (sc->master_result_map, &key, sr,
                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
   }
   else
   {
     GNUNET_CONTAINER_meta_data_merge (sr->meta, meta);
   }
+  koff = ent - sc->requests;
+  GNUNET_assert ( (ent >= sc->requests) && (koff < sc->uri->data.ksk.keywordCount));
+  sr->keyword_bitmap[koff / 8] |= (1 << (koff % 8));
   /* check if mandatory satisfied */
   if (ent->mandatory)
     sr->mandatory_missing--;
@@ -443,15 +456,10 @@ process_ksk_result (struct GNUNET_FS_SearchContext *sc,
  * @param psearch parent search result (for namespace update searches)
  * @return context that can be used to control the search
  */
-static struct GNUNET_FS_SearchContext *search_start (struct GNUNET_FS_Handle *h,
-                                                     const struct GNUNET_FS_Uri
-                                                     *uri, uint32_t anonymity,
-                                                     enum
-                                                     GNUNET_FS_SearchOptions
-                                                     options, void *cctx,
-                                                     struct
-                                                     GNUNET_FS_SearchResult
-                                                     *psearch);
+static struct GNUNET_FS_SearchContext *
+search_start (struct GNUNET_FS_Handle *h, const struct GNUNET_FS_Uri *uri,
+              uint32_t anonymity, enum GNUNET_FS_SearchOptions options,
+              void *cctx, struct GNUNET_FS_SearchResult *psearch);
 
 
 /**
@@ -464,8 +472,7 @@ static struct GNUNET_FS_SearchContext *search_start (struct GNUNET_FS_Handle *h,
  * @param meta metadata associated with the URI
   */
 static void
-process_sks_result (struct GNUNET_FS_SearchContext *sc,
-                    const char *id_update,
+process_sks_result (struct GNUNET_FS_SearchContext *sc, const char *id_update,
                     const struct GNUNET_FS_Uri *uri,
                     const struct GNUNET_CONTAINER_MetaData *meta)
 {
@@ -474,12 +481,12 @@ process_sks_result (struct GNUNET_FS_SearchContext *sc,
   struct GNUNET_FS_SearchResult *sr;
 
   /* check if new */
+  GNUNET_assert (NULL != sc);
   GNUNET_FS_uri_to_key (uri, &key);
-  GNUNET_CRYPTO_hash_xor (&uri->data.chk.chk.key,
-                          &uri->data.chk.chk.query, &key);
+  GNUNET_CRYPTO_hash_xor (&uri->data.chk.chk.key, &uri->data.chk.chk.query,
+                          &key);
   if (GNUNET_SYSERR ==
-      GNUNET_CONTAINER_multihashmap_get_multiple (sc->master_result_map,
-                                                  &key,
+      GNUNET_CONTAINER_multihashmap_get_multiple (sc->master_result_map, &key,
                                                   &test_result_present,
                                                   (void *) uri))
     return;                     /* duplicate result */
@@ -488,9 +495,7 @@ process_sks_result (struct GNUNET_FS_SearchContext *sc,
   sr->uri = GNUNET_FS_uri_dup (uri);
   sr->meta = GNUNET_CONTAINER_meta_data_duplicate (meta);
   sr->key = key;
-  GNUNET_CONTAINER_multihashmap_put (sc->master_result_map,
-                                     &key,
-                                     sr,
+  GNUNET_CONTAINER_multihashmap_put (sc->master_result_map, &key, sr,
                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
   GNUNET_FS_search_result_sync_ (sr);
   GNUNET_FS_search_start_probe_ (sr);
@@ -508,28 +513,32 @@ process_sks_result (struct GNUNET_FS_SearchContext *sc,
 
 
 /**
- * Process a keyword-search result.
+ * Decrypt a block using a 'keyword' as the passphrase.  Given the
+ * KSK public key derived from the keyword, this function looks up
+ * the original keyword in the search context and decrypts the
+ * given ciphertext block.
  *
- * @param sc our search context
- * @param kb the kblock
- * @param size size of kb
+ * @param sc search context with the keywords
+ * @param public_key public key to use to lookup the keyword
+ * @param edata encrypted data
+ * @param edata_size number of bytes in 'edata' (and 'data')
+ * @param data where to store the plaintext
+ * @return keyword index on success, GNUNET_SYSERR on error (no such 
+ *        keyword, internal error)
  */
-static void
-process_kblock (struct GNUNET_FS_SearchContext *sc,
-                const struct KBlock *kb, size_t size)
-{
-  unsigned int i;
-  size_t j;
+static int
+decrypt_block_with_keyword (const struct GNUNET_FS_SearchContext *sc,
+                           const struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded *public_key,
+                           const void *edata,
+                           size_t edata_size,
+                           char *data)
+{ 
   GNUNET_HashCode q;
-  char pt[size - sizeof (struct KBlock)];
   struct GNUNET_CRYPTO_AesSessionKey skey;
   struct GNUNET_CRYPTO_AesInitializationVector iv;
-  const char *eos;
-  struct GNUNET_CONTAINER_MetaData *meta;
-  struct GNUNET_FS_Uri *uri;
-  char *emsg;
+  int i;
 
-  GNUNET_CRYPTO_hash (&kb->keyspace,
+  GNUNET_CRYPTO_hash (public_key,
                       sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
                       &q);
   /* find key */
@@ -540,17 +549,46 @@ process_kblock (struct GNUNET_FS_SearchContext *sc,
   {
     /* oops, does not match any of our keywords!? */
     GNUNET_break (0);
-    return;
+    return GNUNET_SYSERR;
   }
   /* decrypt */
   GNUNET_CRYPTO_hash_to_aes_key (&sc->requests[i].key, &skey, &iv);
-  if (-1 == GNUNET_CRYPTO_aes_decrypt (&kb[1],
-                                       size - sizeof (struct KBlock),
-                                       &skey, &iv, pt))
+  if (-1 ==
+      GNUNET_CRYPTO_aes_decrypt (edata, edata_size, &skey,
+                                 &iv, data))
   {
     GNUNET_break (0);
-    return;
+    return GNUNET_SYSERR;
   }
+  return i;
+}
+
+
+/**
+ * Process a keyword-search result.
+ *
+ * @param sc our search context
+ * @param kb the kblock
+ * @param size size of kb
+ */
+static void
+process_kblock (struct GNUNET_FS_SearchContext *sc, const struct KBlock *kb,
+                size_t size)
+{
+  size_t j;
+  char pt[size - sizeof (struct KBlock)];
+  const char *eos;
+  struct GNUNET_CONTAINER_MetaData *meta;
+  struct GNUNET_FS_Uri *uri;
+  char *emsg;
+  int i;
+
+  if (-1 == (i = decrypt_block_with_keyword (sc,
+                                            &kb->keyspace,
+                                            &kb[1],
+                                            size - sizeof (struct KBlock),
+                                            pt)))
+    return;
   /* parse */
   eos = memchr (pt, 0, sizeof (pt));
   if (NULL == eos)
@@ -593,42 +631,23 @@ process_kblock (struct GNUNET_FS_SearchContext *sc,
  * @param size size of nb
  */
 static void
-process_nblock (struct GNUNET_FS_SearchContext *sc,
-                const struct NBlock *nb, size_t size)
+process_nblock (struct GNUNET_FS_SearchContext *sc, const struct NBlock *nb,
+                size_t size)
 {
-  unsigned int i;
   size_t j;
-  GNUNET_HashCode q;
   char pt[size - sizeof (struct NBlock)];
-  struct GNUNET_CRYPTO_AesSessionKey skey;
-  struct GNUNET_CRYPTO_AesInitializationVector iv;
   const char *eos;
   struct GNUNET_CONTAINER_MetaData *meta;
   struct GNUNET_FS_Uri *uri;
   char *uris;
+  int i;
 
-  GNUNET_CRYPTO_hash (&nb->keyspace,
-                      sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
-                      &q);
-  /* find key */
-  for (i = 0; i < sc->uri->data.ksk.keywordCount; i++)
-    if (0 == memcmp (&q, &sc->requests[i].query, sizeof (GNUNET_HashCode)))
-      break;
-  if (i == sc->uri->data.ksk.keywordCount)
-  {
-    /* oops, does not match any of our keywords!? */
-    GNUNET_break (0);
+  if (-1 == (i = decrypt_block_with_keyword (sc,
+                                            &nb->keyspace,
+                                            &nb[1],
+                                            size - sizeof (struct NBlock),
+                                            pt)))
     return;
-  }
-  /* decrypt */
-  GNUNET_CRYPTO_hash_to_aes_key (&sc->requests[i].key, &skey, &iv);
-  if (-1 == GNUNET_CRYPTO_aes_decrypt (&nb[1],
-                                       size - sizeof (struct NBlock),
-                                       &skey, &iv, pt))
-  {
-    GNUNET_break (0);
-    return;
-  }
   /* parse */
   eos = memchr (pt, 0, sizeof (pt));
   if (NULL == eos)
@@ -654,11 +673,9 @@ process_nblock (struct GNUNET_FS_SearchContext *sc,
                       sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
                       &uri->data.sks.namespace);
   uris = GNUNET_FS_uri_to_string (uri);
-  GNUNET_CONTAINER_meta_data_insert (meta,
-                                     "<gnunet>",
-                                     EXTRACTOR_METATYPE_URI,
-                                     EXTRACTOR_METAFORMAT_UTF8,
-                                     "text/plain", uris, strlen (uris) + 1);
+  GNUNET_CONTAINER_meta_data_insert (meta, "<gnunet>", EXTRACTOR_METATYPE_URI,
+                                     EXTRACTOR_METAFORMAT_UTF8, "text/plain",
+                                     uris, strlen (uris) + 1);
   GNUNET_free (uris);
   GNUNET_PSEUDONYM_add (sc->h->cfg, &uri->data.sks.namespace, meta);
   /* process */
@@ -678,8 +695,8 @@ process_nblock (struct GNUNET_FS_SearchContext *sc,
  * @param size size of sb
  */
 static void
-process_sblock (struct GNUNET_FS_SearchContext *sc,
-                const struct SBlock *sb, size_t size)
+process_sblock (struct GNUNET_FS_SearchContext *sc, const struct SBlock *sb,
+                size_t size)
 {
   size_t len = size - sizeof (struct SBlock);
   char pt[len];
@@ -719,8 +736,8 @@ process_sblock (struct GNUNET_FS_SearchContext *sc,
   uri = GNUNET_FS_uri_parse (uris, &emsg);
   if (uri == NULL)
   {
-    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
-                "Failed to parse URI `%s': %s\n", uris, emsg);
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Failed to parse URI `%s': %s\n", uris,
+                emsg);
     GNUNET_break_op (0);        /* sblock malformed */
     GNUNET_free_non_null (emsg);
     GNUNET_CONTAINER_meta_data_destroy (meta);
@@ -744,10 +761,9 @@ process_sblock (struct GNUNET_FS_SearchContext *sc,
  * @param size size of data
  */
 static void
-process_result (struct GNUNET_FS_SearchContext *sc,
-                enum GNUNET_BLOCK_Type type,
-                struct GNUNET_TIME_Absolute expiration,
-                const void *data, size_t size)
+process_result (struct GNUNET_FS_SearchContext *sc, enum GNUNET_BLOCK_Type type,
+                struct GNUNET_TIME_Absolute expiration, const void *data,
+                size_t size)
 {
   if (GNUNET_TIME_absolute_get_duration (expiration).rel_value > 0)
   {
@@ -823,7 +839,8 @@ process_result (struct GNUNET_FS_SearchContext *sc,
  *
  * @param sc the search to reconnec
  */
-static void try_reconnect (struct GNUNET_FS_SearchContext *sc);
+static void
+try_reconnect (struct GNUNET_FS_SearchContext *sc);
 
 
 /**
@@ -837,12 +854,11 @@ static void
 receive_results (void *cls, const struct GNUNET_MessageHeader *msg)
 {
   struct GNUNET_FS_SearchContext *sc = cls;
-  const struct PutMessage *cm;
+  const struct ClientPutMessage *cm;
   uint16_t msize;
 
-  if ((NULL == msg) ||
-      (ntohs (msg->type) != GNUNET_MESSAGE_TYPE_FS_PUT) ||
-      (ntohs (msg->size) <= sizeof (struct PutMessage)))
+  if ((NULL == msg) || (ntohs (msg->type) != GNUNET_MESSAGE_TYPE_FS_PUT) ||
+      (ntohs (msg->size) <= sizeof (struct ClientPutMessage)))
   {
     try_reconnect (sc);
     return;
@@ -850,14 +866,13 @@ receive_results (void *cls, const struct GNUNET_MessageHeader *msg)
   msize = ntohs (msg->size);
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
               "Receiving %u bytes of result from fs service\n", msize);
-  cm = (const struct PutMessage *) msg;
-  process_result (sc,
-                  ntohl (cm->type),
-                  GNUNET_TIME_absolute_ntoh (cm->expiration),
-                  &cm[1], msize - sizeof (struct PutMessage));
+  cm = (const struct ClientPutMessage *) msg;
+  process_result (sc, ntohl (cm->type),
+                  GNUNET_TIME_absolute_ntoh (cm->expiration), &cm[1],
+                  msize - sizeof (struct ClientPutMessage));
   /* continue receiving */
-  GNUNET_CLIENT_receive (sc->client,
-                         &receive_results, sc, GNUNET_TIME_UNIT_FOREVER_REL);
+  GNUNET_CLIENT_receive (sc->client, &receive_results, sc,
+                         GNUNET_TIME_UNIT_FOREVER_REL);
 }
 
 
@@ -897,16 +912,15 @@ struct MessageBuilderContext
   struct GNUNET_FS_SearchContext *sc;
 
   /**
-   * URI the search result must match, NULL for any
+   * Keyword offset the search result must match (0 for SKS)
    */
-  struct GNUNET_FS_Uri *uri;
+  unsigned int keyword_offset;
 };
 
 
 /**
- * Iterating over the known results, pick those
- * matching the given result range and store
- * their keys at 'xoff'.
+ * Iterating over the known results, pick those matching the given
+ * result range and store their keys at 'xoff'.
  *
  * @param cls the 'struct MessageBuilderContext'
  * @param key key for a result
@@ -919,9 +933,9 @@ build_result_set (void *cls, const GNUNET_HashCode * key, void *value)
   struct MessageBuilderContext *mbc = cls;
   struct GNUNET_FS_SearchResult *sr = value;
 
-  if ((mbc->uri != NULL) &&
-      (GNUNET_YES != GNUNET_FS_uri_test_equal (mbc->uri, sr->uri)))
-    return GNUNET_OK;
+  if ( (sr->keyword_bitmap != NULL) &&
+       (0 == (sr->keyword_bitmap[mbc->keyword_offset / 8] & (1 << (mbc->keyword_offset % 8)))) )
+    return GNUNET_OK; /* have no match for this keyword yet */
   if (mbc->skip_cnt > 0)
   {
     mbc->skip_cnt--;
@@ -951,9 +965,9 @@ find_result_set (void *cls, const GNUNET_HashCode * key, void *value)
   struct MessageBuilderContext *mbc = cls;
   struct GNUNET_FS_SearchResult *sr = value;
 
-  if ((mbc->uri != NULL) &&
-      (GNUNET_YES != GNUNET_FS_uri_test_equal (mbc->uri, sr->uri)))
-    return GNUNET_OK;
+  if ( (sr->keyword_bitmap != NULL) &&
+       (0 == (sr->keyword_bitmap[mbc->keyword_offset / 8] & (1 << (mbc->keyword_offset % 8)))) )
+    return GNUNET_OK; /* have no match for this keyword yet */
   mbc->put_cnt++;
   return GNUNET_OK;
 }
@@ -979,6 +993,7 @@ transmit_search_request (void *cls, size_t size, void *buf)
   GNUNET_HashCode key;
   GNUNET_HashCode idh;
   unsigned int sqms;
+  uint32_t options;
 
   if (NULL == buf)
   {
@@ -990,11 +1005,14 @@ transmit_search_request (void *cls, size_t size, void *buf)
   sm = buf;
   sm->header.type = htons (GNUNET_MESSAGE_TYPE_FS_START_SEARCH);
   mbc.xoff = (GNUNET_HashCode *) & sm[1];
+  options = SEARCH_MESSAGE_OPTION_NONE;
+  if (0 != (sc->options & GNUNET_FS_SEARCH_OPTION_LOOPBACK_ONLY))
+    options |= SEARCH_MESSAGE_OPTION_LOOPBACK_ONLY;
   if (GNUNET_FS_uri_test_ksk (sc->uri))
   {
     msize = sizeof (struct SearchMessage);
     GNUNET_assert (size >= msize);
-    mbc.uri = NULL;
+    mbc.keyword_offset = sc->keyword_offset;
     mbc.put_cnt = 0;
     GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
                                            &find_result_set, &mbc);
@@ -1005,10 +1023,6 @@ transmit_search_request (void *cls, size_t size, void *buf)
       GNUNET_assert (mbc.put_cnt > 0);
 
     sm->header.size = htons (msize);
-    if (0 != (sc->options & GNUNET_FS_SEARCH_OPTION_LOOPBACK_ONLY))
-      sm->options = htonl (1);
-    else
-      sm->options = htonl (0);
     sm->type = htonl (GNUNET_BLOCK_TYPE_ANY);
     sm->anonymity_level = htonl (sc->anonymity);
     memset (&sm->target, 0, sizeof (GNUNET_HashCode));
@@ -1017,12 +1031,15 @@ transmit_search_request (void *cls, size_t size, void *buf)
     GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
                                            &build_result_set, &mbc);
     sm->header.size = htons (msize);
+    GNUNET_assert (sqms >= sc->search_request_map_offset);
     if (sqms != sc->search_request_map_offset)
     {
       /* more requesting to be done... */
+      sm->options = htonl (options | SEARCH_MESSAGE_OPTION_CONTINUED);
       schedule_transmit_search_request (sc);
       return msize;
     }
+    sm->options = htonl (options);
     sc->keyword_offset++;
     if (sc->uri->data.ksk.keywordCount != sc->keyword_offset)
     {
@@ -1036,10 +1053,6 @@ transmit_search_request (void *cls, size_t size, void *buf)
     GNUNET_assert (GNUNET_FS_uri_test_sks (sc->uri));
     msize = sizeof (struct SearchMessage);
     GNUNET_assert (size >= msize);
-    if (0 != (sc->options & GNUNET_FS_SEARCH_OPTION_LOOPBACK_ONLY))
-      sm->options = htonl (1);
-    else
-      sm->options = htonl (0);
     sm->type = htonl (GNUNET_BLOCK_TYPE_FS_SBLOCK);
     sm->anonymity_level = htonl (sc->anonymity);
     sm->target = sc->uri->data.sks.namespace;
@@ -1050,22 +1063,25 @@ transmit_search_request (void *cls, size_t size, void *buf)
     mbc.put_cnt = (size - msize) / sizeof (GNUNET_HashCode);
     sqms = GNUNET_CONTAINER_multihashmap_size (sc->master_result_map);
     mbc.put_cnt = GNUNET_MIN (mbc.put_cnt, sqms - mbc.skip_cnt);
-    mbc.uri = NULL;
+    mbc.keyword_offset = 0;
     if (sc->search_request_map_offset < sqms)
       GNUNET_assert (mbc.put_cnt > 0);
     msize += sizeof (GNUNET_HashCode) * mbc.put_cnt;
     GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
                                            &build_result_set, &mbc);
     sm->header.size = htons (msize);
+    GNUNET_assert (sqms >= sc->search_request_map_offset);
     if (sqms != sc->search_request_map_offset)
     {
       /* more requesting to be done... */
+      sm->options = htonl (options | SEARCH_MESSAGE_OPTION_CONTINUED);
       schedule_transmit_search_request (sc);
       return msize;
     }
+    sm->options = htonl (options);
   }
-  GNUNET_CLIENT_receive (sc->client,
-                         &receive_results, sc, GNUNET_TIME_UNIT_FOREVER_REL);
+  GNUNET_CLIENT_receive (sc->client, &receive_results, sc,
+                         GNUNET_TIME_UNIT_FOREVER_REL);
   return msize;
 }
 
@@ -1090,8 +1106,7 @@ schedule_transmit_search_request (struct GNUNET_FS_SearchContext *sc)
   fit = (GNUNET_SERVER_MAX_MESSAGE_SIZE - 1 - size) / sizeof (GNUNET_HashCode);
   fit = GNUNET_MIN (fit, sqms);
   size += sizeof (GNUNET_HashCode) * fit;
-  GNUNET_CLIENT_notify_transmit_ready (sc->client,
-                                       size,
+  GNUNET_CLIENT_notify_transmit_ready (sc->client, size,
                                        GNUNET_CONSTANTS_SERVICE_TIMEOUT,
                                        GNUNET_NO, &transmit_search_request, sc);
 
@@ -1140,9 +1155,9 @@ try_reconnect (struct GNUNET_FS_SearchContext *sc)
     GNUNET_CLIENT_disconnect (sc->client, GNUNET_NO);
     sc->client = NULL;
   }
-  sc->task
-      = GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS,
-                                      &do_reconnect, sc);
+  sc->task =
+      GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_SECONDS, &do_reconnect,
+                                    sc);
 }
 
 
@@ -1159,10 +1174,8 @@ try_reconnect (struct GNUNET_FS_SearchContext *sc)
  * @return context that can be used to control the search
  */
 static struct GNUNET_FS_SearchContext *
-search_start (struct GNUNET_FS_Handle *h,
-              const struct GNUNET_FS_Uri *uri,
-              uint32_t anonymity,
-              enum GNUNET_FS_SearchOptions options,
+search_start (struct GNUNET_FS_Handle *h, const struct GNUNET_FS_Uri *uri,
+              uint32_t anonymity, enum GNUNET_FS_SearchOptions options,
               void *cctx, struct GNUNET_FS_SearchResult *psearch)
 {
   struct GNUNET_FS_SearchContext *sc;
@@ -1215,8 +1228,9 @@ GNUNET_FS_search_start_searching_ (struct GNUNET_FS_SearchContext *sc)
   if (GNUNET_FS_uri_test_ksk (sc->uri))
   {
     GNUNET_assert (0 != sc->uri->data.ksk.keywordCount);
-    sc->requests = GNUNET_malloc (sizeof (struct SearchRequestEntry) *
-                                  sc->uri->data.ksk.keywordCount);
+    sc->requests =
+        GNUNET_malloc (sizeof (struct SearchRequestEntry) *
+                       sc->uri->data.ksk.keywordCount);
     for (i = 0; i < sc->uri->data.ksk.keywordCount; i++)
     {
       keyword = &sc->uri->data.ksk.keywords[i][1];
@@ -1253,8 +1267,8 @@ GNUNET_FS_search_start_searching_ (struct GNUNET_FS_SearchContext *sc)
  * @return GNUNET_OK
  */
 static int
-search_result_freeze_probes (void *cls,
-                             const GNUNET_HashCode * key, void *value)
+search_result_freeze_probes (void *cls, const GNUNET_HashCode * key,
+                             void *value)
 {
   struct GNUNET_FS_SearchResult *sr = value;
 
@@ -1283,8 +1297,8 @@ search_result_freeze_probes (void *cls,
  * @return GNUNET_OK
  */
 static int
-search_result_resume_probes (void *cls,
-                             const GNUNET_HashCode * key, void *value)
+search_result_resume_probes (void *cls, const GNUNET_HashCode * key,
+                             void *value)
 {
   struct GNUNET_FS_SearchResult *sr = value;
 
@@ -1327,6 +1341,7 @@ search_result_suspend (void *cls, const GNUNET_HashCode * key, void *value)
     GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
   if (sr->probe_cancel_task != GNUNET_SCHEDULER_NO_TASK)
     GNUNET_SCHEDULER_cancel (sr->probe_cancel_task);
+  GNUNET_free_non_null (sr->keyword_bitmap);
   GNUNET_free (sr);
   return GNUNET_OK;
 }
@@ -1383,8 +1398,7 @@ GNUNET_FS_search_signal_suspend_ (void *cls)
  */
 struct GNUNET_FS_SearchContext *
 GNUNET_FS_search_start (struct GNUNET_FS_Handle *h,
-                        const struct GNUNET_FS_Uri *uri,
-                        uint32_t anonymity,
+                        const struct GNUNET_FS_Uri *uri, uint32_t anonymity,
                         enum GNUNET_FS_SearchOptions options, void *cctx)
 {
   struct GNUNET_FS_SearchContext *ret;
@@ -1398,7 +1412,7 @@ GNUNET_FS_search_start (struct GNUNET_FS_Handle *h,
 
 
 /**
- * Pause search.  
+ * Pause search.
  *
  * @param sc context for the search that should be paused
  */
@@ -1442,6 +1456,30 @@ GNUNET_FS_search_continue (struct GNUNET_FS_SearchContext *sc)
 }
 
 
+/**
+ * Signal stop for the given search result.
+ *
+ * @param cls the global FS handle
+ * @param key the key for the search result (unused)
+ * @param value the search result to free
+ * @return GNUNET_OK
+ */
+static int
+search_result_stop (void *cls, const GNUNET_HashCode * key, void *value)
+{
+  struct GNUNET_FS_SearchContext *sc = cls;
+  struct GNUNET_FS_SearchResult *sr = value;
+  struct GNUNET_FS_ProgressInfo pi;
+
+  pi.status = GNUNET_FS_STATUS_SEARCH_RESULT_STOPPED;
+  pi.value.search.specifics.result_stopped.cctx = sr->client_info;
+  pi.value.search.specifics.result_stopped.meta = sr->meta;
+  pi.value.search.specifics.result_stopped.uri = sr->uri;
+  sr->client_info = GNUNET_FS_search_make_status_ (&pi, sc);
+  return GNUNET_OK;
+}
+
+
 /**
  * Free the given search result.
  *
@@ -1460,13 +1498,12 @@ search_result_free (void *cls, const GNUNET_HashCode * key, void *value)
   if (NULL != sr->download)
   {
     sr->download->search = NULL;
-    sr->download->top = GNUNET_FS_make_top (sr->download->h,
-                                            &GNUNET_FS_download_signal_suspend_,
-                                            sr->download);
+    sr->download->top =
+        GNUNET_FS_make_top (sr->download->h,
+                            &GNUNET_FS_download_signal_suspend_, sr->download);
     if (NULL != sr->download->serialization)
     {
-      GNUNET_FS_remove_sync_file_ (sc->h,
-                                   GNUNET_FS_SYNC_PATH_CHILD_DOWNLOAD,
+      GNUNET_FS_remove_sync_file_ (sc->h, GNUNET_FS_SYNC_PATH_CHILD_DOWNLOAD,
                                    sr->download->serialization);
       GNUNET_free (sr->download->serialization);
       sr->download->serialization = NULL;
@@ -1481,11 +1518,6 @@ search_result_free (void *cls, const GNUNET_HashCode * key, void *value)
     GNUNET_FS_search_stop (sr->update_search);
     GNUNET_assert (sr->update_search == NULL);
   }
-  pi.status = GNUNET_FS_STATUS_SEARCH_RESULT_STOPPED;
-  pi.value.search.specifics.result_stopped.cctx = sr->client_info;
-  pi.value.search.specifics.result_stopped.meta = sr->meta;
-  pi.value.search.specifics.result_stopped.uri = sr->uri;
-  sr->client_info = GNUNET_FS_search_make_status_ (&pi, sc);
   GNUNET_break (NULL == sr->client_info);
   GNUNET_free_non_null (sr->serialization);
   GNUNET_FS_uri_destroy (sr->uri);
@@ -1494,6 +1526,7 @@ search_result_free (void *cls, const GNUNET_HashCode * key, void *value)
     GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
   if (sr->probe_cancel_task != GNUNET_SCHEDULER_NO_TASK)
     GNUNET_SCHEDULER_cancel (sr->probe_cancel_task);
+  GNUNET_free_non_null (sr->keyword_bitmap);
   GNUNET_free (sr);
   return GNUNET_OK;
 }
@@ -1512,21 +1545,21 @@ GNUNET_FS_search_stop (struct GNUNET_FS_SearchContext *sc)
 
   if (sc->top != NULL)
     GNUNET_FS_end_top (sc->h, sc->top);
+  GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
+                                         &search_result_stop, sc);
   if (sc->psearch_result != NULL)
     sc->psearch_result->update_search = NULL;
-  GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
-                                         &search_result_free, sc);
   if (sc->serialization != NULL)
   {
     GNUNET_FS_remove_sync_file_ (sc->h,
-                                 (sc->psearch_result != NULL)
-                                 ? GNUNET_FS_SYNC_PATH_CHILD_SEARCH
-                                 GNUNET_FS_SYNC_PATH_MASTER_SEARCH,
+                                 (sc->psearch_result !=
+                                  NULL) ? GNUNET_FS_SYNC_PATH_CHILD_SEARCH :
+                                 GNUNET_FS_SYNC_PATH_MASTER_SEARCH,
                                  sc->serialization);
     GNUNET_FS_remove_sync_dir_ (sc->h,
-                                (sc->psearch_result != NULL)
-                                ? GNUNET_FS_SYNC_PATH_CHILD_SEARCH
-                                GNUNET_FS_SYNC_PATH_MASTER_SEARCH,
+                                (sc->psearch_result !=
+                                 NULL) ? GNUNET_FS_SYNC_PATH_CHILD_SEARCH :
+                                GNUNET_FS_SYNC_PATH_MASTER_SEARCH,
                                 sc->serialization);
     GNUNET_free (sc->serialization);
   }
@@ -1537,6 +1570,8 @@ GNUNET_FS_search_stop (struct GNUNET_FS_SearchContext *sc)
     GNUNET_SCHEDULER_cancel (sc->task);
   if (NULL != sc->client)
     GNUNET_CLIENT_disconnect (sc->client, GNUNET_NO);
+  GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
+                                         &search_result_free, sc);
   GNUNET_CONTAINER_multihashmap_destroy (sc->master_result_map);
   if (sc->requests != NULL)
   {