- update fs
[oweals/gnunet.git] / src / fs / fs_search.c
index 746a2f19d082a9e33f37a4eac76b69c745289d52..57c3816b7c8980b2a0645365296768458f7273e0 100644 (file)
@@ -1,10 +1,10 @@
 /*
      This file is part of GNUnet.
-     (C) 2001, 2002, 2003, 2004, 2005, 2006, 2008, 2009 Christian Grothoff (and other contributing authors)
+     (C) 2001-2013 Christian Grothoff (and other contributing authors)
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
-     by the Free Software Foundation; either version 2, or (at your
+     by the Free Software Foundation; either version 3, or (at your
      option) any later version.
 
      GNUnet is distributed in the hope that it will be useful, but
 
      You should have received a copy of the GNU General Public License
      along with GNUnet; see the file COPYING.  If not, write to the
-     Free Software Foundation, Inc., 59 Temple Place - Suite 330,
+     Free Software Foundation, Inc., 59 Tem ple Place - Suite 330,
      Boston, MA 02111-1307, USA.
 */
-
 /**
  * @file fs/fs_search.c
  * @brief Helper functions for searching.
  * @author Christian Grothoff
- *
- * TODO:
- * - handle SKS updates searches nicely (can wait)
- * - handle availability probes (can wait)
- * - make operations persistent (can wait)
- * - handle namespace advertisements (can wait)
- * - add support for pushing "already seen" information
- *   to FS service for bloomfilter (can wait)
  */
-
 #include "platform.h"
 #include "gnunet_constants.h"
 #include "gnunet_fs_service.h"
 #include "gnunet_protocols.h"
-#include "fs.h"
-
-#define DEBUG_SEARCH GNUNET_YES
+#include "fs_api.h"
+#include "fs_publish_ublock.h"
 
 
+/**
+ * Number of availability trials we perform per search result.
+ */
+#define AVAILABILITY_TRIALS_MAX 8
 
 /**
- * Fill in all of the generic fields for 
- * a search event.
+ * Fill in all of the generic fields for a search event and
+ * call the callback.
  *
  * @param pi structure to fill in
+ * @param h file-sharing handle
  * @param sc overall search context
+ * @return value returned by the callback
  */
-static void
-make_search_status (struct GNUNET_FS_ProgressInfo *pi,
-                   struct GNUNET_FS_SearchContext *sc)
+void *
+GNUNET_FS_search_make_status_ (struct GNUNET_FS_ProgressInfo *pi,
+                              struct GNUNET_FS_Handle *h,
+                               struct GNUNET_FS_SearchContext *sc)
 {
+  void *ret;
+
   pi->value.search.sc = sc;
-  pi->value.search.cctx
-    = sc->client_info;
-  pi->value.search.pctx
-    = (sc->parent == NULL) ? NULL : sc->parent->client_info;
-  pi->value.search.query 
-    = sc->uri;
-  pi->value.search.duration = GNUNET_TIME_absolute_get_duration (sc->start_time);
-  pi->value.search.anonymity = sc->anonymity;
+  pi->value.search.cctx = (NULL != sc) ? sc->client_info : NULL;
+  pi->value.search.pctx =
+    ((NULL == sc) || (NULL == sc->psearch_result))
+    ? NULL
+    : sc->psearch_result->client_info;
+  pi->value.search.query = (NULL != sc) ? sc->uri : NULL;
+  pi->value.search.duration = (NULL != sc)
+    ? GNUNET_TIME_absolute_get_duration (sc->start_time)
+    : GNUNET_TIME_UNIT_ZERO;
+  pi->value.search.anonymity = (NULL != sc) ? sc->anonymity : 0;
+  pi->fsh = h;
+  ret = h->upcb (h->upcb_cls, pi);
+  return ret;
 }
 
 
 /**
- * Check if the given result is identical
- * to the given URI.
- * 
+ * Check if the given result is identical to the given URI.
+ *
  * @param cls points to the URI we check against
  * @param key not used
- * @param value a "struct SearchResult" who's URI we
+ * @param value a `struct GNUNET_FS_SearchResult` who's URI we
  *        should compare with
- * @return GNUNET_SYSERR if the result is present,
- *         GNUNET_OK otherwise
+ * @return #GNUNET_SYSERR if the result is present,
+ *         #GNUNET_OK otherwise
  */
 static int
 test_result_present (void *cls,
-                    const GNUNET_HashCode * key,
-                    void *value)
+                     const struct GNUNET_HashCode * key,
+                     void *value)
 {
   const struct GNUNET_FS_Uri *uri = cls;
-  struct SearchResult *sr = value;
+  struct GNUNET_FS_SearchResult *sr = value;
 
-  if (GNUNET_FS_uri_test_equal (uri,
-                               sr->uri))
+  if (GNUNET_FS_uri_test_equal (uri, sr->uri))
     return GNUNET_SYSERR;
   return GNUNET_OK;
 }
@@ -94,58 +95,57 @@ test_result_present (void *cls,
 /**
  * We've found a new CHK result.  Let the client
  * know about it.
- * 
+ *
  * @param sc the search context
  * @param sr the specific result
  */
 static void
-notify_client_chk_result (struct GNUNET_FS_SearchContext *sc, 
-                         struct SearchResult *sr)
-{                        
+notify_client_chk_result (struct GNUNET_FS_SearchContext *sc,
+                          struct GNUNET_FS_SearchResult *sr)
+{
   struct GNUNET_FS_ProgressInfo pi;
 
   pi.status = GNUNET_FS_STATUS_SEARCH_RESULT;
-  make_search_status (&pi, sc);
   pi.value.search.specifics.result.meta = sr->meta;
   pi.value.search.specifics.result.uri = sr->uri;
-  sr->client_info = sc->h->upcb (sc->h->upcb_cls,
-                                &pi);
+  pi.value.search.specifics.result.result = sr;
+  pi.value.search.specifics.result.applicability_rank = sr->optional_support;
+  sr->client_info = GNUNET_FS_search_make_status_ (&pi, sc->h, sc);
 }
 
 
 /**
  * We've found new information about an existing CHK result.  Let the
  * client know about it.
- * 
+ *
  * @param sc the search context
  * @param sr the specific result
  */
 static void
-notify_client_chk_update (struct GNUNET_FS_SearchContext *sc, 
-                         struct SearchResult *sr)
-{                        
+notify_client_chk_update (struct GNUNET_FS_SearchContext *sc,
+                          struct GNUNET_FS_SearchResult *sr)
+{
   struct GNUNET_FS_ProgressInfo pi;
 
   pi.status = GNUNET_FS_STATUS_SEARCH_UPDATE;
-  make_search_status (&pi, sc);
   pi.value.search.specifics.update.cctx = sr->client_info;
   pi.value.search.specifics.update.meta = sr->meta;
   pi.value.search.specifics.update.uri = sr->uri;
-  pi.value.search.specifics.update.availability_rank
-    = 2*sr->availability_success - sr->availability_trials;
-  pi.value.search.specifics.update.availability_certainty 
-    = sr->availability_trials;
-  pi.value.search.specifics.update.applicability_rank 
-    = sr->optional_support;
-  sr->client_info = sc->h->upcb (sc->h->upcb_cls,
-                                &pi);
+  pi.value.search.specifics.update.availability_rank =
+      2 * sr->availability_success - sr->availability_trials;
+  pi.value.search.specifics.update.availability_certainty =
+      sr->availability_trials;
+  pi.value.search.specifics.update.applicability_rank = sr->optional_support;
+  pi.value.search.specifics.update.current_probe_time
+    = GNUNET_TIME_absolute_get_duration (sr->probe_active_time);
+  sr->client_info = GNUNET_FS_search_make_status_ (&pi, sc->h, sc);
 }
 
 
 /**
  * Context for "get_result_present".
  */
-struct GetResultContext 
+struct GetResultContext
 {
   /**
    * The URI we're looking for.
@@ -156,35 +156,366 @@ struct GetResultContext
    * Where to store a pointer to the search
    * result struct if we found a match.
    */
-  struct SearchResult *sr;
+  struct GNUNET_FS_SearchResult *sr;
 };
 
 
 /**
  * Check if the given result is identical to the given URI and if so
  * return it.
- * 
- * @param cls a "struct GetResultContext"
+ *
+ * @param cls a `struct GetResultContext`
  * @param key not used
- * @param value a "struct SearchResult" who's URI we
+ * @param value a `struct GNUNET_FS_SearchResult` who's URI we
  *        should compare with
- * @return GNUNET_OK
+ * @return #GNUNET_OK
  */
 static int
-get_result_present (void *cls,
-                    const GNUNET_HashCode * key,
-                    void *value)
+get_result_present (void *cls, const struct GNUNET_HashCode * key, void *value)
 {
   struct GetResultContext *grc = cls;
-  struct SearchResult *sr = value;
+  struct GNUNET_FS_SearchResult *sr = value;
 
-  if (GNUNET_FS_uri_test_equal (grc->uri,
-                               sr->uri))
+  if (GNUNET_FS_uri_test_equal (grc->uri, sr->uri))
     grc->sr = sr;
   return GNUNET_OK;
 }
 
 
+/**
+ * Signal result of last probe to client and then schedule next
+ * probe.
+ *
+ * @param sr search result to signal for
+ */
+static void
+signal_probe_result (struct GNUNET_FS_SearchResult *sr)
+{
+  struct GNUNET_FS_ProgressInfo pi;
+
+  pi.status = GNUNET_FS_STATUS_SEARCH_UPDATE;
+  pi.value.search.specifics.update.cctx = sr->client_info;
+  pi.value.search.specifics.update.meta = sr->meta;
+  pi.value.search.specifics.update.uri = sr->uri;
+  pi.value.search.specifics.update.availability_rank
+    = 2 * sr->availability_success - sr->availability_trials;
+  pi.value.search.specifics.update.availability_certainty
+    = sr->availability_trials;
+  pi.value.search.specifics.update.applicability_rank = sr->optional_support;
+  pi.value.search.specifics.update.current_probe_time
+    = GNUNET_TIME_absolute_get_duration (sr->probe_active_time);
+  sr->client_info = GNUNET_FS_search_make_status_ (&pi, sr->h, sr->sc);
+  GNUNET_FS_search_start_probe_ (sr);
+}
+
+
+/**
+ * Handle the case where we have failed to receive a response for our probe.
+ *
+ * @param cls our `struct GNUNET_FS_SearchResult *`
+ * @param tc scheduler context
+ */
+static void
+probe_failure_handler (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct GNUNET_FS_SearchResult *sr = cls;
+
+  sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
+  sr->availability_trials++;
+  GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
+  sr->probe_ctx = NULL;
+  if (GNUNET_SCHEDULER_NO_TASK != sr->probe_ping_task)
+  {
+    GNUNET_SCHEDULER_cancel (sr->probe_ping_task);
+    sr->probe_ping_task = GNUNET_SCHEDULER_NO_TASK;
+  }
+  GNUNET_FS_search_result_sync_ (sr);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+             "Probe #%u for search result %p failed\n",
+             sr->availability_trials,
+             sr);
+  signal_probe_result (sr);
+}
+
+
+/**
+ * Handle the case where we have gotten a response for our probe.
+ *
+ * @param cls our `struct GNUNET_FS_SearchResult *`
+ * @param tc scheduler context
+ */
+static void
+probe_success_handler (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct GNUNET_FS_SearchResult *sr = cls;
+
+  sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
+  sr->availability_trials++;
+  sr->availability_success++;
+  GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
+  sr->probe_ctx = NULL;
+  if (GNUNET_SCHEDULER_NO_TASK != sr->probe_ping_task)
+  {
+    GNUNET_SCHEDULER_cancel (sr->probe_ping_task);
+    sr->probe_ping_task = GNUNET_SCHEDULER_NO_TASK;
+  }
+  GNUNET_FS_search_result_sync_ (sr);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+             "Probe #%u for search result %p succeeded\n",
+             sr->availability_trials,
+             sr);
+  signal_probe_result (sr);
+}
+
+
+/**
+ * Notification of FS that a search probe has made progress.
+ * This function is used INSTEAD of the client's event handler
+ * for downloads where the #GNUNET_FS_DOWNLOAD_IS_PROBE flag is set.
+ *
+ * @param cls closure, always NULL (!), actual closure
+ *        is in the client-context of the info struct
+ * @param info details about the event, specifying the event type
+ *        and various bits about the event
+ * @return client-context (for the next progress call
+ *         for this operation; should be set to NULL for
+ *         SUSPEND and STOPPED events).  The value returned
+ *         will be passed to future callbacks in the respective
+ *         field in the `struct GNUNET_FS_ProgressInfo`.
+ */
+void *
+GNUNET_FS_search_probe_progress_ (void *cls,
+                                  const struct GNUNET_FS_ProgressInfo *info)
+{
+  struct GNUNET_FS_SearchResult *sr = info->value.download.cctx;
+  struct GNUNET_TIME_Relative dur;
+
+  switch (info->status)
+  {
+  case GNUNET_FS_STATUS_DOWNLOAD_START:
+    /* ignore */
+    break;
+  case GNUNET_FS_STATUS_DOWNLOAD_RESUME:
+    /* probes should never be resumed */
+    GNUNET_assert (0);
+    break;
+  case GNUNET_FS_STATUS_DOWNLOAD_SUSPEND:
+    /* probes should never be suspended */
+    GNUNET_break (0);
+    break;
+  case GNUNET_FS_STATUS_DOWNLOAD_PROGRESS:
+    /* ignore */
+    break;
+  case GNUNET_FS_STATUS_DOWNLOAD_ERROR:
+    if (GNUNET_SCHEDULER_NO_TASK != sr->probe_cancel_task)
+    {
+      GNUNET_SCHEDULER_cancel (sr->probe_cancel_task);
+      sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
+    }
+    sr->probe_cancel_task =
+        GNUNET_SCHEDULER_add_delayed (sr->remaining_probe_time,
+                                      &probe_failure_handler, sr);
+    break;
+  case GNUNET_FS_STATUS_DOWNLOAD_COMPLETED:
+    if (GNUNET_SCHEDULER_NO_TASK != sr->probe_cancel_task)
+    {
+      GNUNET_SCHEDULER_cancel (sr->probe_cancel_task);
+      sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
+    }
+    sr->probe_cancel_task =
+        GNUNET_SCHEDULER_add_now (&probe_success_handler, sr);
+    break;
+  case GNUNET_FS_STATUS_DOWNLOAD_STOPPED:
+    if (GNUNET_SCHEDULER_NO_TASK != sr->probe_cancel_task)
+    {
+      GNUNET_SCHEDULER_cancel (sr->probe_cancel_task);
+      sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
+    }
+    sr = NULL;
+    break;
+  case GNUNET_FS_STATUS_DOWNLOAD_ACTIVE:
+    if (GNUNET_SCHEDULER_NO_TASK == sr->probe_cancel_task)
+    {
+      sr->probe_active_time = GNUNET_TIME_absolute_get ();
+      sr->probe_cancel_task =
+        GNUNET_SCHEDULER_add_delayed (sr->remaining_probe_time,
+                                      &probe_failure_handler, sr);
+    }
+    break;
+  case GNUNET_FS_STATUS_DOWNLOAD_INACTIVE:
+    if (GNUNET_SCHEDULER_NO_TASK != sr->probe_cancel_task)
+    {
+      GNUNET_SCHEDULER_cancel (sr->probe_cancel_task);
+      sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
+    }
+    dur = GNUNET_TIME_absolute_get_duration (sr->probe_active_time);
+    sr->remaining_probe_time =
+        GNUNET_TIME_relative_subtract (sr->remaining_probe_time, dur);
+    if (0 == sr->remaining_probe_time.rel_value_us)
+      sr->probe_cancel_task =
+        GNUNET_SCHEDULER_add_now (&probe_failure_handler, sr);
+    GNUNET_FS_search_result_sync_ (sr);
+    break;
+  default:
+    GNUNET_break (0);
+    return NULL;
+  }
+  return sr;
+}
+
+
+/**
+ * Task run periodically to remind clients that a probe is active.
+ *
+ * @param cls the 'struct GNUNET_FS_SearchResult' that we are probing for
+ * @param tc scheduler context
+ */
+static void
+probe_ping_task (void *cls,
+                const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  struct GNUNET_FS_SearchResult *sr = cls;
+
+  signal_probe_result (sr);
+  sr->probe_ping_task
+    = GNUNET_SCHEDULER_add_delayed (GNUNET_FS_PROBE_UPDATE_FREQUENCY,
+                                   &probe_ping_task,
+                                   sr);
+}
+
+
+/**
+ * Start download probes for the given search result.
+ *
+ * @param sr the search result
+ */
+void
+GNUNET_FS_search_start_probe_ (struct GNUNET_FS_SearchResult *sr)
+{
+  uint64_t off;
+  uint64_t len;
+
+  if (NULL != sr->probe_ctx)
+    return;
+  if (NULL != sr->download)
+    return;
+  if (0 == (sr->h->flags & GNUNET_FS_FLAGS_DO_PROBES))
+    return;
+  if (sr->availability_trials > AVAILABILITY_TRIALS_MAX)
+    return;
+  if ( (GNUNET_FS_URI_CHK != sr->uri->type) && (GNUNET_FS_URI_LOC != sr->uri->type))
+    return;
+  len = GNUNET_FS_uri_chk_get_file_size (sr->uri);
+  if (0 == len)
+    return;
+  if ((len <= DBLOCK_SIZE) && (sr->availability_success > 0))
+    return;
+  off = len / DBLOCK_SIZE;
+  if (off > 0)
+    off = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, off);
+  off *= DBLOCK_SIZE;
+  if (len - off < DBLOCK_SIZE)
+    len = len - off;
+  else
+    len = DBLOCK_SIZE;
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+             "Starting probe #%u (at offset %llu) for search result %p\n",
+             sr->availability_trials + 1,
+             (unsigned long long) off,
+             sr);
+  sr->remaining_probe_time =
+      GNUNET_TIME_relative_multiply (sr->h->avg_block_latency,
+                                     2 * (1 + sr->availability_trials));
+  sr->probe_ctx =
+      GNUNET_FS_download_start (sr->h, sr->uri, sr->meta, NULL, NULL, off,
+                                len, sr->anonymity,
+                                GNUNET_FS_DOWNLOAD_NO_TEMPORARIES |
+                                GNUNET_FS_DOWNLOAD_IS_PROBE, sr, NULL);
+  sr->probe_ping_task
+    = GNUNET_SCHEDULER_add_now (&probe_ping_task,
+                               sr);
+}
+
+
+/**
+ * Start download probes for the given search result.
+ *
+ * @param h file-sharing handle to use for the operation
+ * @param uri URI to probe
+ * @param meta meta data associated with the URI
+ * @param client_info client info pointer to use for associated events
+ * @param anonymity anonymity level to use for the probes
+ * @return the search result handle to access the probe activity
+ */
+struct GNUNET_FS_SearchResult *
+GNUNET_FS_probe (struct GNUNET_FS_Handle *h,
+                const struct GNUNET_FS_Uri *uri,
+                const struct GNUNET_CONTAINER_MetaData *meta,
+                void *client_info,
+                uint32_t anonymity)
+{
+  struct GNUNET_FS_SearchResult *sr;
+
+  GNUNET_assert (NULL != h);
+  sr = GNUNET_new (struct GNUNET_FS_SearchResult);
+  sr->h = h;
+  sr->uri = GNUNET_FS_uri_dup (uri);
+  sr->meta = GNUNET_CONTAINER_meta_data_duplicate (meta);
+  sr->client_info = client_info;
+  sr->anonymity = anonymity;
+  GNUNET_FS_search_start_probe_ (sr);
+  return sr;
+}
+
+
+/**
+ * Stop probing activity associated with a search result.
+ *
+ * @param sr search result
+ */
+static void
+GNUNET_FS_search_stop_probe_ (struct GNUNET_FS_SearchResult *sr)
+{
+  if (NULL != sr->probe_ctx)
+  {
+    GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
+    sr->probe_ctx = NULL;
+  }
+  if (GNUNET_SCHEDULER_NO_TASK != sr->probe_ping_task)
+  {
+    GNUNET_SCHEDULER_cancel (sr->probe_ping_task);
+    sr->probe_ping_task = GNUNET_SCHEDULER_NO_TASK;
+  }
+  if (GNUNET_SCHEDULER_NO_TASK != sr->probe_cancel_task)
+  {
+    GNUNET_SCHEDULER_cancel (sr->probe_cancel_task);
+    sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
+  }
+}
+
+
+/**
+ * Stop probe activity.  Must ONLY be used on values
+ * returned from #GNUNET_FS_probe.
+ *
+ * @param sr search result to stop probing for (freed)
+ * @return the value of the 'client_info' pointer
+ */
+void *
+GNUNET_FS_probe_stop (struct GNUNET_FS_SearchResult *sr)
+{
+  void *client_info;
+
+  GNUNET_assert (NULL == sr->sc);
+  GNUNET_FS_search_stop_probe_ (sr);
+  GNUNET_FS_uri_destroy (sr->uri);
+  GNUNET_CONTAINER_meta_data_destroy (sr->meta);
+  client_info = sr->client_info;
+  GNUNET_free (sr);
+  return client_info;
+}
+
+
 /**
  * We have received a KSK result.  Check how it fits in with the
  * overall query and notify the client accordingly.
@@ -193,51 +524,56 @@ get_result_present (void *cls,
  * @param ent entry for the specific keyword
  * @param uri the URI that was found
  * @param meta metadata associated with the URI
- *        under the "ent" keyword
+ *        under the @a ent keyword
  */
 static void
-process_ksk_result (struct GNUNET_FS_SearchContext *sc, 
-                   struct SearchRequestEntry *ent,
-                   const struct GNUNET_FS_Uri *uri,
-                   const struct GNUNET_CONTAINER_MetaData *meta)
+process_ksk_result (struct GNUNET_FS_SearchContext *sc,
+                    struct SearchRequestEntry *ent,
+                    const struct GNUNET_FS_Uri *uri,
+                    const struct GNUNET_CONTAINER_MetaData *meta)
 {
-  GNUNET_HashCode key;
-  struct SearchResult *sr;
+  struct GNUNET_HashCode key;
+  struct GNUNET_FS_SearchResult *sr;
   struct GetResultContext grc;
   int is_new;
+  unsigned int koff;
 
   /* check if new */
+  GNUNET_assert (NULL != sc);
   GNUNET_FS_uri_to_key (uri, &key);
   if (GNUNET_SYSERR ==
-      GNUNET_CONTAINER_multihashmap_get_multiple (ent->results,
-                                                 &key,
-                                                 &test_result_present,
-                                                 (void*) uri))
-    return; /* duplicate result */
+      GNUNET_CONTAINER_multihashmap_get_multiple (ent->results, &key,
+                                                  &test_result_present,
+                                                  (void *) uri))
+    return;                     /* duplicate result */
   /* try to find search result in master map */
   grc.sr = NULL;
   grc.uri = uri;
-  GNUNET_CONTAINER_multihashmap_get_multiple (sc->master_result_map,
-                                             &key,
-                                             &get_result_present,
-                                             &grc);
+  GNUNET_CONTAINER_multihashmap_get_multiple (sc->master_result_map, &key,
+                                              &get_result_present, &grc);
   sr = grc.sr;
   is_new = (NULL == sr) || (sr->mandatory_missing > 0);
   if (NULL == sr)
-    {
-      sr = GNUNET_malloc (sizeof (struct SearchResult));
-      sr->uri = GNUNET_FS_uri_dup (uri);
-      sr->meta = GNUNET_CONTAINER_meta_data_duplicate (meta);
-      sr->mandatory_missing = sc->mandatory_count;
-      GNUNET_CONTAINER_multihashmap_put (sc->master_result_map,
-                                        &key,
-                                        sr,
-                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
-    }
+  {
+    sr = GNUNET_new (struct GNUNET_FS_SearchResult);
+    sr->h = sc->h;
+    sr->sc = sc;
+    sr->anonymity = sc->anonymity;
+    sr->uri = GNUNET_FS_uri_dup (uri);
+    sr->meta = GNUNET_CONTAINER_meta_data_duplicate (meta);
+    sr->mandatory_missing = sc->mandatory_count;
+    sr->key = key;
+    sr->keyword_bitmap = GNUNET_malloc ((sc->uri->data.ksk.keywordCount + 7) / 8); /* round up, count bits */
+    GNUNET_CONTAINER_multihashmap_put (sc->master_result_map, &key, sr,
+                                       GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
+  }
   else
-    {
-      /* FIXME: consider combining the meta data */
-    }
+  {
+    GNUNET_CONTAINER_meta_data_merge (sr->meta, meta);
+  }
+  koff = ent - sc->requests;
+  GNUNET_assert ( (ent >= sc->requests) && (koff < sc->uri->data.ksk.keywordCount));
+  sr->keyword_bitmap[koff / 8] |= (1 << (koff % 8));
   /* check if mandatory satisfied */
   if (ent->mandatory)
     sr->mandatory_missing--;
@@ -249,7 +585,8 @@ process_ksk_result (struct GNUNET_FS_SearchContext *sc,
     notify_client_chk_result (sc, sr);
   else
     notify_client_chk_update (sc, sr);
-  /* FIXME: consider starting probes for "sr" */
+  GNUNET_FS_search_result_sync_ (sr);
+  GNUNET_FS_search_start_probe_ (sr);
 }
 
 
@@ -260,16 +597,15 @@ process_ksk_result (struct GNUNET_FS_SearchContext *sc,
  * @param uri specifies the search parameters; can be
  *        a KSK URI or an SKS URI.
  * @param anonymity desired level of anonymity
+ * @param options options for the search
  * @param cctx client context
- * @param parent parent search (for namespace update searches)
+ * @param psearch parent search result (for namespace update searches)
  * @return context that can be used to control the search
  */
 static struct GNUNET_FS_SearchContext *
-search_start (struct GNUNET_FS_Handle *h,
-             const struct GNUNET_FS_Uri *uri,
-             uint32_t anonymity,
-             void *cctx,
-             struct GNUNET_FS_SearchContext *parent);
+search_start (struct GNUNET_FS_Handle *h, const struct GNUNET_FS_Uri *uri,
+              uint32_t anonymity, enum GNUNET_FS_SearchOptions options,
+              void *cctx, struct GNUNET_FS_SearchResult *psearch);
 
 
 /**
@@ -282,123 +618,149 @@ search_start (struct GNUNET_FS_Handle *h,
  * @param meta metadata associated with the URI
   */
 static void
-process_sks_result (struct GNUNET_FS_SearchContext *sc, 
-                   const char *id_update,
-                   const struct GNUNET_FS_Uri *uri,
-                   const struct GNUNET_CONTAINER_MetaData *meta)
+process_sks_result (struct GNUNET_FS_SearchContext *sc,
+                    const char *id_update,
+                    const struct GNUNET_FS_Uri *uri,
+                    const struct GNUNET_CONTAINER_MetaData *meta)
 {
   struct GNUNET_FS_Uri uu;
-  GNUNET_HashCode key;
-  struct SearchResult *sr;
+  struct GNUNET_HashCode key;
+  struct GNUNET_FS_SearchResult *sr;
 
   /* check if new */
+  GNUNET_assert (NULL != sc);
   GNUNET_FS_uri_to_key (uri, &key);
-  GNUNET_CRYPTO_hash_xor (&uri->data.chk.chk.key,
-                         &uri->data.chk.chk.query,
-                         &key);
+  GNUNET_CRYPTO_hash_xor (&uri->data.chk.chk.key, &uri->data.chk.chk.query,
+                          &key);
   if (GNUNET_SYSERR ==
-      GNUNET_CONTAINER_multihashmap_get_multiple (sc->master_result_map,
-                                                 &key,
-                                                 &test_result_present,
-                                                 (void*) uri))
-    return; /* duplicate result */
-  sr = GNUNET_malloc (sizeof (struct SearchResult));
+      GNUNET_CONTAINER_multihashmap_get_multiple (sc->master_result_map, &key,
+                                                  &test_result_present,
+                                                  (void *) uri))
+    return;                     /* duplicate result */
+  sr = GNUNET_new (struct GNUNET_FS_SearchResult);
+  sr->h = sc->h;
+  sr->sc = sc;
+  sr->anonymity = sc->anonymity;
   sr->uri = GNUNET_FS_uri_dup (uri);
   sr->meta = GNUNET_CONTAINER_meta_data_duplicate (meta);
-  GNUNET_CONTAINER_multihashmap_put (sc->master_result_map,
-                                    &key,
-                                    sr,
-                                    GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
-  /* FIXME: consider starting probes for "sr" */
-
+  sr->key = key;
+  GNUNET_CONTAINER_multihashmap_put (sc->master_result_map, &key, sr,
+                                     GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
+  GNUNET_FS_search_result_sync_ (sr);
+  GNUNET_FS_search_start_probe_ (sr);
   /* notify client */
   notify_client_chk_result (sc, sr);
   /* search for updates */
-  if (strlen (id_update) == 0)
-    return; /* no updates */
-  uu.type = sks;
-  uu.data.sks.namespace = sc->uri->data.sks.namespace;
+  if (0 == strlen (id_update))
+    return;                     /* no updates */
+  uu.type = GNUNET_FS_URI_SKS;
+  uu.data.sks.ns = sc->uri->data.sks.ns;
   uu.data.sks.identifier = GNUNET_strdup (id_update);
-  /* FIXME: should attach update search
-     to the individual result, not
-     the entire SKS search! */
-  search_start (sc->h,
-               &uu,
-               sc->anonymity,
-               NULL,
-               sc);
+  (void) search_start (sc->h, &uu, sc->anonymity, sc->options, NULL, sr);
+  GNUNET_free (uu.data.sks.identifier);
+}
+
+
+/**
+ * Decrypt a ublock using a 'keyword' as the passphrase.  Given the
+ * KSK public key derived from the keyword, this function looks up
+ * the original keyword in the search context and decrypts the
+ * given ciphertext block.
+ *
+ * @param sc search context with the keywords
+ * @param dpub derived public key used for the search
+ * @param edata encrypted data
+ * @param edata_size number of bytes in @a edata (and @a data)
+ * @param data where to store the plaintext
+ * @return keyword index on success, #GNUNET_SYSERR on error (no such
+ *         keyword, internal error)
+ */
+static int
+decrypt_block_with_keyword (const struct GNUNET_FS_SearchContext *sc,
+                           const struct GNUNET_CRYPTO_EcdsaPublicKey *dpub,
+                           const void *edata,
+                           size_t edata_size,
+                           char *data)
+{
+  const struct GNUNET_CRYPTO_EcdsaPrivateKey *anon;
+  struct GNUNET_CRYPTO_EcdsaPublicKey anon_pub;
+  unsigned int i;
+
+  /* find key */
+  for (i = 0; i < sc->uri->data.ksk.keywordCount; i++)
+    if (0 == memcmp (dpub,
+                    &sc->requests[i].dpub,
+                    sizeof (struct GNUNET_CRYPTO_EcdsaPublicKey)))
+      break;
+  if (i == sc->uri->data.ksk.keywordCount)
+  {
+    /* oops, does not match any of our keywords!? */
+    GNUNET_break (0);
+    return GNUNET_SYSERR;
+  }
+  /* decrypt */
+  anon = GNUNET_CRYPTO_ecdsa_key_get_anonymous ();
+  GNUNET_CRYPTO_ecdsa_key_get_public (anon, &anon_pub);
+  GNUNET_FS_ublock_decrypt_ (edata, edata_size,
+                            &anon_pub,
+                            sc->requests[i].keyword,
+                            data);
+  return i;
 }
 
 
 /**
- * Process a keyword-search result.
+ * Process a keyword search result.  The actual type of block is
+ * a UBlock; we know it is a keyword search result because that's
+ * what we were searching for.
  *
  * @param sc our search context
- * @param kb the kblock
- * @param size size of kb
+ * @param ub the ublock with the keyword search result
+ * @param size size of @a ub
  */
 static void
 process_kblock (struct GNUNET_FS_SearchContext *sc,
-               const struct KBlock *kb,
-               size_t size)
+               const struct UBlock *ub,
+                size_t size)
 {
-  unsigned int i;
   size_t j;
-  GNUNET_HashCode q;
-  char pt[size - sizeof (struct KBlock)];
-  struct GNUNET_CRYPTO_AesSessionKey skey;
-  struct GNUNET_CRYPTO_AesInitializationVector iv;
+  char pt[size - sizeof (struct UBlock)];
   const char *eos;
   struct GNUNET_CONTAINER_MetaData *meta;
   struct GNUNET_FS_Uri *uri;
   char *emsg;
-  
-  GNUNET_CRYPTO_hash (&kb->keyspace,
-                     sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
-                     &q);
-  /* find key */
-  for (i=0;i<sc->uri->data.ksk.keywordCount;i++)
-    if (0 == memcmp (&q,
-                    &sc->requests[i].query,
-                    sizeof (GNUNET_HashCode)))
-      break;
-  if (i == sc->uri->data.ksk.keywordCount)
-    {
-      /* oops, does not match any of our keywords!? */
-      GNUNET_break (0);
-      return;
-    }
-  /* decrypt */
-  GNUNET_CRYPTO_hash_to_aes_key (&sc->requests[i].key, &skey, &iv);
-  GNUNET_CRYPTO_aes_decrypt (&kb[1],
-                            size - sizeof (struct KBlock),
-                            &skey,
-                            &iv,
-                            pt);
-  /* parse */
-  eos = memchr (pt, 0, sizeof (pt));
+  int i;
+
+  if (-1 == (i = decrypt_block_with_keyword (sc,
+                                            &ub->verification_key,
+                                            &ub[1],
+                                            size - sizeof (struct UBlock),
+                                            pt)))
+    return;
+  /* parse; pt[0] is just '\0', so we skip over that */
+  eos = memchr (&pt[1], '\0', sizeof (pt) - 1);
   if (NULL == eos)
-    {
-      GNUNET_break_op (0);
-      return;
-    }
+  {
+    GNUNET_break_op (0);
+    return;
+  }
+  if (NULL == (uri = GNUNET_FS_uri_parse (&pt[1], &emsg)))
+  {
+    GNUNET_break_op (0);        /* ublock malformed */
+    GNUNET_free_non_null (emsg);
+    return;
+  }
   j = eos - pt + 1;
-  meta = GNUNET_CONTAINER_meta_data_deserialize (&pt[j],
-                                                sizeof (pt) - j);
-  if (meta == NULL)
-    {
-      GNUNET_break_op (0);       /* kblock malformed */
-      return;
-    }
-  uri = GNUNET_FS_uri_parse (pt, &emsg);
-  if (uri == NULL)
-    {
-      GNUNET_break_op (0);       /* kblock malformed */
-      GNUNET_free_non_null (emsg);
-      GNUNET_CONTAINER_meta_data_destroy (meta);
-      return;
-    }
-  /* process */
+  if (sizeof (pt) == j)
+    meta = GNUNET_CONTAINER_meta_data_create ();
+  else
+    meta = GNUNET_CONTAINER_meta_data_deserialize (&pt[j], sizeof (pt) - j);
+  if (NULL == meta)
+  {
+    GNUNET_break_op (0);        /* ublock malformed */
+    GNUNET_FS_uri_destroy (uri);
+    return;
+  }
   process_ksk_result (sc, &sc->requests[i], uri, meta);
 
   /* clean up */
@@ -408,67 +770,53 @@ process_kblock (struct GNUNET_FS_SearchContext *sc,
 
 
 /**
- * Process a namespace-search result.
+ * Process a namespace-search result.  The actual type of block is
+ * a UBlock; we know it is a namespace search result because that's
+ * what we were searching for.
  *
  * @param sc our search context
- * @param sb the sblock
- * @param size size of sb
+ * @param ub the ublock with a namespace result
+ * @param size size of @a ub
  */
 static void
 process_sblock (struct GNUNET_FS_SearchContext *sc,
-               const struct SBlock *sb,
-               size_t size)
+               const struct UBlock *ub,
+                size_t size)
 {
-  size_t len = size - sizeof (struct SBlock);
+  size_t len = size - sizeof (struct UBlock);
   char pt[len];
-  struct GNUNET_CRYPTO_AesSessionKey skey;
-  struct GNUNET_CRYPTO_AesInitializationVector iv;
   struct GNUNET_FS_Uri *uri;
   struct GNUNET_CONTAINER_MetaData *meta;
   const char *id;
   const char *uris;
   size_t off;
   char *emsg;
-  GNUNET_HashCode key;
-  char *identifier;
 
-  /* decrypt */
-  identifier = sc->uri->data.sks.identifier;
-  GNUNET_CRYPTO_hash (identifier, 
-                     strlen (identifier), 
-                     &key);
-  GNUNET_CRYPTO_hash_to_aes_key (&key, &skey, &iv);
-  GNUNET_CRYPTO_aes_encrypt (&sb[1],
-                            len,
-                            &skey,
-                            &iv,
+  GNUNET_FS_ublock_decrypt_ (&ub[1], len,
+                            &sc->uri->data.sks.ns,
+                            sc->uri->data.sks.identifier,
                             pt);
   /* parse */
-  off = GNUNET_STRINGS_buffer_tokenize (pt,
-                                       len, 
-                                       2, 
-                                       &id, 
-                                       &uris);
-  if (off == 0)
-    {
-      GNUNET_break_op (0);     /* sblock malformed */
-      return;
-    }
-  meta = GNUNET_CONTAINER_meta_data_deserialize (&pt[off], 
-                                                len - off);
-  if (meta == NULL)
-    {
-      GNUNET_break_op (0);     /* sblock malformed */
-      return;
-    }
-  uri = GNUNET_FS_uri_parse (uris, &emsg);
-  if (uri == NULL)
-    {
-      GNUNET_break_op (0);     /* sblock malformed */
-      GNUNET_free_non_null (emsg);
-      GNUNET_CONTAINER_meta_data_destroy (meta);
-      return;
-    }
+  if (0 == (off = GNUNET_STRINGS_buffer_tokenize (pt, len, 2, &id, &uris)))
+  {
+    GNUNET_break_op (0);        /* ublock malformed */
+    return;
+  }
+  if (NULL == (meta = GNUNET_CONTAINER_meta_data_deserialize (&pt[off], len - off)))
+  {
+    GNUNET_break_op (0);        /* ublock malformed */
+    return;
+  }
+  if (NULL == (uri = GNUNET_FS_uri_parse (uris, &emsg)))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+               _("Failed to parse URI `%s': %s\n"),
+               uris, emsg);
+    GNUNET_break_op (0);        /* ublock malformed */
+    GNUNET_free_non_null (emsg);
+    GNUNET_CONTAINER_meta_data_destroy (meta);
+    return;
+  }
   /* process */
   process_sks_result (sc, id, uri, meta);
   /* clean up */
@@ -484,57 +832,46 @@ process_sblock (struct GNUNET_FS_SearchContext *sc,
  * @param type type of the result
  * @param expiration when it will expire
  * @param data the (encrypted) response
- * @param size size of data
+ * @param size size of @a data
  */
 static void
 process_result (struct GNUNET_FS_SearchContext *sc,
-               uint32_t type,
-               struct GNUNET_TIME_Absolute expiration,
+               enum GNUNET_BLOCK_Type type,
+                struct GNUNET_TIME_Absolute expiration,
                const void *data,
-               size_t size)
+                size_t size)
 {
-  if (GNUNET_TIME_absolute_get_duration (expiration).value > 0)
-    return; /* result expired */
+  if (GNUNET_TIME_absolute_get_duration (expiration).rel_value_us > 0)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "Result received has already expired.\n");
+    return;                     /* result expired */
+  }
   switch (type)
-    {
-    case GNUNET_DATASTORE_BLOCKTYPE_KBLOCK:
-      if (! GNUNET_FS_uri_test_ksk (sc->uri))
-       {
-         GNUNET_break (0);
-         return;
-       }
-      if (sizeof (struct KBlock) > size)
-       {
-         GNUNET_break_op (0);
-         return;
-       }
-      process_kblock (sc, data, size);
-      break;
-    case GNUNET_DATASTORE_BLOCKTYPE_SBLOCK:
-      if (! GNUNET_FS_uri_test_ksk (sc->uri))
-       {
-         GNUNET_break (0);
-         return;
-       }
-      if (sizeof (struct SBlock) > size)
-       {
-         GNUNET_break_op (0);
-         return;
-       }
+  {
+  case GNUNET_BLOCK_TYPE_FS_UBLOCK:
+    if (GNUNET_FS_URI_SKS == sc->uri->type)
       process_sblock (sc, data, size);
-      break;
-    case GNUNET_DATASTORE_BLOCKTYPE_ANY:
-    case GNUNET_DATASTORE_BLOCKTYPE_DBLOCK:
-    case GNUNET_DATASTORE_BLOCKTYPE_ONDEMAND:
-    case GNUNET_DATASTORE_BLOCKTYPE_IBLOCK:
-      GNUNET_break (0);
-      break;
-    default:
-      GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                 _("Got result with unknown block type `%d', ignoring"),
-                 type);
-      break;
-    }
+    else
+      process_kblock (sc, data, size);
+    break;
+  case GNUNET_BLOCK_TYPE_ANY:
+    GNUNET_break (0);
+    break;
+  case GNUNET_BLOCK_TYPE_FS_DBLOCK:
+    GNUNET_break (0);
+    break;
+  case GNUNET_BLOCK_TYPE_FS_ONDEMAND:
+    GNUNET_break (0);
+    break;
+  case GNUNET_BLOCK_TYPE_FS_IBLOCK:
+    GNUNET_break (0);
+    break;
+  default:
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                _("Got result with unknown block type `%d', ignoring"), type);
+    break;
+  }
 }
 
 
@@ -545,7 +882,7 @@ process_result (struct GNUNET_FS_SearchContext *sc,
  *
  * @param sc the search to reconnec
  */
-static void 
+static void
 try_reconnect (struct GNUNET_FS_SearchContext *sc);
 
 
@@ -556,33 +893,127 @@ try_reconnect (struct GNUNET_FS_SearchContext *sc);
  * @param cls closure
  * @param msg message received, NULL on timeout or fatal error
  */
-static void 
-receive_results (void *cls,
-                const struct GNUNET_MessageHeader * msg)
+static void
+receive_results (void *cls, const struct GNUNET_MessageHeader *msg)
 {
   struct GNUNET_FS_SearchContext *sc = cls;
-  const struct PutMessage *cm;
+  const struct ClientPutMessage *cm;
   uint16_t msize;
 
-  if ( (NULL == msg) ||
-       (ntohs (msg->type) != GNUNET_MESSAGE_TYPE_FS_PUT) ||
-       (ntohs (msg->size) <= sizeof (struct PutMessage)) )
-    {
-      try_reconnect (sc);
-      return;
-    }
+  if ((NULL == msg) || (ntohs (msg->type) != GNUNET_MESSAGE_TYPE_FS_PUT) ||
+      (ntohs (msg->size) <= sizeof (struct ClientPutMessage)))
+  {
+    try_reconnect (sc);
+    return;
+  }
   msize = ntohs (msg->size);
-  cm = (const struct PutMessage*) msg;
-  process_result (sc, 
-                 ntohl (cm->type),
-                 GNUNET_TIME_absolute_ntoh (cm->expiration),
-                 &cm[1],
-                 msize - sizeof (struct PutMessage));
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+              "Receiving %u bytes of result from fs service\n", msize);
+  cm = (const struct ClientPutMessage *) msg;
+  process_result (sc, ntohl (cm->type),
+                  GNUNET_TIME_absolute_ntoh (cm->expiration), &cm[1],
+                  msize - sizeof (struct ClientPutMessage));
   /* continue receiving */
-  GNUNET_CLIENT_receive (sc->client,
-                        &receive_results,
-                        sc,
-                        GNUNET_TIME_UNIT_FOREVER_REL);
+  GNUNET_CLIENT_receive (sc->client, &receive_results, sc,
+                         GNUNET_TIME_UNIT_FOREVER_REL);
+}
+
+
+/**
+ * Schedule the transmission of the (next) search request
+ * to the service.
+ *
+ * @param sc context for the search
+ */
+static void
+schedule_transmit_search_request (struct GNUNET_FS_SearchContext *sc);
+
+
+/**
+ * Closure for 'build_result_set'.
+ */
+struct MessageBuilderContext
+{
+  /**
+   * How many entries can we store to xoff.
+   */
+  unsigned int put_cnt;
+
+  /**
+   * How many entries should we skip.
+   */
+  unsigned int skip_cnt;
+
+  /**
+   * Where to store the keys.
+   */
+  struct GNUNET_HashCode *xoff;
+
+  /**
+   * Search context we are iterating for.
+   */
+  struct GNUNET_FS_SearchContext *sc;
+
+  /**
+   * Keyword offset the search result must match (0 for SKS)
+   */
+  unsigned int keyword_offset;
+};
+
+
+/**
+ * Iterating over the known results, pick those matching the given
+ * result range and store their keys at 'xoff'.
+ *
+ * @param cls the `struct MessageBuilderContext`
+ * @param key key for a result
+ * @param value the search result
+ * @return #GNUNET_OK to continue iterating
+ */
+static int
+build_result_set (void *cls, const struct GNUNET_HashCode * key, void *value)
+{
+  struct MessageBuilderContext *mbc = cls;
+  struct GNUNET_FS_SearchResult *sr = value;
+
+  if ( (NULL != sr->keyword_bitmap) &&
+       (0 == (sr->keyword_bitmap[mbc->keyword_offset / 8] & (1 << (mbc->keyword_offset % 8)))) )
+    return GNUNET_OK; /* have no match for this keyword yet */
+  if (mbc->skip_cnt > 0)
+  {
+    mbc->skip_cnt--;
+    return GNUNET_OK;
+  }
+  if (0 == mbc->put_cnt)
+    return GNUNET_SYSERR;
+  mbc->sc->search_request_map_offset++;
+  mbc->xoff[--mbc->put_cnt] = *key;
+
+  return GNUNET_OK;
+}
+
+
+/**
+ * Iterating over the known results, count those
+ * matching the given result range and increment
+ * put count for each.
+ *
+ * @param cls the `struct MessageBuilderContext`
+ * @param key key for a result
+ * @param value the search result
+ * @return #GNUNET_OK to continue iterating
+ */
+static int
+find_result_set (void *cls, const struct GNUNET_HashCode * key, void *value)
+{
+  struct MessageBuilderContext *mbc = cls;
+  struct GNUNET_FS_SearchResult *sr = value;
+
+  if ( (NULL != sr->keyword_bitmap) &&
+       (0 == (sr->keyword_bitmap[mbc->keyword_offset / 8] & (1 << (mbc->keyword_offset % 8)))) )
+    return GNUNET_OK; /* have no match for this keyword yet */
+  mbc->put_cnt++;
+  return GNUNET_OK;
 }
 
 
@@ -591,74 +1022,144 @@ receive_results (void *cls,
  * file-sharing service.  Do it.
  *
  * @param cls closure
- * @param size number of bytes available in buf
+ * @param size number of bytes available in @a buf
  * @param buf where the callee should write the message
- * @return number of bytes written to buf
+ * @return number of bytes written to @a buf
  */
 static size_t
-transmit_search_request (void *cls,
-                        size_t size, 
-                        void *buf)
+transmit_search_request (void *cls, size_t size, void *buf)
 {
   struct GNUNET_FS_SearchContext *sc = cls;
+  struct MessageBuilderContext mbc;
   size_t msize;
   struct SearchMessage *sm;
-  unsigned int i;
-  const char *identifier;
-  GNUNET_HashCode key;
-  GNUNET_HashCode idh;
+  struct GNUNET_CRYPTO_EcdsaPublicKey dpub;
+  unsigned int sqms;
+  uint32_t options;
 
   if (NULL == buf)
+  {
+    try_reconnect (sc);
+    return 0;
+  }
+  mbc.sc = sc;
+  mbc.skip_cnt = sc->search_request_map_offset;
+  sm = buf;
+  sm->header.type = htons (GNUNET_MESSAGE_TYPE_FS_START_SEARCH);
+  mbc.xoff = (struct GNUNET_HashCode *) & sm[1];
+  options = SEARCH_MESSAGE_OPTION_NONE;
+  if (0 != (sc->options & GNUNET_FS_SEARCH_OPTION_LOOPBACK_ONLY))
+    options |= SEARCH_MESSAGE_OPTION_LOOPBACK_ONLY;
+  if (GNUNET_FS_uri_test_ksk (sc->uri))
+  {
+    msize = sizeof (struct SearchMessage);
+    GNUNET_assert (size >= msize);
+    mbc.keyword_offset = sc->keyword_offset;
+    /* calculate total number of known results (in put_cnt => sqms) */
+    mbc.put_cnt = 0;
+    GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
+                                           &find_result_set, &mbc);
+    sqms = mbc.put_cnt;
+    /* calculate how many results we can send in this message */
+    mbc.put_cnt = (size - msize) / sizeof (struct GNUNET_HashCode);
+    mbc.put_cnt = GNUNET_MIN (mbc.put_cnt, sqms - mbc.skip_cnt);
+    if (sc->search_request_map_offset < sqms)
+      GNUNET_assert (mbc.put_cnt > 0);
+
+    /* now build message */
+    msize += sizeof (struct GNUNET_HashCode) * mbc.put_cnt;
+    sm->header.size = htons (msize);
+    sm->type = htonl (GNUNET_BLOCK_TYPE_FS_UBLOCK);
+    sm->anonymity_level = htonl (sc->anonymity);
+    memset (&sm->target, 0, sizeof (struct GNUNET_PeerIdentity));
+    sm->query = sc->requests[sc->keyword_offset].uquery;
+    GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
+                                           &build_result_set, &mbc);
+    GNUNET_assert (sqms >= sc->search_request_map_offset);
+    if (sqms != sc->search_request_map_offset)
     {
-      try_reconnect (sc);
-      return 0;
+      /* more requesting to be done... */
+      sm->options = htonl (options | SEARCH_MESSAGE_OPTION_CONTINUED);
+      schedule_transmit_search_request (sc);
+      return msize;
     }
-  if (GNUNET_FS_uri_test_ksk (sc->uri))
+    sm->options = htonl (options);
+    sc->keyword_offset++;
+    if (sc->uri->data.ksk.keywordCount != sc->keyword_offset)
     {
-      msize = sizeof (struct SearchMessage) * sc->uri->data.ksk.keywordCount;
-      GNUNET_assert (size >= msize);
-      sm = buf;
-      memset (sm, 0, msize);
-      for (i=0;i<sc->uri->data.ksk.keywordCount;i++)
-       {
-         sm[i].header.size = htons (sizeof (struct SearchMessage));
-         sm[i].header.type = htons (GNUNET_MESSAGE_TYPE_FS_START_SEARCH);
-         sm[i].type = htonl (GNUNET_DATASTORE_BLOCKTYPE_KBLOCK);
-  sm[i].anonymity_level = htonl (sc->anonymity);
-         sm[i].query = sc->requests[i].query;
-       }
+      /* more requesting to be done... */
+      schedule_transmit_search_request (sc);
+      return msize;
     }
+  }
   else
+  {
+    GNUNET_assert (GNUNET_FS_uri_test_sks (sc->uri));
+    msize = sizeof (struct SearchMessage);
+    GNUNET_assert (size >= msize);
+    sm->type = htonl (GNUNET_BLOCK_TYPE_FS_UBLOCK);
+    sm->anonymity_level = htonl (sc->anonymity);
+    memset (&sm->target, 0, sizeof (struct GNUNET_PeerIdentity));
+    GNUNET_CRYPTO_ecdsa_public_key_derive (&sc->uri->data.sks.ns,
+                                        sc->uri->data.sks.identifier,
+                                        "fs-ublock",
+                                        &dpub);
+    GNUNET_CRYPTO_hash (&dpub,
+                       sizeof (dpub),
+                       &sm->query);
+    mbc.put_cnt = (size - msize) / sizeof (struct GNUNET_HashCode);
+    sqms = GNUNET_CONTAINER_multihashmap_size (sc->master_result_map);
+    mbc.put_cnt = GNUNET_MIN (mbc.put_cnt, sqms - mbc.skip_cnt);
+    mbc.keyword_offset = 0;
+    if (sc->search_request_map_offset < sqms)
+      GNUNET_assert (mbc.put_cnt > 0);
+    msize += sizeof (struct GNUNET_HashCode) * mbc.put_cnt;
+    GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
+                                           &build_result_set, &mbc);
+    sm->header.size = htons (msize);
+    GNUNET_assert (sqms >= sc->search_request_map_offset);
+    if (sqms != sc->search_request_map_offset)
     {
-      GNUNET_assert (GNUNET_FS_uri_test_sks (sc->uri));
-      msize = sizeof (struct SearchMessage);
-      GNUNET_assert (size >= msize);
-      sm = buf;
-      memset (sm, 0, msize);
-      sm->header.size = htons (sizeof (struct SearchMessage));
-      sm->header.type = htons (GNUNET_MESSAGE_TYPE_FS_START_SEARCH);
-      sm->type = htonl (GNUNET_DATASTORE_BLOCKTYPE_SBLOCK);
-      sm->anonymity_level = htonl (sc->anonymity);
-      sm->target = sc->uri->data.sks.namespace;
-      identifier = sc->uri->data.sks.identifier;
-      GNUNET_CRYPTO_hash (identifier,
-                         strlen (identifier),
-                         &key);
-      GNUNET_CRYPTO_hash (&key,
-                         sizeof (GNUNET_HashCode),
-                         &idh);
-      GNUNET_CRYPTO_hash_xor (&idh,
-                             &sm->target,
-                             &sm->query);
-   }
-  GNUNET_CLIENT_receive (sc->client,
-                        &receive_results,
-                        sc,
-                        GNUNET_TIME_UNIT_FOREVER_REL);
+      /* more requesting to be done... */
+      sm->options = htonl (options | SEARCH_MESSAGE_OPTION_CONTINUED);
+      schedule_transmit_search_request (sc);
+      return msize;
+    }
+    sm->options = htonl (options);
+  }
+  GNUNET_CLIENT_receive (sc->client, &receive_results, sc,
+                         GNUNET_TIME_UNIT_FOREVER_REL);
   return msize;
 }
 
 
+/**
+ * Schedule the transmission of the (next) search request
+ * to the service.
+ *
+ * @param sc context for the search
+ */
+static void
+schedule_transmit_search_request (struct GNUNET_FS_SearchContext *sc)
+{
+  size_t size;
+  unsigned int sqms;
+  unsigned int fit;
+
+  size = sizeof (struct SearchMessage);
+  sqms =
+      GNUNET_CONTAINER_multihashmap_size (sc->master_result_map) -
+      sc->search_request_map_offset;
+  fit = (GNUNET_SERVER_MAX_MESSAGE_SIZE - 1 - size) / sizeof (struct GNUNET_HashCode);
+  fit = GNUNET_MIN (fit, sqms);
+  size += sizeof (struct GNUNET_HashCode) * fit;
+  GNUNET_CLIENT_notify_transmit_ready (sc->client, size,
+                                       GNUNET_CONSTANTS_SERVICE_TIMEOUT,
+                                       GNUNET_NO, &transmit_search_request, sc);
+
+}
+
+
 /**
  * Reconnect to the FS service and transmit
  * our queries NOW.
@@ -667,33 +1168,22 @@ transmit_search_request (void *cls,
  * @param tc unused
  */
 static void
-do_reconnect (void *cls,
-             const struct GNUNET_SCHEDULER_TaskContext *tc)
+do_reconnect (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
   struct GNUNET_FS_SearchContext *sc = cls;
   struct GNUNET_CLIENT_Connection *client;
-  size_t size;
-  
+
   sc->task = GNUNET_SCHEDULER_NO_TASK;
-  client = GNUNET_CLIENT_connect (sc->h->sched,
-                                 "fs",
-                                 sc->h->cfg);
+  client = GNUNET_CLIENT_connect ("fs", sc->h->cfg);
   if (NULL == client)
-    {
-      try_reconnect (sc);
-      return;
-    }
+  {
+    try_reconnect (sc);
+    return;
+  }
   sc->client = client;
-  if (GNUNET_FS_uri_test_ksk (sc->uri))
-    size = sizeof (struct SearchMessage) * sc->uri->data.ksk.keywordCount;
-  else
-    size = sizeof (struct SearchMessage);
-  GNUNET_CLIENT_notify_transmit_ready (client,
-                                      size,
-                                       GNUNET_CONSTANTS_SERVICE_TIMEOUT,
-                                      GNUNET_NO,
-                                      &transmit_search_request,
-                                      sc);  
+  sc->search_request_map_offset = 0;
+  sc->keyword_offset = 0;
+  schedule_transmit_search_request (sc);
 }
 
 
@@ -704,19 +1194,19 @@ do_reconnect (void *cls,
  *
  * @param sc the search to reconnec
  */
-static void 
+static void
 try_reconnect (struct GNUNET_FS_SearchContext *sc)
 {
   if (NULL != sc->client)
-    {
-      GNUNET_CLIENT_disconnect (sc->client, GNUNET_NO);
-      sc->client = NULL;
-    }
-  sc->task
-    = GNUNET_SCHEDULER_add_delayed (sc->h->sched,
-                                   GNUNET_TIME_UNIT_SECONDS,
+  {
+    GNUNET_CLIENT_disconnect (sc->client);
+    sc->client = NULL;
+  }
+  sc->reconnect_backoff = GNUNET_TIME_STD_BACKOFF (sc->reconnect_backoff);
+  sc->task =
+      GNUNET_SCHEDULER_add_delayed (sc->reconnect_backoff,
                                    &do_reconnect,
-                                   sc);
+                                    sc);
 }
 
 
@@ -727,96 +1217,245 @@ try_reconnect (struct GNUNET_FS_SearchContext *sc)
  * @param uri specifies the search parameters; can be
  *        a KSK URI or an SKS URI.
  * @param anonymity desired level of anonymity
+ * @param options options for the search
  * @param cctx initial value for the client context
- * @param parent parent search (for namespace update searches)
+ * @param psearch parent search result (for namespace update searches)
  * @return context that can be used to control the search
  */
 static struct GNUNET_FS_SearchContext *
 search_start (struct GNUNET_FS_Handle *h,
-             const struct GNUNET_FS_Uri *uri,
-             uint32_t anonymity,
-             void *cctx,
-             struct GNUNET_FS_SearchContext *parent)
+              const struct GNUNET_FS_Uri *uri,
+              uint32_t anonymity,
+              enum GNUNET_FS_SearchOptions options,
+              void *cctx,
+              struct GNUNET_FS_SearchResult *psearch)
 {
   struct GNUNET_FS_SearchContext *sc;
-  struct GNUNET_CLIENT_Connection *client;
   struct GNUNET_FS_ProgressInfo pi;
-  size_t size;
-  unsigned int i;
-  const char *keyword;
-  GNUNET_HashCode hc;
-  struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded pub;  
-  struct GNUNET_CRYPTO_RsaPrivateKey *pk;
 
-  if (GNUNET_FS_uri_test_ksk (uri))
-    {
-      size = sizeof (struct SearchMessage) * uri->data.ksk.keywordCount;
-    }
-  else
-    {
-      GNUNET_assert (GNUNET_FS_uri_test_sks (uri));
-      size = sizeof (struct SearchMessage);
-    }
-  if (size >= GNUNET_SERVER_MAX_MESSAGE_SIZE)
-    {
-      GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
-                 _("Too many keywords specified for a single search."));
-      return NULL;
-    }
-  client = GNUNET_CLIENT_connect (h->sched,
-                                 "fs",
-                                 h->cfg);
-  if (NULL == client)
-    return NULL;
-  sc = GNUNET_malloc (sizeof(struct GNUNET_FS_SearchContext));
+  sc = GNUNET_new (struct GNUNET_FS_SearchContext);
   sc->h = h;
+  sc->options = options;
   sc->uri = GNUNET_FS_uri_dup (uri);
   sc->anonymity = anonymity;
   sc->start_time = GNUNET_TIME_absolute_get ();
-  sc->client = client;  
-  sc->parent = parent;
-  sc->master_result_map = GNUNET_CONTAINER_multihashmap_create (16);
+  if (NULL != psearch)
+  {
+    sc->psearch_result = psearch;
+    psearch->update_search = sc;
+  }
+  sc->master_result_map = GNUNET_CONTAINER_multihashmap_create (16, GNUNET_NO);
   sc->client_info = cctx;
-  if (GNUNET_FS_uri_test_ksk (uri))
+  if (GNUNET_OK != GNUNET_FS_search_start_searching_ (sc))
+  {
+    GNUNET_FS_uri_destroy (sc->uri);
+    GNUNET_CONTAINER_multihashmap_destroy (sc->master_result_map);
+    GNUNET_free (sc);
+    return NULL;
+  }
+  GNUNET_FS_search_sync_ (sc);
+  pi.status = GNUNET_FS_STATUS_SEARCH_START;
+  sc->client_info = GNUNET_FS_search_make_status_ (&pi, sc->h, sc);
+  return sc;
+}
+
+
+/**
+ * Build the request and actually initiate the search using the
+ * GNUnet FS service.
+ *
+ * @param sc search context
+ * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
+ */
+int
+GNUNET_FS_search_start_searching_ (struct GNUNET_FS_SearchContext *sc)
+{
+  unsigned int i;
+  const char *keyword;
+  const struct GNUNET_CRYPTO_EcdsaPrivateKey *anon;
+  struct GNUNET_CRYPTO_EcdsaPublicKey anon_pub;
+  struct SearchRequestEntry *sre;
+
+  GNUNET_assert (NULL == sc->client);
+  if (GNUNET_FS_uri_test_ksk (sc->uri))
+  {
+    GNUNET_assert (0 != sc->uri->data.ksk.keywordCount);
+    anon = GNUNET_CRYPTO_ecdsa_key_get_anonymous ();
+    GNUNET_CRYPTO_ecdsa_key_get_public (anon, &anon_pub);
+    sc->requests =
+        GNUNET_malloc (sizeof (struct SearchRequestEntry) *
+                       sc->uri->data.ksk.keywordCount);
+    for (i = 0; i < sc->uri->data.ksk.keywordCount; i++)
     {
-      GNUNET_assert (0 != sc->uri->data.ksk.keywordCount);
-      sc->requests = GNUNET_malloc (sizeof (struct SearchRequestEntry) *
-                                   sc->uri->data.ksk.keywordCount);
-      for (i=0;i<sc->uri->data.ksk.keywordCount;i++)
-       {
-         keyword = &sc->uri->data.ksk.keywords[i][1];
-         GNUNET_CRYPTO_hash (keyword, strlen (keyword), &hc);
-         pk = GNUNET_CRYPTO_rsa_key_create_from_hash (&hc);
-         GNUNET_CRYPTO_rsa_key_get_public (pk, &pub);
-         GNUNET_CRYPTO_rsa_key_free (pk);
-         GNUNET_CRYPTO_hash (&pub,
-                             sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded), 
-                             &sc->requests[i].query);
-         sc->requests[i].mandatory = (sc->uri->data.ksk.keywords[i][0] == '+');
-         if (sc->requests[i].mandatory)
-           sc->mandatory_count++;
-         sc->requests[i].results = GNUNET_CONTAINER_multihashmap_create (4);
-         GNUNET_CRYPTO_hash (keyword,
-                             strlen (keyword),
-                             &sc->requests[i].key);
-       }
+      keyword = &sc->uri->data.ksk.keywords[i][1];
+      sre = &sc->requests[i];
+      sre->keyword = GNUNET_strdup (keyword);
+      GNUNET_CRYPTO_ecdsa_public_key_derive (&anon_pub,
+                                          keyword,
+                                          "fs-ublock",
+                                          &sre->dpub);
+      GNUNET_CRYPTO_hash (&sre->dpub,
+                         sizeof (struct GNUNET_CRYPTO_EcdsaPublicKey),
+                         &sre->uquery);
+      sre->mandatory = (sc->uri->data.ksk.keywords[i][0] == '+');
+      if (sre->mandatory)
+        sc->mandatory_count++;
+      sre->results = GNUNET_CONTAINER_multihashmap_create (4, GNUNET_NO);
     }
-  if (NULL != parent)
+  }
+  sc->client = GNUNET_CLIENT_connect ("fs", sc->h->cfg);
+  if (NULL == sc->client)
+    return GNUNET_SYSERR;
+  schedule_transmit_search_request (sc);
+  return GNUNET_OK;
+}
+
+
+/**
+ * Freeze probes for the given search result.
+ *
+ * @param cls the global FS handle
+ * @param key the key for the search result (unused)
+ * @param value the search result to free
+ * @return #GNUNET_OK
+ */
+static int
+search_result_freeze_probes (void *cls,
+                             const struct GNUNET_HashCode *key,
+                             void *value)
+{
+  struct GNUNET_FS_SearchResult *sr = value;
+
+  if (NULL != sr->probe_ctx)
+  {
+    GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
+    sr->probe_ctx = NULL;
+  }
+  if (GNUNET_SCHEDULER_NO_TASK != sr->probe_ping_task)
+  {
+    GNUNET_SCHEDULER_cancel (sr->probe_ping_task);
+    sr->probe_ping_task = GNUNET_SCHEDULER_NO_TASK;
+  }
+  if (GNUNET_SCHEDULER_NO_TASK != sr->probe_cancel_task)
+  {
+    GNUNET_SCHEDULER_cancel (sr->probe_cancel_task);
+    sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
+  }
+  if (NULL != sr->update_search)
+    GNUNET_FS_search_pause (sr->update_search);
+  return GNUNET_OK;
+}
+
+
+/**
+ * Resume probes for the given search result.
+ *
+ * @param cls the global FS handle
+ * @param key the key for the search result (unused)
+ * @param value the search result to free
+ * @return #GNUNET_OK
+ */
+static int
+search_result_resume_probes (void *cls,
+                             const struct GNUNET_HashCode * key,
+                             void *value)
+{
+  struct GNUNET_FS_SearchResult *sr = value;
+
+  GNUNET_FS_search_start_probe_ (sr);
+  if (NULL != sr->update_search)
+    GNUNET_FS_search_continue (sr->update_search);
+  return GNUNET_OK;
+}
+
+
+/**
+ * Signal suspend and free the given search result.
+ *
+ * @param cls the global FS handle
+ * @param key the key for the search result (unused)
+ * @param value the search result to free
+ * @return #GNUNET_OK
+ */
+static int
+search_result_suspend (void *cls,
+                       const struct GNUNET_HashCode * key,
+                       void *value)
+{
+  struct GNUNET_FS_SearchContext *sc = cls;
+  struct GNUNET_FS_SearchResult *sr = value;
+  struct GNUNET_FS_ProgressInfo pi;
+
+  if (NULL != sr->download)
+  {
+    GNUNET_FS_download_signal_suspend_ (sr->download);
+    sr->download = NULL;
+  }
+  if (NULL != sr->update_search)
+  {
+    GNUNET_FS_search_signal_suspend_ (sr->update_search);
+    sr->update_search = NULL;
+  }
+  GNUNET_FS_search_stop_probe_ (sr);
+  pi.status = GNUNET_FS_STATUS_SEARCH_RESULT_SUSPEND;
+  pi.value.search.specifics.result_suspend.cctx = sr->client_info;
+  pi.value.search.specifics.result_suspend.meta = sr->meta;
+  pi.value.search.specifics.result_suspend.uri = sr->uri;
+  sr->client_info = GNUNET_FS_search_make_status_ (&pi, sc->h, sc);
+  GNUNET_break (NULL == sr->client_info);
+  GNUNET_free_non_null (sr->serialization);
+  GNUNET_FS_uri_destroy (sr->uri);
+  GNUNET_CONTAINER_meta_data_destroy (sr->meta);
+  GNUNET_free_non_null (sr->keyword_bitmap);
+  GNUNET_free (sr);
+  return GNUNET_OK;
+}
+
+
+/**
+ * Create SUSPEND event for the given search operation
+ * and then clean up our state (without stop signal).
+ *
+ * @param cls the `struct GNUNET_FS_SearchContext` to signal for
+ */
+void
+GNUNET_FS_search_signal_suspend_ (void *cls)
+{
+  struct GNUNET_FS_SearchContext *sc = cls;
+  struct GNUNET_FS_ProgressInfo pi;
+  unsigned int i;
+
+  GNUNET_FS_end_top (sc->h, sc->top);
+  GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
+                                         &search_result_suspend, sc);
+  pi.status = GNUNET_FS_STATUS_SEARCH_SUSPEND;
+  sc->client_info = GNUNET_FS_search_make_status_ (&pi, sc->h, sc);
+  GNUNET_break (NULL == sc->client_info);
+  if (sc->task != GNUNET_SCHEDULER_NO_TASK)
+  {
+    GNUNET_SCHEDULER_cancel (sc->task);
+    sc->task = GNUNET_SCHEDULER_NO_TASK;
+  }
+  if (NULL != sc->client)
+  {
+    GNUNET_CLIENT_disconnect (sc->client);
+    sc->client = NULL;
+  }
+  GNUNET_CONTAINER_multihashmap_destroy (sc->master_result_map);
+  if (NULL != sc->requests)
+  {
+    GNUNET_assert (GNUNET_FS_uri_test_ksk (sc->uri));
+    for (i = 0; i < sc->uri->data.ksk.keywordCount; i++)
     {
-      // FIXME: need to track children
-      // in parent in case parent is stopped!
+      GNUNET_CONTAINER_multihashmap_destroy (sc->requests[i].results);
+      GNUNET_free (sc->requests[i].keyword);
     }
-  pi.status = GNUNET_FS_STATUS_SEARCH_START;
-  make_search_status (&pi, sc);
-  sc->client_info = h->upcb (h->upcb_cls,
-                            &pi);
-  GNUNET_CLIENT_notify_transmit_ready (client,
-                                      size,
-                                       GNUNET_CONSTANTS_SERVICE_TIMEOUT,
-                                      GNUNET_NO,
-                                      &transmit_search_request,
-                                      sc);  
-  return sc;
+  }
+  GNUNET_free_non_null (sc->requests);
+  GNUNET_free_non_null (sc->emsg);
+  GNUNET_FS_uri_destroy (sc->uri);
+  GNUNET_free_non_null (sc->serialization);
+  GNUNET_free (sc);
 }
 
 
@@ -827,42 +1466,48 @@ search_start (struct GNUNET_FS_Handle *h,
  * @param uri specifies the search parameters; can be
  *        a KSK URI or an SKS URI.
  * @param anonymity desired level of anonymity
+ * @param options options for the search
  * @param cctx initial value for the client context
  * @return context that can be used to control the search
  */
 struct GNUNET_FS_SearchContext *
 GNUNET_FS_search_start (struct GNUNET_FS_Handle *h,
-                       const struct GNUNET_FS_Uri *uri,
-                       uint32_t anonymity,
-                       void *cctx)
+                        const struct GNUNET_FS_Uri *uri, uint32_t anonymity,
+                        enum GNUNET_FS_SearchOptions options, void *cctx)
 {
-  return search_start (h, uri, anonymity, cctx, NULL);
+  struct GNUNET_FS_SearchContext *ret;
+
+  ret = search_start (h, uri, anonymity, options, cctx, NULL);
+  if (NULL == ret)
+    return NULL;
+  ret->top = GNUNET_FS_make_top (h, &GNUNET_FS_search_signal_suspend_, ret);
+  return ret;
 }
 
 
 /**
- * Pause search.  
+ * Pause search.
  *
  * @param sc context for the search that should be paused
  */
-void 
+void
 GNUNET_FS_search_pause (struct GNUNET_FS_SearchContext *sc)
 {
   struct GNUNET_FS_ProgressInfo pi;
 
-  if (sc->task != GNUNET_SCHEDULER_NO_TASK)
-    GNUNET_SCHEDULER_cancel (sc->h->sched,
-                            sc->task);
-  sc->task = GNUNET_SCHEDULER_NO_TASK;
+  if (GNUNET_SCHEDULER_NO_TASK != sc->task)
+  {
+    GNUNET_SCHEDULER_cancel (sc->task);
+    sc->task = GNUNET_SCHEDULER_NO_TASK;
+  }
   if (NULL != sc->client)
-    GNUNET_CLIENT_disconnect (sc->client, GNUNET_NO);
+    GNUNET_CLIENT_disconnect (sc->client);
   sc->client = NULL;
-  // FIXME: make persistent!
-  // FIXME: should this freeze all active probes?
+  GNUNET_FS_search_sync_ (sc);
+  GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
+                                         &search_result_freeze_probes, sc);
   pi.status = GNUNET_FS_STATUS_SEARCH_PAUSED;
-  make_search_status (&pi, sc);
-  sc->client_info = sc->h->upcb (sc->h->upcb_cls,
-                                &pi);
+  sc->client_info = GNUNET_FS_search_make_status_ (&pi, sc->h, sc);
 }
 
 
@@ -871,65 +1516,95 @@ GNUNET_FS_search_pause (struct GNUNET_FS_SearchContext *sc)
  *
  * @param sc context for the search that should be resumed
  */
-void 
+void
 GNUNET_FS_search_continue (struct GNUNET_FS_SearchContext *sc)
 {
   struct GNUNET_FS_ProgressInfo pi;
 
-  GNUNET_assert (sc->client == NULL);
-  GNUNET_assert (sc->task == GNUNET_SCHEDULER_NO_TASK);
+  GNUNET_assert (NULL == sc->client);
+  GNUNET_assert (GNUNET_SCHEDULER_NO_TASK == sc->task);
   do_reconnect (sc, NULL);
-  // FIXME: make persistent!
+  GNUNET_FS_search_sync_ (sc);
   pi.status = GNUNET_FS_STATUS_SEARCH_CONTINUED;
-  make_search_status (&pi, sc);
-  sc->client_info = sc->h->upcb (sc->h->upcb_cls,
-                                &pi);
+  sc->client_info = GNUNET_FS_search_make_status_ (&pi, sc->h, sc);
+  GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
+                                         &search_result_resume_probes, sc);
 }
 
 
 /**
- * Free the given search result.
+ * Signal stop for the given search result.
  *
  * @param cls the global FS handle
  * @param key the key for the search result (unused)
  * @param value the search result to free
- * @return GNUNET_OK
+ * @return #GNUNET_OK
  */
 static int
-search_result_free (void *cls,
-                   const GNUNET_HashCode * key,
-                   void *value)
+search_result_stop (void *cls,
+                    const struct GNUNET_HashCode *key,
+                    void *value)
 {
   struct GNUNET_FS_SearchContext *sc = cls;
-  struct GNUNET_FS_Handle *h = sc->h;
-  struct SearchResult *sr = value;
+  struct GNUNET_FS_SearchResult *sr = value;
   struct GNUNET_FS_ProgressInfo pi;
 
+  GNUNET_FS_search_stop_probe_ (sr);
+  if (NULL != sr->download)
+  {
+    sr->download->search = NULL;
+    sr->download->top =
+        GNUNET_FS_make_top (sr->download->h,
+                            &GNUNET_FS_download_signal_suspend_, sr->download);
+    if (NULL != sr->download->serialization)
+    {
+      GNUNET_FS_remove_sync_file_ (sc->h, GNUNET_FS_SYNC_PATH_CHILD_DOWNLOAD,
+                                   sr->download->serialization);
+      GNUNET_free (sr->download->serialization);
+      sr->download->serialization = NULL;
+    }
+    pi.status = GNUNET_FS_STATUS_DOWNLOAD_LOST_PARENT;
+    GNUNET_FS_download_make_status_ (&pi, sr->download);
+    GNUNET_FS_download_sync_ (sr->download);
+    sr->download = NULL;
+  }
   pi.status = GNUNET_FS_STATUS_SEARCH_RESULT_STOPPED;
-  make_search_status (&pi, sc);
   pi.value.search.specifics.result_stopped.cctx = sr->client_info;
   pi.value.search.specifics.result_stopped.meta = sr->meta;
   pi.value.search.specifics.result_stopped.uri = sr->uri;
-  sr->client_info = h->upcb (h->upcb_cls,
-                            &pi);
+  sr->client_info = GNUNET_FS_search_make_status_ (&pi, sr->h, sc);
+  return GNUNET_OK;
+}
+
+
+/**
+ * Free the given search result.
+ *
+ * @param cls the global FS handle
+ * @param key the key for the search result (unused)
+ * @param value the search result to free
+ * @return #GNUNET_OK
+ */
+static int
+search_result_free (void *cls,
+                    const struct GNUNET_HashCode *key,
+                    void *value)
+{
+  struct GNUNET_FS_SearchResult *sr = value;
+
+  if (NULL != sr->update_search)
+  {
+    GNUNET_FS_search_stop (sr->update_search);
+    GNUNET_assert (NULL == sr->update_search);
+  }
+  GNUNET_break (NULL == sr->probe_ctx);
+  GNUNET_break (GNUNET_SCHEDULER_NO_TASK == sr->probe_cancel_task);
+  GNUNET_break (GNUNET_SCHEDULER_NO_TASK == sr->probe_ping_task);
   GNUNET_break (NULL == sr->client_info);
-  
+  GNUNET_free_non_null (sr->serialization);
   GNUNET_FS_uri_destroy (sr->uri);
   GNUNET_CONTAINER_meta_data_destroy (sr->meta);
-  if (sr->probe_ctx != NULL)
-    {
-      GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
-      h->active_probes--;
-      /* FIXME: trigger starting of new
-        probes here!? Maybe not -- could
-        cause new probes to be immediately
-        stopped again... */
-    }
-  if (sr->probe_cancel_task != GNUNET_SCHEDULER_NO_TASK)
-    {
-      GNUNET_SCHEDULER_cancel (h->sched,
-                              sr->probe_cancel_task);
-    }
+  GNUNET_free_non_null (sr->keyword_bitmap);
   GNUNET_free (sr);
   return GNUNET_OK;
 }
@@ -940,35 +1615,50 @@ search_result_free (void *cls,
  *
  * @param sc context for the search that should be stopped
  */
-void 
+void
 GNUNET_FS_search_stop (struct GNUNET_FS_SearchContext *sc)
 {
   struct GNUNET_FS_ProgressInfo pi;
   unsigned int i;
 
-  // FIXME: make un-persistent!
-  if (NULL != sc->parent)
-    {
-      // FIXME: need to untrack sc
-      // in parent!
-    }
+  if (NULL != sc->top)
+    GNUNET_FS_end_top (sc->h, sc->top);
   GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
-                                        &search_result_free,
-                                        sc);
+                                         &search_result_stop, sc);
+  if (NULL != sc->psearch_result)
+    sc->psearch_result->update_search = NULL;
+  if (NULL != sc->serialization)
+  {
+    GNUNET_FS_remove_sync_file_ (sc->h,
+                                 (sc->psearch_result !=
+                                  NULL) ? GNUNET_FS_SYNC_PATH_CHILD_SEARCH :
+                                 GNUNET_FS_SYNC_PATH_MASTER_SEARCH,
+                                 sc->serialization);
+    GNUNET_FS_remove_sync_dir_ (sc->h,
+                                (sc->psearch_result !=
+                                 NULL) ? GNUNET_FS_SYNC_PATH_CHILD_SEARCH :
+                                GNUNET_FS_SYNC_PATH_MASTER_SEARCH,
+                                sc->serialization);
+    GNUNET_free (sc->serialization);
+  }
   pi.status = GNUNET_FS_STATUS_SEARCH_STOPPED;
-  make_search_status (&pi, sc);
-  sc->client_info = sc->h->upcb (sc->h->upcb_cls,
-                                &pi);
+  sc->client_info = GNUNET_FS_search_make_status_ (&pi, sc->h, sc);
   GNUNET_break (NULL == sc->client_info);
-  if (sc->task != GNUNET_SCHEDULER_NO_TASK)
-    GNUNET_SCHEDULER_cancel (sc->h->sched,
-                            sc->task);
+  if (GNUNET_SCHEDULER_NO_TASK != sc->task)
+    GNUNET_SCHEDULER_cancel (sc->task);
   if (NULL != sc->client)
-    GNUNET_CLIENT_disconnect (sc->client, GNUNET_NO);
+    GNUNET_CLIENT_disconnect (sc->client);
+  GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
+                                         &search_result_free, sc);
   GNUNET_CONTAINER_multihashmap_destroy (sc->master_result_map);
-  for (i=0;i<sc->uri->data.ksk.keywordCount;i++)
-    GNUNET_CONTAINER_multihashmap_destroy (sc->requests[i].results);
+  if (NULL != sc->requests)
+  {
+    GNUNET_assert (GNUNET_FS_uri_test_ksk (sc->uri));
+    for (i = 0; i < sc->uri->data.ksk.keywordCount; i++)
+      GNUNET_CONTAINER_multihashmap_destroy (sc->requests[i].results);
+  }
   GNUNET_free_non_null (sc->requests);
+  GNUNET_free_non_null (sc->emsg);
   GNUNET_FS_uri_destroy (sc->uri);
   GNUNET_free (sc);
 }