src/fs/fs_search.c

   1 /*
   2      This file is part of GNUnet.
   3      (C) 2001, 2002, 2003, 2004, 2005, 2006, 2008, 2009 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 2, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20
  21 /**
  22  * @file fs/fs_search.c
  23  * @brief Helper functions for searching.
  24  * @author Christian Grothoff
  25  *
  26  * TODO:
  27  * - add support for pushing "already seen" information
  28  *   to FS service for bloomfilter (can wait)
  29  * - handle availability probes (can wait)
  30  * - make operations persistent (can wait)
  31  */
  32
  33 #include "platform.h"
  34 #include "gnunet_constants.h"
  35 #include "gnunet_fs_service.h"
  36 #include "gnunet_protocols.h"
  37 #include "fs.h"
  38
  39 #define DEBUG_SEARCH GNUNET_NO
  40
  41
  42
  43 /**
  44  * Fill in all of the generic fields for
  45  * a search event.
  46  *
  47  * @param pi structure to fill in
  48  * @param sc overall search context
  49  * @return value returned by the callback
  50  */
  51 static void *
  52 make_search_status (struct GNUNET_FS_ProgressInfo *pi,
  53                     struct GNUNET_FS_SearchContext *sc)
  54 {
  55   pi->value.search.sc = sc;
  56   pi->value.search.cctx
  57     = sc->client_info;
  58   pi->value.search.pctx
  59     = (sc->parent == NULL) ? NULL : sc->parent->client_info;
  60   pi->value.search.query
  61     = sc->uri;
  62   pi->value.search.duration = GNUNET_TIME_absolute_get_duration (sc->start_time);
  63   pi->value.search.anonymity = sc->anonymity;
  64   return sc->h->upcb (sc->h->upcb_cls,
  65                       pi);
  66 }
  67
  68
  69 /**
  70  * Check if the given result is identical
  71  * to the given URI.
  72  *
  73  * @param cls points to the URI we check against
  74  * @param key not used
  75  * @param value a "struct SearchResult" who's URI we
  76  *        should compare with
  77  * @return GNUNET_SYSERR if the result is present,
  78  *         GNUNET_OK otherwise
  79  */
  80 static int
  81 test_result_present (void *cls,
  82                      const GNUNET_HashCode * key,
  83                      void *value)
  84 {
  85   const struct GNUNET_FS_Uri *uri = cls;
  86   struct SearchResult *sr = value;
  87
  88   if (GNUNET_FS_uri_test_equal (uri,
  89                                 sr->uri))
  90     return GNUNET_SYSERR;
  91   return GNUNET_OK;
  92 }
  93
  94
  95 /**
  96  * We've found a new CHK result.  Let the client
  97  * know about it.
  98  *
  99  * @param sc the search context
 100  * @param sr the specific result
 101  */
 102 static void
 103 notify_client_chk_result (struct GNUNET_FS_SearchContext *sc,
 104                           struct SearchResult *sr)
 105 {
 106   struct GNUNET_FS_ProgressInfo pi;
 107
 108   pi.status = GNUNET_FS_STATUS_SEARCH_RESULT;
 109   pi.value.search.specifics.result.meta = sr->meta;
 110   pi.value.search.specifics.result.uri = sr->uri;
 111   sr->client_info = make_search_status (&pi, sc);
 112 }
 113
 114
 115 /**
 116  * We've found new information about an existing CHK result.  Let the
 117  * client know about it.
 118  *
 119  * @param sc the search context
 120  * @param sr the specific result
 121  */
 122 static void
 123 notify_client_chk_update (struct GNUNET_FS_SearchContext *sc,
 124                           struct SearchResult *sr)
 125 {
 126   struct GNUNET_FS_ProgressInfo pi;
 127
 128   pi.status = GNUNET_FS_STATUS_SEARCH_UPDATE;
 129   pi.value.search.specifics.update.cctx = sr->client_info;
 130   pi.value.search.specifics.update.meta = sr->meta;
 131   pi.value.search.specifics.update.uri = sr->uri;
 132   pi.value.search.specifics.update.availability_rank
 133     = 2*sr->availability_success - sr->availability_trials;
 134   pi.value.search.specifics.update.availability_certainty
 135     = sr->availability_trials;
 136   pi.value.search.specifics.update.applicability_rank
 137     = sr->optional_support;
 138   sr->client_info = make_search_status (&pi, sc);
 139 }
 140
 141
 142 /**
 143  * Context for "get_result_present".
 144  */
 145 struct GetResultContext
 146 {
 147   /**
 148    * The URI we're looking for.
 149    */
 150   const struct GNUNET_FS_Uri *uri;
 151
 152   /**
 153    * Where to store a pointer to the search
 154    * result struct if we found a match.
 155    */
 156   struct SearchResult *sr;
 157 };
 158
 159
 160 /**
 161  * Check if the given result is identical to the given URI and if so
 162  * return it.
 163  *
 164  * @param cls a "struct GetResultContext"
 165  * @param key not used
 166  * @param value a "struct SearchResult" who's URI we
 167  *        should compare with
 168  * @return GNUNET_OK
 169  */
 170 static int
 171 get_result_present (void *cls,
 172                      const GNUNET_HashCode * key,
 173                      void *value)
 174 {
 175   struct GetResultContext *grc = cls;
 176   struct SearchResult *sr = value;
 177
 178   if (GNUNET_FS_uri_test_equal (grc->uri,
 179                                 sr->uri))
 180     grc->sr = sr;
 181   return GNUNET_OK;
 182 }
 183
 184
 185 /**
 186  * Start download probes for the given search result.
 187  *
 188  * @param sr the search result
 189  */
 190 static void
 191 start_probe (struct SearchResult *sr);
 192
 193
 194 /**
 195  * Signal result of last probe to client and then schedule next
 196  * probe.
 197  */
 198 static void
 199 signal_probe_result (struct SearchResult *sr)
 200 {
 201   struct GNUNET_FS_ProgressInfo pi;
 202
 203   pi.status = GNUNET_FS_STATUS_SEARCH_START;
 204   pi.value.search.specifics.update.cctx = sr->client_info;
 205   pi.value.search.specifics.update.meta = sr->meta;
 206   pi.value.search.specifics.update.uri = sr->uri;
 207   pi.value.search.specifics.update.availability_rank = sr->availability_success;
 208   pi.value.search.specifics.update.availability_certainty = sr->availability_trials;
 209   pi.value.search.specifics.update.applicability_rank = sr->optional_support;
 210   sr->sc->client_info = make_search_status (&pi, sr->sc);
 211   start_probe (sr);
 212 }
 213
 214
 215 /**
 216  * Handle the case where we have failed to receive a response for our probe.
 217  *
 218  * @param cls our 'struct SearchResult*'
 219  * @param tc scheduler context
 220  */
 221 static void
 222 probe_failure_handler (void *cls,
 223                        const struct GNUNET_SCHEDULER_TaskContext *tc)
 224 {
 225   struct SearchResult *sr = cls;
 226   sr->availability_trials++;
 227   signal_probe_result (sr);
 228 }
 229
 230
 231 /**
 232  * Handle the case where we have gotten a response for our probe.
 233  *
 234  * @param cls our 'struct SearchResult*'
 235  * @param tc scheduler context
 236  */
 237 static void
 238 probe_success_handler (void *cls,
 239                        const struct GNUNET_SCHEDULER_TaskContext *tc)
 240 {
 241   struct SearchResult *sr = cls;
 242   sr->availability_trials++;
 243   sr->availability_success++;
 244   signal_probe_result (sr);
 245 }
 246
 247
 248 /**
 249  * Notification of FS that a search probe has made progress.
 250  * This function is used INSTEAD of the client's event handler
 251  * for downloads where the GNUNET_FS_DOWNLOAD_IS_PROBE flag is set.
 252  *
 253  * @param cls closure, always NULL (!), actual closure
 254  *        is in the client-context of the info struct
 255  * @param info details about the event, specifying the event type
 256  *        and various bits about the event
 257  * @return client-context (for the next progress call
 258  *         for this operation; should be set to NULL for
 259  *         SUSPEND and STOPPED events).  The value returned
 260  *         will be passed to future callbacks in the respective
 261  *         field in the GNUNET_FS_ProgressInfo struct.
 262  */
 263 void*
 264 GNUNET_FS_search_probe_progress_ (void *cls,
 265                                   const struct GNUNET_FS_ProgressInfo *info)
 266 {
 267   struct SearchResult *sr = info->value.download.cctx;
 268   struct GNUNET_TIME_Relative dur;
 269
 270   switch (info->status)
 271     {
 272     case GNUNET_FS_STATUS_DOWNLOAD_START:
 273       /* ignore */
 274       break;
 275     case GNUNET_FS_STATUS_DOWNLOAD_RESUME:
 276       /* probes should never be resumed */
 277       GNUNET_assert (0);
 278       break;
 279     case GNUNET_FS_STATUS_DOWNLOAD_SUSPEND:
 280       /* probes should never be suspended */
 281       GNUNET_break (0);
 282       break;
 283     case GNUNET_FS_STATUS_DOWNLOAD_PROGRESS:
 284       /* ignore */
 285       break;
 286     case GNUNET_FS_STATUS_DOWNLOAD_ERROR:
 287       if (sr->probe_cancel_task != GNUNET_SCHEDULER_NO_TASK)
 288         {
 289           GNUNET_SCHEDULER_cancel (sr->sc->h->sched,
 290                                    sr->probe_cancel_task);
 291           sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
 292         }
 293       sr->probe_cancel_task = GNUNET_SCHEDULER_add_delayed (sr->sc->h->sched,
 294                                                             sr->remaining_probe_time,
 295                                                             &probe_failure_handler,
 296                                                             sr);
 297       break;
 298     case GNUNET_FS_STATUS_DOWNLOAD_COMPLETED:
 299       if (sr->probe_cancel_task != GNUNET_SCHEDULER_NO_TASK)
 300         {
 301           GNUNET_SCHEDULER_cancel (sr->sc->h->sched,
 302                                    sr->probe_cancel_task);
 303           sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
 304         }
 305       sr->probe_cancel_task = GNUNET_SCHEDULER_add_delayed (sr->sc->h->sched,
 306                                                             sr->remaining_probe_time,
 307                                                             &probe_success_handler,
 308                                                             sr);
 309       break;
 310     case GNUNET_FS_STATUS_DOWNLOAD_STOPPED:
 311       /* FIXME: clean up? schedule next probe? or already done? */
 312       sr = NULL;
 313       break;
 314     case GNUNET_FS_STATUS_DOWNLOAD_ACTIVE:
 315       GNUNET_assert (sr->probe_cancel_task == GNUNET_SCHEDULER_NO_TASK);
 316       sr->probe_active_time = GNUNET_TIME_absolute_get ();
 317       sr->probe_cancel_task = GNUNET_SCHEDULER_add_delayed (sr->sc->h->sched,
 318                                                             sr->remaining_probe_time,
 319                                                             &probe_failure_handler,
 320                                                             sr);
 321       break;
 322     case GNUNET_FS_STATUS_DOWNLOAD_INACTIVE:
 323       if (sr->probe_cancel_task != GNUNET_SCHEDULER_NO_TASK)
 324         {
 325           GNUNET_SCHEDULER_cancel (sr->sc->h->sched,
 326                                    sr->probe_cancel_task);
 327           sr->probe_cancel_task = GNUNET_SCHEDULER_NO_TASK;
 328         }
 329       dur = GNUNET_TIME_absolute_get_duration (sr->probe_active_time);
 330       sr->remaining_probe_time = GNUNET_TIME_relative_subtract (sr->remaining_probe_time,
 331                                                                 dur);
 332       break;
 333     default:
 334       GNUNET_break (0);
 335       return NULL;
 336     }
 337   return sr;
 338 }
 339
 340
 341 /**
 342  * Start download probes for the given search result.
 343  *
 344  * @param sr the search result
 345  */
 346 static void
 347 start_probe (struct SearchResult *sr)
 348 {
 349   uint64_t off;
 350   uint64_t len;
 351
 352   if (sr->probe_ctx != NULL)
 353     return;
 354   if (0 == (sr->sc->h->flags & GNUNET_FS_FLAGS_DO_PROBES))
 355     return;
 356   if (sr->availability_trials > AVAILABILITY_TRIALS_MAX)
 357     return;
 358   len = GNUNET_FS_uri_chk_get_file_size (sr->uri);
 359   if (len == 0)
 360     return;
 361   if ( (len <= DBLOCK_SIZE) && (sr->availability_success > 0))
 362     return;
 363   off = len / DBLOCK_SIZE;
 364   if (off > 0)
 365     off = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, off);
 366   off *= DBLOCK_SIZE;
 367   if (len - off < DBLOCK_SIZE)
 368     len = len - off;
 369   else
 370     len = DBLOCK_SIZE;
 371   sr->remaining_probe_time = GNUNET_TIME_relative_multiply (sr->sc->h->avg_block_latency,
 372                                                             2 * (1 + sr->availability_trials));
 373   sr->probe_ctx = GNUNET_FS_download_start (sr->sc->h,
 374                                             sr->uri,
 375                                             sr->meta,
 376                                             NULL, NULL,
 377                                             off, len,
 378                                             sr->sc->anonymity,
 379                                             GNUNET_FS_DOWNLOAD_NO_TEMPORARIES |
 380                                             GNUNET_FS_DOWNLOAD_IS_PROBE,
 381                                             sr, NULL);
 382 }
 383
 384
 385 /**
 386  * We have received a KSK result.  Check how it fits in with the
 387  * overall query and notify the client accordingly.
 388  *
 389  * @param sc context for the overall query
 390  * @param ent entry for the specific keyword
 391  * @param uri the URI that was found
 392  * @param meta metadata associated with the URI
 393  *        under the "ent" keyword
 394  */
 395 static void
 396 process_ksk_result (struct GNUNET_FS_SearchContext *sc,
 397                     struct SearchRequestEntry *ent,
 398                     const struct GNUNET_FS_Uri *uri,
 399                     const struct GNUNET_CONTAINER_MetaData *meta)
 400 {
 401   GNUNET_HashCode key;
 402   struct SearchResult *sr;
 403   struct GetResultContext grc;
 404   int is_new;
 405
 406   /* check if new */
 407   GNUNET_FS_uri_to_key (uri, &key);
 408   if (GNUNET_SYSERR ==
 409       GNUNET_CONTAINER_multihashmap_get_multiple (ent->results,
 410                                                   &key,
 411                                                   &test_result_present,
 412                                                   (void*) uri))
 413     return; /* duplicate result */
 414   /* try to find search result in master map */
 415   grc.sr = NULL;
 416   grc.uri = uri;
 417   GNUNET_CONTAINER_multihashmap_get_multiple (sc->master_result_map,
 418                                               &key,
 419                                               &get_result_present,
 420                                               &grc);
 421   sr = grc.sr;
 422   is_new = (NULL == sr) || (sr->mandatory_missing > 0);
 423   if (NULL == sr)
 424     {
 425       sr = GNUNET_malloc (sizeof (struct SearchResult));
 426       sr->sc = sc;
 427       sr->uri = GNUNET_FS_uri_dup (uri);
 428       sr->meta = GNUNET_CONTAINER_meta_data_duplicate (meta);
 429       sr->mandatory_missing = sc->mandatory_count;
 430       GNUNET_CONTAINER_multihashmap_put (sc->master_result_map,
 431                                          &key,
 432                                          sr,
 433                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
 434     }
 435   else
 436     {
 437       GNUNET_CONTAINER_meta_data_merge (sr->meta, meta);
 438     }
 439   /* check if mandatory satisfied */
 440   if (ent->mandatory)
 441     sr->mandatory_missing--;
 442   else
 443     sr->optional_support++;
 444   if (0 != sr->mandatory_missing)
 445     return;
 446   if (is_new)
 447     notify_client_chk_result (sc, sr);
 448   else
 449     notify_client_chk_update (sc, sr);
 450   start_probe (sr);
 451 }
 452
 453
 454 /**
 455  * Start search for content, internal API.
 456  *
 457  * @param h handle to the file sharing subsystem
 458  * @param uri specifies the search parameters; can be
 459  *        a KSK URI or an SKS URI.
 460  * @param anonymity desired level of anonymity
 461  * @param options options for the search
 462  * @param cctx client context
 463  * @param parent parent search (for namespace update searches)
 464  * @return context that can be used to control the search
 465  */
 466 static struct GNUNET_FS_SearchContext *
 467 search_start (struct GNUNET_FS_Handle *h,
 468               const struct GNUNET_FS_Uri *uri,
 469               uint32_t anonymity,
 470               enum GNUNET_FS_SearchOptions options,
 471               void *cctx,
 472               struct GNUNET_FS_SearchContext *parent);
 473
 474
 475 /**
 476  * We have received an SKS result.  Start searching for updates and
 477  * notify the client if it is a new result.
 478  *
 479  * @param sc context for the overall query
 480  * @param id_update identifier for updates, NULL for none
 481  * @param uri the URI that was found
 482  * @param meta metadata associated with the URI
 483   */
 484 static void
 485 process_sks_result (struct GNUNET_FS_SearchContext *sc,
 486                     const char *id_update,
 487                     const struct GNUNET_FS_Uri *uri,
 488                     const struct GNUNET_CONTAINER_MetaData *meta)
 489 {
 490   struct GNUNET_FS_Uri uu;
 491   GNUNET_HashCode key;
 492   struct SearchResult *sr;
 493
 494   /* check if new */
 495   GNUNET_FS_uri_to_key (uri, &key);
 496   GNUNET_CRYPTO_hash_xor (&uri->data.chk.chk.key,
 497                           &uri->data.chk.chk.query,
 498                           &key);
 499   if (GNUNET_SYSERR ==
 500       GNUNET_CONTAINER_multihashmap_get_multiple (sc->master_result_map,
 501                                                   &key,
 502                                                   &test_result_present,
 503                                                   (void*) uri))
 504     return; /* duplicate result */
 505   sr = GNUNET_malloc (sizeof (struct SearchResult));
 506   sr->sc = sc;
 507   sr->uri = GNUNET_FS_uri_dup (uri);
 508   sr->meta = GNUNET_CONTAINER_meta_data_duplicate (meta);
 509   GNUNET_CONTAINER_multihashmap_put (sc->master_result_map,
 510                                      &key,
 511                                      sr,
 512                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
 513   start_probe (sr);
 514   /* notify client */
 515   notify_client_chk_result (sc, sr);
 516   /* search for updates */
 517   if (strlen (id_update) == 0)
 518     return; /* no updates */
 519   uu.type = sks;
 520   uu.data.sks.namespace = sc->uri->data.sks.namespace;
 521   uu.data.sks.identifier = GNUNET_strdup (id_update);
 522   /* FIXME: should attach update search
 523      to the individual result, not
 524      the entire SKS search! */
 525   search_start (sc->h,
 526                 &uu,
 527                 sc->anonymity,
 528                 sc->options,
 529                 NULL,
 530                 sc);
 531 }
 532
 533
 534 /**
 535  * Process a keyword-search result.
 536  *
 537  * @param sc our search context
 538  * @param kb the kblock
 539  * @param size size of kb
 540  */
 541 static void
 542 process_kblock (struct GNUNET_FS_SearchContext *sc,
 543                 const struct KBlock *kb,
 544                 size_t size)
 545 {
 546   unsigned int i;
 547   size_t j;
 548   GNUNET_HashCode q;
 549   char pt[size - sizeof (struct KBlock)];
 550   struct GNUNET_CRYPTO_AesSessionKey skey;
 551   struct GNUNET_CRYPTO_AesInitializationVector iv;
 552   const char *eos;
 553   struct GNUNET_CONTAINER_MetaData *meta;
 554   struct GNUNET_FS_Uri *uri;
 555   char *emsg;
 556
 557   GNUNET_CRYPTO_hash (&kb->keyspace,
 558                       sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
 559                       &q);
 560   /* find key */
 561   for (i=0;i<sc->uri->data.ksk.keywordCount;i++)
 562     if (0 == memcmp (&q,
 563                      &sc->requests[i].query,
 564                      sizeof (GNUNET_HashCode)))
 565       break;
 566   if (i == sc->uri->data.ksk.keywordCount)
 567     {
 568       /* oops, does not match any of our keywords!? */
 569       GNUNET_break (0);
 570       return;
 571     }
 572   /* decrypt */
 573   GNUNET_CRYPTO_hash_to_aes_key (&sc->requests[i].key, &skey, &iv);
 574   GNUNET_CRYPTO_aes_decrypt (&kb[1],
 575                              size - sizeof (struct KBlock),
 576                              &skey,
 577                              &iv,
 578                              pt);
 579   /* parse */
 580   eos = memchr (pt, 0, sizeof (pt));
 581   if (NULL == eos)
 582     {
 583       GNUNET_break_op (0);
 584       return;
 585     }
 586   j = eos - pt + 1;
 587   if (sizeof (pt) == j)
 588     meta = GNUNET_CONTAINER_meta_data_create ();
 589   else
 590     meta = GNUNET_CONTAINER_meta_data_deserialize (&pt[j],
 591                                                    sizeof (pt) - j);
 592   if (meta == NULL)
 593     {
 594       GNUNET_break_op (0);       /* kblock malformed */
 595       return;
 596     }
 597   uri = GNUNET_FS_uri_parse (pt, &emsg);
 598   if (uri == NULL)
 599     {
 600       GNUNET_break_op (0);       /* kblock malformed */
 601       GNUNET_free_non_null (emsg);
 602       GNUNET_CONTAINER_meta_data_destroy (meta);
 603       return;
 604     }
 605   /* process */
 606   process_ksk_result (sc, &sc->requests[i], uri, meta);
 607
 608   /* clean up */
 609   GNUNET_CONTAINER_meta_data_destroy (meta);
 610   GNUNET_FS_uri_destroy (uri);
 611 }
 612
 613
 614 /**
 615  * Process a keyword-search result with a namespace advertisment.
 616  *
 617  * @param sc our search context
 618  * @param nb the nblock
 619  * @param size size of nb
 620  */
 621 static void
 622 process_nblock (struct GNUNET_FS_SearchContext *sc,
 623                 const struct NBlock *nb,
 624                 size_t size)
 625 {
 626   unsigned int i;
 627   size_t j;
 628   GNUNET_HashCode q;
 629   char pt[size - sizeof (struct NBlock)];
 630   struct GNUNET_CRYPTO_AesSessionKey skey;
 631   struct GNUNET_CRYPTO_AesInitializationVector iv;
 632   const char *eos;
 633   struct GNUNET_CONTAINER_MetaData *meta;
 634   struct GNUNET_FS_Uri *uri;
 635   char *uris;
 636
 637   GNUNET_CRYPTO_hash (&nb->keyspace,
 638                       sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
 639                       &q);
 640   /* find key */
 641   for (i=0;i<sc->uri->data.ksk.keywordCount;i++)
 642     if (0 == memcmp (&q,
 643                      &sc->requests[i].query,
 644                      sizeof (GNUNET_HashCode)))
 645       break;
 646   if (i == sc->uri->data.ksk.keywordCount)
 647     {
 648       /* oops, does not match any of our keywords!? */
 649       GNUNET_break (0);
 650       return;
 651     }
 652   /* decrypt */
 653   GNUNET_CRYPTO_hash_to_aes_key (&sc->requests[i].key, &skey, &iv);
 654   GNUNET_CRYPTO_aes_decrypt (&nb[1],
 655                              size - sizeof (struct NBlock),
 656                              &skey,
 657                              &iv,
 658                              pt);
 659   /* parse */
 660   eos = memchr (pt, 0, sizeof (pt));
 661   if (NULL == eos)
 662     {
 663       GNUNET_break_op (0);
 664       return;
 665     }
 666   j = eos - pt + 1;
 667   if (sizeof (pt) == j)
 668     meta = GNUNET_CONTAINER_meta_data_create ();
 669   else
 670     meta = GNUNET_CONTAINER_meta_data_deserialize (&pt[j],
 671                                                    sizeof (pt) - j);
 672   if (meta == NULL)
 673     {
 674       GNUNET_break_op (0);       /* nblock malformed */
 675       return;
 676     }
 677
 678   uri = GNUNET_malloc (sizeof (struct GNUNET_FS_Uri));
 679   uri->type = sks;
 680   uri->data.sks.identifier = GNUNET_strdup (pt);
 681   GNUNET_CRYPTO_hash (&nb->subspace,
 682                       sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
 683                       &uri->data.sks.namespace);
 684   uris = GNUNET_FS_uri_to_string (uri);
 685   GNUNET_CONTAINER_meta_data_insert (meta,
 686                                      "<gnunet>",
 687                                      EXTRACTOR_METATYPE_URI,
 688                                      EXTRACTOR_METAFORMAT_UTF8,
 689                                      "text/plain",
 690                                      uris,
 691                                      strlen (uris)+1);
 692   GNUNET_free (uris);
 693   GNUNET_PSEUDONYM_add (sc->h->cfg,
 694                         &uri->data.sks.namespace,
 695                         meta);
 696   /* process */
 697   process_ksk_result (sc, &sc->requests[i], uri, meta);
 698
 699   /* clean up */
 700   GNUNET_CONTAINER_meta_data_destroy (meta);
 701   GNUNET_FS_uri_destroy (uri);
 702 }
 703
 704
 705 /**
 706  * Process a namespace-search result.
 707  *
 708  * @param sc our search context
 709  * @param sb the sblock
 710  * @param size size of sb
 711  */
 712 static void
 713 process_sblock (struct GNUNET_FS_SearchContext *sc,
 714                 const struct SBlock *sb,
 715                 size_t size)
 716 {
 717   size_t len = size - sizeof (struct SBlock);
 718   char pt[len];
 719   struct GNUNET_CRYPTO_AesSessionKey skey;
 720   struct GNUNET_CRYPTO_AesInitializationVector iv;
 721   struct GNUNET_FS_Uri *uri;
 722   struct GNUNET_CONTAINER_MetaData *meta;
 723   const char *id;
 724   const char *uris;
 725   size_t off;
 726   char *emsg;
 727   GNUNET_HashCode key;
 728   char *identifier;
 729
 730   /* decrypt */
 731   identifier = sc->uri->data.sks.identifier;
 732   GNUNET_CRYPTO_hash (identifier,
 733                       strlen (identifier),
 734                       &key);
 735   GNUNET_CRYPTO_hash_to_aes_key (&key, &skey, &iv);
 736   GNUNET_CRYPTO_aes_decrypt (&sb[1],
 737                              len,
 738                              &skey,
 739                              &iv,
 740                              pt);
 741   /* parse */
 742   off = GNUNET_STRINGS_buffer_tokenize (pt,
 743                                         len,
 744                                         2,
 745                                         &id,
 746                                         &uris);
 747   if (off == 0)
 748     {
 749       GNUNET_break_op (0);     /* sblock malformed */
 750       return;
 751     }
 752   meta = GNUNET_CONTAINER_meta_data_deserialize (&pt[off],
 753                                                  len - off);
 754   if (meta == NULL)
 755     {
 756       GNUNET_break_op (0);     /* sblock malformed */
 757       return;
 758     }
 759   uri = GNUNET_FS_uri_parse (uris, &emsg);
 760   if (uri == NULL)
 761     {
 762       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 763                   "Failed to parse URI `%s': %s\n",
 764                   uris, emsg);
 765       GNUNET_break_op (0);     /* sblock malformed */
 766       GNUNET_free_non_null (emsg);
 767       GNUNET_CONTAINER_meta_data_destroy (meta);
 768       return;
 769     }
 770   /* process */
 771   process_sks_result (sc, id, uri, meta);
 772   /* clean up */
 773   GNUNET_FS_uri_destroy (uri);
 774   GNUNET_CONTAINER_meta_data_destroy (meta);
 775 }
 776
 777
 778 /**
 779  * Process a search result.
 780  *
 781  * @param sc our search context
 782  * @param type type of the result
 783  * @param expiration when it will expire
 784  * @param data the (encrypted) response
 785  * @param size size of data
 786  */
 787 static void
 788 process_result (struct GNUNET_FS_SearchContext *sc,
 789                 enum GNUNET_BLOCK_Type type,
 790                 struct GNUNET_TIME_Absolute expiration,
 791                 const void *data,
 792                 size_t size)
 793 {
 794   if (GNUNET_TIME_absolute_get_duration (expiration).value > 0)
 795     {
 796       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 797                   "Result received has already expired.\n");
 798       return; /* result expired */
 799     }
 800   switch (type)
 801     {
 802     case GNUNET_BLOCK_TYPE_KBLOCK:
 803       if (! GNUNET_FS_uri_test_ksk (sc->uri))
 804         {
 805           GNUNET_break (0);
 806           return;
 807         }
 808       if (sizeof (struct KBlock) > size)
 809         {
 810           GNUNET_break_op (0);
 811           return;
 812         }
 813       process_kblock (sc, data, size);
 814       break;
 815     case GNUNET_BLOCK_TYPE_SBLOCK:
 816       if (! GNUNET_FS_uri_test_sks (sc->uri))
 817         {
 818           GNUNET_break (0);
 819           return;
 820         }
 821       if (sizeof (struct SBlock) > size)
 822         {
 823           GNUNET_break_op (0);
 824           return;
 825         }
 826       process_sblock (sc, data, size);
 827       break;
 828     case GNUNET_BLOCK_TYPE_NBLOCK:
 829       if (! GNUNET_FS_uri_test_ksk (sc->uri))
 830         {
 831           GNUNET_break (0);
 832           return;
 833         }
 834       if (sizeof (struct NBlock) > size)
 835         {
 836           GNUNET_break_op (0);
 837           return;
 838         }
 839       process_nblock (sc, data, size);
 840       break;
 841     case GNUNET_BLOCK_TYPE_ANY:
 842     case GNUNET_BLOCK_TYPE_DBLOCK:
 843     case GNUNET_BLOCK_TYPE_ONDEMAND:
 844     case GNUNET_BLOCK_TYPE_IBLOCK:
 845       GNUNET_break (0);
 846       break;
 847     default:
 848       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
 849                   _("Got result with unknown block type `%d', ignoring"),
 850                   type);
 851       break;
 852     }
 853 }
 854
 855
 856 /**
 857  * Shutdown any existing connection to the FS
 858  * service and try to establish a fresh one
 859  * (and then re-transmit our search request).
 860  *
 861  * @param sc the search to reconnec
 862  */
 863 static void
 864 try_reconnect (struct GNUNET_FS_SearchContext *sc);
 865
 866
 867 /**
 868  * Type of a function to call when we receive a message
 869  * from the service.
 870  *
 871  * @param cls closure
 872  * @param msg message received, NULL on timeout or fatal error
 873  */
 874 static void
 875 receive_results (void *cls,
 876                  const struct GNUNET_MessageHeader * msg)
 877 {
 878   struct GNUNET_FS_SearchContext *sc = cls;
 879   const struct PutMessage *cm;
 880   uint16_t msize;
 881
 882   if ( (NULL == msg) ||
 883        (ntohs (msg->type) != GNUNET_MESSAGE_TYPE_FS_PUT) ||
 884        (ntohs (msg->size) <= sizeof (struct PutMessage)) )
 885     {
 886       try_reconnect (sc);
 887       return;
 888     }
 889   msize = ntohs (msg->size);
 890   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 891               "Receiving %u bytes of result from fs service\n",
 892               msize);
 893   cm = (const struct PutMessage*) msg;
 894   process_result (sc,
 895                   ntohl (cm->type),
 896                   GNUNET_TIME_absolute_ntoh (cm->expiration),
 897                   &cm[1],
 898                   msize - sizeof (struct PutMessage));
 899   /* continue receiving */
 900   GNUNET_CLIENT_receive (sc->client,
 901                          &receive_results,
 902                          sc,
 903                          GNUNET_TIME_UNIT_FOREVER_REL);
 904 }
 905
 906
 907 /**
 908  * We're ready to transmit the search request to the
 909  * file-sharing service.  Do it.
 910  *
 911  * @param cls closure
 912  * @param size number of bytes available in buf
 913  * @param buf where the callee should write the message
 914  * @return number of bytes written to buf
 915  */
 916 static size_t
 917 transmit_search_request (void *cls,
 918                          size_t size,
 919                          void *buf)
 920 {
 921   struct GNUNET_FS_SearchContext *sc = cls;
 922   size_t msize;
 923   struct SearchMessage *sm;
 924   unsigned int i;
 925   const char *identifier;
 926   GNUNET_HashCode key;
 927   GNUNET_HashCode idh;
 928
 929   if (NULL == buf)
 930     {
 931       try_reconnect (sc);
 932       return 0;
 933     }
 934   if (GNUNET_FS_uri_test_ksk (sc->uri))
 935     {
 936       msize = sizeof (struct SearchMessage) * sc->uri->data.ksk.keywordCount;
 937       GNUNET_assert (size >= msize);
 938       sm = buf;
 939       memset (sm, 0, msize);
 940       for (i=0;i<sc->uri->data.ksk.keywordCount;i++)
 941         {
 942           sm[i].header.size = htons (sizeof (struct SearchMessage));
 943           sm[i].header.type = htons (GNUNET_MESSAGE_TYPE_FS_START_SEARCH);
 944           if (0 != (sc->options & GNUNET_FS_SEARCH_OPTION_LOOPBACK_ONLY))
 945             sm[i].options = htonl (1);
 946           else
 947             sm[i].options = htonl (0);
 948           sm[i].type = htonl (GNUNET_BLOCK_TYPE_ANY);
 949           sm[i].anonymity_level = htonl (sc->anonymity);
 950           sm[i].query = sc->requests[i].query;
 951         }
 952     }
 953   else
 954     {
 955       GNUNET_assert (GNUNET_FS_uri_test_sks (sc->uri));
 956       msize = sizeof (struct SearchMessage);
 957       GNUNET_assert (size >= msize);
 958       sm = buf;
 959       memset (sm, 0, msize);
 960       sm->header.size = htons (sizeof (struct SearchMessage));
 961       sm->header.type = htons (GNUNET_MESSAGE_TYPE_FS_START_SEARCH);
 962       if (0 != (sc->options & GNUNET_FS_SEARCH_OPTION_LOOPBACK_ONLY))
 963         sm->options = htonl (1);
 964       else
 965         sm->options = htonl (0);
 966       sm->type = htonl (GNUNET_BLOCK_TYPE_SBLOCK);
 967       sm->anonymity_level = htonl (sc->anonymity);
 968       sm->target = sc->uri->data.sks.namespace;
 969       identifier = sc->uri->data.sks.identifier;
 970       GNUNET_CRYPTO_hash (identifier,
 971                           strlen (identifier),
 972                           &key);
 973       GNUNET_CRYPTO_hash (&key,
 974                           sizeof (GNUNET_HashCode),
 975                           &idh);
 976       GNUNET_CRYPTO_hash_xor (&idh,
 977                               &sm->target,
 978                               &sm->query);
 979    }
 980   GNUNET_CLIENT_receive (sc->client,
 981                          &receive_results,
 982                          sc,
 983                          GNUNET_TIME_UNIT_FOREVER_REL);
 984   return msize;
 985 }
 986
 987
 988 /**
 989  * Reconnect to the FS service and transmit
 990  * our queries NOW.
 991  *
 992  * @param cls our search context
 993  * @param tc unused
 994  */
 995 static void
 996 do_reconnect (void *cls,
 997               const struct GNUNET_SCHEDULER_TaskContext *tc)
 998 {
 999   struct GNUNET_FS_SearchContext *sc = cls;
1000   struct GNUNET_CLIENT_Connection *client;
1001   size_t size;
1002
1003   sc->task = GNUNET_SCHEDULER_NO_TASK;
1004   client = GNUNET_CLIENT_connect (sc->h->sched,
1005                                   "fs",
1006                                   sc->h->cfg);
1007   if (NULL == client)
1008     {
1009       try_reconnect (sc);
1010       return;
1011     }
1012   sc->client = client;
1013   if (GNUNET_FS_uri_test_ksk (sc->uri))
1014     size = sizeof (struct SearchMessage) * sc->uri->data.ksk.keywordCount;
1015   else
1016     size = sizeof (struct SearchMessage);
1017   GNUNET_CLIENT_notify_transmit_ready (client,
1018                                        size,
1019                                        GNUNET_CONSTANTS_SERVICE_TIMEOUT,
1020                                        GNUNET_NO,
1021                                        &transmit_search_request,
1022                                        sc);
1023 }
1024
1025
1026 /**
1027  * Shutdown any existing connection to the FS
1028  * service and try to establish a fresh one
1029  * (and then re-transmit our search request).
1030  *
1031  * @param sc the search to reconnec
1032  */
1033 static void
1034 try_reconnect (struct GNUNET_FS_SearchContext *sc)
1035 {
1036   if (NULL != sc->client)
1037     {
1038       GNUNET_CLIENT_disconnect (sc->client, GNUNET_NO);
1039       sc->client = NULL;
1040     }
1041   sc->task
1042     = GNUNET_SCHEDULER_add_delayed (sc->h->sched,
1043                                     GNUNET_TIME_UNIT_SECONDS,
1044                                     &do_reconnect,
1045                                     sc);
1046 }
1047
1048
1049 /**
1050  * Start search for content, internal API.
1051  *
1052  * @param h handle to the file sharing subsystem
1053  * @param uri specifies the search parameters; can be
1054  *        a KSK URI or an SKS URI.
1055  * @param anonymity desired level of anonymity
1056  * @param options options for the search
1057  * @param cctx initial value for the client context
1058  * @param parent parent search (for namespace update searches)
1059  * @return context that can be used to control the search
1060  */
1061 static struct GNUNET_FS_SearchContext *
1062 search_start (struct GNUNET_FS_Handle *h,
1063               const struct GNUNET_FS_Uri *uri,
1064               uint32_t anonymity,
1065               enum GNUNET_FS_SearchOptions options,
1066               void *cctx,
1067               struct GNUNET_FS_SearchContext *parent)
1068 {
1069   struct GNUNET_FS_SearchContext *sc;
1070   struct GNUNET_CLIENT_Connection *client;
1071   struct GNUNET_FS_ProgressInfo pi;
1072   size_t size;
1073   unsigned int i;
1074   const char *keyword;
1075   GNUNET_HashCode hc;
1076   struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded pub;
1077   struct GNUNET_CRYPTO_RsaPrivateKey *pk;
1078
1079   if (GNUNET_FS_uri_test_ksk (uri))
1080     {
1081       size = sizeof (struct SearchMessage) * uri->data.ksk.keywordCount;
1082     }
1083   else
1084     {
1085       GNUNET_assert (GNUNET_FS_uri_test_sks (uri));
1086       size = sizeof (struct SearchMessage);
1087     }
1088   if (size >= GNUNET_SERVER_MAX_MESSAGE_SIZE)
1089     {
1090       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
1091                   _("Too many keywords specified for a single search."));
1092       return NULL;
1093     }
1094   client = GNUNET_CLIENT_connect (h->sched,
1095                                   "fs",
1096                                   h->cfg);
1097   if (NULL == client)
1098     return NULL;
1099   sc = GNUNET_malloc (sizeof(struct GNUNET_FS_SearchContext));
1100   sc->h = h;
1101   sc->options = options;
1102   sc->uri = GNUNET_FS_uri_dup (uri);
1103   sc->anonymity = anonymity;
1104   sc->start_time = GNUNET_TIME_absolute_get ();
1105   sc->client = client;
1106   sc->parent = parent;
1107   sc->master_result_map = GNUNET_CONTAINER_multihashmap_create (16);
1108   sc->client_info = cctx;
1109   if (GNUNET_FS_uri_test_ksk (uri))
1110     {
1111       GNUNET_assert (0 != sc->uri->data.ksk.keywordCount);
1112       sc->requests = GNUNET_malloc (sizeof (struct SearchRequestEntry) *
1113                                     sc->uri->data.ksk.keywordCount);
1114       for (i=0;i<sc->uri->data.ksk.keywordCount;i++)
1115         {
1116           keyword = &sc->uri->data.ksk.keywords[i][1];
1117           GNUNET_CRYPTO_hash (keyword, strlen (keyword), &hc);
1118           pk = GNUNET_CRYPTO_rsa_key_create_from_hash (&hc);
1119           GNUNET_CRYPTO_rsa_key_get_public (pk, &pub);
1120           GNUNET_CRYPTO_rsa_key_free (pk);
1121           GNUNET_CRYPTO_hash (&pub,
1122                               sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
1123                               &sc->requests[i].query);
1124           sc->requests[i].mandatory = (sc->uri->data.ksk.keywords[i][0] == '+');
1125           if (sc->requests[i].mandatory)
1126             sc->mandatory_count++;
1127           sc->requests[i].results = GNUNET_CONTAINER_multihashmap_create (4);
1128           GNUNET_CRYPTO_hash (keyword,
1129                               strlen (keyword),
1130                               &sc->requests[i].key);
1131         }
1132     }
1133   if (NULL != parent)
1134     GNUNET_CONTAINER_DLL_insert (parent->child_head,
1135                                  parent->child_tail,
1136                                  sc);
1137   pi.status = GNUNET_FS_STATUS_SEARCH_START;
1138   sc->client_info = make_search_status (&pi, sc);
1139   GNUNET_CLIENT_notify_transmit_ready (client,
1140                                        size,
1141                                        GNUNET_CONSTANTS_SERVICE_TIMEOUT,
1142                                        GNUNET_NO,
1143                                        &transmit_search_request,
1144                                        sc);
1145   return sc;
1146 }
1147
1148
1149 /**
1150  * Start search for content.
1151  *
1152  * @param h handle to the file sharing subsystem
1153  * @param uri specifies the search parameters; can be
1154  *        a KSK URI or an SKS URI.
1155  * @param anonymity desired level of anonymity
1156  * @param options options for the search
1157  * @param cctx initial value for the client context
1158  * @return context that can be used to control the search
1159  */
1160 struct GNUNET_FS_SearchContext *
1161 GNUNET_FS_search_start (struct GNUNET_FS_Handle *h,
1162                         const struct GNUNET_FS_Uri *uri,
1163                         uint32_t anonymity,
1164                         enum GNUNET_FS_SearchOptions options,
1165                         void *cctx)
1166 {
1167   return search_start (h, uri, anonymity, options, cctx, NULL);
1168 }
1169
1170
1171 /**
1172  * Pause search.
1173  *
1174  * @param sc context for the search that should be paused
1175  */
1176 void
1177 GNUNET_FS_search_pause (struct GNUNET_FS_SearchContext *sc)
1178 {
1179   struct GNUNET_FS_ProgressInfo pi;
1180
1181   if (sc->task != GNUNET_SCHEDULER_NO_TASK)
1182     GNUNET_SCHEDULER_cancel (sc->h->sched,
1183                              sc->task);
1184   sc->task = GNUNET_SCHEDULER_NO_TASK;
1185   if (NULL != sc->client)
1186     GNUNET_CLIENT_disconnect (sc->client, GNUNET_NO);
1187   sc->client = NULL;
1188   // FIXME: make persistent!
1189   // FIXME: should this freeze all active probes?
1190   pi.status = GNUNET_FS_STATUS_SEARCH_PAUSED;
1191   sc->client_info = make_search_status (&pi, sc);
1192 }
1193
1194
1195 /**
1196  * Continue paused search.
1197  *
1198  * @param sc context for the search that should be resumed
1199  */
1200 void
1201 GNUNET_FS_search_continue (struct GNUNET_FS_SearchContext *sc)
1202 {
1203   struct GNUNET_FS_ProgressInfo pi;
1204
1205   GNUNET_assert (sc->client == NULL);
1206   GNUNET_assert (sc->task == GNUNET_SCHEDULER_NO_TASK);
1207   do_reconnect (sc, NULL);
1208   // FIXME: make persistent!
1209   pi.status = GNUNET_FS_STATUS_SEARCH_CONTINUED;
1210   sc->client_info = make_search_status (&pi, sc);
1211 }
1212
1213
1214 /**
1215  * Free the given search result.
1216  *
1217  * @param cls the global FS handle
1218  * @param key the key for the search result (unused)
1219  * @param value the search result to free
1220  * @return GNUNET_OK
1221  */
1222 static int
1223 search_result_free (void *cls,
1224                     const GNUNET_HashCode * key,
1225                     void *value)
1226 {
1227   struct GNUNET_FS_SearchContext *sc = cls;
1228   struct GNUNET_FS_Handle *h = sc->h;
1229   struct SearchResult *sr = value;
1230   struct GNUNET_FS_ProgressInfo pi;
1231
1232   pi.status = GNUNET_FS_STATUS_SEARCH_RESULT_STOPPED;
1233   pi.value.search.specifics.result_stopped.cctx = sr->client_info;
1234   pi.value.search.specifics.result_stopped.meta = sr->meta;
1235   pi.value.search.specifics.result_stopped.uri = sr->uri;
1236   sr->client_info = make_search_status (&pi, sc);
1237   GNUNET_break (NULL == sr->client_info);
1238
1239   GNUNET_FS_uri_destroy (sr->uri);
1240   GNUNET_CONTAINER_meta_data_destroy (sr->meta);
1241   if (sr->probe_ctx != NULL)
1242     GNUNET_FS_download_stop (sr->probe_ctx, GNUNET_YES);
1243   if (sr->probe_cancel_task != GNUNET_SCHEDULER_NO_TASK)
1244     GNUNET_SCHEDULER_cancel (h->sched,
1245                              sr->probe_cancel_task);
1246   GNUNET_free (sr);
1247   return GNUNET_OK;
1248 }
1249
1250
1251 /**
1252  * Stop search for content.
1253  *
1254  * @param sc context for the search that should be stopped
1255  */
1256 void
1257 GNUNET_FS_search_stop (struct GNUNET_FS_SearchContext *sc)
1258 {
1259   struct GNUNET_FS_ProgressInfo pi;
1260   unsigned int i;
1261   struct GNUNET_FS_SearchContext *parent;
1262
1263   // FIXME: make un-persistent!
1264   if (NULL != (parent = sc->parent))
1265     {
1266       GNUNET_CONTAINER_DLL_remove (parent->child_head,
1267                                    parent->child_tail,
1268                                    sc);
1269       sc->parent = NULL;
1270     }
1271   while (NULL != sc->child_head)
1272     GNUNET_FS_search_stop (sc->child_head);
1273   GNUNET_CONTAINER_multihashmap_iterate (sc->master_result_map,
1274                                          &search_result_free,
1275                                          sc);
1276   pi.status = GNUNET_FS_STATUS_SEARCH_STOPPED;
1277   sc->client_info = make_search_status (&pi, sc);
1278   GNUNET_break (NULL == sc->client_info);
1279   if (sc->task != GNUNET_SCHEDULER_NO_TASK)
1280     GNUNET_SCHEDULER_cancel (sc->h->sched,
1281                              sc->task);
1282   if (NULL != sc->client)
1283     GNUNET_CLIENT_disconnect (sc->client, GNUNET_NO);
1284   GNUNET_CONTAINER_multihashmap_destroy (sc->master_result_map);
1285   if (sc->requests != NULL)
1286     {
1287       GNUNET_assert (GNUNET_FS_uri_test_ksk (sc->uri));
1288       for (i=0;i<sc->uri->data.ksk.keywordCount;i++)
1289         GNUNET_CONTAINER_multihashmap_destroy (sc->requests[i].results);
1290     }
1291   GNUNET_free_non_null (sc->requests);
1292   GNUNET_FS_uri_destroy (sc->uri);
1293   GNUNET_free (sc);
1294 }
1295
1296 /* end of fs_search.c */