src/fs/gnunet-publish.c

   1 /*
   2      This file is part of GNUnet.
   3      Copyright (C) 2001-2013 GNUnet e.V.
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
  18      Boston, MA 02110-1301, USA.
  19 */
  20 /**
  21  * @file fs/gnunet-publish.c
  22  * @brief publishing files on GNUnet
  23  * @author Christian Grothoff
  24  * @author Krista Bennett
  25  * @author James Blackwell
  26  * @author Igor Wronsky
  27  */
  28 #include "platform.h"
  29 #include "gnunet_fs_service.h"
  30 #include "gnunet_identity_service.h"
  31
  32 /**
  33  * Global return value from #main().
  34  */
  35 static int ret;
  36
  37 /**
  38  * Command line option 'verbose' set
  39  */
  40 static int verbose;
  41
  42 /**
  43  * Handle to our configuration.
  44  */
  45 static const struct GNUNET_CONFIGURATION_Handle *cfg;
  46
  47 /**
  48  * Handle for interaction with file-sharing service.
  49  */
  50 static struct GNUNET_FS_Handle *ctx;
  51
  52 /**
  53  * Handle to FS-publishing operation.
  54  */
  55 static struct GNUNET_FS_PublishContext *pc;
  56
  57 /**
  58  * Meta-data provided via command-line option.
  59  */
  60 static struct GNUNET_CONTAINER_MetaData *meta;
  61
  62 /**
  63  * Keywords provided via command-line option.
  64  */
  65 static struct GNUNET_FS_Uri *topKeywords;
  66
  67 /**
  68  * Options we set for published blocks.
  69  */
  70 static struct GNUNET_FS_BlockOptions bo = { {0LL}, 1, 365, 1 };
  71
  72 /**
  73  * Value of URI provided on command-line (when not publishing
  74  * a file but just creating UBlocks to refer to an existing URI).
  75  */
  76 static char *uri_string;
  77
  78 /**
  79  * Value of URI provided on command-line (when not publishing
  80  * a file but just creating UBlocks to refer to an existing URI);
  81  * parsed version of 'uri_string'.
  82  */
  83 static struct GNUNET_FS_Uri *uri;
  84
  85 /**
  86  * Command-line option for namespace publishing: identifier for updates
  87  * to this publication.
  88  */
  89 static char *next_id;
  90
  91 /**
  92  * Command-line option for namespace publishing: identifier for this
  93  * publication.
  94  */
  95 static char *this_id;
  96
  97 /**
  98  * Command-line option identifying the pseudonym to use for the publication.
  99  */
 100 static char *pseudonym;
 101
 102 /**
 103  * Command-line option for 'inserting'
 104  */
 105 static int do_insert;
 106
 107 /**
 108  * Command-line option to disable meta data extraction.
 109  */
 110 static int disable_extractor;
 111
 112 /**
 113  * Command-line option to merely simulate publishing operation.
 114  */
 115 static int do_simulate;
 116
 117 /**
 118  * Command-line option to only perform meta data extraction, but not publish.
 119  */
 120 static int extract_only;
 121
 122 /**
 123  * Command-line option to disable adding creation time.
 124  */
 125 static int do_disable_creation_time;
 126
 127 /**
 128  * Handle to the directory scanner (for recursive insertions).
 129  */
 130 static struct GNUNET_FS_DirScanner *ds;
 131
 132 /**
 133  * Which namespace do we publish to? NULL if we do not publish to
 134  * a namespace.
 135  */
 136 static struct GNUNET_IDENTITY_Ego *namespace;
 137
 138 /**
 139  * Handle to identity service.
 140  */
 141 static struct GNUNET_IDENTITY_Handle *identity;
 142
 143
 144 /**
 145  * We are finished with the publishing operation, clean up all
 146  * FS state.
 147  *
 148  * @param cls NULL
 149  */
 150 static void
 151 do_stop_task (void *cls)
 152 {
 153   struct GNUNET_FS_PublishContext *p;
 154
 155   if (NULL != ds)
 156   {
 157     GNUNET_FS_directory_scan_abort (ds);
 158     ds = NULL;
 159   }
 160   if (NULL != identity)
 161   {
 162     GNUNET_IDENTITY_disconnect (identity);
 163     identity = NULL;
 164   }
 165   if (NULL != pc)
 166   {
 167     p = pc;
 168     pc = NULL;
 169     GNUNET_FS_publish_stop (p);
 170   }
 171   if (NULL != ctx)
 172   {
 173     GNUNET_FS_stop (ctx);
 174     ctx = NULL;
 175   }
 176   if (NULL != meta)
 177   {
 178     GNUNET_CONTAINER_meta_data_destroy (meta);
 179     meta = NULL;
 180   }
 181   if (NULL != uri)
 182   {
 183     GNUNET_FS_uri_destroy (uri);
 184     uri = NULL;
 185   }
 186 }
 187
 188
 189 /**
 190  * Called by FS client to give information about the progress of an
 191  * operation.
 192  *
 193  * @param cls closure
 194  * @param info details about the event, specifying the event type
 195  *        and various bits about the event
 196  * @return client-context (for the next progress call
 197  *         for this operation; should be set to NULL for
 198  *         SUSPEND and STOPPED events).  The value returned
 199  *         will be passed to future callbacks in the respective
 200  *         field in the GNUNET_FS_ProgressInfo struct.
 201  */
 202 static void *
 203 progress_cb (void *cls,
 204              const struct GNUNET_FS_ProgressInfo *info)
 205 {
 206   const char *s;
 207   char *suri;
 208
 209   switch (info->status)
 210   {
 211   case GNUNET_FS_STATUS_PUBLISH_START:
 212     break;
 213   case GNUNET_FS_STATUS_PUBLISH_PROGRESS:
 214     if (verbose)
 215     {
 216       s = GNUNET_STRINGS_relative_time_to_string (info->value.publish.eta,
 217                                                   GNUNET_YES);
 218       FPRINTF (stdout,
 219                _("Publishing `%s' at %llu/%llu (%s remaining)\n"),
 220                info->value.publish.filename,
 221                (unsigned long long) info->value.publish.completed,
 222                (unsigned long long) info->value.publish.size, s);
 223     }
 224     break;
 225   case GNUNET_FS_STATUS_PUBLISH_PROGRESS_DIRECTORY:
 226     if (verbose)
 227     {
 228       s = GNUNET_STRINGS_relative_time_to_string (info->value.publish.specifics.progress_directory.eta,
 229                                                   GNUNET_YES);
 230       FPRINTF (stdout,
 231                _("Publishing `%s' at %llu/%llu (%s remaining)\n"),
 232                info->value.publish.filename,
 233                (unsigned long long) info->value.publish.specifics.progress_directory.completed,
 234                (unsigned long long) info->value.publish.specifics.progress_directory.total, s);
 235     }
 236     break;
 237   case GNUNET_FS_STATUS_PUBLISH_ERROR:
 238     FPRINTF (stderr,
 239              _("Error publishing: %s.\n"),
 240              info->value.publish.specifics.error.message);
 241     ret = 1;
 242     GNUNET_SCHEDULER_shutdown ();
 243     break;
 244   case GNUNET_FS_STATUS_PUBLISH_COMPLETED:
 245     FPRINTF (stdout,
 246              _("Publishing `%s' done.\n"),
 247              info->value.publish.filename);
 248     suri = GNUNET_FS_uri_to_string (info->value.publish.specifics.
 249                                     completed.chk_uri);
 250     FPRINTF (stdout,
 251              _("URI is `%s'.\n"),
 252              suri);
 253     GNUNET_free (suri);
 254     if (NULL != info->value.publish.specifics.completed.sks_uri)
 255     {
 256       suri = GNUNET_FS_uri_to_string (info->value.publish.specifics.
 257                                       completed.sks_uri);
 258       FPRINTF (stdout,
 259                _("Namespace URI is `%s'.\n"),
 260                suri);
 261       GNUNET_free (suri);
 262     }
 263     if (NULL == info->value.publish.pctx)
 264     {
 265       ret = 0;
 266       GNUNET_SCHEDULER_shutdown ();
 267     }
 268     break;
 269   case GNUNET_FS_STATUS_PUBLISH_STOPPED:
 270     GNUNET_break (NULL == pc);
 271     return NULL;
 272   case GNUNET_FS_STATUS_UNINDEX_START:
 273     FPRINTF (stderr,
 274              "%s",
 275              _("Starting cleanup after abort\n"));
 276     return NULL;
 277   case GNUNET_FS_STATUS_UNINDEX_PROGRESS:
 278     return NULL;
 279   case GNUNET_FS_STATUS_UNINDEX_COMPLETED:
 280     FPRINTF (stderr,
 281              "%s",
 282              _("Cleanup after abort completed.\n"));
 283     GNUNET_FS_unindex_stop (info->value.unindex.uc);
 284     return NULL;
 285   case GNUNET_FS_STATUS_UNINDEX_ERROR:
 286     FPRINTF (stderr,
 287              "%s",
 288              _("Cleanup after abort failed.\n"));
 289     GNUNET_FS_unindex_stop (info->value.unindex.uc);
 290     return NULL;
 291   case GNUNET_FS_STATUS_UNINDEX_STOPPED:
 292     return NULL;
 293   default:
 294     FPRINTF (stderr,
 295              _("Unexpected status: %d\n"),
 296              info->status);
 297     return NULL;
 298   }
 299   return "";                    /* non-null */
 300 }
 301
 302
 303 /**
 304  * Print metadata entries (except binary
 305  * metadata and the filename).
 306  *
 307  * @param cls closure
 308  * @param plugin_name name of the plugin that generated the meta data
 309  * @param type type of the meta data
 310  * @param format format of data
 311  * @param data_mime_type mime type of @a data
 312  * @param data value of the meta data
 313  * @param data_size number of bytes in @a data
 314  * @return always 0
 315  */
 316 static int
 317 meta_printer (void *cls,
 318               const char *plugin_name,
 319               enum EXTRACTOR_MetaType type,
 320               enum EXTRACTOR_MetaFormat format,
 321               const char *data_mime_type,
 322               const char *data, size_t data_size)
 323 {
 324   if ((EXTRACTOR_METAFORMAT_UTF8 != format) &&
 325       (EXTRACTOR_METAFORMAT_C_STRING != format))
 326     return 0;
 327   if (EXTRACTOR_METATYPE_GNUNET_ORIGINAL_FILENAME == type)
 328     return 0;
 329 #if HAVE_LIBEXTRACTOR
 330   FPRINTF (stdout,
 331            "\t%s - %s\n",
 332            EXTRACTOR_metatype_to_string (type),
 333            data);
 334 #else
 335   FPRINTF (stdout,
 336            "\t%d - %s\n",
 337            type,
 338            data);
 339 #endif
 340   return 0;
 341 }
 342
 343
 344 /**
 345  * Iterator printing keywords
 346  *
 347  * @param cls closure
 348  * @param keyword the keyword
 349  * @param is_mandatory is the keyword mandatory (in a search)
 350  * @return #GNUNET_OK to continue to iterate, #GNUNET_SYSERR to abort
 351  */
 352 static int
 353 keyword_printer (void *cls,
 354                  const char *keyword,
 355                  int is_mandatory)
 356 {
 357   FPRINTF (stdout, "\t%s\n", keyword);
 358   return GNUNET_OK;
 359 }
 360
 361
 362 /**
 363  * Function called on all entries before the publication.  This is
 364  * where we perform modifications to the default based on command-line
 365  * options.
 366  *
 367  * @param cls closure
 368  * @param fi the entry in the publish-structure
 369  * @param length length of the file or directory
 370  * @param m metadata for the file or directory (can be modified)
 371  * @param uri pointer to the keywords that will be used for this entry (can be modified)
 372  * @param bo block options
 373  * @param do_index should we index?
 374  * @param client_info pointer to client context set upon creation (can be modified)
 375  * @return #GNUNET_OK to continue, #GNUNET_NO to remove
 376  *         this entry from the directory, #GNUNET_SYSERR
 377  *         to abort the iteration
 378  */
 379 static int
 380 publish_inspector (void *cls,
 381                    struct GNUNET_FS_FileInformation *fi,
 382                    uint64_t length,
 383                    struct GNUNET_CONTAINER_MetaData *m,
 384                    struct GNUNET_FS_Uri **uri,
 385                    struct GNUNET_FS_BlockOptions *bo,
 386                    int *do_index,
 387                    void **client_info)
 388 {
 389   char *fn;
 390   char *fs;
 391   struct GNUNET_FS_Uri *new_uri;
 392
 393   if (cls == fi)
 394     return GNUNET_OK;
 395   if ( (disable_extractor) &&
 396        (NULL != *uri) )
 397   {
 398     GNUNET_FS_uri_destroy (*uri);
 399     *uri = NULL;
 400   }
 401   if (NULL != topKeywords)
 402   {
 403     if (NULL != *uri)
 404     {
 405       new_uri = GNUNET_FS_uri_ksk_merge (topKeywords, *uri);
 406       GNUNET_FS_uri_destroy (*uri);
 407       *uri = new_uri;
 408       GNUNET_FS_uri_destroy (topKeywords);
 409     }
 410     else
 411     {
 412       *uri = topKeywords;
 413     }
 414     topKeywords = NULL;
 415   }
 416   if (NULL != meta)
 417   {
 418     GNUNET_CONTAINER_meta_data_merge (m, meta);
 419     GNUNET_CONTAINER_meta_data_destroy (meta);
 420     meta = NULL;
 421   }
 422   if (!do_disable_creation_time)
 423     GNUNET_CONTAINER_meta_data_add_publication_date (m);
 424   if (extract_only)
 425   {
 426     fn = GNUNET_CONTAINER_meta_data_get_by_type (m,
 427                                                  EXTRACTOR_METATYPE_GNUNET_ORIGINAL_FILENAME);
 428     fs = GNUNET_STRINGS_byte_size_fancy (length);
 429     FPRINTF (stdout,
 430              _("Meta data for file `%s' (%s)\n"),
 431              fn,
 432              fs);
 433     GNUNET_CONTAINER_meta_data_iterate (m, &meta_printer, NULL);
 434     FPRINTF (stdout,
 435              _("Keywords for file `%s' (%s)\n"),
 436              fn,
 437              fs);
 438     GNUNET_free (fn);
 439     GNUNET_free (fs);
 440     if (NULL != *uri)
 441       GNUNET_FS_uri_ksk_get_keywords (*uri, &keyword_printer, NULL);
 442     FPRINTF (stdout,
 443              "%s",
 444              "\n");
 445   }
 446   if (GNUNET_YES == GNUNET_FS_meta_data_test_for_directory (m))
 447     GNUNET_FS_file_information_inspect (fi,
 448                                         &publish_inspector, fi);
 449   return GNUNET_OK;
 450 }
 451
 452
 453 /**
 454  * Function called upon completion of the publishing
 455  * of the UBLOCK for the SKS URI.  As this is the last
 456  * step, stop our interaction with FS (clean up).
 457  *
 458  * @param cls NULL (closure)
 459  * @param sks_uri URI for the block that was published
 460  * @param emsg error message, NULL on success
 461  */
 462 static void
 463 uri_sks_continuation (void *cls,
 464                       const struct GNUNET_FS_Uri *sks_uri,
 465                       const char *emsg)
 466 {
 467   if (NULL != emsg)
 468   {
 469     FPRINTF (stderr,
 470              "%s\n",
 471              emsg);
 472     ret = 1;
 473   }
 474   GNUNET_SCHEDULER_shutdown ();
 475 }
 476
 477
 478 /**
 479  * Function called upon completion of the publishing
 480  * of the UBLOCK for the KSK URI.  Continue with
 481  * publishing the SKS URI (if applicable) or clean up.
 482  *
 483  * @param cls NULL (closure)
 484  * @param ksk_uri URI for the block that was published
 485  * @param emsg error message, NULL on success
 486  */
 487 static void
 488 uri_ksk_continuation (void *cls,
 489                       const struct GNUNET_FS_Uri *ksk_uri,
 490                       const char *emsg)
 491 {
 492   const struct GNUNET_CRYPTO_EcdsaPrivateKey *priv;
 493
 494   if (NULL != emsg)
 495   {
 496     FPRINTF (stderr,
 497              "%s\n",
 498              emsg);
 499     ret = 1;
 500   }
 501   if (NULL != namespace)
 502   {
 503     priv = GNUNET_IDENTITY_ego_get_private_key (namespace);
 504     GNUNET_FS_publish_sks (ctx,
 505                            priv,
 506                            this_id,
 507                            next_id,
 508                            meta,
 509                            uri,
 510                            &bo,
 511                            GNUNET_FS_PUBLISH_OPTION_NONE,
 512                            &uri_sks_continuation, NULL);
 513     return;
 514   }
 515   GNUNET_SCHEDULER_shutdown ();
 516 }
 517
 518
 519 /**
 520  * Iterate over the results from the directory scan and extract
 521  * the desired information for the publishing operation.
 522  *
 523  * @param item root with the data from the directroy scan
 524  * @return handle with the information for the publishing operation
 525  */
 526 static struct GNUNET_FS_FileInformation *
 527 get_file_information (struct GNUNET_FS_ShareTreeItem *item)
 528 {
 529   struct GNUNET_FS_FileInformation *fi;
 530   struct GNUNET_FS_FileInformation *fic;
 531   struct GNUNET_FS_ShareTreeItem *child;
 532
 533   if (GNUNET_YES == item->is_directory)
 534   {
 535     if (NULL == item->meta)
 536       item->meta = GNUNET_CONTAINER_meta_data_create ();
 537     GNUNET_CONTAINER_meta_data_delete (item->meta,
 538                                        EXTRACTOR_METATYPE_MIMETYPE,
 539                                        NULL, 0);
 540     GNUNET_FS_meta_data_make_directory (item->meta);
 541     if (NULL == item->ksk_uri)
 542     {
 543       const char *mime = GNUNET_FS_DIRECTORY_MIME;
 544       item->ksk_uri = GNUNET_FS_uri_ksk_create_from_args (1, &mime);
 545     }
 546     else
 547       GNUNET_FS_uri_ksk_add_keyword (item->ksk_uri, GNUNET_FS_DIRECTORY_MIME,
 548                                      GNUNET_NO);
 549     fi = GNUNET_FS_file_information_create_empty_directory (ctx, NULL,
 550                                                             item->ksk_uri,
 551                                                             item->meta,
 552                                                             &bo, item->filename);
 553     for (child = item->children_head; child; child = child->next)
 554     {
 555       fic = get_file_information (child);
 556       GNUNET_break (GNUNET_OK == GNUNET_FS_file_information_add (fi, fic));
 557     }
 558   }
 559   else
 560   {
 561     fi = GNUNET_FS_file_information_create_from_file (ctx, NULL,
 562                                                       item->filename,
 563                                                       item->ksk_uri, item->meta,
 564                                                       !do_insert,
 565                                                       &bo);
 566   }
 567   return fi;
 568 }
 569
 570
 571 /**
 572  * We've finished scanning the directory and optimized the meta data.
 573  * Begin the publication process.
 574  *
 575  * @param directory_scan_result result from the directory scan, freed in this function
 576  */
 577 static void
 578 directory_trim_complete (struct GNUNET_FS_ShareTreeItem *directory_scan_result)
 579 {
 580   struct GNUNET_FS_FileInformation *fi;
 581   const struct GNUNET_CRYPTO_EcdsaPrivateKey *priv;
 582
 583   fi = get_file_information (directory_scan_result);
 584   GNUNET_FS_share_tree_free (directory_scan_result);
 585   if (NULL == fi)
 586   {
 587     FPRINTF (stderr,
 588              "%s",
 589              _("Could not publish\n"));
 590     ret = 1;
 591     GNUNET_SCHEDULER_shutdown ();
 592     return;
 593   }
 594   GNUNET_FS_file_information_inspect (fi, &publish_inspector, NULL);
 595   if (extract_only)
 596   {
 597     GNUNET_FS_file_information_destroy (fi, NULL, NULL);
 598     GNUNET_SCHEDULER_shutdown ();
 599     return;
 600   }
 601   if (NULL == namespace)
 602     priv = NULL;
 603   else
 604     priv = GNUNET_IDENTITY_ego_get_private_key (namespace);
 605   pc = GNUNET_FS_publish_start (ctx, fi,
 606                                 priv, this_id, next_id,
 607                                 (do_simulate) ?
 608                                 GNUNET_FS_PUBLISH_OPTION_SIMULATE_ONLY :
 609                                 GNUNET_FS_PUBLISH_OPTION_NONE);
 610   if (NULL == pc)
 611   {
 612     FPRINTF (stderr,
 613              "%s",
 614              _("Could not start publishing.\n"));
 615     ret = 1;
 616     GNUNET_SCHEDULER_shutdown ();
 617     return;
 618   }
 619 }
 620
 621
 622 /**
 623  * Function called by the directory scanner as we build the tree
 624  * that we will need to publish later.
 625  *
 626  * @param cls closure
 627  * @param filename which file we are making progress on
 628  * @param is_directory #GNUNET_YES if this is a directory,
 629  *                     #GNUNET_NO if this is a file
 630  *                     #GNUNET_SYSERR if it is neither (or unknown)
 631  * @param reason kind of progress we are making
 632  */
 633 static void
 634 directory_scan_cb (void *cls,
 635                    const char *filename,
 636                    int is_directory,
 637                    enum GNUNET_FS_DirScannerProgressUpdateReason reason)
 638 {
 639   struct GNUNET_FS_ShareTreeItem *directory_scan_result;
 640
 641   switch (reason)
 642   {
 643   case GNUNET_FS_DIRSCANNER_FILE_START:
 644     if (verbose > 1)
 645     {
 646       if (is_directory == GNUNET_YES)
 647         FPRINTF (stdout,
 648                  _("Scanning directory `%s'.\n"),
 649                  filename);
 650       else
 651         FPRINTF (stdout,
 652                  _("Scanning file `%s'.\n"),
 653                  filename);
 654     }
 655     break;
 656   case GNUNET_FS_DIRSCANNER_FILE_IGNORED:
 657     FPRINTF (stderr,
 658              _("There was trouble processing file `%s', skipping it.\n"),
 659              filename);
 660     break;
 661   case GNUNET_FS_DIRSCANNER_ALL_COUNTED:
 662     if (verbose)
 663       FPRINTF (stdout,
 664                "%s",
 665                _("Preprocessing complete.\n"));
 666     break;
 667   case GNUNET_FS_DIRSCANNER_EXTRACT_FINISHED:
 668     if (verbose > 2)
 669       FPRINTF (stdout,
 670                _("Extracting meta data from file `%s' complete.\n"),
 671                filename);
 672     break;
 673   case GNUNET_FS_DIRSCANNER_FINISHED:
 674     if (verbose > 1)
 675       FPRINTF (stdout,
 676                "%s",
 677                _("Meta data extraction has finished.\n"));
 678     directory_scan_result = GNUNET_FS_directory_scan_get_result (ds);
 679     ds = NULL;
 680     GNUNET_FS_share_tree_trim (directory_scan_result);
 681     directory_trim_complete (directory_scan_result);
 682     break;
 683   case GNUNET_FS_DIRSCANNER_INTERNAL_ERROR:
 684     FPRINTF (stdout,
 685              "%s",
 686              _("Internal error scanning directory.\n"));
 687     ret = 1;
 688     GNUNET_SCHEDULER_shutdown ();
 689     break;
 690   default:
 691     GNUNET_assert (0);
 692     break;
 693   }
 694   fflush (stdout);
 695 }
 696
 697
 698 /**
 699  * Continuation proceeding with initialization after identity subsystem
 700  * has been initialized.
 701  *
 702  * @param args0 filename to publish
 703  */
 704 static void
 705 identity_continuation (const char *args0)
 706 {
 707   char *ex;
 708   char *emsg;
 709
 710   if ( (NULL != pseudonym) &&
 711        (NULL == namespace) )
 712   {
 713     FPRINTF (stderr,
 714              _("Selected pseudonym `%s' unknown\n"),
 715              pseudonym);
 716     ret = 1;
 717     GNUNET_SCHEDULER_shutdown ();
 718     return;
 719   }
 720   if (NULL != uri_string)
 721   {
 722     emsg = NULL;
 723     if (NULL == (uri = GNUNET_FS_uri_parse (uri_string, &emsg)))
 724     {
 725       FPRINTF (stderr,
 726                _("Failed to parse URI: %s\n"),
 727                emsg);
 728       GNUNET_free (emsg);
 729       ret = 1;
 730       GNUNET_SCHEDULER_shutdown ();
 731       return;
 732     }
 733     GNUNET_FS_publish_ksk (ctx, topKeywords,
 734                            meta, uri,
 735                            &bo,
 736                            GNUNET_FS_PUBLISH_OPTION_NONE,
 737                            &uri_ksk_continuation,
 738                            NULL);
 739     return;
 740   }
 741   if (GNUNET_OK !=
 742       GNUNET_CONFIGURATION_get_value_string (cfg, "FS", "EXTRACTORS", &ex))
 743     ex = NULL;
 744   if (0 != ACCESS (args0, R_OK))
 745   {
 746     FPRINTF (stderr,
 747              _("Failed to access `%s': %s\n"),
 748              args0,
 749              STRERROR (errno));
 750     GNUNET_free_non_null (ex);
 751     return;
 752   }
 753   ds = GNUNET_FS_directory_scan_start (args0,
 754                                        disable_extractor,
 755                                        ex,
 756                                        &directory_scan_cb, NULL);
 757   if (NULL == ds)
 758   {
 759     FPRINTF (stderr,
 760              "%s",
 761              _("Failed to start meta directory scanner.  Is gnunet-helper-publish-fs installed?\n"));
 762     GNUNET_free_non_null (ex);
 763     return;
 764   }
 765   GNUNET_free_non_null (ex);
 766 }
 767
 768
 769 /**
 770  * Function called by identity service with known pseudonyms.
 771  *
 772  * @param cls closure with 'const char *' of filename to publish
 773  * @param ego ego handle
 774  * @param ctx context for application to store data for this ego
 775  *                 (during the lifetime of this process, initially NULL)
 776  * @param name name assigned by the user for this ego,
 777  *                   NULL if the user just deleted the ego and it
 778  *                   must thus no longer be used
 779  */
 780 static void
 781 identity_cb (void *cls,
 782              struct GNUNET_IDENTITY_Ego *ego,
 783              void **ctx,
 784              const char *name)
 785 {
 786   const char *args0 = cls;
 787
 788   if (NULL == ego)
 789   {
 790     identity_continuation (args0);
 791     return;
 792   }
 793   if (NULL == name)
 794     return;
 795   if (0 == strcmp (name, pseudonym))
 796     namespace = ego;
 797 }
 798
 799
 800 /**
 801  * Main function that will be run by the scheduler.
 802  *
 803  * @param cls closure
 804  * @param args remaining command-line arguments
 805  * @param cfgfile name of the configuration file used (for saving, can be NULL!)
 806  * @param c configuration
 807  */
 808 static void
 809 run (void *cls,
 810      char *const *args,
 811      const char *cfgfile,
 812      const struct GNUNET_CONFIGURATION_Handle *c)
 813 {
 814   /* check arguments */
 815   if ((NULL != uri_string) && (extract_only))
 816   {
 817     printf (_("Cannot extract metadata from a URI!\n"));
 818     ret = -1;
 819     return;
 820   }
 821   if (((NULL == uri_string) || (extract_only)) &&
 822       ((NULL == args[0]) || (NULL != args[1])))
 823   {
 824     printf (_("You must specify one and only one filename for insertion.\n"));
 825     ret = -1;
 826     return;
 827   }
 828   if ((NULL != uri_string) && (NULL != args[0]))
 829   {
 830     printf (_("You must NOT specify an URI and a filename.\n"));
 831     ret = -1;
 832     return;
 833   }
 834   if (NULL != pseudonym)
 835   {
 836     if (NULL == this_id)
 837     {
 838       FPRINTF (stderr, _("Option `%s' is required when using option `%s'.\n"),
 839                "-t", "-P");
 840       ret = -1;
 841       return;
 842     }
 843   }
 844   else
 845   {                             /* ordinary insertion checks */
 846     if (NULL != next_id)
 847     {
 848       FPRINTF (stderr,
 849                _("Option `%s' makes no sense without option `%s'.\n"),
 850                "-N", "-P");
 851       ret = -1;
 852       return;
 853     }
 854     if (NULL != this_id)
 855     {
 856       FPRINTF (stderr,
 857                _("Option `%s' makes no sense without option `%s'.\n"),
 858                "-t", "-P");
 859       ret = -1;
 860       return;
 861     }
 862   }
 863   cfg = c;
 864   ctx =
 865       GNUNET_FS_start (cfg, "gnunet-publish", &progress_cb, NULL,
 866                        GNUNET_FS_FLAGS_NONE, GNUNET_FS_OPTIONS_END);
 867   if (NULL == ctx)
 868   {
 869     FPRINTF (stderr,
 870              _("Could not initialize `%s' subsystem.\n"),
 871              "FS");
 872     ret = 1;
 873     return;
 874   }
 875   GNUNET_SCHEDULER_add_shutdown (&do_stop_task,
 876                                  NULL);
 877   if (NULL != pseudonym)
 878     identity = GNUNET_IDENTITY_connect (cfg,
 879                                         &identity_cb,
 880                                         args[0]);
 881   else
 882     identity_continuation (args[0]);
 883 }
 884
 885
 886 /**
 887  * The main function to publish content to GNUnet.
 888  *
 889  * @param argc number of arguments from the command line
 890  * @param argv command line arguments
 891  * @return 0 ok, 1 on error
 892  */
 893 int
 894 main (int argc, char *const *argv)
 895 {
 896   static const struct GNUNET_GETOPT_CommandLineOption options[] = {
 897     {'a', "anonymity", "LEVEL",
 898      gettext_noop ("set the desired LEVEL of sender-anonymity"),
 899      1, &GNUNET_GETOPT_set_uint, &bo.anonymity_level},
 900     {'d', "disable-creation-time", NULL,
 901      gettext_noop
 902      ("disable adding the creation time to the metadata of the uploaded file"),
 903      0, &GNUNET_GETOPT_set_one, &do_disable_creation_time},
 904     {'D', "disable-extractor", NULL,
 905      gettext_noop ("do not use libextractor to add keywords or metadata"),
 906      0, &GNUNET_GETOPT_set_one, &disable_extractor},
 907     {'e', "extract", NULL,
 908      gettext_noop
 909      ("print list of extracted keywords that would be used, but do not perform upload"),
 910      0, &GNUNET_GETOPT_set_one, &extract_only},
 911     {'k', "key", "KEYWORD",
 912      gettext_noop
 913      ("add an additional keyword for the top-level file or directory"
 914       " (this option can be specified multiple times)"),
 915      1, &GNUNET_FS_getopt_set_keywords, &topKeywords},
 916     {'m', "meta", "TYPE:VALUE",
 917      gettext_noop ("set the meta-data for the given TYPE to the given VALUE"),
 918      1, &GNUNET_FS_getopt_set_metadata, &meta},
 919     {'n', "noindex", NULL,
 920      gettext_noop ("do not index, perform full insertion (stores entire "
 921                    "file in encrypted form in GNUnet database)"),
 922      0, &GNUNET_GETOPT_set_one, &do_insert},
 923     {'N', "next", "ID",
 924      gettext_noop
 925      ("specify ID of an updated version to be published in the future"
 926       " (for namespace insertions only)"),
 927      1, &GNUNET_GETOPT_set_string, &next_id},
 928     {'p', "priority", "PRIORITY",
 929      gettext_noop ("specify the priority of the content"),
 930      1, &GNUNET_GETOPT_set_uint, &bo.content_priority},
 931     {'P', "pseudonym", "NAME",
 932      gettext_noop
 933      ("publish the files under the pseudonym NAME (place file into namespace)"),
 934      1, &GNUNET_GETOPT_set_string, &pseudonym},
 935     {'r', "replication", "LEVEL",
 936      gettext_noop ("set the desired replication LEVEL"),
 937      1, &GNUNET_GETOPT_set_uint, &bo.replication_level},
 938     {'s', "simulate-only", NULL,
 939      gettext_noop ("only simulate the process but do not do any "
 940                    "actual publishing (useful to compute URIs)"),
 941      0, &GNUNET_GETOPT_set_one, &do_simulate},
 942     {'t', "this", "ID",
 943      gettext_noop ("set the ID of this version of the publication"
 944                    " (for namespace insertions only)"),
 945      1, &GNUNET_GETOPT_set_string, &this_id},
 946     {'u', "uri", "URI",
 947      gettext_noop ("URI to be published (can be used instead of passing a "
 948                    "file to add keywords to the file with the respective URI)"),
 949      1, &GNUNET_GETOPT_set_string, &uri_string},
 950     {'V', "verbose", NULL,
 951      gettext_noop ("be verbose (print progress information)"),
 952      0, &GNUNET_GETOPT_set_one, &verbose},
 953     GNUNET_GETOPT_OPTION_END
 954   };
 955   bo.expiration_time =
 956       GNUNET_TIME_year_to_time (GNUNET_TIME_get_current_year () + 2);
 957
 958   if (GNUNET_OK != GNUNET_STRINGS_get_utf8_args (argc, argv, &argc, &argv))
 959     return 2;
 960   ret = (GNUNET_OK ==
 961          GNUNET_PROGRAM_run (argc, argv, "gnunet-publish [OPTIONS] FILENAME",
 962                              gettext_noop
 963                              ("Publish a file or directory on GNUnet"),
 964                              options, &run, NULL)) ? ret : 1;
 965   GNUNET_free ((void*) argv);
 966   return ret;
 967 }
 968
 969 /* end of gnunet-publish.c */