fix
[oweals/gnunet.git] / src / fs / fs.h
index 9b3a3902d5506f6911a42d66ba211218303cc150..a7ae457d56eae82c0c70be64d92cf397c1817d52 100644 (file)
@@ -1,3 +1,4 @@
+
 /*
      This file is part of GNUnet.
      (C) 2003, 2004, 2005, 2006, 2007, 2008, 2009 Christian Grothoff (and other contributing authors)
 #include "gnunet_fs_service.h"
 #include "gnunet_block_lib.h"
 
+/**
+ * Maximum size of the datastore queue for P2P operations.
+ */
+#define MAX_DATASTORE_QUEUE 16
+
+/**
+ * Maximum number of blocks we keep in memory for migration.
+ */
+#define MAX_MIGRATION_QUEUE 32
+
+/**
+ * How many peers do we select as possible
+ * targets per block obtained for migration?
+ */
+#define MIGRATION_LIST_SIZE 4
+
+/**
+ * To how many peers do we forward each migration block ultimately?
+ * This number must be smaller or equal to MIGRATION_LIST_SIZE.  Using
+ * a smaller value allows for variation in available bandwidth (for
+ * migration) between the peers.
+ */
+#define MIGRATION_TARGET_COUNT 2
+
+/**
+ * Ratio for moving average delay calculation.  The previous
+ * average goes in with a factor of (n-1) into the calculation.
+ * Must be > 0.
+ */
+#define RUNAVG_DELAY_N 16
+
 /**
  * Size of the individual blocks used for file-sharing.
  */
  */
 #define IDLE_LOAD_THRESHOLD ((100 + GNUNET_CONSTANTS_IDLE_LOAD_THRESHOLD) / 2)
 
+/**
+ * Name of the directory with top-level searches.
+ */
+#define GNUNET_FS_SYNC_PATH_MASTER_SEARCH "search"
+
+/**
+ * Name of the directory with sub-searches (namespace-updates).
+ */
+#define GNUNET_FS_SYNC_PATH_CHILD_SEARCH "search-child"
+
+/**
+ * Name of the directory with master downloads (not associated
+ * with search or part of another download).
+ */
+#define GNUNET_FS_SYNC_PATH_MASTER_DOWNLOAD "download"
+
+/**
+ * Name of the directory with downloads that are part of another
+ * download or a search.
+ */
+#define GNUNET_FS_SYNC_PATH_CHILD_DOWNLOAD "download-child"
+
+/**
+ * Name of the directory with publishing operations.
+ */
+#define GNUNET_FS_SYNC_PATH_MASTER_PUBLISH "publish"
+
+/**
+ * Name of the directory with files that are being published
+ */
+#define GNUNET_FS_SYNC_PATH_FILE_INFO "publish-file"
+
+/**
+ * Name of the directory with unindex operations.
+ */
+#define GNUNET_FS_SYNC_PATH_MASTER_UNINDEX "unindex"
 
 
 /**
  */
 struct ContentHashKey 
 {
+  /**
+   * Hash of the original content, used for encryption.
+   */
   GNUNET_HashCode key;
+
+  /**
+   * Hash of the encrypted content, used for querying.
+   */
   GNUNET_HashCode query;
 };
 
@@ -212,15 +287,42 @@ struct Location
 
 };
 
+/**
+ * Types of URIs.
+ */
 enum uri_types
-{ chk, sks, ksk, loc };
+  { 
+    /**
+     * Content-hash-key (simple file).
+     */
+    chk, 
+
+    /**
+     * Signed key space (file in namespace).
+     */
+    sks,
+
+    /**
+     * Keyword search key (query with keywords).
+     */
+    ksk,
+
+    /**
+     * Location (chk with identity of hosting peer).
+     */
+    loc 
+  };
 
 /**
  * A Universal Resource Identifier (URI), opaque.
  */
 struct GNUNET_FS_Uri
 {
+  /**
+   * Type of the URI.
+   */
   enum uri_types type;
+
   union
   {
     struct
@@ -544,7 +646,7 @@ struct GNUNET_FS_QueueEntry
 /**
  * Information we store for each search result.
  */
-struct SearchResult
+struct GNUNET_FS_SearchResult
 {
 
   /**
@@ -573,11 +675,28 @@ struct SearchResult
    */
   struct GNUNET_FS_DownloadContext *probe_ctx;
 
+  /**
+   * ID of an associated download based on this search result (or
+   * NULL for none).
+   */
+  struct GNUNET_FS_DownloadContext *download;
+
+  /**
+   * If this search result triggered an update search, this field
+   * links to the update search.
+   */
+  struct GNUNET_FS_SearchContext *update_search;
+
   /**
    * Name under which this search result is stored on disk.
    */
   char *serialization;
 
+  /**
+   * Key for the search result
+   */
+  GNUNET_HashCode key;
+
   /**
    * ID of the task that will clean up the probe_ctx should it not
    * complete on time (and that will need to be cancelled if we clean
@@ -837,7 +956,7 @@ GNUNET_FS_download_start_downloading_ (struct GNUNET_FS_DownloadContext *dc);
  * @param sr the search result
  */
 void
-GNUNET_FS_search_start_probe_ (struct SearchResult *sr);
+GNUNET_FS_search_start_probe_ (struct GNUNET_FS_SearchResult *sr);
 
 /**
  * Remove serialization/deserialization file from disk.
@@ -852,6 +971,19 @@ GNUNET_FS_remove_sync_file_ (struct GNUNET_FS_Handle *h,
                             const char *ent);
 
 
+/**
+ * Remove serialization/deserialization directory from disk.
+ *
+ * @param h master context
+ * @param ext component of the path 
+ * @param uni unique name of parent 
+ */
+void
+GNUNET_FS_remove_sync_dir_ (struct GNUNET_FS_Handle *h,
+                           const char *ext,
+                           const char *uni);
+
+
 /**
  * Synchronize this file-information struct with its mirror
  * on disk.  Note that all internal FS-operations that change
@@ -902,12 +1034,10 @@ GNUNET_FS_search_sync_ (struct GNUNET_FS_SearchContext *sc);
  * publishing structs should already call "sync" internally,
  * so this function is likely not useful for clients.
  * 
- * @param key key for the search result
  * @param sr the struct to sync
  */
 void
-GNUNET_FS_search_result_sync_ (const GNUNET_HashCode *key,
-                              struct SearchResult *sr);
+GNUNET_FS_search_result_sync_ (struct GNUNET_FS_SearchResult *sr);
 
 /**
  * Synchronize this download struct with its mirror
@@ -920,6 +1050,105 @@ GNUNET_FS_search_result_sync_ (const GNUNET_HashCode *key,
 void
 GNUNET_FS_download_sync_ (struct GNUNET_FS_DownloadContext *dc);
 
+/**
+ * Create SUSPEND event for the given publish operation
+ * and then clean up our state (without stop signal).
+ *
+ * @param cls the 'struct GNUNET_FS_PublishContext' to signal for
+ */
+void
+GNUNET_FS_publish_signal_suspend_ (void *cls);
+
+/**
+ * Create SUSPEND event for the given search operation
+ * and then clean up our state (without stop signal).
+ *
+ * @param cls the 'struct GNUNET_FS_SearchContext' to signal for
+ */
+void
+GNUNET_FS_search_signal_suspend_ (void *cls);
+
+/**
+ * Create SUSPEND event for the given download operation
+ * and then clean up our state (without stop signal).
+ *
+ * @param cls the 'struct GNUNET_FS_DownloadContext' to signal for
+ */
+void
+GNUNET_FS_download_signal_suspend_ (void *cls);
+
+/**
+ * Create SUSPEND event for the given unindex operation
+ * and then clean up our state (without stop signal).
+ *
+ * @param cls the 'struct GNUNET_FS_UnindexContext' to signal for
+ */
+void
+GNUNET_FS_unindex_signal_suspend_ (void *cls);
+
+/**
+ * Function signature of the functions that can be called
+ * to trigger suspend signals and clean-up for top-level
+ * activities.
+ *
+ * @param cls closure
+ */
+typedef void (*SuspendSignalFunction)(void *cls);                                    
+
+/**
+ * We track all of the top-level activities of FS
+ * so that we can signal 'suspend' on shutdown.
+ */
+struct TopLevelActivity
+{
+  /**
+   * This is a doubly-linked list.
+   */ 
+  struct TopLevelActivity *next;
+
+  /**
+   * This is a doubly-linked list.
+   */  
+  struct TopLevelActivity *prev;
+
+  /**
+   * Function to call for suspend-signalling and clean up.
+   */
+  SuspendSignalFunction ssf;
+
+  /**
+   * Closure for 'ssf' (some struct GNUNET_FS_XXXHandle*)
+   */
+  void *ssf_cls;
+};
+
+
+/**
+ * Create a top-level activity entry.
+ *
+ * @param h global fs handle
+ * @param ssf suspend signal function to use
+ * @param ssf_cls closure for ssf
+ * @return fresh top-level activity handle
+ */
+struct TopLevelActivity *
+GNUNET_FS_make_top (struct GNUNET_FS_Handle *h,
+                   SuspendSignalFunction ssf,
+                   void *ssf_cls);
+
+
+/**
+ * Destroy a top-level activity entry.
+ * 
+ * @param h global fs handle
+ * @param top top level activity entry
+ */
+void
+GNUNET_FS_end_top (struct GNUNET_FS_Handle *h,
+                  struct TopLevelActivity *top);
+
+
+
 /**
  * Master context for most FS operations.
  */
@@ -951,9 +1180,14 @@ struct GNUNET_FS_Handle
   void *upcb_cls;
 
   /**
-   * Connection to the FS service.
+   * Head of DLL of top-level activities.
    */
-  struct GNUNET_CLIENT_Connection *client;
+  struct TopLevelActivity *top_head;
+
+  /**
+   * Tail of DLL of top-level activities.
+   */
+  struct TopLevelActivity *top_tail;
 
   /**
    * Head of DLL of running jobs.
@@ -1025,6 +1259,11 @@ struct GNUNET_FS_PublishContext
    */ 
   struct GNUNET_FS_Handle *h;
 
+  /**
+   * Our top-level activity entry (if we are top-level, otherwise NULL).
+   */
+  struct TopLevelActivity *top;
+
   /**
    * File-structure that is being shared.
    */
@@ -1113,16 +1352,16 @@ enum UnindexState
     UNINDEX_STATE_HASHING = 0,
 
     /**
-     * We're notifying the FS service about
-     * the unindexing.
+     * We're telling the datastore to delete
+     * the respective entries.
      */
-    UNINDEX_STATE_FS_NOTIFY = 1,
+    UNINDEX_STATE_DS_REMOVE = 1,
 
     /**
-     * We're telling the datastore to delete
-     * the respective entries.
+     * We're notifying the FS service about
+     * the unindexing.
      */
-    UNINDEX_STATE_DS_REMOVE = 2,
+    UNINDEX_STATE_FS_NOTIFY = 2,
 
     /**
      * We're done.
@@ -1132,13 +1371,8 @@ enum UnindexState
     /**
      * We've encountered a fatal error.
      */
-    UNINDEX_STATE_ERROR = 4,
+    UNINDEX_STATE_ERROR = 4
 
-    /**
-     * We've been aborted.  The next callback should clean up the
-     * struct.
-     */
-    UNINDEX_STATE_ABORTED = 5
   };
 
 
@@ -1153,6 +1387,11 @@ struct GNUNET_FS_UnindexContext
    */
   struct GNUNET_FS_Handle *h;
 
+  /**
+   * Our top-level activity entry.
+   */
+  struct TopLevelActivity *top;
+
   /**
    * Name of the file that we are unindexing.
    */
@@ -1195,6 +1434,11 @@ struct GNUNET_FS_UnindexContext
    */
   char *emsg;
 
+  /**
+   * Context for hashing of the file.
+   */
+  struct GNUNET_CRYPTO_FileHashContext *fhc;
+
   /**
    * Overall size of the file.
    */ 
@@ -1236,7 +1480,7 @@ struct SearchRequestEntry
   GNUNET_HashCode query;  
 
   /**
-   * Map that contains a "struct SearchResult" for each result that
+   * Map that contains a "struct GNUNET_FS_SearchResult" for each result that
    * was found under this keyword.  Note that the entries will point
    * to the same locations as those in the master result map (in
    * "struct GNUNET_FS_SearchContext"), so they should not be freed.
@@ -1265,39 +1509,20 @@ struct GNUNET_FS_SearchContext
   struct GNUNET_FS_Handle *h;
 
   /**
-   * List of keywords that we're looking for.
+   * Our top-level activity entry (if we are top-level, otherwise NULL).
    */
-  struct GNUNET_FS_Uri *uri;
+  struct TopLevelActivity *top;
 
   /**
-   * For update-searches, link to the base-SKS search that triggered
-   * the update search; otherwise NULL.
-   */
-  struct GNUNET_FS_SearchContext *parent;
-
-  /**
-   * For update-searches, link to the first child search that
-   * triggered the update search; otherwise NULL.
+   * List of keywords that we're looking for.
    */
-  struct GNUNET_FS_SearchContext *child_head;
+  struct GNUNET_FS_Uri *uri;
 
   /**
-   * For update-searches, link to the last child search that triggered
+   * For update-searches, link to the search result that triggered
    * the update search; otherwise NULL.
    */
-  struct GNUNET_FS_SearchContext *child_tail;
-
-  /**
-   * For update-searches, link to the next child belonging to the same
-   * parent.
-   */
-  struct GNUNET_FS_SearchContext *next;
-
-  /**
-   * For update-searches, link to the previous child belonging to the
-   * same parent.
-   */
-  struct GNUNET_FS_SearchContext *prev;
+  struct GNUNET_FS_SearchResult *psearch_result;
 
   /**
    * Connection to the FS service.
@@ -1320,7 +1545,7 @@ struct GNUNET_FS_SearchContext
   char *emsg;
 
   /**
-   * Map that contains a "struct SearchResult" for each result that
+   * Map that contains a "struct GNUNET_FS_SearchResult" for each result that
    * was found in the search.  The key for each entry is the XOR of
    * the key and query in the CHK URI (as a unique identifier for the
    * search result).
@@ -1411,6 +1636,11 @@ struct GNUNET_FS_DownloadContext
    * Global FS context.
    */ 
   struct GNUNET_FS_Handle *h;
+
+  /**
+   * Our top-level activity entry (if we are top-level, otherwise NULL).
+   */
+  struct TopLevelActivity *top;
   
   /**
    * Connection to the FS service.
@@ -1423,6 +1653,12 @@ struct GNUNET_FS_DownloadContext
    */
   struct GNUNET_FS_DownloadContext *parent;
 
+  /**
+   * Associated search (used when downloading files
+   * based on search results), or NULL for none.
+   */
+  struct GNUNET_FS_SearchResult *search;
+
   /**
    * Head of list of child downloads.
    */