Merge branch 'master' of gnunet.org:gnunet
[oweals/gnunet.git] / src / include / gnunet_dht_service.h
index 55038d99ae2dff25127357ae001e1a5f6e4e4bf1..d9bbccbdf6f23e7749994ea2816d8330a5be500f 100644 (file)
@@ -1,27 +1,35 @@
 /*
       This file is part of GNUnet
-      (C) 2004, 2005, 2006, 2008, 2009 Christian Grothoff (and other contributing authors)
+      Copyright (C) 2004-2013, 2016 GNUnet e.V.
 
-      GNUnet is free software; you can redistribute it and/or modify
-      it under the terms of the GNU General Public License as published
-      by the Free Software Foundation; either version 3, or (at your
-      option) any later version.
+      GNUnet is free software: you can redistribute it and/or modify it
+      under the terms of the GNU Affero General Public License as published
+      by the Free Software Foundation, either version 3 of the License,
+      or (at your option) any later version.
 
       GNUnet is distributed in the hope that it will be useful, but
       WITHOUT ANY WARRANTY; without even the implied warranty of
       MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
-      General Public License for more details.
+      Affero General Public License for more details.
+     
+      You should have received a copy of the GNU Affero General Public License
+      along with this program.  If not, see <http://www.gnu.org/licenses/>.
 
-      You should have received a copy of the GNU General Public License
-      along with GNUnet; see the file COPYING.  If not, write to the
-      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
-      Boston, MA 02111-1307, USA.
+     SPDX-License-Identifier: AGPL3.0-or-later
  */
 
 /**
- * @file include/gnunet_dht_service.h
- * @brief API to the DHT service
  * @author Christian Grothoff
+ *
+ * @file
+ * API to the DHT service
+ *
+ * @defgroup dht  DHT service
+ * Distributed Hash Table
+ *
+ * @see [Documentation](https://gnunet.org/developer-handbook-dht)
+ *
+ * @{
  */
 
 #ifndef GNUNET_DHT_SERVICE_H
@@ -45,36 +53,13 @@ extern "C"
  */
 #define GNUNET_DHT_DEFAULT_REPUBLISH_FREQUENCY GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_MINUTES, 60)
 
-/**
- * K-value that must be used for the bloom filter 'GET'
- * queries.
- */
-#define GNUNET_DHT_GET_BLOOMFILTER_K 16
 
-/**
- * Non-intelligent default DHT GET replication.
- * Should be chosen by application if anything about
- * the network is known.
- */
-#define DEFAULT_GET_REPLICATION 5
-
-/**
- * Non-intelligent default DHT PUT replication.
- * Should be chosen by application if anything about
- * the network is known.
- */
-#define DEFAULT_PUT_REPLICATION 8
 
 /**
  * Connection to the DHT service.
  */
 struct GNUNET_DHT_Handle;
 
-/**
- * Handle to control a route operation.
- */
-struct GNUNET_DHT_RouteHandle;
-
 /**
  * Handle to control a get operation.
  */
@@ -91,27 +76,37 @@ struct GNUNET_DHT_FindPeerHandle;
  */
 enum GNUNET_DHT_RouteOption
 {
-    /**
-     * Default.  Do nothing special.
-     */
+  /**
+   * Default.  Do nothing special.
+   */
   GNUNET_DHT_RO_NONE = 0,
 
-    /**
-     * Each peer along the way should look at 'enc' (otherwise
-     * only the k-peers closest to the key should look at it).
-     */
+  /**
+   * Each peer along the way should look at 'enc' (otherwise
+   * only the k-peers closest to the key should look at it).
+   */
   GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE = 1,
 
-    /**
-     * We should keep track of the route that the message
-     * took in the P2P network.
-     */
+  /**
+   * We should keep track of the route that the message
+   * took in the P2P network.
+   */
   GNUNET_DHT_RO_RECORD_ROUTE = 2,
 
-    /**
-     * Possible message option for query key randomization.
-     */
-  GNUNET_DHT_RO_BART = 4
+  /**
+   * This is a 'FIND-PEER' request, so approximate results are fine.
+   */
+  GNUNET_DHT_RO_FIND_PEER = 4,
+
+  /**
+   * Possible message option for query key randomization.
+   */
+  GNUNET_DHT_RO_BART = 8,
+
+  /**
+   * Flag given to monitors if this was the last hop for a GET/PUT.
+   */
+  GNUNET_DHT_RO_LAST_HOP = 16
 };
 
 
@@ -139,6 +134,13 @@ GNUNET_DHT_disconnect (struct GNUNET_DHT_Handle *handle);
 
 /* *************** Standard API: get and put ******************* */
 
+
+/**
+ * Opaque handle to cancel a PUT operation.
+ */
+struct GNUNET_DHT_PutHandle;
+
+
 /**
  * Perform a PUT operation storing data in the DHT.
  *
@@ -148,23 +150,43 @@ GNUNET_DHT_disconnect (struct GNUNET_DHT_Handle *handle);
  *                nearest peers this request should reach
  * @param options routing options for this message
  * @param type type of the value
- * @param size number of bytes in data; must be less than 64k
+ * @param size number of bytes in @a data; must be less than 64k
  * @param data the data to store
  * @param exp desired expiration time for the value
- * @param timeout how long to wait for transmission of this request
  * @param cont continuation to call when done (transmitting request to service)
- * @param cont_cls closure for cont
+ *        You must not call #GNUNET_DHT_disconnect in this continuation
+ * @param cont_cls closure for @a cont
+ * @return handle to cancel the "PUT" operation, NULL on error
+ *        (size too big)
  */
-void
-GNUNET_DHT_put (struct GNUNET_DHT_Handle *handle, const GNUNET_HashCode * key,
+struct GNUNET_DHT_PutHandle *
+GNUNET_DHT_put (struct GNUNET_DHT_Handle *handle,
+                const struct GNUNET_HashCode *key,
                 uint32_t desired_replication_level,
                 enum GNUNET_DHT_RouteOption options,
-                enum GNUNET_BLOCK_Type type, size_t size, const char *data,
+                enum GNUNET_BLOCK_Type type,
+                size_t size,
+                const void *data,
                 struct GNUNET_TIME_Absolute exp,
-                struct GNUNET_TIME_Relative timeout, GNUNET_SCHEDULER_Task cont,
+                GNUNET_SCHEDULER_TaskCallback cont,
                 void *cont_cls);
 
 
+/**
+ * Cancels a DHT PUT operation.  Note that the PUT request may still
+ * go out over the network (we can't stop that); However, if the PUT
+ * has not yet been sent to the service, cancelling the PUT will stop
+ * this from happening (but there is no way for the user of this API
+ * to tell if that is the case).  The only use for this API is to
+ * prevent a later call to 'cont' from #GNUNET_DHT_put (i.e. because
+ * the system is shutting down).
+ *
+ * @param ph put operation to cancel ('cont' will no longer be called)
+ */
+void
+GNUNET_DHT_put_cancel (struct GNUNET_DHT_PutHandle *ph);
+
+
 /**
  * Iterator called on each result obtained for a DHT
  * operation that expects a reply
@@ -172,251 +194,201 @@ GNUNET_DHT_put (struct GNUNET_DHT_Handle *handle, const GNUNET_HashCode * key,
  * @param cls closure
  * @param exp when will this value expire
  * @param key key of the result
- * @param get_path NULL-terminated array of pointers
- *                 to the peers on reverse GET path (or NULL if not recorded)
- * @param put_path NULL-terminated array of pointers
- *                 to the peers on the PUT path (or NULL if not recorded)
+ * @param get_path peers on reply path (or NULL if not recorded)
+ *                 [0] = datastore's first neighbor, [length - 1] = local peer
+ * @param get_path_length number of entries in @a get_path
+ * @param put_path peers on the PUT path (or NULL if not recorded)
+ *                 [0] = origin, [length - 1] = datastore
+ * @param put_path_length number of entries in @a put_path
  * @param type type of the result
- * @param size number of bytes in data
+ * @param size number of bytes in @a data
  * @param data pointer to the result data
  */
-typedef void (*GNUNET_DHT_GetIterator) (void *cls,
-                                        struct GNUNET_TIME_Absolute exp,
-                                        const GNUNET_HashCode * key,
-                                        const struct GNUNET_PeerIdentity *
-                                        const *get_path,
-                                        const struct GNUNET_PeerIdentity *
-                                        const *put_path,
-                                        enum GNUNET_BLOCK_Type type,
-                                        size_t size, const void *data);
-
+typedef void
+(*GNUNET_DHT_GetIterator) (void *cls,
+                           struct GNUNET_TIME_Absolute exp,
+                           const struct GNUNET_HashCode *key,
+                           const struct GNUNET_PeerIdentity *get_path,
+                           unsigned int get_path_length,
+                           const struct GNUNET_PeerIdentity *put_path,
+                           unsigned int put_path_length,
+                           enum GNUNET_BLOCK_Type type,
+                           size_t size,
+                           const void *data);
 
 
 /**
  * Perform an asynchronous GET operation on the DHT identified. See
- * also "GNUNET_BLOCK_evaluate".
+ * also #GNUNET_BLOCK_evaluate.
  *
  * @param handle handle to the DHT service
- * @param timeout how long to wait for transmission of this request to the service
  * @param type expected type of the response object
  * @param key the key to look up
  * @param desired_replication_level estimate of how many
                   nearest peers this request should reach
  * @param options routing options for this message
- * @param bf bloom filter associated with query (can be NULL)
- * @param bf_mutator mutation value for bf
  * @param xquery extended query data (can be NULL, depending on type)
- * @param xquery_size number of bytes in xquery
+ * @param xquery_size number of bytes in @a xquery
  * @param iter function to call on each result
- * @param iter_cls closure for iter
- *
+ * @param iter_cls closure for @a iter
  * @return handle to stop the async get
  */
 struct GNUNET_DHT_GetHandle *
 GNUNET_DHT_get_start (struct GNUNET_DHT_Handle *handle,
-                      struct GNUNET_TIME_Relative timeout,
-                      enum GNUNET_BLOCK_Type type, const GNUNET_HashCode * key,
+                      enum GNUNET_BLOCK_Type type,
+                      const struct GNUNET_HashCode *key,
                       uint32_t desired_replication_level,
                       enum GNUNET_DHT_RouteOption options,
-                      const struct GNUNET_CONTAINER_BloomFilter *bf,
-                      int32_t bf_mutator, const void *xquery,
-                      size_t xquery_size, GNUNET_DHT_GetIterator iter,
+                      const void *xquery,
+                      size_t xquery_size,
+                      GNUNET_DHT_GetIterator iter,
                       void *iter_cls);
 
 
 /**
- * Stop async DHT-get.  Frees associated resources.
- *
- * @param get_handle GET operation to stop.
+ * Tell the DHT not to return any of the following known results
+ * to this client.
  *
- * On return get_handle will no longer be valid, caller
- * must not use again!!!
+ * @param get_handle get operation for which results should be filtered
+ * @param num_results number of results to be blocked that are
+ *        provided in this call (size of the @a results array)
+ * @param results array of hash codes over the `data` of the results
+ *        to be blocked
  */
 void
-GNUNET_DHT_get_stop (struct GNUNET_DHT_GetHandle *get_handle);
-
-
-/* ******** Special high-level API for finding peers *********** */
+GNUNET_DHT_get_filter_known_results (struct GNUNET_DHT_GetHandle *get_handle,
+                                    unsigned int num_results,
+                                    const struct GNUNET_HashCode *results);
 
 /**
- * Iterator called on each result obtained from a find peer
- * operation
- *
- * @param cls closure
- * @param peer hello of a target (peer near key)
- */
-typedef void (*GNUNET_DHT_FindPeerProcessor) (void *cls,
-                                              const struct GNUNET_HELLO_Message
-                                              * peer);
-
-
-/**
- * Perform an asynchronous FIND PEER operation on the DHT.
- *
- * @param handle handle to the DHT service
- * @param timeout timeout for this request to be sent to the
- *        service
- * @param key the key to look up
- * @param options routing options for this message
- * @param proc function to call on each result
- * @param proc_cls closure for proc
- * @return handle to stop the async get, NULL on error
- */
-struct GNUNET_DHT_FindPeerHandle *
-GNUNET_DHT_find_peer_start (struct GNUNET_DHT_Handle *handle,
-                            struct GNUNET_TIME_Relative timeout,
-                            const GNUNET_HashCode * key,
-                            enum GNUNET_DHT_RouteOption options,
-                            GNUNET_DHT_FindPeerProcessor proc, void *proc_cls);
-
-
-/**
- * Stop async find peer.  Frees associated resources.
+ * Stop async DHT-get.  Frees associated resources.
  *
- * @param find_peer_handle GET operation to stop.
+ * @param get_handle GET operation to stop.
  */
 void
-GNUNET_DHT_find_peer_stop (struct GNUNET_DHT_FindPeerHandle *find_peer_handle);
-
+GNUNET_DHT_get_stop (struct GNUNET_DHT_GetHandle *get_handle);
 
 
-/* ***** Special low-level API providing generic routeing abstraction ***** */
+/* *************** Extended API: monitor ******************* */
 
 /**
- * Iterator called on each result obtained from a generic route
- * operation
- *
- * @param cls closure
- * @param key key that was used
- * @param outgoing_path NULL-terminated array of pointers
- *                      to the peers on reverse outgoing
- *                      path (or NULL if not recorded)
- *                 to the peers on the PUT path (or NULL if not recorded)
- * @param reply response
+ * Handle to monitor requests
  */
-typedef void (*GNUNET_DHT_ReplyProcessor) (void *cls,
-                                           const GNUNET_HashCode * key,
-                                           const struct GNUNET_PeerIdentity *
-                                           const *outgoing_path,
-                                           const struct GNUNET_MessageHeader *
-                                           reply);
-
+struct GNUNET_DHT_MonitorHandle;
 
 /**
- * Perform an asynchronous ROUTE_START operation on the DHT.
+ * Callback called on each GET request going through the DHT.
  *
- * @param handle handle to the DHT service
- * @param key the key to look up
- * @param desired_replication_level how many peers should ultimately receive
- *                this message (advisory only, target may be too high for the
- *                given DHT or not hit exactly).
- * @param options options for routing
- * @param enc send the encapsulated message to a peer close to the key
- * @param timeout when to abort with an error if we fail to get
- *                a confirmation for the request (when necessary) or how long
- *                to wait for transmission to the service; only applies
- *                if 'iter' is NULL
- * @param iter function to call on each result, NULL if no replies are expected
- * @param iter_cls closure for iter
- * @param cont continuation to call when the request has been transmitted
- *             the first time to the service
- * @param cont_cls closure for cont
- * @return handle to stop the request, NULL if the request is "fire and forget"
+ * @param cls Closure.
+ * @param options Options, for instance RecordRoute, DemultiplexEverywhere.
+ * @param type The type of data in the request.
+ * @param hop_count Hop count so far.
+ * @param path_length number of entries in @a path (or 0 if not recorded).
+ * @param path peers on the GET path (or NULL if not recorded).
+ * @param desired_replication_level Desired replication level.
+ * @param key Key of the requested data.
  */
-struct GNUNET_DHT_RouteHandle *
-GNUNET_DHT_route_start (struct GNUNET_DHT_Handle *handle,
-                        const GNUNET_HashCode * key,
-                        uint32_t desired_replication_level,
-                        enum GNUNET_DHT_RouteOption options,
-                        const struct GNUNET_MessageHeader *enc,
-                        struct GNUNET_TIME_Relative timeout,
-                        GNUNET_DHT_ReplyProcessor iter, void *iter_cls,
-                        GNUNET_SCHEDULER_Task cont, void *cont_cls);
-
+typedef void
+(*GNUNET_DHT_MonitorGetCB) (void *cls,
+                            enum GNUNET_DHT_RouteOption options,
+                            enum GNUNET_BLOCK_Type type,
+                            uint32_t hop_count,
+                            uint32_t desired_replication_level,
+                            unsigned int path_length,
+                            const struct GNUNET_PeerIdentity *path,
+                            const struct GNUNET_HashCode *key);
 
 
 /**
- * Stop async route operation.  Frees associated resources.
+ * Callback called on each GET reply going through the DHT.
  *
- * @param route_handle  operation to stop.
+ * @param cls Closure.
+ * @param type The type of data in the result.
+ * @param get_path Peers on GET path (or NULL if not recorded).
+ * @param get_path_length number of entries in @a get_path.
+ * @param put_path peers on the PUT path (or NULL if not recorded).
+ * @param put_path_length number of entries in @a get_path.
+ * @param exp Expiration time of the data.
+ * @param key Key of the data.
+ * @param data Pointer to the result data.
+ * @param size Number of bytes in @a data.
  */
-void
-GNUNET_DHT_route_stop (struct GNUNET_DHT_RouteHandle *route_handle);
-
-
-/* ***** Special API for controlling DHT routing maintenance ******* */
+typedef void
+(*GNUNET_DHT_MonitorGetRespCB) (void *cls,
+                                enum GNUNET_BLOCK_Type type,
+                                const struct GNUNET_PeerIdentity *get_path,
+                                unsigned int get_path_length,
+                                const struct GNUNET_PeerIdentity *put_path,
+                                unsigned int put_path_length,
+                                struct GNUNET_TIME_Absolute exp,
+                                const struct GNUNET_HashCode *key,
+                                const void *data,
+                                size_t size);
 
 
 /**
- * Send a message to the DHT telling it to issue a single find
- * peer request using the peers unique identifier as key.  This
- * is used to fill the routing table, and is normally controlled
- * by the DHT itself.  However, for testing and perhaps more
- * close control over the DHT, this can be explicitly managed.
+ * Callback called on each PUT request going through the DHT.
  *
- * @param cont continuation to call when done (transmitting request to service)
- * @param cont_cls closure for cont
- * @param handle handle to the DHT service
+ * @param cls Closure.
+ * @param options Options, for instance RecordRoute, DemultiplexEverywhere.
+ * @param type The type of data in the request.
+ * @param hop_count Hop count so far.
+ * @param path_length number of entries in @a path (or 0 if not recorded).
+ * @param path peers on the PUT path (or NULL if not recorded).
+ * @param desired_replication_level Desired replication level.
+ * @param exp Expiration time of the data.
+ * @param key Key under which data is to be stored.
+ * @param data Pointer to the data carried.
+ * @param size Number of bytes in @a data.
  */
-void
-GNUNET_DHT_find_peers (struct GNUNET_DHT_Handle *handle,
-                       GNUNET_SCHEDULER_Task cont, void *cont_cls);
+typedef void
+(*GNUNET_DHT_MonitorPutCB) (void *cls,
+                            enum GNUNET_DHT_RouteOption options,
+                            enum GNUNET_BLOCK_Type type,
+                            uint32_t hop_count,
+                            uint32_t desired_replication_level,
+                            unsigned int path_length,
+                            const struct GNUNET_PeerIdentity *path,
+                            struct GNUNET_TIME_Absolute exp,
+                            const struct GNUNET_HashCode *key,
+                            const void *data,
+                            size_t size);
 
-/* ***** Special API for testing robustness with malicious peers ******* */
 
-#if HAVE_MALICIOUS
-/* Note that these functions are NOT considered to be part of the
-   "official" API and hence are NOT subjected to library versioning;
-   only developers testing GNUnet's robustness should have any use for
-   them, applications should never use them.  Applications must NOT
-   define "HAVE_MALICIOUS" before including this header. */
 
 /**
- * Send a message to the DHT telling it to start dropping
- * all requests received.
- *
- * @param handle handle to the DHT service
- * @param cont continuation to call when done (transmitting request to service)
- * @param cont_cls closure for cont
+ * Start monitoring the local DHT service.
  *
+ * @param handle Handle to the DHT service.
+ * @param type Type of blocks that are of interest.
+ * @param key Key of data of interest, NULL for all.
+ * @param get_cb Callback to process monitored get messages.
+ * @param get_resp_cb Callback to process monitored get response messages.
+ * @param put_cb Callback to process monitored put messages.
+ * @param cb_cls Closure for callbacks
+ * @return Handle to stop monitoring.
  */
-void
-GNUNET_DHT_set_malicious_dropper (struct GNUNET_DHT_Handle *handle,
-                                  GNUNET_SCHEDULER_Task cont, void *cont_cls);
+struct GNUNET_DHT_MonitorHandle *
+GNUNET_DHT_monitor_start (struct GNUNET_DHT_Handle *handle,
+                          enum GNUNET_BLOCK_Type type,
+                          const struct GNUNET_HashCode *key,
+                          GNUNET_DHT_MonitorGetCB get_cb,
+                          GNUNET_DHT_MonitorGetRespCB get_resp_cb,
+                          GNUNET_DHT_MonitorPutCB put_cb,
+                          void *cb_cls);
 
 
 /**
- * Send a message to the DHT telling it to start issuing random PUT
- * requests every 'frequency' milliseconds.
+ * Stop monitoring.
+ * On return handle will no longer be valid, caller must not use it anymore.
  *
- * @param handle handle to the DHT service
- * @param frequency delay between sending malicious messages
- * @param cont continuation to call when done (transmitting request to service)
- * @param cont_cls closure for cont
+ * @param handle The handle to the monitor request returned by
+ *         #GNUNET_DHT_monitor_start().
  */
 void
-GNUNET_DHT_set_malicious_putter (struct GNUNET_DHT_Handle *handle,
-                                 struct GNUNET_TIME_Relative frequency,
-                                 GNUNET_SCHEDULER_Task cont, void *cont_cls);
+GNUNET_DHT_monitor_stop (struct GNUNET_DHT_MonitorHandle *handle);
 
 
-/**
- * Send a message to the DHT telling it to start issuing random GET
- * requests every 'frequency' milliseconds.
- *
- * @param handle handle to the DHT service
- * @param frequency delay between sending malicious messages
- * @param cont continuation to call when done (transmitting request to service)
- * @param cont_cls closure for cont
- */
-void
-GNUNET_DHT_set_malicious_getter (struct GNUNET_DHT_Handle *handle,
-                                 struct GNUNET_TIME_Relative frequency,
-                                 GNUNET_SCHEDULER_Task cont, void *cont_cls);
-
-
-#endif
-
 #if 0                           /* keep Emacsens' auto-indent happy */
 {
 #endif
@@ -424,6 +396,6 @@ GNUNET_DHT_set_malicious_getter (struct GNUNET_DHT_Handle *handle,
 }
 #endif
 
-
 #endif
-/* gnunet_dht_service.h */
+
+/** @} */  /* end of group dht */