fixing 1770, towards fixing 1769
[oweals/gnunet.git] / src / dht / dht.h
index 068c2edaf932fea11cb95495fad1c9f55f71039a..72b721c5e427267136dda0ab493e8c6076540b94 100644 (file)
 
 #define DEBUG_DHT GNUNET_NO
 
+/**
+ * Add a unique ID to every request to make testing/profiling easier.
+ * Should NEVER be enabled in production and makes the DHT incompatible
+ * (since this changes the message format).
+ */
+#define HAVE_UID_FOR_TESTING GNUNET_NO
+
+/**
+ * Include a bf for replies? Should not be needed (see Mantis #1769), but if I remove
+ * this code it stops to work!?
+ */
+#define HAVE_REPLY_BLOOMFILTER GNUNET_YES
+
+/**
+ * Needs to be GNUNET_YES for logging to dhtlog to work!
+ */
 #define DEBUG_DHT_ROUTING GNUNET_YES
 
-#define DHT_BLOOM_SIZE 16
+/**
+ * Size of the bloom filter the DHT uses to filter peers.
+ */
+#define DHT_BLOOM_SIZE 128
 
-#define DHT_BLOOM_K 8
+/**
+ * Number of bits set per entry in the bloom filter for peers.
+ */
+#define DHT_BLOOM_K 6
 
+/**
+ * How many requests to remember for forwarding responses.
+ */
 #define MAX_OUTSTANDING_FORWARDS 100
 
+/**
+ * How long to remember requests so we can forward responses.
+ */
 #define DHT_FORWARD_TIMEOUT GNUNET_TIME_relative_multiply(GNUNET_TIME_UNIT_MINUTES, 5)
 
+/**
+ * Priority for routing results from other peers through
+ * the DHT.
+ */
 #define DHT_SEND_PRIORITY 4
 
+
 #define STAT_ROUTES "# DHT ROUTE Requests Seen"
 #define STAT_ROUTE_FORWARDS "# DHT ROUTE Requests Forwarded"
 #define STAT_ROUTE_FORWARDS_CLOSEST "# DHT ROUTE Requests Forwarded to Closest Known Peer"
 #define STAT_FIND_PEER_REPLY "# DHT FIND_PEER Responses Received"
 #define STAT_GET_REPLY "# DHT GET Responses Received"
 #define STAT_FIND_PEER_ANSWER "# DHT FIND_PEER Responses Initiated"
+#define STAT_BLOOM_FIND_PEER "# DHT FIND_PEER Responses Ignored (bloom match)"
 #define STAT_GET_RESPONSE_START "# DHT GET Responses Initiated"
 #define STAT_HELLOS_PROVIDED "# HELLO Messages given to transport"
 #define STAT_DISCONNECTS "# Disconnects received"
+#define STAT_DUPLICATE_UID "# Duplicate UID's encountered (bad if any!)"
+#define STAT_RECENT_SEEN "# recent requests seen again (routing loops, alternate paths)"
+#define STAT_PEERS_KNOWN "# DHT Peers known"
 
+
+/**
+ * FIXME: document.
+ */
 typedef void (*GNUNET_DHT_MessageReceivedHandler) (void *cls,
-                                                   const struct GNUNET_MessageHeader
-                                                   *msg);
+                                                   const struct
+                                                   GNUNET_MessageHeader * msg);
+
+
+/**
+ * FIXME: document.
+ */
 struct GNUNET_DHT_ControlMessage
 {
   /**
@@ -82,6 +128,7 @@ struct GNUNET_DHT_ControlMessage
   uint16_t variable;
 };
 
+
 /**
  * Message which indicates the DHT should cancel outstanding
  * requests and discard any state.
@@ -113,8 +160,7 @@ struct GNUNET_DHT_StopMessage
 
 /**
  * Generic DHT message, indicates that a route request
- * should be issued, if coming from a client.  Shared
- * usage for api->server and P2P message passing.
+ * should be issued.
  */
 struct GNUNET_DHT_RouteMessage
 {
@@ -124,10 +170,20 @@ struct GNUNET_DHT_RouteMessage
   struct GNUNET_MessageHeader header;
 
   /**
-   * Message options
+   * Message options, actually an 'enum GNUNET_DHT_RouteOption' value.
    */
   uint32_t options GNUNET_PACKED;
 
+  /**
+   * Replication level for this message
+   */
+  uint32_t desired_replication_level GNUNET_PACKED;
+
+  /**
+   * For alignment, always zero.
+   */
+  uint32_t reserved GNUNET_PACKED;
+
   /**
    * The key to search for
    */
@@ -139,16 +195,12 @@ struct GNUNET_DHT_RouteMessage
    */
   uint64_t unique_id GNUNET_PACKED;
 
-  /**
-   * Replication level for this message
-   */
-  uint32_t desired_replication_level GNUNET_PACKED;
-
 
   /* GNUNET_MessageHeader *enc actual DHT message, copied to end of this dealy do */
 
 };
 
+
 /**
  * Generic local route result message
  */
@@ -160,9 +212,11 @@ struct GNUNET_DHT_RouteResultMessage
   struct GNUNET_MessageHeader header;
 
   /**
-   * Message options
+   * Number of peers recorded in the outgoing
+   * path from source to the final destination
+   * of this message.
    */
-  uint32_t options GNUNET_PACKED;
+  uint32_t outgoing_path_length GNUNET_PACKED;
 
   /**
    * Unique ID identifying this request (necessary for
@@ -176,8 +230,11 @@ struct GNUNET_DHT_RouteResultMessage
   GNUNET_HashCode key;
 
   /* GNUNET_MessageHeader *enc actual DHT message, copied to end of this dealy do */
+
+  /* OUTGOING path */
 };
 
+
 /**
  * Generic P2P DHT route message
  */
@@ -188,6 +245,11 @@ struct GNUNET_DHT_P2PRouteMessage
    */
   struct GNUNET_MessageHeader header;
 
+  /**
+   * Always zero.
+   */
+  uint32_t reserved GNUNET_PACKED;
+
   /**
    * Message options
    */
@@ -198,41 +260,34 @@ struct GNUNET_DHT_P2PRouteMessage
    */
   uint32_t hop_count GNUNET_PACKED;
 
-  /**
-   * Network size estimate
-   */
-  uint32_t network_size GNUNET_PACKED;
-
   /**
    * Replication level for this message
    */
   uint32_t desired_replication_level GNUNET_PACKED;
 
   /**
-   * Unique ID identifying this request
+   * Network size estimate
    */
-  uint64_t unique_id GNUNET_PACKED;
+  uint32_t network_size GNUNET_PACKED;
 
-  /*
-   * Bloomfilter to stop circular routes
+  /**
+   * Generic route path length for a message in the
+   * DHT that arrived at a peer and generated
+   * a reply. Copied to the end of this message.
    */
-  char bloomfilter[DHT_BLOOM_SIZE];
+  uint32_t outgoing_path_length GNUNET_PACKED;
 
+#if HAVE_UID_FOR_TESTING
   /**
-   * FIXME: add DHT logging for analysis!
-   */
-#if LOG_SQL
-  /*
-   * Unique query id for sql database interaction.
+   * Unique ID identifying this request (may not be set)
    */
-  uint64_t queryuid;
+  uint64_t unique_id GNUNET_PACKED;
+#endif
 
-  /*
-   * Unique trial id for sql database interaction
+  /**
+   * Bloomfilter (for peer identities) to stop circular routes
    */
-  uint64_t trialuid;
-
-#endif
+  char bloomfilter[DHT_BLOOM_SIZE];
 
   /**
    * The key to search for
@@ -241,17 +296,12 @@ struct GNUNET_DHT_P2PRouteMessage
 
   /* GNUNET_MessageHeader *enc actual DHT message, copied to end of this dealy do */
 
+  /* OUTGOING PATH */
+
 };
 
 /**
  * Generic P2P route result
- *
- * FIXME: One question is how much to include for a route result message.
- *        Assuming a peer receives such a message, but has no record of a
- *        route message, what should it do?  It can either drop the message
- *        or try to forward it towards the original peer...  However, for
- *        that to work we would need to include the original peer identity
- *        in the GET request, which adds more data to the message.
  */
 struct GNUNET_DHT_P2PRouteResultMessage
 {
@@ -260,6 +310,13 @@ struct GNUNET_DHT_P2PRouteResultMessage
    */
   struct GNUNET_MessageHeader header;
 
+  /**
+   * Number of peers recorded in the path
+   * (inverse of the path the outgoing message took).
+   * These peer identities follow this message.
+   */
+  uint32_t outgoing_path_length GNUNET_PACKED;
+
   /**
    * Message options
    */
@@ -270,29 +327,28 @@ struct GNUNET_DHT_P2PRouteResultMessage
    */
   uint32_t hop_count GNUNET_PACKED;
 
+#if HAVE_UID_FOR_TESTING
   /**
    * Unique ID identifying this request (may not be set)
    */
   uint64_t unique_id GNUNET_PACKED;
+#endif
 
-  /*
+#if HAVE_REPLY_BLOOMFILTER
+  /**
    * Bloomfilter to stop circular routes
    */
   char bloomfilter[DHT_BLOOM_SIZE];
+#endif
 
   /**
    * The key that was searched for
    */
   GNUNET_HashCode key;
 
-#if FORWARD_UNKNOWN
-  /**
-   * Network size estimate
-   */
-  uint32_t network_size GNUNET_PACKED;
-#endif
-
   /* GNUNET_MessageHeader *enc actual DHT message, copied to end of this dealy do */
+
+  /* OUTGOING PATH */
 };
 
 
@@ -311,17 +367,14 @@ struct GNUNET_DHT_PutMessage
   /**
    * The type of data to insert.
    */
-  size_t type GNUNET_PACKED;
+  uint32_t type GNUNET_PACKED;
 
   /**
    * How long should this data persist?
    */
   struct GNUNET_TIME_AbsoluteNBO expiration;
 
-  /**
-   * The size of the data, appended to the end of this message.
-   */
-  size_t data_size GNUNET_PACKED;
+  /* DATA copied to end of this message */
 
 };
 
@@ -340,12 +393,51 @@ struct GNUNET_DHT_GetMessage
   struct GNUNET_MessageHeader header;
 
   /**
-   * The type for the data for the GET request
+   * The type for the data for the GET request; actually an 'enum
+   * GNUNET_BLOCK_Type'.
    */
   uint32_t type;
 
+  /**
+   * Mutator used for the bloom filter (0 if no bf is used).
+   */
+  uint32_t bf_mutator;
+
+  /**
+   * Size of the eXtended query (xquery).
+   */
+  uint16_t xquery_size;
+
+  /**
+   * Size of the bloom filter.
+   */
+  uint16_t bf_size;
+
+  /* Followed by the xquery which has 'xquery_size' bytes */
+
+  /* Followed by the bloom filter (after xquery) with 'bf_size' bytes */
 };
 
+
+/**
+ * Generic DHT message, indicates that a route request
+ * should be issued, if coming from a client.  Shared
+ * usage for api->server and P2P message passing.
+ */
+struct GNUNET_DHT_FindPeerMessage
+{
+  /**
+   * Type: GNUNET_MESSAGE_TYPE_DHT_FIND_PEER
+   */
+  struct GNUNET_MessageHeader header;
+
+  /**
+   * Bloomfilter to reduce find peer responses
+   */
+  char bloomfilter[DHT_BLOOM_SIZE];
+};
+
+
 /**
  * Message to return data either to the client API
  * or to respond to a request received from another
@@ -359,20 +451,47 @@ struct GNUNET_DHT_GetResultMessage
   struct GNUNET_MessageHeader header;
 
   /**
-   * The type for the data for the GET request
+   * The type for the data for the GET request 
+   * FIXME: use 32-bit types, as in block? What is this type exactly for?
    */
-  uint32_t type;
+  uint16_t type;
 
   /**
-   * The key that was searched for
+   * The number of peer identities appended to the end of this
+   * message. 
    */
-  //GNUNET_HashCode key;
+  uint16_t put_path_length;
 
   /**
    * When does this entry expire?
    */
   struct GNUNET_TIME_AbsoluteNBO expiration;
 
+  /* OUTGOING path copied to end of this message */
+  /* DATA result copied to end of this message */
+
+};
+
+/**
+ * Entry for inserting data into datacache from the DHT.
+ * Needed here so block library can verify entries that
+ * are shoveled into the DHT.
+ */
+struct DHTPutEntry
+{
+  /**
+   * Size of data.
+   */
+  uint16_t data_size;
+
+  /**
+   * Length of recorded path.
+   */
+  uint16_t path_length;
+
+  /* PUT DATA */
+
+  /* PATH ENTRIES */
 };