src/dht/gnunet-service-dht_routing.c

   1 /*
   2      This file is part of GNUnet.
   3      Copyright (C) 2011 GNUnet e.V.
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
  18      Boston, MA 02110-1301, USA.
  19 */
  20
  21 /**
  22  * @file dht/gnunet-service-dht_routing.c
  23  * @brief GNUnet DHT tracking of requests for routing replies
  24  * @author Christian Grothoff
  25  */
  26 #include "platform.h"
  27 #include "gnunet-service-dht_neighbours.h"
  28 #include "gnunet-service-dht_routing.h"
  29 #include "gnunet-service-dht.h"
  30
  31
  32 /**
  33  * Number of requests we track at most (for routing replies).
  34  */
  35 #define DHT_MAX_RECENT (1024 * 16)
  36
  37
  38 /**
  39  * Information we keep about all recent GET requests
  40  * so that we can route replies.
  41  */
  42 struct RecentRequest
  43 {
  44
  45   /**
  46    * The peer this request was received from.
  47    */
  48   struct GNUNET_PeerIdentity peer;
  49
  50   /**
  51    * Key of this request.
  52    */
  53   struct GNUNET_HashCode key;
  54
  55   /**
  56    * Position of this node in the min heap.
  57    */
  58   struct GNUNET_CONTAINER_HeapNode *heap_node;
  59
  60   /**
  61    * Bloomfilter for replies to drop.
  62    */
  63   struct GNUNET_CONTAINER_BloomFilter *reply_bf;
  64
  65   /**
  66    * Type of the requested block.
  67    */
  68   enum GNUNET_BLOCK_Type type;
  69
  70   /**
  71    * extended query (see gnunet_block_lib.h).  Allocated at the
  72    * end of this struct.
  73    */
  74   const void *xquery;
  75
  76   /**
  77    * Number of bytes in xquery.
  78    */
  79   size_t xquery_size;
  80
  81   /**
  82    * Mutator value for the reply_bf, see gnunet_block_lib.h
  83    */
  84   uint32_t reply_bf_mutator;
  85
  86   /**
  87    * Request options.
  88    */
  89   enum GNUNET_DHT_RouteOption options;
  90
  91 };
  92
  93
  94 /**
  95  * Recent requests by time inserted.
  96  */
  97 static struct GNUNET_CONTAINER_Heap *recent_heap;
  98
  99 /**
 100  * Recently seen requests by key.
 101  */
 102 static struct GNUNET_CONTAINER_MultiHashMap *recent_map;
 103
 104
 105 /**
 106  * Closure for the 'process' function.
 107  */
 108 struct ProcessContext
 109 {
 110   /**
 111    * Path of the original PUT
 112    */
 113   const struct GNUNET_PeerIdentity *put_path;
 114
 115   /**
 116    * Path of the reply.
 117    */
 118   const struct GNUNET_PeerIdentity *get_path;
 119
 120   /**
 121    * Payload of the reply.
 122    */
 123   const void *data;
 124
 125   /**
 126    * Expiration time of the result.
 127    */
 128   struct GNUNET_TIME_Absolute expiration_time;
 129
 130   /**
 131    * Number of entries in 'put_path'.
 132    */
 133   unsigned int put_path_length;
 134
 135   /**
 136    * Number of entries in 'get_path'.
 137    */
 138   unsigned int get_path_length;
 139
 140   /**
 141    * Number of bytes in 'data'.
 142    */
 143   size_t data_size;
 144
 145   /**
 146    * Type of the reply.
 147    */
 148   enum GNUNET_BLOCK_Type type;
 149
 150 };
 151
 152
 153 /**
 154  * Forward the result to the given peer if it matches the request.
 155  *
 156  * @param cls the `struct ProcessContext` with the result
 157  * @param key the query
 158  * @param value the `struct RecentRequest` with the request
 159  * @return #GNUNET_OK (continue to iterate),
 160  *         #GNUNET_SYSERR if the result is malformed or type unsupported
 161  */
 162 static int
 163 process (void *cls, const struct GNUNET_HashCode * key, void *value)
 164 {
 165   struct ProcessContext *pc = cls;
 166   struct RecentRequest *rr = value;
 167   enum GNUNET_BLOCK_EvaluationResult eval;
 168   unsigned int gpl;
 169   unsigned int ppl;
 170   struct GNUNET_HashCode hc;
 171   const struct GNUNET_HashCode *eval_key;
 172
 173   if ((rr->type != GNUNET_BLOCK_TYPE_ANY) && (rr->type != pc->type))
 174     return GNUNET_OK;           /* type missmatch */
 175
 176   if (0 != (rr->options & GNUNET_DHT_RO_RECORD_ROUTE))
 177   {
 178     gpl = pc->get_path_length;
 179     ppl = pc->put_path_length;
 180   }
 181   else
 182   {
 183     gpl = 0;
 184     ppl = 0;
 185   }
 186   if ((0 != (rr->options & GNUNET_DHT_RO_FIND_PEER)) &&
 187       (pc->type == GNUNET_BLOCK_TYPE_DHT_HELLO))
 188   {
 189     /* key may not match HELLO, which is OK since
 190      * the search is approximate.  Still, the evaluation
 191      * would fail since the match is not exact.  So
 192      * we fake it by changing the key to the actual PID ... */
 193     GNUNET_BLOCK_get_key (GDS_block_context, GNUNET_BLOCK_TYPE_DHT_HELLO,
 194                           pc->data, pc->data_size, &hc);
 195     eval_key = &hc;
 196   }
 197   else
 198   {
 199     eval_key = key;
 200   }
 201   eval =
 202       GNUNET_BLOCK_evaluate (GDS_block_context,
 203                              pc->type,
 204                              GNUNET_BLOCK_EO_NONE,
 205                              eval_key,
 206                              &rr->reply_bf,
 207                              rr->reply_bf_mutator,
 208                              rr->xquery,
 209                              rr->xquery_size,
 210                              pc->data,
 211                              pc->data_size);
 212   switch (eval)
 213   {
 214   case GNUNET_BLOCK_EVALUATION_OK_MORE:
 215   case GNUNET_BLOCK_EVALUATION_OK_LAST:
 216     GNUNET_STATISTICS_update (GDS_stats,
 217                               gettext_noop
 218                               ("# Good REPLIES matched against routing table"),
 219                               1, GNUNET_NO);
 220     GDS_NEIGHBOURS_handle_reply (&rr->peer, pc->type, pc->expiration_time, key,
 221                                  ppl, pc->put_path, gpl, pc->get_path, pc->data,
 222                                  pc->data_size);
 223     break;
 224   case GNUNET_BLOCK_EVALUATION_OK_DUPLICATE:
 225     GNUNET_STATISTICS_update (GDS_stats,
 226                               gettext_noop
 227                               ("# Duplicate REPLIES matched against routing table"),
 228                               1, GNUNET_NO);
 229     return GNUNET_OK;
 230   case GNUNET_BLOCK_EVALUATION_RESULT_INVALID:
 231     GNUNET_STATISTICS_update (GDS_stats,
 232                               gettext_noop
 233                               ("# Invalid REPLIES matched against routing table"),
 234                               1, GNUNET_NO);
 235     return GNUNET_SYSERR;
 236   case GNUNET_BLOCK_EVALUATION_RESULT_IRRELEVANT:
 237     GNUNET_STATISTICS_update (GDS_stats,
 238                               gettext_noop
 239                               ("# Irrelevant REPLIES matched against routing table"),
 240                               1, GNUNET_NO);
 241     return GNUNET_OK;
 242   case GNUNET_BLOCK_EVALUATION_REQUEST_VALID:
 243     GNUNET_break (0);
 244     return GNUNET_OK;
 245   case GNUNET_BLOCK_EVALUATION_REQUEST_INVALID:
 246     GNUNET_break (0);
 247     return GNUNET_OK;
 248   case GNUNET_BLOCK_EVALUATION_TYPE_NOT_SUPPORTED:
 249     GNUNET_STATISTICS_update (GDS_stats,
 250                               gettext_noop
 251                               ("# Unsupported REPLIES matched against routing table"),
 252                               1, GNUNET_NO);
 253     return GNUNET_SYSERR;
 254   default:
 255     GNUNET_break (0);
 256     return GNUNET_SYSERR;
 257   }
 258   return GNUNET_OK;
 259 }
 260
 261
 262 /**
 263  * Handle a reply (route to origin).  Only forwards the reply back to
 264  * other peers waiting for it.  Does not do local caching or
 265  * forwarding to local clients.  Essentially calls
 266  * GDS_NEIGHBOURS_handle_reply for all peers that sent us a matching
 267  * request recently.
 268  *
 269  * @param type type of the block
 270  * @param expiration_time when does the content expire
 271  * @param key key for the content
 272  * @param put_path_length number of entries in put_path
 273  * @param put_path peers the original PUT traversed (if tracked)
 274  * @param get_path_length number of entries in get_path
 275  * @param get_path peers this reply has traversed so far (if tracked)
 276  * @param data payload of the reply
 277  * @param data_size number of bytes in data
 278  */
 279 void
 280 GDS_ROUTING_process (enum GNUNET_BLOCK_Type type,
 281                      struct GNUNET_TIME_Absolute expiration_time,
 282                      const struct GNUNET_HashCode * key, unsigned int put_path_length,
 283                      const struct GNUNET_PeerIdentity *put_path,
 284                      unsigned int get_path_length,
 285                      const struct GNUNET_PeerIdentity *get_path,
 286                      const void *data, size_t data_size)
 287 {
 288   struct ProcessContext pc;
 289
 290   pc.type = type;
 291   pc.expiration_time = expiration_time;
 292   pc.put_path_length = put_path_length;
 293   pc.put_path = put_path;
 294   pc.get_path_length = get_path_length;
 295   pc.get_path = get_path;
 296   pc.data = data;
 297   pc.data_size = data_size;
 298   if (NULL == data)
 299   {
 300     /* Some apps might have an 'empty' reply as a valid reply; however,
 301        'process' will call GNUNET_BLOCK_evaluate' which treats a 'NULL'
 302        reply as request-validation (but we need response-validation).
 303        So we set 'data' to a 0-byte non-NULL value just to be sure */
 304     GNUNET_break (0 == data_size);
 305     pc.data_size = 0;
 306     pc.data = ""; /* something not null */
 307   }
 308   GNUNET_CONTAINER_multihashmap_get_multiple (recent_map, key, &process, &pc);
 309 }
 310
 311
 312 /**
 313  * Remove the oldest entry from the DHT routing table.  Must only
 314  * be called if it is known that there is at least one entry
 315  * in the heap and hashmap.
 316  */
 317 static void
 318 expire_oldest_entry ()
 319 {
 320   struct RecentRequest *recent_req;
 321
 322   GNUNET_STATISTICS_update (GDS_stats,
 323                             gettext_noop
 324                             ("# Entries removed from routing table"), 1,
 325                             GNUNET_NO);
 326   recent_req = GNUNET_CONTAINER_heap_peek (recent_heap);
 327   GNUNET_assert (recent_req != NULL);
 328   GNUNET_CONTAINER_heap_remove_node (recent_req->heap_node);
 329   GNUNET_CONTAINER_bloomfilter_free (recent_req->reply_bf);
 330   GNUNET_assert (GNUNET_YES ==
 331                  GNUNET_CONTAINER_multihashmap_remove (recent_map,
 332                                                        &recent_req->key,
 333                                                        recent_req));
 334   GNUNET_free (recent_req);
 335 }
 336
 337
 338 /**
 339  * Try to combine multiple recent requests for the same value
 340  * (if they come from the same peer).
 341  *
 342  * @param cls the new 'struct RecentRequest' (to discard upon successful combination)
 343  * @param key the query
 344  * @param value the existing 'struct RecentRequest' (to update upon successful combination)
 345  * @return GNUNET_OK (continue to iterate),
 346  *         GNUNET_SYSERR if the request was successfully combined
 347  */
 348 static int
 349 try_combine_recent (void *cls, const struct GNUNET_HashCode * key, void *value)
 350 {
 351   struct RecentRequest *in = cls;
 352   struct RecentRequest *rr = value;
 353
 354   if ( (0 != memcmp (&in->peer,
 355                      &rr->peer,
 356                      sizeof (struct GNUNET_PeerIdentity))) ||
 357        (in->type != rr->type) ||
 358        (in->xquery_size != rr->xquery_size) ||
 359        (0 != memcmp (in->xquery,
 360                      rr->xquery,
 361                      in->xquery_size)) )
 362     return GNUNET_OK;
 363   if (in->reply_bf_mutator != rr->reply_bf_mutator)
 364   {
 365     rr->reply_bf_mutator = in->reply_bf_mutator;
 366     GNUNET_CONTAINER_bloomfilter_free (rr->reply_bf);
 367     rr->reply_bf = in->reply_bf;
 368   }
 369   else
 370   {
 371     GNUNET_CONTAINER_bloomfilter_or2 (rr->reply_bf,
 372                                       in->reply_bf);
 373     GNUNET_CONTAINER_bloomfilter_free (in->reply_bf);
 374   }
 375   GNUNET_free (in);
 376   return GNUNET_SYSERR;
 377 }
 378
 379
 380 /**
 381  * Add a new entry to our routing table.
 382  *
 383  * @param sender peer that originated the request
 384  * @param type type of the block
 385  * @param options options for processing
 386  * @param key key for the content
 387  * @param xquery extended query
 388  * @param xquery_size number of bytes in @a xquery
 389  * @param reply_bf bloomfilter to filter duplicates
 390  * @param reply_bf_mutator mutator for @a reply_bf
 391  */
 392 void
 393 GDS_ROUTING_add (const struct GNUNET_PeerIdentity *sender,
 394                  enum GNUNET_BLOCK_Type type,
 395                  enum GNUNET_DHT_RouteOption options,
 396                  const struct GNUNET_HashCode * key, const void *xquery,
 397                  size_t xquery_size,
 398                  const struct GNUNET_CONTAINER_BloomFilter *reply_bf,
 399                  uint32_t reply_bf_mutator)
 400 {
 401   struct RecentRequest *recent_req;
 402
 403   while (GNUNET_CONTAINER_heap_get_size (recent_heap) >= DHT_MAX_RECENT)
 404     expire_oldest_entry ();
 405   GNUNET_STATISTICS_update (GDS_stats,
 406                             gettext_noop ("# Entries added to routing table"),
 407                             1, GNUNET_NO);
 408   recent_req = GNUNET_malloc (sizeof (struct RecentRequest) + xquery_size);
 409   recent_req->peer = *sender;
 410   recent_req->key = *key;
 411   recent_req->reply_bf = GNUNET_CONTAINER_bloomfilter_copy (reply_bf);
 412   recent_req->type = type;
 413   recent_req->options = options;
 414   recent_req->xquery = &recent_req[1];
 415   memcpy (&recent_req[1], xquery, xquery_size);
 416   recent_req->xquery_size = xquery_size;
 417   recent_req->reply_bf_mutator = reply_bf_mutator;
 418   if (GNUNET_SYSERR ==
 419       GNUNET_CONTAINER_multihashmap_get_multiple (recent_map, key,
 420                                                   &try_combine_recent, recent_req))
 421   {
 422     GNUNET_STATISTICS_update (GDS_stats,
 423                               gettext_noop
 424                               ("# DHT requests combined"),
 425                               1, GNUNET_NO);
 426     return;
 427   }
 428   recent_req->heap_node =
 429       GNUNET_CONTAINER_heap_insert (recent_heap, recent_req,
 430                                     GNUNET_TIME_absolute_get ().abs_value_us);
 431   GNUNET_CONTAINER_multihashmap_put (recent_map, key, recent_req,
 432                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
 433
 434
 435 }
 436
 437
 438 /**
 439  * Initialize routing subsystem.
 440  */
 441 void
 442 GDS_ROUTING_init ()
 443 {
 444   recent_heap = GNUNET_CONTAINER_heap_create (GNUNET_CONTAINER_HEAP_ORDER_MIN);
 445   recent_map = GNUNET_CONTAINER_multihashmap_create (DHT_MAX_RECENT * 4 / 3, GNUNET_NO);
 446 }
 447
 448
 449 /**
 450  * Shutdown routing subsystem.
 451  */
 452 void
 453 GDS_ROUTING_done ()
 454 {
 455   while (GNUNET_CONTAINER_heap_get_size (recent_heap) > 0)
 456     expire_oldest_entry ();
 457   GNUNET_assert (0 == GNUNET_CONTAINER_heap_get_size (recent_heap));
 458   GNUNET_CONTAINER_heap_destroy (recent_heap);
 459   recent_heap = NULL;
 460   GNUNET_assert (0 == GNUNET_CONTAINER_multihashmap_size (recent_map));
 461   GNUNET_CONTAINER_multihashmap_destroy (recent_map);
 462   recent_map = NULL;
 463 }
 464
 465 /* end of gnunet-service-dht_routing.c */