src/dht/gnunet-service-wdht_neighbours.c

   1 /*
   2      This file is part of GNUnet.
   3      Copyright (C) 2009-2015 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20 /**
  21  * @file dht/gnunet-service-wdht_neighbours.c
  22  * @brief GNUnet DHT service's finger and friend table management code
  23  * @author Supriti Singh
  24  */
  25 #include "platform.h"
  26 #include "gnunet_util_lib.h"
  27 #include "gnunet_block_lib.h"
  28 #include "gnunet_hello_lib.h"
  29 #include "gnunet_constants.h"
  30 #include "gnunet_protocols.h"
  31 #include "gnunet_ats_service.h"
  32 #include "gnunet_core_service.h"
  33 #include "gnunet_datacache_lib.h"
  34 #include "gnunet_transport_service.h"
  35 #include "gnunet_dht_service.h"
  36 #include "gnunet_statistics_service.h"
  37 #include "gnunet-service-wdht.h"
  38 #include "gnunet-service-wdht_clients.h"
  39 #include "gnunet-service-wdht_datacache.h"
  40 #include "gnunet-service-wdht_neighbours.h"
  41 #include "gnunet-service-wdht_nse.h"
  42 #include <fenv.h>
  43 #include <stdlib.h>
  44 #include <string.h>
  45 #include "dht.h"
  46
  47 #define DEBUG(...)                                           \
  48   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
  49
  50 /**
  51  * Trail timeout. After what time do trails always die?
  52  */
  53 #define TRAIL_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 42)
  54
  55 /**
  56  * Random walk delay. How often do we walk the overlay?
  57  */
  58 #define RANDOM_WALK_DELAY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 42)
  59
  60 /**
  61  * The number of layered ID to use.
  62  */
  63 #define NUMBER_LAYERED_ID 8
  64
  65 /**
  66  * The number of random walk to launch at the beginning of the initialization
  67  */
  68 /* FIXME: find a better value */
  69 #define NUMBER_RANDOM_WALK 20
  70
  71
  72 /******************* The db structure and related functions *******************/
  73
  74 /**
  75  * Entry in #friends_peermap.
  76  */
  77 struct FriendInfo;
  78
  79
  80 /**
  81  * Information we keep per trail.
  82  */
  83 struct Trail
  84 {
  85
  86   /**
  87    * MDLL entry in the list of all trails with the same predecessor.
  88    */
  89   struct Trail *prev_succ;
  90
  91   /**
  92    * MDLL entry in the list of all trails with the same predecessor.
  93    */
  94   struct Trail *next_succ;
  95
  96   /**
  97    * MDLL entry in the list of all trails with the same predecessor.
  98    */
  99   struct Trail *prev_pred;
 100
 101   /**
 102    * MDLL entry in the list of all trails with the same predecessor.
 103    */
 104   struct Trail *next_pred;
 105
 106   /**
 107    * Our predecessor in the trail, NULL if we are initiator (?).
 108    */
 109   struct FriendInfo *pred;
 110
 111   /**
 112    * Our successor in the trail, NULL if we are the last peer.
 113    */
 114   struct FriendInfo *succ;
 115
 116   /**
 117    * Identifier of the trail with the predecessor.
 118    */
 119   struct GNUNET_HashCode pred_id;
 120
 121   /**
 122    * Identifier of the trail with the successor.
 123    */
 124   struct GNUNET_HashCode succ_id;
 125
 126   /**
 127    * When does this trail expire.
 128    */
 129   struct GNUNET_TIME_Absolute expiration_time;
 130
 131   /**
 132    * Location of this trail in the heap.
 133    */
 134   struct GNUNET_CONTAINER_HeapNode *hn;
 135
 136   /**
 137    * If this peer started the to create a Finger (and thus @e pred is
 138    * NULL), this is the Finger we are trying to intialize.
 139    */
 140   struct Finger **finger;
 141
 142 };
 143
 144
 145 /**
 146  *  Entry in #friends_peermap.
 147  */
 148 struct FriendInfo
 149 {
 150   /**
 151    * Friend Identity
 152    */
 153   struct GNUNET_PeerIdentity id;
 154
 155   /**
 156    *
 157    */
 158   struct Trail *pred_head;
 159
 160   /**
 161    *
 162    */
 163   struct Trail *pred_tail;
 164
 165   /**
 166    *
 167    */
 168   struct Trail *succ_head;
 169
 170   /**
 171    *
 172    */
 173   struct Trail *succ_tail;
 174
 175   /**
 176    * Core handle for sending messages to this friend.
 177    */
 178   struct GNUNET_MQ_Handle *mq;
 179
 180 };
 181
 182
 183 /**
 184  *
 185  */
 186 struct FingerTable;
 187
 188
 189 /**
 190  *
 191  */
 192 struct Finger
 193 {
 194   /**
 195    *
 196    */
 197   struct Trail *trail;
 198
 199   /**
 200    *
 201    */
 202   struct FingerTable *ft;
 203
 204   /**
 205    *
 206    */
 207   struct GNUNET_HashCode destination;
 208
 209   /**
 210    * #GNUNET_YES if a response has been received. Otherwise #GNUNET_NO.
 211    */
 212   int valid;
 213 };
 214
 215
 216 struct FingerTable
 217 {
 218   /**
 219    * Array of our fingers, unsorted.
 220    */
 221   struct Finger **fingers;
 222
 223   /**
 224    * Array of sorted fingers (sorted by destination, valid fingers first).
 225    */
 226   struct Finger **sorted_fingers;
 227
 228   /**
 229    * Size of the finger array.
 230    */
 231   unsigned int finger_array_size;
 232
 233   /**
 234    * Number of valid entries in @e sorted_fingers (contiguous from offset 0)
 235    */
 236   unsigned int number_valid_fingers;
 237
 238   /**
 239    * Which offset in @e fingers will we redo next.
 240    */
 241   unsigned int walk_offset;
 242
 243   /**
 244    * Is the finger array sorted?
 245    */
 246   int is_sorted;
 247
 248 };
 249
 250
 251 /***********************  end of the db structure part  ***********************/
 252
 253
 254 GNUNET_NETWORK_STRUCT_BEGIN
 255
 256 /**
 257  * Setup a finger using the underlay topology ("social network").
 258  */
 259 struct RandomWalkMessage
 260 {
 261   /**
 262    * Type: #GNUNET_MESSAGE_TYPE_WDHT_RANDOM_WALK
 263    */
 264   struct GNUNET_MessageHeader header;
 265
 266   /**
 267    * Number of hops this message has taken so far, we stop at
 268    * log(NSE), in NBO.
 269    */
 270   uint16_t hops_taken GNUNET_PACKED;
 271
 272   /**
 273    * Layer for the request, in NBO.
 274    */
 275   uint16_t layer GNUNET_PACKED;
 276
 277   /**
 278    * Unique (random) identifier this peer will use to
 279    * identify the trail (in future messages).
 280    */
 281   struct GNUNET_HashCode trail_id;
 282
 283 };
 284
 285 /**
 286  * Response to a `struct RandomWalkMessage`.
 287  */
 288 struct RandomWalkResponseMessage
 289 {
 290   /**
 291    * Type: #GNUNET_MESSAGE_TYPE_WDHT_RANDOM_WALK_RESPONSE
 292    */
 293   struct GNUNET_MessageHeader header;
 294
 295   /**
 296    * Zero, for alignment.
 297    */
 298   uint32_t reserved GNUNET_PACKED;
 299
 300   /**
 301    * Unique (random) identifier from the
 302    * `struct RandomWalkMessage`.
 303    */
 304   struct GNUNET_HashCode trail_id;
 305
 306   /**
 307    * Random location in the respective layer where the
 308    * random path of the finger setup terminated.
 309    */
 310   struct GNUNET_HashCode location;
 311
 312 };
 313
 314 /**
 315  * Response to an event that causes a trail to die.
 316  */
 317 struct TrailDestroyMessage
 318 {
 319   /**
 320    * Type: #GNUNET_MESSAGE_TYPE_WDHT_TRAIL_DESTROY
 321    */
 322   struct GNUNET_MessageHeader header;
 323
 324   /**
 325    * Zero, for alignment.
 326    */
 327   uint32_t reserved GNUNET_PACKED;
 328
 329   /**
 330    * Unique (random) identifier this peer will use to
 331    * identify the finger (in future messages).
 332    */
 333   struct GNUNET_HashCode trail_id;
 334
 335 };
 336
 337
 338 /**
 339  * Send a message along a trail.
 340  */
 341 struct FindSuccessorMessage
 342 {
 343   /**
 344    * Type: #GNUNET_MESSAGE_TYPE_WDHT_FIND_SUCCESSOR
 345    */
 346   struct GNUNET_MessageHeader header;
 347
 348   /**
 349    * Zero, for alignment.
 350    */
 351   uint32_t reserved GNUNET_PACKED;
 352
 353   /**
 354    * Unique (random) identifier this peer will use to
 355    * identify the finger (in future messages).
 356    */
 357   struct GNUNET_HashCode trail_id;
 358
 359   /**
 360    * Key for which we would like close values returned.
 361    * identify the finger (in future messages).
 362    */
 363   struct GNUNET_HashCode key;
 364
 365 };
 366
 367
 368 /**
 369  * Send a message along a trail.
 370  */
 371 struct TrailRouteMessage
 372 {
 373   /**
 374    * Type: #GNUNET_MESSAGE_TYPE_WDHT_TRAIL_ROUTE
 375    */
 376   struct GNUNET_MessageHeader header;
 377
 378   /**
 379    * #GNUNET_YES if the path should be recorded, #GNUNET_NO if not; in NBO.
 380    */
 381   uint16_t record_path GNUNET_PACKED;
 382
 383   /**
 384    * Length of the recorded trail, 0 if @e record_path is #GNUNET_NO; in NBO.
 385    */
 386   uint16_t path_length GNUNET_PACKED;
 387
 388   /**
 389    * Unique (random) identifier this peer will use to
 390    * identify the finger (in future messages).
 391    */
 392   struct GNUNET_HashCode trail_id;
 393
 394   /**
 395    * Path the message has taken so far (excluding sender).
 396    */
 397   /* struct GNUNET_PeerIdentity path[path_length]; */
 398
 399   /* followed by payload (another `struct GNUNET_MessageHeader`) to
 400      send along the trail */
 401 };
 402
 403
 404 /**
 405  * P2P PUT message
 406  */
 407 struct PeerPutMessage
 408 {
 409   /**
 410    * Type: #GNUNET_MESSAGE_TYPE_WDHT_PUT
 411    */
 412   struct GNUNET_MessageHeader header;
 413
 414   /**
 415    * Processing options
 416    */
 417   uint32_t options GNUNET_PACKED;
 418
 419   /**
 420    * Content type.
 421    */
 422   uint32_t block_type GNUNET_PACKED;
 423
 424   /**
 425    * Hop count
 426    */
 427   uint32_t hop_count GNUNET_PACKED;
 428
 429   /**
 430    * Replication level for this message
 431    * In the current implementation, this value is not used.
 432    */
 433   uint32_t desired_replication_level GNUNET_PACKED;
 434
 435   /**
 436    * Length of the PUT path that follows (if tracked).
 437    */
 438   uint32_t put_path_length GNUNET_PACKED;
 439
 440   /**
 441    * When does the content expire?
 442    */
 443   struct GNUNET_TIME_AbsoluteNBO expiration_time;
 444
 445   /**
 446    * The key to store the value under.
 447    */
 448   struct GNUNET_HashCode key GNUNET_PACKED;
 449
 450   /* put path (if tracked) */
 451
 452   /* Payload */
 453
 454 };
 455
 456 /**
 457  * P2P GET message
 458  */
 459 struct PeerGetMessage
 460 {
 461   /**
 462    * Type: #GNUNET_MESSAGE_TYPE_WDHT_GET
 463    */
 464   struct GNUNET_MessageHeader header;
 465
 466   /**
 467    * Processing options
 468    */
 469   uint32_t options GNUNET_PACKED;
 470
 471   /**
 472    * Desired content type.
 473    */
 474   uint32_t block_type GNUNET_PACKED;
 475
 476   /**
 477    * Hop count
 478    */
 479   uint32_t hop_count GNUNET_PACKED;
 480
 481   /**
 482    * Desired replication level for this request.
 483    * In the current implementation, this value is not used.
 484    */
 485   uint32_t desired_replication_level GNUNET_PACKED;
 486
 487   /**
 488    * Total number of peers in get path.
 489    */
 490   unsigned int get_path_length;
 491
 492   /**
 493    * The key we are looking for.
 494    */
 495   struct GNUNET_HashCode key;
 496
 497   /* Get path. */
 498   /* struct GNUNET_PeerIdentity[]*/
 499 };
 500
 501
 502 /**
 503  * P2P Result message
 504  */
 505 struct PeerGetResultMessage
 506 {
 507   /**
 508    * Type: #GNUNET_MESSAGE_TYPE_WDHT_GET_RESULT
 509    */
 510   struct GNUNET_MessageHeader header;
 511
 512   /**
 513    * The type for the data.
 514    */
 515   uint32_t type GNUNET_PACKED;
 516
 517   /**
 518    * Number of peers recorded in the outgoing path from source to the
 519    * stored location of this message.
 520    */
 521   uint32_t put_path_length GNUNET_PACKED;
 522
 523   /**
 524    * Length of the GET path that follows (if tracked).
 525    */
 526   uint32_t get_path_length GNUNET_PACKED;
 527
 528   /**
 529    * Peer which queried for get and should get the result.
 530    */
 531   struct GNUNET_PeerIdentity querying_peer;
 532
 533   /**
 534    * When does the content expire?
 535    */
 536   struct GNUNET_TIME_Absolute expiration_time;
 537
 538   /**
 539    * The key of the corresponding GET request.
 540    */
 541   struct GNUNET_HashCode key;
 542
 543   /* put path (if tracked) */
 544
 545   /* get path (if tracked) */
 546
 547   /* Payload */
 548
 549 };
 550
 551 GNUNET_NETWORK_STRUCT_END
 552
 553
 554 /**
 555  * Contains all the layered IDs of this peer.
 556  */
 557 struct GNUNET_PeerIdentity layered_id[NUMBER_LAYERED_ID];
 558
 559 /**
 560  * Task to timeout trails that have expired.
 561  */
 562 static struct GNUNET_SCHEDULER_Task *trail_timeout_task;
 563
 564 /**
 565  * Task to perform random walks.
 566  */
 567 static struct GNUNET_SCHEDULER_Task *random_walk_task;
 568
 569 /**
 570  * Identity of this peer.
 571  */
 572 static struct GNUNET_PeerIdentity my_identity;
 573
 574 /**
 575  * Peer map of all the friends of a peer
 576  */
 577 static struct GNUNET_CONTAINER_MultiPeerMap *friends_peermap;
 578
 579 /**
 580  * Fingers per layer.
 581  */
 582 static struct FingerTable fingers[NUMBER_LAYERED_ID];
 583
 584 /**
 585  * Tail map, mapping tail identifiers to `struct Trail`s
 586  */
 587 static struct GNUNET_CONTAINER_MultiHashMap *trail_map;
 588
 589 /**
 590  * Tail heap, organizing trails by expiration time.
 591  */
 592 static struct GNUNET_CONTAINER_Heap *trail_heap;
 593
 594 /**
 595  * Handle to CORE.
 596  */
 597 static struct GNUNET_CORE_Handle *core_api;
 598
 599
 600 /**
 601  * Handle the put request from the client.
 602  *
 603  * @param key Key for the content
 604  * @param block_type Type of the block
 605  * @param options Routing options
 606  * @param desired_replication_level Desired replication count
 607  * @param expiration_time When does the content expire
 608  * @param data Content to store
 609  * @param data_size Size of content @a data in bytes
 610  */
 611 void
 612 GDS_NEIGHBOURS_handle_put (const struct GNUNET_HashCode *key,
 613                            enum GNUNET_BLOCK_Type block_type,
 614                            enum GNUNET_DHT_RouteOption options,
 615                            uint32_t desired_replication_level,
 616                            struct GNUNET_TIME_Absolute expiration_time,
 617                            const void *data,
 618                            size_t data_size)
 619 {
 620   GDS_DATACACHE_handle_put (expiration_time,
 621                             key,
 622                             0, NULL,
 623                             0, NULL,
 624                             block_type,
 625                             data_size,
 626                             data);
 627   GDS_CLIENTS_process_put (options,
 628                            block_type,
 629                            0, 0,
 630                            0, NULL,
 631                            expiration_time,
 632                            key,
 633                            data,
 634                            data_size);
 635 }
 636
 637
 638 /**
 639  * Handle the get request from the client file. If I am destination do
 640  * datacache put and return. Else find the target friend and forward message
 641  * to it.
 642  *
 643  * @param key Key for the content
 644  * @param block_type Type of the block
 645  * @param options Routing options
 646  * @param desired_replication_level Desired replication count
 647  */
 648 void
 649 GDS_NEIGHBOURS_handle_get (const struct GNUNET_HashCode *key,
 650                            enum GNUNET_BLOCK_Type block_type,
 651                            enum GNUNET_DHT_RouteOption options,
 652                            uint32_t desired_replication_level)
 653 {
 654   // find closest finger(s) on all layers
 655   // use TrailRoute with PeerGetMessage embedded to contact peer
 656 }
 657
 658
 659 /**
 660  * Delete a trail, it died (timeout, link failure, etc.).
 661  *
 662  * @param trail trail to delete from all data structures
 663  * @param inform_pred should we notify the predecessor?
 664  * @param inform_succ should we inform the successor?
 665  */
 666 static void
 667 delete_trail (struct Trail *trail,
 668               int inform_pred,
 669               int inform_succ)
 670 {
 671   struct FriendInfo *friend;
 672   struct GNUNET_MQ_Envelope *env;
 673   struct TrailDestroyMessage *tdm;
 674   struct Finger *finger;
 675
 676   friend = trail->pred;
 677   if (NULL != friend)
 678   {
 679     if (GNUNET_YES == inform_pred)
 680     {
 681       env = GNUNET_MQ_msg (tdm,
 682                            GNUNET_MESSAGE_TYPE_WDHT_TRAIL_DESTROY);
 683       tdm->trail_id = trail->pred_id;
 684       GNUNET_MQ_send (friend->mq,
 685                       env);
 686     }
 687     GNUNET_CONTAINER_MDLL_remove (pred,
 688                                   friend->pred_head,
 689                                   friend->pred_tail,
 690                                   trail);
 691   }
 692   friend = trail->succ;
 693   if (NULL != friend)
 694   {
 695     if (GNUNET_YES == inform_succ)
 696     {
 697       env = GNUNET_MQ_msg (tdm,
 698                            GNUNET_MESSAGE_TYPE_WDHT_TRAIL_DESTROY);
 699       tdm->trail_id = trail->pred_id;
 700       GNUNET_MQ_send (friend->mq,
 701                       env);
 702     }
 703     GNUNET_CONTAINER_MDLL_remove (succ,
 704                                   friend->pred_head,
 705                                   friend->pred_tail,
 706                                   trail);
 707   }
 708   GNUNET_break (trail ==
 709                 GNUNET_CONTAINER_heap_remove_node (trail->hn));
 710   finger = *trail->finger;
 711   if (NULL != finger)
 712   {
 713     *trail->finger = NULL;
 714     GNUNET_free (finger);
 715   }
 716   GNUNET_free (trail);
 717 }
 718
 719
 720 /**
 721  * Send the get result to requesting client.
 722  *
 723  * @param trail_id trail identifying where to send the result to, NULL for us
 724  * @param key Key of the requested data.
 725  * @param type Block type
 726  * @param put_path_length Number of peers in @a put_path
 727  * @param put_path Path taken to put the data at its stored location.
 728  * @param expiration When will this result expire?
 729  * @param data Payload to store
 730  * @param data_size Size of the @a data
 731  */
 732 void
 733 GDS_NEIGHBOURS_send_get_result (const struct GNUNET_HashCode *trail_id,
 734                                 const struct GNUNET_HashCode *key,
 735                                 enum GNUNET_BLOCK_Type type,
 736                                 unsigned int put_path_length,
 737                                 const struct GNUNET_PeerIdentity *put_path,
 738                                 struct GNUNET_TIME_Absolute expiration,
 739                                 const void *data,
 740                                 size_t data_size)
 741 {
 742   // TRICKY: need to introduce some context to remember trail from
 743   // the lookup...
 744 }
 745
 746
 747 /**
 748  * Method called whenever a peer disconnects.
 749  *
 750  * @param cls closure
 751  * @param peer peer identity this notification is about
 752  */
 753 static void
 754 handle_core_disconnect (void *cls,
 755                         const struct GNUNET_PeerIdentity *peer)
 756 {
 757   struct FriendInfo *remove_friend;
 758   struct Trail *t;
 759
 760   /* If disconnected to own identity, then return. */
 761   if (0 == memcmp (&my_identity,
 762                    peer,
 763                    sizeof (struct GNUNET_PeerIdentity)))
 764     return;
 765
 766   if (NULL == (remove_friend =
 767                GNUNET_CONTAINER_multipeermap_get (friends_peermap,
 768                                                   peer)))
 769   {
 770     GNUNET_break (0);
 771     return;
 772   }
 773
 774   GNUNET_assert (GNUNET_YES ==
 775                  GNUNET_CONTAINER_multipeermap_remove (friends_peermap,
 776                                                        peer,
 777                                                        remove_friend));
 778   while (NULL != (t = remove_friend->succ_head))
 779     delete_trail (t,
 780                   GNUNET_YES,
 781                   GNUNET_NO);
 782   while (NULL != (t = remove_friend->pred_head))
 783     delete_trail (t,
 784                   GNUNET_NO,
 785                   GNUNET_YES);
 786   GNUNET_MQ_destroy (remove_friend->mq);
 787   GNUNET_free (remove_friend);
 788   if (0 ==
 789       GNUNET_CONTAINER_multipeermap_size (friends_peermap))
 790   {
 791     GNUNET_SCHEDULER_cancel (random_walk_task);
 792     random_walk_task = NULL;
 793   }
 794 }
 795
 796
 797 /**
 798  * Pick random friend from friends for random walk.
 799  */
 800 static struct FriendInfo *
 801 pick_random_friend ()
 802 {
 803   // TODO: need to extend peermap API to return random entry...
 804   // (Note: same extension exists for hashmap API).
 805   return NULL; // FIXME...
 806 }
 807
 808
 809 /**
 810  * One of our trails might have timed out, check and
 811  * possibly initiate cleanup.
 812  *
 813  * @param cls NULL
 814  * @param tc unused
 815  */
 816 static void
 817 trail_timeout_callback (void *cls,
 818                         const struct GNUNET_SCHEDULER_TaskContext *tc)
 819 {
 820   struct Trail *trail;
 821   struct GNUNET_TIME_Relative left;
 822
 823   trail_timeout_task = NULL;
 824   while (NULL != (trail = GNUNET_CONTAINER_heap_peek (trail_heap)))
 825   {
 826     left = GNUNET_TIME_absolute_get_remaining (trail->expiration_time);
 827     if (0 != left.rel_value_us)
 828       break;
 829     delete_trail (trail,
 830                   GNUNET_YES,
 831                   GNUNET_YES);
 832   }
 833   if (NULL != trail)
 834     trail_timeout_task = GNUNET_SCHEDULER_add_delayed (left,
 835                                                        &trail_timeout_callback,
 836                                                        NULL);
 837 }
 838
 839
 840 /**
 841  * Initiate a random walk.
 842  *
 843  * @param cls NULL
 844  * @param tc unused
 845  */
 846 static void
 847 do_random_walk (void *cls,
 848                 const struct GNUNET_SCHEDULER_TaskContext *tc)
 849 {
 850   static unsigned int walk_layer;
 851   struct FriendInfo *friend;
 852   struct GNUNET_MQ_Envelope *env;
 853   struct RandomWalkMessage *rwm;
 854   struct FingerTable *ft;
 855   struct Finger *finger;
 856   struct Trail *trail;
 857
 858   random_walk_task = NULL;
 859   friend = pick_random_friend ();
 860
 861   trail = GNUNET_new (struct Trail);
 862   /* We create the random walk so, no predecessor */
 863   trail->succ = friend;
 864   GNUNET_CRYPTO_hash_create_random (GNUNET_CRYPTO_QUALITY_NONCE,
 865                                     &trail->succ_id);
 866   if (GNUNET_OK !=
 867       GNUNET_CONTAINER_multihashmap_put (trail_map,
 868                                          &trail->succ_id,
 869                                          trail,
 870                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
 871   {
 872     GNUNET_break (0);
 873     GNUNET_free (trail);
 874     return;
 875   }
 876   GNUNET_CONTAINER_MDLL_insert (succ,
 877                                 friend->succ_head,
 878                                 friend->succ_tail,
 879                                 trail);
 880   trail->expiration_time = GNUNET_TIME_relative_to_absolute (TRAIL_TIMEOUT);
 881   trail->hn = GNUNET_CONTAINER_heap_insert (trail_heap,
 882                                             trail,
 883                                             trail->expiration_time.abs_value_us);
 884   if (NULL == trail_timeout_task)
 885     trail_timeout_task = GNUNET_SCHEDULER_add_delayed (TRAIL_TIMEOUT,
 886                                                        &trail_timeout_callback,
 887                                                        NULL);
 888   env = GNUNET_MQ_msg (rwm,
 889                        GNUNET_MESSAGE_TYPE_WDHT_RANDOM_WALK);
 890   rwm->hops_taken = htonl (0);
 891   rwm->trail_id = trail->succ_id;
 892   GNUNET_MQ_send (friend->mq,
 893                   env);
 894   /* clean up 'old' entry (implicitly via trail cleanup) */
 895   ft = &fingers[walk_layer];
 896
 897   if ( (NULL != ft->fingers) &&
 898        (NULL != (finger = ft->fingers[ft->walk_offset])) )
 899     delete_trail (finger->trail,
 900                   GNUNET_NO,
 901                   GNUNET_YES);
 902   if (ft->finger_array_size < 42)
 903   {
 904     // FIXME: must have finger array of the right size here,
 905     // FIXME: growing / shrinking are tricy -- with pointers
 906     // from Trails!!!
 907   }
 908
 909   GNUNET_assert (NULL == ft->fingers[ft->walk_offset]);
 910
 911   finger = GNUNET_new (struct Finger);
 912   finger->trail = trail;
 913   trail->finger = &ft->fingers[ft->walk_offset];
 914   finger->ft = ft;
 915   ft->fingers[ft->walk_offset] = finger;
 916   ft->is_sorted = GNUNET_NO;
 917   ft->walk_offset = (ft->walk_offset + 1) % ft->finger_array_size;
 918
 919   walk_layer = (walk_layer + 1) % NUMBER_LAYERED_ID;
 920   random_walk_task = GNUNET_SCHEDULER_add_delayed (RANDOM_WALK_DELAY,
 921                                                    &do_random_walk,
 922                                                    NULL);
 923 }
 924
 925
 926 /**
 927  * Method called whenever a peer connects.
 928  *
 929  * @param cls closure
 930  * @param peer_identity peer identity this notification is about
 931  */
 932 static void
 933 handle_core_connect (void *cls,
 934                      const struct GNUNET_PeerIdentity *peer_identity)
 935 {
 936   struct FriendInfo *friend;
 937
 938   /* Check for connect to self message */
 939   if (0 == memcmp (&my_identity,
 940                    peer_identity,
 941                    sizeof (struct GNUNET_PeerIdentity)))
 942     return;
 943
 944   /* If peer already exists in our friend_peermap, then exit. */
 945   if (GNUNET_YES ==
 946       GNUNET_CONTAINER_multipeermap_contains (friends_peermap,
 947                                               peer_identity))
 948   {
 949     GNUNET_break (0);
 950     return;
 951   }
 952
 953   friend = GNUNET_new (struct FriendInfo);
 954   friend->id = *peer_identity;
 955   friend->mq = GNUNET_CORE_mq_create (core_api,
 956                                       peer_identity);
 957   GNUNET_assert (GNUNET_OK ==
 958                  GNUNET_CONTAINER_multipeermap_put (friends_peermap,
 959                                                     peer_identity,
 960                                                     friend,
 961                                                     GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY));
 962   if (NULL == random_walk_task)
 963   {
 964     /* random walk needs to be started -- we have a first connection */
 965     random_walk_task = GNUNET_SCHEDULER_add_now (&do_random_walk,
 966                                                  NULL);
 967   }
 968 }
 969
 970
 971 /**
 972  * To be called on core init/fail.
 973  *
 974  * @param cls service closure
 975  * @param identity the public identity of this peer
 976  */
 977 static void
 978 core_init (void *cls,
 979            const struct GNUNET_PeerIdentity *identity)
 980 {
 981   my_identity = *identity;
 982 }
 983
 984
 985 /**
 986  * Handle a `struct RandomWalkMessage` from a
 987  * #GNUNET_MESSAGE_TYPE_WDHT_RANDOM_WALK message.
 988  *
 989  * @param cls closure (NULL)
 990  * @param peer sender identity
 991  * @param message the setup message
 992  * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
 993  */
 994 static int
 995 handle_dht_p2p_random_walk (void *cls,
 996                             const struct GNUNET_PeerIdentity *peer,
 997                             const struct GNUNET_MessageHeader *message)
 998 {
 999   const struct RandomWalkMessage *m;
1000   struct Trail *t;
1001   struct FriendInfo *pred;
1002
1003   m = (const struct RandomWalkMessage *) message;
1004   pred = GNUNET_CONTAINER_multipeermap_get (friends_peermap,
1005                                             peer);
1006   t = GNUNET_new (struct Trail);
1007   t->pred_id = m->trail_id;
1008   t->pred = pred;
1009   if (GNUNET_OK !=
1010       GNUNET_CONTAINER_multihashmap_put (trail_map,
1011                                          &t->pred_id,
1012                                          t,
1013                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
1014   {
1015     GNUNET_break_op (0);
1016     GNUNET_free (t);
1017     return GNUNET_SYSERR;
1018   }
1019   GNUNET_CONTAINER_MDLL_insert (pred,
1020                                 pred->pred_head,
1021                                 pred->pred_tail,
1022                                 t);
1023   t->expiration_time = GNUNET_TIME_relative_to_absolute (TRAIL_TIMEOUT);
1024   t->hn = GNUNET_CONTAINER_heap_insert (trail_heap,
1025                                         t,
1026                                         t->expiration_time.abs_value_us);
1027   if (NULL == trail_timeout_task)
1028     trail_timeout_task = GNUNET_SCHEDULER_add_delayed (TRAIL_TIMEOUT,
1029                                                        &trail_timeout_callback,
1030                                                        NULL);
1031
1032   if (ntohl (m->hops_taken) > GDS_NSE_get ())
1033   {
1034     /* We are the last hop, generate response */
1035     struct GNUNET_MQ_Envelope *env;
1036     struct RandomWalkResponseMessage *rwrm;
1037     uint16_t layer;
1038
1039     env = GNUNET_MQ_msg (rwrm,
1040                          GNUNET_MESSAGE_TYPE_WDHT_RANDOM_WALK_RESPONSE);
1041     rwrm->reserved = htonl (0);
1042     rwrm->trail_id = m->trail_id;
1043     layer = ntohs (m->layer);
1044     if (0 == layer)
1045       (void) GDS_DATACACHE_get_random_key (&rwrm->location);
1046     else
1047     {
1048       struct FingerTable *ft;
1049
1050       if (layer > NUMBER_LAYERED_ID)
1051       {
1052         GNUNET_break_op (0);
1053         // FIXME: clean up 't'...
1054         return GNUNET_SYSERR;
1055       }
1056       ft = &fingers[layer-1];
1057       if (0 == ft->number_valid_fingers)
1058       {
1059         GNUNET_CRYPTO_hash_create_random (GNUNET_CRYPTO_QUALITY_NONCE,
1060                                           &rwrm->location);
1061       }
1062       else
1063       {
1064         struct Finger *f;
1065
1066         f = ft->fingers[GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_NONCE,
1067                                                   ft->number_valid_fingers)];
1068         rwrm->location = f->destination;
1069       }
1070     }
1071     GNUNET_MQ_send (pred->mq,
1072                     env);
1073   }
1074   else
1075   {
1076     struct GNUNET_MQ_Envelope *env;
1077     struct RandomWalkMessage *rwm;
1078     struct FriendInfo *succ;
1079
1080     /* extend the trail by another random hop */
1081     succ = pick_random_friend ();
1082     GNUNET_CRYPTO_hash_create_random (GNUNET_CRYPTO_QUALITY_NONCE,
1083                                       &t->succ_id);
1084     t->succ = succ;
1085     if (GNUNET_OK !=
1086         GNUNET_CONTAINER_multihashmap_put (trail_map,
1087                                            &t->succ_id,
1088                                            t,
1089                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
1090     {
1091       GNUNET_break (0);
1092       GNUNET_CONTAINER_MDLL_remove (pred,
1093                                     pred->pred_head,
1094                                     pred->pred_tail,
1095                                     t);
1096       GNUNET_free (t);
1097       return GNUNET_OK;
1098     }
1099     GNUNET_CONTAINER_MDLL_insert (succ,
1100                                   succ->succ_head,
1101                                   succ->succ_tail,
1102                                   t);
1103     env = GNUNET_MQ_msg (rwm,
1104                          GNUNET_MESSAGE_TYPE_WDHT_RANDOM_WALK);
1105     rwm->hops_taken = htons (1 + ntohs (m->hops_taken));
1106     rwm->layer = m->layer;
1107     rwm->trail_id = t->succ_id;
1108     GNUNET_MQ_send (succ->mq,
1109                     env);
1110   }
1111   return GNUNET_OK;
1112 }
1113
1114
1115 /**
1116  * Handle a `struct RandomWalkResponseMessage` from a GNUNET_MESSAGE_TYPE_WDHT_RANDOM_WALK_RESPONSE
1117  * message.
1118  *
1119  * @param cls closure (NULL)
1120  * @param peer sender identity
1121  * @param message the setup response message
1122  * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
1123  */
1124 static int
1125 handle_dht_p2p_random_walk_response (void *cls,
1126                                      const struct GNUNET_PeerIdentity *peer,
1127                                      const struct GNUNET_MessageHeader *message)
1128 {
1129   const struct RandomWalkResponseMessage *rwrm;
1130
1131   rwrm = (const struct RandomWalkResponseMessage *) message;
1132   // 1) lookup trail => find Finger entry => fill in 'destination' and mark valid, move to end of sorted array, mark unsorted, update links from 'trails'
1133   /*
1134    * Steps :
1135    *  1 check if we are the correct layer
1136    *  1.a if true : add the returned value (finger) in the db structure
1137    *  1.b if true : do nothing
1138    */
1139   /* FIXME: add the value in db structure 1.a */
1140
1141   return GNUNET_OK;
1142 }
1143
1144
1145 /**
1146  * Handle a `struct TrailDestroyMessage`.
1147  *
1148  * @param cls closure (NULL)
1149  * @param peer sender identity
1150  * @param message the finger destroy message
1151  * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
1152  */
1153 static int
1154 handle_dht_p2p_trail_destroy (void *cls,
1155                              const struct GNUNET_PeerIdentity *peer,
1156                              const struct GNUNET_MessageHeader *message)
1157 {
1158   const struct TrailDestroyMessage *tdm;
1159
1160   tdm = (const struct TrailDestroyMessage *) message;
1161
1162   /*
1163    * Steps :
1164    *  1 check if message comme from a trail (that we still remember...)
1165    *  1.a.1 if true: send the destroy message to the rest trail
1166    *  1.a.2 clean the trail structure
1167    *  1.a.3 did i have to remove the trail and ID from the db structure?
1168    *  1.b if false: do nothing
1169    */
1170
1171   return GNUNET_OK;
1172 }
1173
1174
1175 /**
1176  * Handler for a message we received along some trail.
1177  *
1178  * @param cls closure
1179  * @param trail_id trail identifier
1180  * @param message the message we got
1181  * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
1182  */
1183 typedef int
1184 (*TrailHandlerCallback)(void *cls,
1185                         const struct GNUNET_HashCode *trail_id,
1186                         const struct GNUNET_MessageHandler *message);
1187
1188
1189 /**
1190  * Definition of a handler for a message received along some trail.
1191  */
1192 struct TrailHandler
1193 {
1194   /**
1195    * NULL for end-of-list.
1196    */
1197   TrailHandlerCallback callback;
1198
1199   /**
1200    * Closure for @e callback.
1201    */
1202   void *cls;
1203
1204   /**
1205    * Message type this handler addresses.
1206    */
1207   uint16_t message_type;
1208
1209   /**
1210    * Use 0 for variable-size.
1211    */
1212   uint16_t message_size;
1213 };
1214
1215
1216 /**
1217  * Handle a `struct TrailRouteMessage`.
1218  *
1219  * @param cls closure (NULL)
1220  * @param peer sender identity
1221  * @param message the finger destroy message
1222  * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
1223  */
1224 static int
1225 handle_dht_p2p_trail_route (void *cls,
1226                             const struct GNUNET_PeerIdentity *peer,
1227                             const struct GNUNET_MessageHeader *message)
1228 {
1229   const struct TrailRouteMessage *trm;
1230
1231   trm = (const struct TrailRouteMessage *) message;
1232
1233   /*
1234    * Steps :
1235    *  1 check if message comme from a trail
1236    *  1.a.1 if trail not finished with us, continue to forward
1237    *  1.a.2 otherwise handle body message embedded in trail
1238    */
1239   return GNUNET_OK;
1240 }
1241
1242
1243 /**
1244  * Handle a `struct FindSuccessorMessage` from a #GNUNET_MESSAGE_TYPE_WDHT_SUCCESSOR_FIND
1245  * message.
1246  *
1247  * @param cls closure (NULL)
1248  * @param trail_id path to the originator
1249  * @param message the finger setup message
1250  * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
1251  */
1252 static int
1253 handle_dht_p2p_successor_find (void *cls,
1254                                const struct GNUNET_HashCode *trail_id,
1255                                const struct GNUNET_MessageHeader *message)
1256 {
1257   const struct FindSuccessorMessage *fsm;
1258
1259   fsm = (const struct FindSuccessorMessage *) message;
1260   // locate trail (for sending reply), if not exists, fail nicely.
1261   // otherwise, go to datacache and return 'top k' elements closest to 'key'
1262   // as "PUT" messages via the trail (need to extend DB API!)
1263 #if 0
1264   GDS_DATACACHE_get_successors (trail_id,
1265                                 key);
1266 #endif
1267   return GNUNET_OK;
1268 }
1269
1270
1271 /**
1272  * Handle a `struct PeerGetMessage`.
1273  *
1274  * @param cls closure (NULL)
1275  * @param trail_id path to the originator
1276  * @param message the peer get message
1277  * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
1278  */
1279 static int
1280 handle_dht_p2p_peer_get (void *cls,
1281                          const struct GNUNET_HashCode *trail_id,
1282                          const struct GNUNET_MessageHeader *message)
1283 {
1284   const struct PeerGetMessage *pgm;
1285
1286   // FIXME: note: never called like this, message embedded with trail route!
1287   pgm = (const struct PeerGetMessage *) message;
1288   // -> lookup in datacache (figure out way to remember trail!)
1289      /*
1290     * steps :
1291     *   1 extract the result
1292     *   2 save the peer
1293     *   3 send it using the good trail
1294     *
1295     * What do i do when i don't have the key/value?
1296     */
1297
1298   return GNUNET_OK;
1299 }
1300
1301
1302 /**
1303  * Handle a `struct PeerGetResultMessage`.
1304  *
1305  * @param cls closure (NULL)
1306  * @param trail_id path to the originator
1307  * @param message the peer get result message
1308  * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
1309  */
1310 static int
1311 handle_dht_p2p_peer_get_result (void *cls,
1312                                 const struct GNUNET_HashCode *trail_id,
1313                                 const struct GNUNET_MessageHeader *message)
1314 {
1315   const struct PeerGetResultMessage *pgrm;
1316
1317   pgrm = (const struct PeerGetResultMessage *) message;
1318   // pretty much: parse, & pass to client (there is some call for that...)
1319
1320 #if 0
1321   GDS_CLIENTS_process_get (options,
1322                            type,
1323                            0, 0,
1324                            path_length, path,
1325                            key);
1326   (void) GDS_DATACACHE_handle_get (trail_id,
1327                                    key,
1328                                    type,
1329                                    xquery,
1330                                    xquery_size,
1331                                    &reply_bf,
1332                                    reply_bf_mutator);
1333 #endif
1334   return GNUNET_OK;
1335 }
1336
1337
1338 /**
1339  * Handle a `struct PeerPutMessage`.
1340  *
1341  * @param cls closure (NULL)
1342  * @param trail_id path to the originator
1343  * @param message the peer put message
1344  * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
1345  */
1346 static int
1347 handle_dht_p2p_peer_put (void *cls,
1348                          const struct GNUNET_HashCode *trail_id,
1349                          const struct GNUNET_MessageHeader *message)
1350 {
1351   const struct PeerGetResultMessage *pgrm;
1352
1353   pgrm = (const struct PeerGetResultMessage *) message;
1354   // parse & store in datacache, this is in response to us asking for successors.
1355   /*
1356    * steps :
1357    * 1 check the size of the message
1358    * 2 use the API to add the value in the "database". Check on the xdht file, how to do it.
1359    * 3 Did i a have to return a notification or did i have to return GNUNET_[OK|SYSERR]?
1360    */
1361 #if 0
1362   GDS_DATACACHE_handle_put (expiration_time,
1363                             key,
1364                             path_length, path,
1365                             block_type,
1366                             data_size,
1367                             data);
1368   GDS_CLIENTS_process_put (options,
1369                            block_type,
1370                            0, 0,
1371                            path_length, path,
1372                            expiration_time,
1373                            key,
1374                            data,
1375                            data_size);
1376 #endif
1377   return GNUNET_OK;
1378 }
1379
1380
1381 /**
1382  * Initialize neighbours subsystem.
1383  * @return #GNUNET_OK on success, #GNUNET_SYSERR on error
1384  */
1385 int
1386 GDS_NEIGHBOURS_init (void)
1387 {
1388   static const struct GNUNET_CORE_MessageHandler core_handlers[] = {
1389     { &handle_dht_p2p_random_walk,
1390       GNUNET_MESSAGE_TYPE_WDHT_RANDOM_WALK,
1391       sizeof (struct RandomWalkMessage) },
1392     { &handle_dht_p2p_random_walk_response,
1393       GNUNET_MESSAGE_TYPE_WDHT_RANDOM_WALK_RESPONSE,
1394       sizeof (struct RandomWalkResponseMessage) },
1395     { &handle_dht_p2p_trail_destroy,
1396       GNUNET_MESSAGE_TYPE_WDHT_TRAIL_DESTROY,
1397       sizeof (struct TrailDestroyMessage) },
1398     { &handle_dht_p2p_trail_route,
1399       GNUNET_MESSAGE_TYPE_WDHT_TRAIL_ROUTE,
1400       0},
1401     {NULL, 0, 0}
1402   };
1403
1404   core_api =
1405     GNUNET_CORE_connect (GDS_cfg, NULL,
1406                          &core_init,
1407                          &handle_core_connect,
1408                          &handle_core_disconnect,
1409                          NULL, GNUNET_NO,
1410                          NULL, GNUNET_NO,
1411                          core_handlers);
1412
1413   if (NULL == core_api)
1414     return GNUNET_SYSERR;
1415   friends_peermap = GNUNET_CONTAINER_multipeermap_create (256, GNUNET_NO);
1416   trail_map = GNUNET_CONTAINER_multihashmap_create (1024, GNUNET_YES);
1417   trail_heap = GNUNET_CONTAINER_heap_create (GNUNET_CONTAINER_HEAP_ORDER_MIN);
1418   return GNUNET_OK;
1419 }
1420
1421
1422 /**
1423  * Shutdown neighbours subsystem.
1424  */
1425 void
1426 GDS_NEIGHBOURS_done (void)
1427 {
1428   if (NULL == core_api)
1429     return;
1430   GNUNET_CORE_disconnect (core_api);
1431   core_api = NULL;
1432   GNUNET_assert (0 == GNUNET_CONTAINER_multipeermap_size (friends_peermap));
1433   GNUNET_CONTAINER_multipeermap_destroy (friends_peermap);
1434   friends_peermap = NULL;
1435   GNUNET_assert (0 == GNUNET_CONTAINER_multihashmap_size (trail_map));
1436   GNUNET_CONTAINER_multihashmap_destroy (trail_map);
1437   trail_map = NULL;
1438   GNUNET_CONTAINER_heap_destroy (trail_heap);
1439   trail_heap = NULL;
1440   if (NULL != trail_timeout_task)
1441   {
1442     GNUNET_SCHEDULER_cancel (trail_timeout_task);
1443     trail_timeout_task = NULL;
1444   }
1445 }
1446
1447
1448 /**
1449  * Get my identity
1450  *
1451  * @return my identity
1452  */
1453 struct GNUNET_PeerIdentity
1454 GDS_NEIGHBOURS_get_my_id (void)
1455 {
1456   return my_identity;
1457 }
1458
1459 /* end of gnunet-service-wdht_neighbours.c */