src/mesh/gnunet-service-mesh-new.c

   1 /*
   2      This file is part of GNUnet.
   3      (C) 2001-2013 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20
  21 /**
  22  * @file mesh/gnunet-service-mesh-new.c
  23  * @brief GNUnet MESH service
  24  * @author Bartlomiej Polot
  25  *
  26  * TODO:
  27  * - relay corking down to core
  28  * - set ttl relative to path length
  29  * - add signatures
  30  * - add encryption
  31  * - keep queues until receiving ACK
  32  * TODO END
  33  */
  34
  35 #include "platform.h"
  36 #include "mesh2.h"
  37 #include "mesh2_protocol.h"
  38 #include "mesh_path.h"
  39 #include "block_mesh.h"
  40 #include "gnunet_dht_service.h"
  41 #include "gnunet_statistics_service.h"
  42
  43 #define MESH_BLOOM_SIZE         128
  44
  45 #define MESH_DEBUG_DHT          GNUNET_NO
  46 #define MESH_DEBUG_CONNECTION   GNUNET_NO
  47 #define MESH_DEBUG_TIMING       __LINUX__ && GNUNET_NO
  48
  49 #define MESH_MAX_POLL_TIME      GNUNET_TIME_relative_multiply (\
  50                                   GNUNET_TIME_UNIT_MINUTES,\
  51                                   10)
  52
  53 #if MESH_DEBUG_CONNECTION
  54 #define DEBUG_CONN(...) GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
  55 #else
  56 #define DEBUG_CONN(...)
  57 #endif
  58
  59 #if MESH_DEBUG_DHT
  60 #define DEBUG_DHT(...) GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
  61 #else
  62 #define DEBUG_DHT(...)
  63 #endif
  64
  65 #if MESH_DEBUG_TIMING
  66 #include <time.h>
  67 double __sum;
  68 uint64_t __count;
  69 struct timespec __mesh_start;
  70 struct timespec __mesh_end;
  71 #define INTERVAL_START clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &(__mesh_start))
  72 #define INTERVAL_END \
  73 do {\
  74   clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &(__mesh_end));\
  75   double __diff = __mesh_end.tv_nsec - __mesh_start.tv_nsec;\
  76   if (__diff < 0) __diff += 1000000000;\
  77   __sum += __diff;\
  78   __count++;\
  79 } while (0)
  80 #define INTERVAL_SHOW \
  81 if (0 < __count)\
  82   GNUNET_log (GNUNET_ERROR_TYPE_INFO, "AVG process time: %f ns\n", __sum/__count)
  83 #else
  84 #define INTERVAL_START
  85 #define INTERVAL_END
  86 #define INTERVAL_SHOW
  87 #endif
  88
  89 /******************************************************************************/
  90 /************************      DATA STRUCTURES     ****************************/
  91 /******************************************************************************/
  92
  93 /** FWD declaration */
  94 struct MeshPeerInfo;
  95 struct MeshClient;
  96
  97
  98 /**
  99  * Struct containing info about a queued transmission to this peer
 100  */
 101 struct MeshPeerQueue
 102 {
 103     /**
 104       * DLL next
 105       */
 106   struct MeshPeerQueue *next;
 107
 108     /**
 109       * DLL previous
 110       */
 111   struct MeshPeerQueue *prev;
 112
 113     /**
 114      * Peer this transmission is directed to.
 115      */
 116   struct MeshPeerInfo *peer;
 117
 118     /**
 119      * Tunnel this message belongs to.
 120      */
 121   struct MeshTunnel *tunnel;
 122
 123     /**
 124      * Pointer to info stucture used as cls.
 125      */
 126   void *cls;
 127
 128     /**
 129      * Type of message
 130      */
 131   uint16_t type;
 132
 133     /**
 134      * Size of the message
 135      */
 136   size_t size;
 137 };
 138
 139
 140 /**
 141  * Struct containing all information regarding a given peer
 142  */
 143 struct MeshPeerInfo
 144 {
 145     /**
 146      * ID of the peer
 147      */
 148   GNUNET_PEER_Id id;
 149
 150     /**
 151      * Last time we heard from this peer
 152      */
 153   struct GNUNET_TIME_Absolute last_contact;
 154
 155     /**
 156      * Number of attempts to reconnect so far
 157      */
 158   int n_reconnect_attempts;
 159
 160     /**
 161      * Paths to reach the peer, ordered by ascending hop count
 162      */
 163   struct MeshPeerPath *path_head;
 164
 165     /**
 166      * Paths to reach the peer, ordered by ascending hop count
 167      */
 168   struct MeshPeerPath *path_tail;
 169
 170     /**
 171      * Handle to stop the DHT search for a path to this peer
 172      */
 173   struct GNUNET_DHT_GetHandle *dhtget;
 174
 175     /**
 176      * Array of tunnels this peer is the target of.
 177      * Most probably a small amount, therefore not a hashmap.
 178      * When the path to the peer changes, notify these tunnels to let them
 179      * re-adjust their path trees.
 180      */
 181   struct MeshTunnel **tunnels;
 182
 183     /**
 184      * Number of tunnels this peers participates in
 185      */
 186   unsigned int ntunnels;
 187
 188    /**
 189     * Transmission queue to core DLL head
 190     */
 191   struct MeshPeerQueue *queue_head;
 192
 193    /**
 194     * Transmission queue to core DLL tail
 195     */
 196    struct MeshPeerQueue *queue_tail;
 197
 198    /**
 199     * How many messages are in the queue to this peer.
 200     */
 201    unsigned int queue_n;
 202
 203    /**
 204     * Handle for queued transmissions
 205     */
 206   struct GNUNET_CORE_TransmitHandle *core_transmit;
 207 };
 208
 209
 210 /**
 211  * Struct to encapsulate all the Flow Control information to a peer in the
 212  * context of a tunnel: Same peer in different tunnels will have independent
 213  * flow control structures, allowing to choke/free tunnels according to its
 214  * own criteria.
 215  */
 216 struct MeshFlowControl
 217 {
 218   /**
 219    * ID of the last packet sent towards the peer.
 220    */
 221   uint32_t last_pid_sent;
 222
 223   /**
 224    * ID of the last packet received from the peer.
 225    */
 226   uint32_t last_pid_recv;
 227
 228   /**
 229    * Last ACK sent to the peer (peer can't send more than this PID).
 230    */
 231   uint32_t last_ack_sent;
 232
 233   /**
 234    * Last ACK sent towards the origin (for traffic towards leaf node).
 235    */
 236   uint32_t last_ack_recv;
 237
 238   /**
 239    * How many messages are in the queue towards this peer.
 240    */
 241   uint32_t queue_n;
 242
 243   /**
 244    * Task to poll the peer in case of a lost ACK causes stall.
 245    */
 246   GNUNET_SCHEDULER_TaskIdentifier poll_task;
 247
 248   /**
 249    * How frequently to poll for ACKs.
 250    */
 251   struct GNUNET_TIME_Relative poll_time;
 252
 253   /**
 254    * On which tunnel to poll.
 255    * Using an explicit poll_ctx would not help memory wise,
 256    * since the allocated context would have to be stored in the
 257    * fc struct in order to free it upon cancelling poll_task.
 258    */
 259   struct MeshTunnel *t;
 260 };
 261
 262
 263 /**
 264  * Globally unique tunnel identification (owner + number)
 265  * DO NOT USE OVER THE NETWORK
 266  */
 267 struct MESH_TunnelID
 268 {
 269     /**
 270      * Node that owns the tunnel
 271      */
 272   GNUNET_PEER_Id oid;
 273
 274     /**
 275      * Tunnel number to differentiate all the tunnels owned by the node oid
 276      * ( tid < GNUNET_MESH_LOCAL_TUNNEL_ID_CLI )
 277      */
 278   MESH_TunnelNumber tid;
 279 };
 280
 281
 282 /**
 283  * Struct containing all information regarding a tunnel
 284  * For an intermediate node the improtant info used will be:
 285  * - id        Tunnel unique identification
 286  * - paths[0]  To know where to send it next
 287  * - metainfo: ready, speeds, accounting
 288  */
 289 struct MeshTunnel
 290 {
 291     /**
 292      * Tunnel ID
 293      */
 294   struct MESH_TunnelID id;
 295
 296     /**
 297      * Port of the tunnel.
 298      */
 299   uint32_t port;
 300
 301     /**
 302      * State of the tunnel.
 303      */
 304   enum MeshTunnelState state;
 305
 306     /**
 307      * Local tunnel number ( >= GNUNET_MESH_LOCAL_TUNNEL_ID_CLI or 0 )
 308      */
 309   MESH_TunnelNumber local_tid;
 310
 311     /**
 312      * Local tunnel number for local destination clients (incoming number)
 313      * ( >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV or 0). All clients share the same
 314      * number.
 315      */
 316   MESH_TunnelNumber local_tid_dest;
 317
 318     /**
 319      * Is the tunnel bufferless (minimum latency)?
 320      */
 321   int nobuffer;
 322
 323     /**
 324      * Force sending ACK? Flag to allow duplicate ACK on POLL.
 325      */
 326   int force_ack;
 327
 328     /**
 329      * How many messages do we accept in the forward queue.
 330      */
 331   unsigned int queue_max;
 332
 333     /**
 334      * Last time the tunnel was used
 335      */
 336   struct GNUNET_TIME_Absolute timestamp;
 337
 338     /**
 339      * Destination of the tunnel.
 340      */
 341   GNUNET_PEER_Id dest;
 342
 343     /**
 344      * Next hop in the tunnel. If 0, @c client must be set.
 345      */
 346   GNUNET_PEER_Id next_hop;
 347
 348     /**
 349      * Previous hop in the tunnel. If 0, @c owner must be set.
 350      */
 351   GNUNET_PEER_Id prev_hop;
 352
 353     /**
 354      * Flow control information about @c next_hop or @c client.
 355      */
 356   struct MeshFlowControl next_fc;
 357
 358   /**
 359    * Flow control information about @c prev_hop or @c owner.
 360    */
 361   struct MeshFlowControl prev_fc;
 362
 363     /**
 364      * Client owner of the tunnel, if any
 365      */
 366   struct MeshClient *owner;
 367
 368     /**
 369      * Client destination of the tunnel, if any.
 370      */
 371   struct MeshClient *client;
 372
 373     /**
 374      * Task to keep the used paths alive at the owner,
 375      * time tunnel out on all the other peers.
 376      */
 377   GNUNET_SCHEDULER_TaskIdentifier maintenance_task;
 378
 379     /**
 380      * Path being used for the tunnel.
 381      */
 382   struct MeshPeerPath *path;
 383
 384     /**
 385      * Flag to signal the destruction of the tunnel.
 386      * If this is set GNUNET_YES the tunnel will be destroyed
 387      * when the queue is empty.
 388      */
 389   int destroy;
 390
 391     /**
 392      * Total messages pending for this tunnels, payload or not.
 393      */
 394   unsigned int pending_messages;
 395 };
 396
 397
 398 /**
 399  * Struct containing information about a client of the service
 400  *
 401  * TODO: add a list of 'waiting' ports
 402  */
 403 struct MeshClient
 404 {
 405     /**
 406      * Linked list next
 407      */
 408   struct MeshClient *next;
 409
 410     /**
 411      * Linked list prev
 412      */
 413   struct MeshClient *prev;
 414
 415     /**
 416      * Tunnels that belong to this client, indexed by local id
 417      */
 418   struct GNUNET_CONTAINER_MultiHashMap *own_tunnels;
 419
 420    /**
 421      * Tunnels this client has accepted, indexed by incoming local id
 422      */
 423   struct GNUNET_CONTAINER_MultiHashMap *incoming_tunnels;
 424
 425     /**
 426      * Handle to communicate with the client
 427      */
 428   struct GNUNET_SERVER_Client *handle;
 429
 430     /**
 431      * Ports that this client has declared interest in.
 432      * Indexed by a GMC_hash32 (type), contains *Client.
 433      */
 434   struct GNUNET_CONTAINER_MultiHashMap *ports;
 435
 436     /**
 437      * Whether the client is active or shutting down (don't send confirmations
 438      * to a client that is shutting down.
 439      */
 440   int shutting_down;
 441
 442     /**
 443      * ID of the client, mainly for debug messages
 444      */
 445   unsigned int id;
 446
 447 };
 448
 449
 450 /******************************************************************************/
 451 /************************      DEBUG FUNCTIONS     ****************************/
 452 /******************************************************************************/
 453
 454 #if MESH_DEBUG
 455 /**
 456  * GNUNET_SCHEDULER_Task for printing a message after some operation is done
 457  * @param cls string to print
 458  * @param success  GNUNET_OK if the PUT was transmitted,
 459  *                GNUNET_NO on timeout,
 460  *                GNUNET_SYSERR on disconnect from service
 461  *                after the PUT message was transmitted
 462  *                (so we don't know if it was received or not)
 463  */
 464
 465 #if 0
 466 static void
 467 mesh_debug (void *cls, int success)
 468 {
 469   char *s = cls;
 470
 471   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "%s (%d)\n", s, success);
 472 }
 473 #endif
 474
 475 /* FIXME */
 476 unsigned int debug_fwd_ack;
 477 unsigned int debug_bck_ack;
 478
 479 #endif
 480
 481 /******************************************************************************/
 482 /***********************      GLOBAL VARIABLES     ****************************/
 483 /******************************************************************************/
 484
 485 /************************** Configuration parameters **************************/
 486
 487 /**
 488  * How often to send tunnel keepalives. Tunnels timeout after 4 missed.
 489  */
 490 static struct GNUNET_TIME_Relative refresh_path_time;
 491
 492 /**
 493  * How often to PUT own ID in the DHT.
 494  */
 495 static struct GNUNET_TIME_Relative id_announce_time;
 496
 497 /**
 498  * Maximum time allowed to connect to a peer found by string.
 499  */
 500 static struct GNUNET_TIME_Relative connect_timeout;
 501
 502 /**
 503  * Default TTL for payload packets.
 504  */
 505 static unsigned long long default_ttl;
 506
 507 /**
 508  * DHT replication level, see DHT API: GNUNET_DHT_get_start, GNUNET_DHT_put.
 509  */
 510 static unsigned long long dht_replication_level;
 511
 512 /**
 513  * How many tunnels are we willing to maintain.
 514  * Local tunnels are always allowed, even if there are more tunnels than max.
 515  */
 516 static unsigned long long max_tunnels;
 517
 518 /**
 519  * How many messages *in total* are we willing to queue, divided by number of
 520  * tunnels to get tunnel queue size.
 521  */
 522 static unsigned long long max_msgs_queue;
 523
 524 /**
 525  * How many peers do we want to remember?
 526  */
 527 static unsigned long long max_peers;
 528
 529
 530 /*************************** Static global variables **************************/
 531
 532 /**
 533  * Hostkey generation context
 534  */
 535 static struct GNUNET_CRYPTO_EccKeyGenerationContext *keygen;
 536
 537 /**
 538  * DLL with all the clients, head.
 539  */
 540 static struct MeshClient *clients_head;
 541
 542 /**
 543  * DLL with all the clients, tail.
 544  */
 545 static struct MeshClient *clients_tail;
 546
 547 /**
 548  * Tunnels known, indexed by MESH_TunnelID (MeshTunnel).
 549  */
 550 static struct GNUNET_CONTAINER_MultiHashMap *tunnels;
 551
 552 /**
 553  * Number of tunnels known.
 554  */
 555 static unsigned long long n_tunnels;
 556
 557 /**
 558  * Tunnels incoming, indexed by MESH_TunnelNumber
 559  * (which is greater than GNUNET_MESH_LOCAL_TUNNEL_ID_SERV).
 560  */
 561 static struct GNUNET_CONTAINER_MultiHashMap *incoming_tunnels;
 562
 563 /**
 564  * Peers known, indexed by PeerIdentity (MeshPeerInfo).
 565  */
 566 static struct GNUNET_CONTAINER_MultiHashMap *peers;
 567
 568 /*
 569  * Handle to communicate with transport
 570  */
 571 // static struct GNUNET_TRANSPORT_Handle *transport_handle;
 572
 573 /**
 574  * Handle to communicate with core.
 575  */
 576 static struct GNUNET_CORE_Handle *core_handle;
 577
 578 /**
 579  * Handle to use DHT.
 580  */
 581 static struct GNUNET_DHT_Handle *dht_handle;
 582
 583 /**
 584  * Handle to server.
 585  */
 586 static struct GNUNET_SERVER_Handle *server_handle;
 587
 588 /**
 589  * Handle to the statistics service.
 590  */
 591 static struct GNUNET_STATISTICS_Handle *stats;
 592
 593 /**
 594  * Notification context, to send messages to local clients.
 595  */
 596 static struct GNUNET_SERVER_NotificationContext *nc;
 597
 598 /**
 599  * Local peer own ID (memory efficient handle).
 600  */
 601 static GNUNET_PEER_Id myid;
 602
 603 /**
 604  * Local peer own ID (full value).
 605  */
 606 static struct GNUNET_PeerIdentity my_full_id;
 607
 608 /**
 609  * Own private key.
 610  */
 611 static struct GNUNET_CRYPTO_EccPrivateKey *my_private_key;
 612
 613 /**
 614  * Own public key.
 615  */
 616 static struct GNUNET_CRYPTO_EccPublicKeyBinaryEncoded my_public_key;
 617
 618 /**
 619  * Tunnel ID for the next created tunnel (global tunnel number).
 620  */
 621 static MESH_TunnelNumber next_tid;
 622
 623 /**
 624  * Tunnel ID for the next incoming tunnel (local tunnel number).
 625  */
 626 static MESH_TunnelNumber next_local_tid;
 627
 628 /**
 629  * All ports clients of this peer have opened.
 630  */
 631 static struct GNUNET_CONTAINER_MultiHashMap *ports;
 632
 633 /**
 634  * Task to periodically announce itself in the network.
 635  */
 636 GNUNET_SCHEDULER_TaskIdentifier announce_id_task;
 637
 638 /**
 639  * Next ID to assign to a client.
 640  */
 641 unsigned int next_client_id;
 642
 643
 644 /******************************************************************************/
 645 /***********************         DECLARATIONS        **************************/
 646 /******************************************************************************/
 647
 648 /**
 649  * Function to process paths received for a new peer addition. The recorded
 650  * paths form the initial tunnel, which can be optimized later.
 651  * Called on each result obtained for the DHT search.
 652  *
 653  * @param cls closure
 654  * @param exp when will this value expire
 655  * @param key key of the result
 656  * @param type type of the result
 657  * @param size number of bytes in data
 658  * @param data pointer to the result data
 659  */
 660 static void
 661 dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
 662                     const struct GNUNET_HashCode * key,
 663                     const struct GNUNET_PeerIdentity *get_path,
 664                     unsigned int get_path_length,
 665                     const struct GNUNET_PeerIdentity *put_path,
 666                     unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
 667                     size_t size, const void *data);
 668
 669
 670 /**
 671  * Retrieve the MeshPeerInfo stucture associated with the peer, create one
 672  * and insert it in the appropiate structures if the peer is not known yet.
 673  *
 674  * @param peer Full identity of the peer.
 675  *
 676  * @return Existing or newly created peer info.
 677  */
 678 static struct MeshPeerInfo *
 679 peer_get (const struct GNUNET_PeerIdentity *peer);
 680
 681
 682 /**
 683  * Retrieve the MeshPeerInfo stucture associated with the peer, create one
 684  * and insert it in the appropiate structures if the peer is not known yet.
 685  *
 686  * @param peer Short identity of the peer.
 687  *
 688  * @return Existing or newly created peer info.
 689  */
 690 static struct MeshPeerInfo *
 691 peer_get_short (const GNUNET_PEER_Id peer);
 692
 693
 694 /**
 695  * Build a PeerPath from the paths returned from the DHT, reversing the paths
 696  * to obtain a local peer -> destination path and interning the peer ids.
 697  *
 698  * @return Newly allocated and created path
 699  */
 700 static struct MeshPeerPath *
 701 path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
 702                      unsigned int get_path_length,
 703                      const struct GNUNET_PeerIdentity *put_path,
 704                      unsigned int put_path_length);
 705
 706
 707 /**
 708  * Adds a path to the peer_infos of all the peers in the path
 709  *
 710  * @param p Path to process.
 711  * @param confirmed Whether we know if the path works or not.
 712  */
 713 static void
 714 path_add_to_peers (struct MeshPeerPath *p, int confirmed);
 715
 716
 717
 718 /**
 719  * Search for a tunnel by global ID using full PeerIdentities.
 720  *
 721  * @param oid owner of the tunnel.
 722  * @param tid global tunnel number.
 723  *
 724  * @return tunnel handler, NULL if doesn't exist.
 725  */
 726 static struct MeshTunnel *
 727 tunnel_get (const struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid);
 728
 729
 730 /**
 731  * Notify a tunnel that a connection has broken that affects at least
 732  * some of its peers.
 733  *
 734  * @param t Tunnel affected.
 735  * @param p1 Peer that got disconnected from p2.
 736  * @param p2 Peer that got disconnected from p1.
 737  *
 738  * @return Short ID of the peer disconnected (either p1 or p2).
 739  *         0 if the tunnel remained unaffected.
 740  */
 741 static GNUNET_PEER_Id
 742 tunnel_notify_connection_broken (struct MeshTunnel *t, GNUNET_PEER_Id p1,
 743                                  GNUNET_PEER_Id p2);
 744
 745
 746 /**
 747  * @brief Use the given path for the tunnel.
 748  * Update the next and prev hops (and RCs).
 749  * (Re)start the path refresh in case the tunnel is locally owned.
 750  *
 751  * @param t Tunnel to update.
 752  * @param p Path to use.
 753  */
 754 static void
 755 tunnel_use_path (struct MeshTunnel *t, struct MeshPeerPath *p);
 756
 757 /**
 758  * @brief Queue and pass message to core when possible.
 759  *
 760  * If type is payload (UNICAST, TO_ORIGIN, MULTICAST) checks for queue status
 761  * and accounts for it. In case the queue is full, the message is dropped and
 762  * a break issued.
 763  *
 764  * Otherwise, message is treated as internal and allowed to go regardless of
 765  * queue status.
 766  *
 767  * @param cls Closure (@c type dependant). It will be used by queue_send to
 768  *            build the message to be sent if not already prebuilt.
 769  * @param type Type of the message, 0 for a raw message.
 770  * @param size Size of the message.
 771  * @param dst Neighbor to send message to.
 772  * @param t Tunnel this message belongs to.
 773  */
 774 static void
 775 queue_add (void *cls, uint16_t type, size_t size,
 776            struct MeshPeerInfo *dst, struct MeshTunnel *t);
 777
 778
 779 /**
 780  * Free a transmission that was already queued with all resources
 781  * associated to the request.
 782  *
 783  * @param queue Queue handler to cancel.
 784  * @param clear_cls Is it necessary to free associated cls?
 785  */
 786 static void
 787 queue_destroy (struct MeshPeerQueue *queue, int clear_cls);
 788
 789
 790 /**
 791  * @brief Get the next transmittable message from the queue.
 792  *
 793  * This will be the head, except in the case of being a data packet
 794  * not allowed by the destination peer.
 795  *
 796  * @param peer Destination peer.
 797  *
 798  * @return The next viable MeshPeerQueue element to send to that peer.
 799  *         NULL when there are no transmittable messages.
 800  */
 801 struct MeshPeerQueue *
 802 queue_get_next (const struct MeshPeerInfo *peer);
 803
 804
 805 /**
 806  * Core callback to write a queued packet to core buffer
 807  *
 808  * @param cls Closure (peer info).
 809  * @param size Number of bytes available in buf.
 810  * @param buf Where the to write the message.
 811  *
 812  * @return number of bytes written to buf
 813  */
 814 static size_t
 815 queue_send (void *cls, size_t size, void *buf);
 816
 817
 818 /******************************************************************************/
 819 /************************    PERIODIC FUNCTIONS    ****************************/
 820 /******************************************************************************/
 821
 822 /**
 823  * Periodically announce self id in the DHT
 824  *
 825  * @param cls closure
 826  * @param tc task context
 827  */
 828 static void
 829 announce_id (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 830 {
 831   struct PBlock block;
 832
 833   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
 834   {
 835     announce_id_task = GNUNET_SCHEDULER_NO_TASK;
 836     return;
 837   }
 838   /* TODO
 839    * - Set data expiration in function of X
 840    * - Adapt X to churn
 841    */
 842   DEBUG_DHT ("DHT_put for ID %s started.\n", GNUNET_i2s (&my_full_id));
 843
 844   block.id = my_full_id;
 845   block.type = htonl (0);
 846   GNUNET_DHT_put (dht_handle,   /* DHT handle */
 847                   &my_full_id.hashPubKey,       /* Key to use */
 848                   dht_replication_level,     /* Replication level */
 849                   GNUNET_DHT_RO_RECORD_ROUTE | GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,    /* DHT options */
 850                   GNUNET_BLOCK_TYPE_MESH_PEER,       /* Block type */
 851                   sizeof (block),  /* Size of the data */
 852                   (const char *) &block, /* Data itself */
 853                   GNUNET_TIME_UNIT_FOREVER_ABS,  /* Data expiration */
 854                   GNUNET_TIME_UNIT_FOREVER_REL, /* Retry time */
 855                   NULL,         /* Continuation */
 856                   NULL);        /* Continuation closure */
 857   announce_id_task =
 858       GNUNET_SCHEDULER_add_delayed (id_announce_time, &announce_id, cls);
 859 }
 860
 861
 862 /******************************************************************************/
 863 /******************      GENERAL HELPER FUNCTIONS      ************************/
 864 /******************************************************************************/
 865
 866
 867 /**
 868  * Check if client has registered with the service and has not disconnected
 869  *
 870  * @param client the client to check
 871  *
 872  * @return non-NULL if client exists in the global DLL
 873  */
 874 static struct MeshClient *
 875 client_get (struct GNUNET_SERVER_Client *client)
 876 {
 877   struct MeshClient *c;
 878
 879   c = clients_head;
 880   while (NULL != c)
 881   {
 882     if (c->handle == client)
 883       return c;
 884     c = c->next;
 885   }
 886   return NULL;
 887 }
 888
 889
 890 /**
 891  * Deletes a tunnel from a client (either owner or destination). To be used on
 892  * tunnel destroy.
 893  *
 894  * @param c Client whose tunnel to delete.
 895  * @param t Tunnel which should be deleted.
 896  */
 897 static void
 898 client_delete_tunnel (struct MeshClient *c, struct MeshTunnel *t)
 899 {
 900   struct GNUNET_HashCode hash;
 901
 902   if (c == t->owner)
 903   {
 904     GMC_hash32 (t->local_tid, &hash);
 905     GNUNET_assert (GNUNET_YES ==
 906                    GNUNET_CONTAINER_multihashmap_remove (c->own_tunnels,
 907                                                          &hash,
 908                                                          t));
 909   }
 910   else if (c == t->client)
 911   {
 912     GMC_hash32 (t->local_tid_dest, &hash);
 913     GNUNET_assert (GNUNET_YES ==
 914                    GNUNET_CONTAINER_multihashmap_remove (c->incoming_tunnels,
 915                                                          &hash,
 916                                                          t));
 917   }
 918   else
 919   {
 920     GNUNET_break (0);
 921   }
 922 }
 923
 924 /**
 925  * Notify the appropiate client that a new incoming tunnel was created.
 926  *
 927  * @param t Tunnel that was created.
 928  */
 929 static void
 930 send_client_tunnel_create (struct MeshTunnel *t)
 931 {
 932   struct GNUNET_MESH_TunnelMessage msg;
 933
 934   if (NULL == t->client)
 935     return;
 936   msg.header.size = htons (sizeof (msg));
 937   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
 938   msg.tunnel_id = htonl (t->local_tid_dest);
 939   msg.port = htonl (t->port);
 940   GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
 941                                               &msg.header, GNUNET_NO);
 942 }
 943
 944
 945 /**
 946  * Notify dest client that the incoming tunnel is no longer valid.
 947  *
 948  * @param t Tunnel that was destroyed.
 949  */
 950 static void
 951 send_client_tunnel_destroy (struct MeshTunnel *t)
 952 {
 953   struct GNUNET_MESH_TunnelMessage msg;
 954
 955   if (NULL == t->client)
 956     return;
 957   msg.header.size = htons (sizeof (msg));
 958   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY);
 959   msg.tunnel_id = htonl (t->local_tid_dest);
 960   GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
 961                                               &msg.header, GNUNET_NO);
 962 }
 963
 964
 965 /**
 966  * Iterator over all the peers to remove the oldest not-used entry.
 967  *
 968  * @param cls Closure (unsued).
 969  * @param key ID of the peer.
 970  * @param value Peer_Info of the peer.
 971  *
 972  * FIXME implement
 973  */
 974 static int
 975 peer_info_timeout (void *cls,
 976                    const struct GNUNET_HashCode *key,
 977                    void *value)
 978 {
 979   return GNUNET_YES;
 980 }
 981
 982 /**
 983  * Retrieve the MeshPeerInfo stucture associated with the peer, create one
 984  * and insert it in the appropiate structures if the peer is not known yet.
 985  *
 986  * @param peer Full identity of the peer.
 987  *
 988  * @return Existing or newly created peer info.
 989  */
 990 static struct MeshPeerInfo *
 991 peer_get (const struct GNUNET_PeerIdentity *peer)
 992 {
 993   struct MeshPeerInfo *peer_info;
 994
 995   peer_info = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
 996   if (NULL == peer_info)
 997   {
 998     peer_info =
 999         (struct MeshPeerInfo *) GNUNET_malloc (sizeof (struct MeshPeerInfo));
1000     if (GNUNET_CONTAINER_multihashmap_size (peers) > max_peers)
1001     {
1002       GNUNET_CONTAINER_multihashmap_iterate (peers,
1003                                              &peer_info_timeout,
1004                                              NULL);
1005     }
1006     GNUNET_CONTAINER_multihashmap_put (peers, &peer->hashPubKey, peer_info,
1007                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
1008     peer_info->id = GNUNET_PEER_intern (peer);
1009   }
1010   peer_info->last_contact = GNUNET_TIME_absolute_get();
1011
1012   return peer_info;
1013 }
1014
1015
1016 /**
1017  * Retrieve the MeshPeerInfo stucture associated with the peer, create one
1018  * and insert it in the appropiate structures if the peer is not known yet.
1019  *
1020  * @param peer Short identity of the peer.
1021  *
1022  * @return Existing or newly created peer info.
1023  */
1024 static struct MeshPeerInfo *
1025 peer_get_short (const GNUNET_PEER_Id peer)
1026 {
1027   struct GNUNET_PeerIdentity id;
1028
1029   GNUNET_PEER_resolve (peer, &id);
1030   return peer_get (&id);
1031 }
1032
1033
1034 /**
1035  * Choose the best path towards a peer considering the tunnel properties.
1036  *
1037  * @param peer The destination peer.
1038  * @param t The tunnel the path is for.
1039  *
1040  * @return Best current known path towards the peer, if any.
1041  */
1042 static struct MeshPeerPath *
1043 peer_get_best_path (const struct MeshPeerInfo *peer, const struct MeshTunnel *t)
1044 {
1045   struct MeshPeerPath *best_p;
1046   struct MeshPeerPath *p;
1047   unsigned int best_cost;
1048   unsigned int cost;
1049
1050   best_p = p = peer->path_head;
1051   best_cost = cost = p->length;
1052   while (NULL != p)
1053   {
1054     if ((cost = p->length) < best_cost)
1055     {
1056       best_cost = cost;
1057       best_p = p;
1058     }
1059         p = p->next;
1060   }
1061   return best_p;
1062 }
1063
1064
1065 /**
1066  * Remove the tunnel from the list of tunnels to which a peer is target.
1067  *
1068  * @param peer PeerInfo of the peer.
1069  * @param t Tunnel to remove.
1070  */
1071 static void
1072 peer_remove_tunnel (struct MeshPeerInfo *peer, struct MeshTunnel *t)
1073 {
1074   unsigned int i;
1075
1076   for (i = 0; i < peer->ntunnels; i++)
1077   {
1078     if (0 ==
1079         memcmp (&peer->tunnels[i]->id, &t->id, sizeof (struct MESH_TunnelID)))
1080     {
1081       peer->ntunnels--;
1082       peer->tunnels[i] = peer->tunnels[peer->ntunnels];
1083       peer->tunnels =
1084         GNUNET_realloc (peer->tunnels,
1085                         peer->ntunnels * sizeof(struct MeshTunnel *));
1086       return;
1087     }
1088   }
1089 }
1090
1091
1092 /**
1093   * Core callback to write a pre-constructed data packet to core buffer
1094   *
1095   * @param cls Closure (MeshTransmissionDescriptor with data in "data" member).
1096   * @param size Number of bytes available in buf.
1097   * @param buf Where the to write the message.
1098   *
1099   * @return number of bytes written to buf
1100   */
1101 static size_t
1102 send_core_data_raw (void *cls, size_t size, void *buf)
1103 {
1104   struct GNUNET_MessageHeader *msg = cls;
1105   size_t total_size;
1106
1107   GNUNET_assert (NULL != msg);
1108   total_size = ntohs (msg->size);
1109
1110   if (total_size > size)
1111   {
1112     GNUNET_break (0);
1113     return 0;
1114   }
1115   memcpy (buf, msg, total_size);
1116   GNUNET_free (cls);
1117   return total_size;
1118 }
1119
1120
1121 /**
1122  * Sends an already built message to a peer, properly registrating
1123  * all used resources.
1124  *
1125  * @param message Message to send. Function makes a copy of it.
1126  * @param peer Short ID of the neighbor whom to send the message.
1127  * @param t Tunnel on which this message is transmitted.
1128  */
1129 static void
1130 send_prebuilt_message (const struct GNUNET_MessageHeader *message,
1131                        GNUNET_PEER_Id peer,
1132                        struct MeshTunnel *t)
1133 {
1134   struct GNUNET_PeerIdentity id;
1135   struct MeshPeerInfo *neighbor;
1136   struct MeshPeerPath *p;
1137   void *data;
1138   size_t size;
1139   uint16_t type;
1140
1141 //   GNUNET_TRANSPORT_try_connect(); FIXME use?
1142
1143   if (0 == peer)
1144     return;
1145
1146   size = ntohs (message->size);
1147   data = GNUNET_malloc (size);
1148   memcpy (data, message, size);
1149   type = ntohs(message->type);
1150   switch (type)
1151   {
1152     struct GNUNET_MESH_Unicast *u;
1153
1154     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
1155       u = (struct GNUNET_MESH_Unicast *) data;
1156       u->ttl = htonl (ntohl (u->ttl) - 1);
1157       break;
1158   }
1159   GNUNET_PEER_resolve (peer, &id);
1160   neighbor = peer_get (&id);
1161   for (p = neighbor->path_head; NULL != p; p = p->next)
1162   {
1163     if (2 >= p->length)
1164     {
1165       break;
1166     }
1167   }
1168   if (NULL == p)
1169   {
1170 #if MESH_DEBUG
1171     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1172                 "  %s IS NOT DIRECTLY CONNECTED\n",
1173                 GNUNET_i2s(&id));
1174     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1175                 "  PATHS TO %s:\n",
1176                 GNUNET_i2s(&id));
1177     for (p = neighbor->path_head; NULL != p; p = p->next)
1178     {
1179       struct GNUNET_PeerIdentity debug_id;
1180       unsigned int i;
1181
1182       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1183                   "    path with %u hops through:\n",
1184                   p->length);
1185       for (i = 0; i < p->length; i++)
1186       {
1187         GNUNET_PEER_resolve(p->peers[i], &debug_id);
1188         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1189                     "      hop %u: %s\n",
1190                     i, GNUNET_i2s(&debug_id));
1191       }
1192     }
1193 #endif
1194     GNUNET_break (0); // FIXME sometimes fails (testing disconnect?)
1195     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
1196                     " no direct connection to %s\n",
1197                     GNUNET_i2s (&id));
1198     GNUNET_free (data);
1199     return;
1200   }
1201   if (GNUNET_MESSAGE_TYPE_MESH_PATH_ACK == type)
1202     type = 0;
1203   queue_add (data,
1204              type,
1205              size,
1206              neighbor,
1207              t);
1208 }
1209
1210
1211 /**
1212  * Sends a CREATE PATH message for a path to a peer, properly registrating
1213  * all used resources.
1214  *
1215  * @param t Tunnel for which the path is created.
1216  */
1217 static void
1218 send_create_path (struct MeshTunnel *t)
1219 {
1220   struct MeshPeerInfo *neighbor;
1221
1222   neighbor = peer_get_short (t->next_hop);
1223   queue_add (t,
1224              GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE,
1225              sizeof (struct GNUNET_MESH_CreateTunnel) +
1226                 (t->path->length * sizeof (struct GNUNET_PeerIdentity)),
1227              neighbor,
1228              t);
1229   t->state = MESH_TUNNEL_WAITING;
1230 }
1231
1232
1233 /**
1234  * Sends a PATH ACK message in reponse to a received PATH_CREATE directed to us.
1235  *
1236  * @param t Tunnel which to confirm.
1237  */
1238 static void
1239 send_path_ack (struct MeshTunnel *t)
1240 {
1241   struct MeshPeerInfo *peer;
1242
1243   peer = peer_get_short (t->prev_hop);
1244
1245   queue_add (t,
1246              GNUNET_MESSAGE_TYPE_MESH_PATH_ACK,
1247              sizeof (struct GNUNET_MESH_PathACK),
1248              peer,
1249              t);
1250 }
1251
1252
1253 /**
1254  * Try to establish a new connection to this peer in the given tunnel.
1255  * If the peer doesn't have any path to it yet, try to get one.
1256  * If the peer already has some path, send a CREATE PATH towards it.
1257  *
1258  * @param peer PeerInfo of the peer.
1259  * @param t Tunnel for which to create the path, if possible.
1260  */
1261 static void
1262 peer_connect (struct MeshPeerInfo *peer, struct MeshTunnel *t)
1263 {
1264   struct MeshPeerPath *p;
1265
1266   if (NULL != peer->path_head)
1267   {
1268     p = peer_get_best_path (peer, t);
1269     tunnel_use_path (t, p);
1270     send_create_path (t);
1271   }
1272   else if (NULL == peer->dhtget)
1273   {
1274     struct GNUNET_PeerIdentity id;
1275
1276     GNUNET_PEER_resolve (peer->id, &id);
1277     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1278                 "  Starting DHT GET for peer %s\n", GNUNET_i2s (&id));
1279     peer->dhtget = GNUNET_DHT_get_start (dht_handle,    /* handle */
1280                                          GNUNET_BLOCK_TYPE_MESH_PEER, /* type */
1281                                          &id.hashPubKey,     /* key to search */
1282                                          dht_replication_level, /* replication level */
1283                                          GNUNET_DHT_RO_RECORD_ROUTE |
1284                                          GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,
1285                                          NULL,       /* xquery */
1286                                          0,     /* xquery bits */
1287                                          &dht_get_id_handler, peer);
1288     t->state = MESH_TUNNEL_SEARCHING;
1289   }
1290   /* Otherwise, there is no path but the DHT get is already started. */
1291 }
1292
1293
1294 /**
1295  * Destroy the peer_info and free any allocated resources linked to it
1296  *
1297  * @param pi The peer_info to destroy.
1298  *
1299  * @return GNUNET_OK on success
1300  */
1301 static int
1302 peer_info_destroy (struct MeshPeerInfo *pi)
1303 {
1304   struct GNUNET_PeerIdentity id;
1305   struct MeshPeerPath *p;
1306   struct MeshPeerPath *nextp;
1307
1308   GNUNET_PEER_resolve (pi->id, &id);
1309   GNUNET_PEER_change_rc (pi->id, -1);
1310
1311   if (GNUNET_YES !=
1312       GNUNET_CONTAINER_multihashmap_remove (peers, &id.hashPubKey, pi))
1313   {
1314     GNUNET_break (0);
1315     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
1316                 "removing peer %s, not in hashmap\n", GNUNET_i2s (&id));
1317   }
1318   if (NULL != pi->dhtget)
1319   {
1320     GNUNET_DHT_get_stop (pi->dhtget);
1321   }
1322   p = pi->path_head;
1323   while (NULL != p)
1324   {
1325     nextp = p->next;
1326     GNUNET_CONTAINER_DLL_remove (pi->path_head, pi->path_tail, p);
1327     path_destroy (p);
1328     p = nextp;
1329   }
1330   GNUNET_free (pi);
1331   return GNUNET_OK;
1332 }
1333
1334
1335 /**
1336  * Remove all paths that rely on a direct connection between p1 and p2
1337  * from the peer itself and notify all tunnels about it.
1338  *
1339  * @param peer PeerInfo of affected peer.
1340  * @param p1 GNUNET_PEER_Id of one peer.
1341  * @param p2 GNUNET_PEER_Id of another peer that was connected to the first and
1342  *           no longer is.
1343  *
1344  * TODO: optimize (see below)
1345  */
1346 static void
1347 peer_remove_path (struct MeshPeerInfo *peer, GNUNET_PEER_Id p1,
1348                        GNUNET_PEER_Id p2)
1349 {
1350   struct MeshPeerPath *p;
1351   struct MeshPeerPath *next;
1352   struct MeshPeerInfo *peer_d;
1353   GNUNET_PEER_Id d;
1354   unsigned int destroyed;
1355   unsigned int i;
1356
1357   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "peer_info_remove_path\n");
1358   destroyed = 0;
1359   for (p = peer->path_head; NULL != p; p = next)
1360   {
1361     next = p->next;
1362     for (i = 0; i < (p->length - 1); i++)
1363     {
1364       if ((p->peers[i] == p1 && p->peers[i + 1] == p2) ||
1365           (p->peers[i] == p2 && p->peers[i + 1] == p1))
1366       {
1367         GNUNET_CONTAINER_DLL_remove (peer->path_head, peer->path_tail, p);
1368         path_destroy (p);
1369         destroyed++;
1370         break;
1371       }
1372     }
1373   }
1374   if (0 == destroyed)
1375     return;
1376
1377   for (i = 0; i < peer->ntunnels; i++)
1378   {
1379     d = tunnel_notify_connection_broken (peer->tunnels[i], p1, p2);
1380     if (0 == d)
1381       continue;
1382
1383     peer_d = peer_get_short (d);
1384     next = peer_get_best_path (peer_d, peer->tunnels[i]);
1385     tunnel_use_path (peer->tunnels[i], next);
1386     peer_connect (peer_d, peer->tunnels[i]);
1387   }
1388   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "peer_info_remove_path END\n");
1389 }
1390
1391
1392 /**
1393  * Add the path to the peer and update the path used to reach it in case this
1394  * is the shortest.
1395  *
1396  * @param peer_info Destination peer to add the path to.
1397  * @param path New path to add. Last peer must be the peer in arg 1.
1398  *             Path will be either used of freed if already known.
1399  * @param trusted Do we trust that this path is real?
1400  */
1401 void
1402 peer_info_add_path (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path,
1403                     int trusted)
1404 {
1405   struct MeshPeerPath *aux;
1406   unsigned int l;
1407   unsigned int l2;
1408
1409   if ((NULL == peer_info) || (NULL == path))
1410   {
1411     GNUNET_break (0);
1412     path_destroy (path);
1413     return;
1414   }
1415   if (path->peers[path->length - 1] != peer_info->id)
1416   {
1417     GNUNET_break (0);
1418     path_destroy (path);
1419     return;
1420   }
1421   if (path->length <= 2 && GNUNET_NO == trusted)
1422   {
1423     /* Only allow CORE to tell us about direct paths */
1424     path_destroy (path);
1425     return;
1426   }
1427   for (l = 1; l < path->length; l++)
1428   {
1429     if (path->peers[l] == myid)
1430     {
1431       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "shortening path by %u\n", l);
1432       for (l2 = 0; l2 < path->length - l; l2++)
1433       {
1434         path->peers[l2] = path->peers[l + l2];
1435       }
1436       path->length -= l;
1437       l = 1;
1438       path->peers =
1439           GNUNET_realloc (path->peers, path->length * sizeof (GNUNET_PEER_Id));
1440     }
1441   }
1442 #if MESH_DEBUG
1443   {
1444     struct GNUNET_PeerIdentity id;
1445
1446     GNUNET_PEER_resolve (peer_info->id, &id);
1447     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "adding path [%u] to peer %s\n",
1448                 path->length, GNUNET_i2s (&id));
1449   }
1450 #endif
1451   l = path_get_length (path);
1452   if (0 == l)
1453   {
1454     GNUNET_free (path);
1455     return;
1456   }
1457
1458   GNUNET_assert (peer_info->id == path->peers[path->length - 1]);
1459   for (aux = peer_info->path_head; aux != NULL; aux = aux->next)
1460   {
1461     l2 = path_get_length (aux);
1462     if (l2 > l)
1463     {
1464       GNUNET_CONTAINER_DLL_insert_before (peer_info->path_head,
1465                                           peer_info->path_tail, aux, path);
1466       return;
1467     }
1468     else
1469     {
1470       if (l2 == l && memcmp (path->peers, aux->peers, l) == 0)
1471       {
1472         path_destroy (path);
1473         return;
1474       }
1475     }
1476   }
1477   GNUNET_CONTAINER_DLL_insert_tail (peer_info->path_head, peer_info->path_tail,
1478                                     path);
1479   return;
1480 }
1481
1482
1483 /**
1484  * Add the path to the origin peer and update the path used to reach it in case
1485  * this is the shortest.
1486  * The path is given in peer_info -> destination, therefore we turn the path
1487  * upside down first.
1488  *
1489  * @param peer_info Peer to add the path to, being the origin of the path.
1490  * @param path New path to add after being inversed.
1491  *             Path will be either used or freed.
1492  * @param trusted Do we trust that this path is real?
1493  */
1494 static void
1495 peer_info_add_path_to_origin (struct MeshPeerInfo *peer_info,
1496                               struct MeshPeerPath *path, int trusted)
1497 {
1498   path_invert (path);
1499   peer_info_add_path (peer_info, path, trusted);
1500 }
1501
1502
1503 /**
1504  * Function called if the connection to the peer has been stalled for a while,
1505  * possibly due to a missed ACK. Poll the peer about its ACK status.
1506  *
1507  * @param cls Closure (poll ctx).
1508  * @param tc TaskContext.
1509  */
1510 static void
1511 tunnel_poll (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1512 {
1513   struct MeshFlowControl *fc = cls;
1514   struct GNUNET_MESH_Poll msg;
1515   struct MeshTunnel *t = fc->t;
1516   GNUNET_PEER_Id peer;
1517
1518   fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
1519   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
1520   {
1521     return;
1522   }
1523
1524   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_POLL);
1525   msg.header.size = htons (sizeof (msg));
1526   msg.tid = htonl (t->id.tid);
1527   GNUNET_PEER_resolve (t->id.oid, &msg.oid);
1528
1529   if (fc == &t->prev_fc)
1530   {
1531     peer = t->prev_hop;
1532   }
1533   else if (fc == &t->next_fc)
1534   {
1535     peer = t->next_hop;
1536   }
1537   else
1538   {
1539     GNUNET_break (0);
1540     return;
1541   }
1542   send_prebuilt_message (&msg.header, peer, t);
1543   fc->poll_time = GNUNET_TIME_STD_BACKOFF (fc->poll_time);
1544   fc->poll_task = GNUNET_SCHEDULER_add_delayed (fc->poll_time,
1545                                                 &tunnel_poll, fc);
1546 }
1547
1548
1549 /**
1550  * Build a PeerPath from the paths returned from the DHT, reversing the paths
1551  * to obtain a local peer -> destination path and interning the peer ids.
1552  *
1553  * @return Newly allocated and created path
1554  */
1555 static struct MeshPeerPath *
1556 path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
1557                      unsigned int get_path_length,
1558                      const struct GNUNET_PeerIdentity *put_path,
1559                      unsigned int put_path_length)
1560 {
1561   struct MeshPeerPath *p;
1562   GNUNET_PEER_Id id;
1563   int i;
1564
1565   p = path_new (1);
1566   p->peers[0] = myid;
1567   GNUNET_PEER_change_rc (myid, 1);
1568   i = get_path_length;
1569   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   GET has %d hops.\n", i);
1570   for (i--; i >= 0; i--)
1571   {
1572     id = GNUNET_PEER_intern (&get_path[i]);
1573     if (p->length > 0 && id == p->peers[p->length - 1])
1574     {
1575       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Optimizing 1 hop out.\n");
1576       GNUNET_PEER_change_rc (id, -1);
1577     }
1578     else
1579     {
1580       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Adding from GET: %s.\n",
1581                   GNUNET_i2s (&get_path[i]));
1582       p->length++;
1583       p->peers = GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * p->length);
1584       p->peers[p->length - 1] = id;
1585     }
1586   }
1587   i = put_path_length;
1588   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   PUT has %d hops.\n", i);
1589   for (i--; i >= 0; i--)
1590   {
1591     id = GNUNET_PEER_intern (&put_path[i]);
1592     if (id == myid)
1593     {
1594       /* PUT path went through us, so discard the path up until now and start
1595        * from here to get a much shorter (and loop-free) path.
1596        */
1597       path_destroy (p);
1598       p = path_new (0);
1599     }
1600     if (p->length > 0 && id == p->peers[p->length - 1])
1601     {
1602       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Optimizing 1 hop out.\n");
1603       GNUNET_PEER_change_rc (id, -1);
1604     }
1605     else
1606     {
1607       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Adding from PUT: %s.\n",
1608                   GNUNET_i2s (&put_path[i]));
1609       p->length++;
1610       p->peers = GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * p->length);
1611       p->peers[p->length - 1] = id;
1612     }
1613   }
1614 #if MESH_DEBUG
1615   if (get_path_length > 0)
1616     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   (first of GET: %s)\n",
1617                 GNUNET_i2s (&get_path[0]));
1618   if (put_path_length > 0)
1619     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   (first of PUT: %s)\n",
1620                 GNUNET_i2s (&put_path[0]));
1621   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   In total: %d hops\n",
1622               p->length);
1623   for (i = 0; i < p->length; i++)
1624   {
1625     struct GNUNET_PeerIdentity peer_id;
1626
1627     GNUNET_PEER_resolve (p->peers[i], &peer_id);
1628     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "       %u: %s\n", p->peers[i],
1629                 GNUNET_i2s (&peer_id));
1630   }
1631 #endif
1632   return p;
1633 }
1634
1635
1636 /**
1637  * Adds a path to the peer_infos of all the peers in the path
1638  *
1639  * @param p Path to process.
1640  * @param confirmed Whether we know if the path works or not.
1641  */
1642 static void
1643 path_add_to_peers (struct MeshPeerPath *p, int confirmed)
1644 {
1645   unsigned int i;
1646
1647   /* TODO: invert and add */
1648   for (i = 0; i < p->length && p->peers[i] != myid; i++) /* skip'em */ ;
1649   for (i++; i < p->length; i++)
1650   {
1651     struct MeshPeerInfo *aux;
1652     struct MeshPeerPath *copy;
1653
1654     aux = peer_get_short (p->peers[i]);
1655     copy = path_duplicate (p);
1656     copy->length = i + 1;
1657     peer_info_add_path (aux, copy, p->length < 3 ? GNUNET_NO : confirmed);
1658   }
1659 }
1660
1661
1662 /**
1663  * Send keepalive packets for a peer
1664  *
1665  * @param cls Closure (tunnel for which to send the keepalive).
1666  * @param tc Notification context.
1667  */
1668 static void
1669 path_refresh (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
1670
1671
1672 /**
1673  * Search for a tunnel among the incoming tunnels
1674  *
1675  * @param tid the local id of the tunnel
1676  *
1677  * @return tunnel handler, NULL if doesn't exist
1678  */
1679 static struct MeshTunnel *
1680 tunnel_get_incoming (MESH_TunnelNumber tid)
1681 {
1682   struct GNUNET_HashCode hash;
1683
1684   GNUNET_assert (tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV);
1685   GMC_hash32 (tid, &hash);
1686   return GNUNET_CONTAINER_multihashmap_get (incoming_tunnels, &hash);
1687 }
1688
1689
1690 /**
1691  * Search for a tunnel among the tunnels for a client
1692  *
1693  * @param c the client whose tunnels to search in
1694  * @param tid the local id of the tunnel
1695  *
1696  * @return tunnel handler, NULL if doesn't exist
1697  */
1698 static struct MeshTunnel *
1699 tunnel_get_by_local_id (struct MeshClient *c, MESH_TunnelNumber tid)
1700 {
1701   if (tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
1702   {
1703     return tunnel_get_incoming (tid);
1704   }
1705   else
1706   {
1707     struct GNUNET_HashCode hash;
1708
1709     GMC_hash32 (tid, &hash);
1710     return GNUNET_CONTAINER_multihashmap_get (c->own_tunnels, &hash);
1711   }
1712 }
1713
1714
1715 /**
1716  * Search for a tunnel by global ID using PEER_ID
1717  *
1718  * @param pi owner of the tunnel
1719  * @param tid global tunnel number
1720  *
1721  * @return tunnel handler, NULL if doesn't exist
1722  */
1723 static struct MeshTunnel *
1724 tunnel_get_by_pi (GNUNET_PEER_Id pi, MESH_TunnelNumber tid)
1725 {
1726   struct MESH_TunnelID id;
1727   struct GNUNET_HashCode hash;
1728
1729   id.oid = pi;
1730   id.tid = tid;
1731
1732   GNUNET_CRYPTO_hash (&id, sizeof (struct MESH_TunnelID), &hash);
1733   return GNUNET_CONTAINER_multihashmap_get (tunnels, &hash);
1734 }
1735
1736
1737 /**
1738  * Search for a tunnel by global ID using full PeerIdentities
1739  *
1740  * @param oid owner of the tunnel
1741  * @param tid global tunnel number
1742  *
1743  * @return tunnel handler, NULL if doesn't exist
1744  */
1745 static struct MeshTunnel *
1746 tunnel_get (const struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid)
1747 {
1748   return tunnel_get_by_pi (GNUNET_PEER_search (oid), tid);
1749 }
1750
1751
1752 /**
1753  * Add a client to a tunnel, initializing all needed data structures.
1754  *
1755  * FIXME: make static after implementing port numbers
1756  *
1757  * @param t Tunnel to which add the client.
1758  * @param c Client which to add to the tunnel.
1759  */
1760 void
1761 tunnel_add_client (struct MeshTunnel *t, struct MeshClient *c)
1762 {
1763   if (NULL != t->client)
1764   {
1765     GNUNET_break(0);
1766     return;
1767   }
1768   if (0 != t->next_hop)
1769   {
1770     GNUNET_break(0);
1771     return;
1772   }
1773   t->client = c;
1774 }
1775
1776
1777 static void
1778 tunnel_use_path (struct MeshTunnel *t, struct MeshPeerPath *p)
1779 {
1780   unsigned int own_pos;
1781
1782   for (own_pos = 0; own_pos < p->length; own_pos++)
1783   {
1784     if (p->peers[own_pos] == myid)
1785       break;
1786   }
1787   if (own_pos > p->length - 1)
1788   {
1789     GNUNET_break (0);
1790     return;
1791   }
1792
1793   if (own_pos < p->length - 1)
1794     t->next_hop = p->peers[own_pos + 1];
1795   else
1796     t->next_hop = p->peers[own_pos];
1797   GNUNET_PEER_change_rc (t->next_hop, 1);
1798   if (0 < own_pos)
1799     t->prev_hop = p->peers[own_pos - 1];
1800   else
1801     t->prev_hop = p->peers[0];
1802   GNUNET_PEER_change_rc (t->prev_hop, 1);
1803
1804   if (NULL != t->path)
1805     path_destroy (t->path);
1806   t->path = path_duplicate (p);
1807   if (0 == own_pos)
1808   {
1809     if (GNUNET_SCHEDULER_NO_TASK != t->maintenance_task)
1810       GNUNET_SCHEDULER_cancel (t->maintenance_task);
1811     t->maintenance_task = GNUNET_SCHEDULER_add_delayed (refresh_path_time,
1812                                                         &path_refresh, t);
1813   }
1814 }
1815
1816
1817 /**
1818  * Notifies a tunnel that a connection has broken that affects at least
1819  * some of its peers. Sends a notification towards the root of the tree.
1820  * In case the peer is the owner of the tree, notifies the client that owns
1821  * the tunnel and tries to reconnect.
1822  *
1823  * @param t Tunnel affected.
1824  * @param p1 Peer that got disconnected from p2.
1825  * @param p2 Peer that got disconnected from p1.
1826  *
1827  * @return Short ID of the peer disconnected (either p1 or p2).
1828  *         0 if the tunnel remained unaffected.
1829  */
1830 static GNUNET_PEER_Id
1831 tunnel_notify_connection_broken (struct MeshTunnel *t, GNUNET_PEER_Id p1,
1832                                  GNUNET_PEER_Id p2)
1833 {
1834 //   if (myid != p1 && myid != p2) FIXME
1835 //   {
1836 //     return;
1837 //   }
1838 //
1839 //   if (tree_get_predecessor (t->tree) != 0)
1840 //   {
1841 //     /* We are the peer still connected, notify owner of the disconnection. */
1842 //     struct GNUNET_MESH_PathBroken msg;
1843 //     struct GNUNET_PeerIdentity neighbor;
1844 //
1845 //     msg.header.size = htons (sizeof (msg));
1846 //     msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN);
1847 //     GNUNET_PEER_resolve (t->id.oid, &msg.oid);
1848 //     msg.tid = htonl (t->id.tid);
1849 //     msg.peer1 = my_full_id;
1850 //     GNUNET_PEER_resolve (pid, &msg.peer2);
1851 //     GNUNET_PEER_resolve (tree_get_predecessor (t->tree), &neighbor);
1852 //     send_prebuilt_message (&msg.header, &neighbor, t);
1853 //   }
1854   return 0;
1855 }
1856
1857
1858 /**
1859  * Build a local ACK message and send it to a local client.
1860  *
1861  * @param t Tunnel on which to send the ACK.
1862  * @param c Client to whom send the ACK.
1863  * @param ack Value of the ACK.
1864  */
1865 static void
1866 send_local_ack (struct MeshTunnel *t, struct MeshClient *c, uint32_t ack)
1867 {
1868   struct GNUNET_MESH_LocalAck msg;
1869
1870   msg.header.size = htons (sizeof (msg));
1871   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK);
1872   msg.tunnel_id = htonl (t->owner == c ? t->local_tid : t->local_tid_dest);
1873   msg.max_pid = htonl (ack);
1874   GNUNET_SERVER_notification_context_unicast(nc,
1875                                               c->handle,
1876                                               &msg.header,
1877                                               GNUNET_NO);
1878 }
1879
1880 /**
1881  * Build an ACK message and queue it to send to the given peer.
1882  *
1883  * @param t Tunnel on which to send the ACK.
1884  * @param peer Peer to whom send the ACK.
1885  * @param ack Value of the ACK.
1886  */
1887 static void
1888 send_ack (struct MeshTunnel *t, GNUNET_PEER_Id peer,  uint32_t ack)
1889 {
1890   struct GNUNET_MESH_ACK msg;
1891
1892   GNUNET_PEER_resolve (t->id.oid, &msg.oid);
1893   msg.header.size = htons (sizeof (msg));
1894   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_ACK);
1895   msg.pid = htonl (ack);
1896   msg.tid = htonl (t->id.tid);
1897
1898   send_prebuilt_message (&msg.header, peer, t);
1899 }
1900
1901
1902 /**
1903  * Send an ACK informing the predecessor about the available buffer space.
1904  * In case there is no predecessor, inform the owning client.
1905  * If buffering is off, send only on behalf of children or self if endpoint.
1906  * If buffering is on, send when sent to children and buffer space is free.
1907  * Note that although the name is fwd_ack, the FWD mean forward *traffic*,
1908  * the ACK itself goes "back" (towards root).
1909  *
1910  * @param t Tunnel on which to send the ACK.
1911  * @param type Type of message that triggered the ACK transmission.
1912  */
1913 static void
1914 tunnel_send_fwd_ack (struct MeshTunnel *t, uint16_t type)
1915 {
1916   uint32_t ack;
1917
1918   /* Is it after unicast retransmission? */
1919   switch (type)
1920   {
1921     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
1922       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1923                   "ACK due to FWD DATA retransmission\n");
1924       if (GNUNET_YES == t->nobuffer)
1925       {
1926         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending ACK, nobuffer\n");
1927         return;
1928       }
1929       break;
1930     case GNUNET_MESSAGE_TYPE_MESH_ACK:
1931     case GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK:
1932       break;
1933     case GNUNET_MESSAGE_TYPE_MESH_POLL:
1934       t->force_ack = GNUNET_YES;
1935       break;
1936     default:
1937       GNUNET_break (0);
1938   }
1939
1940   /* Check if we need to transmit the ACK */
1941   if (t->queue_max > t->next_fc.queue_n * 4 &&
1942       GMC_is_pid_bigger(t->prev_fc.last_ack_sent, t->prev_fc.last_pid_recv) &&
1943       GNUNET_NO == t->force_ack)
1944   {
1945     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending ACK, buffer free\n");
1946     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1947                 "  t->qmax: %u, t->qn: %u\n",
1948                 t->queue_max, t->next_fc.queue_n);
1949     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1950                 "  t->pid: %u, t->ack: %u\n",
1951                 t->prev_fc.last_pid_recv, t->prev_fc.last_ack_sent);
1952     return;
1953   }
1954
1955   /* Ok, ACK might be necessary, what PID to ACK? */
1956   ack = t->prev_fc.last_pid_recv + t->queue_max - t->next_fc.queue_n;
1957   if (ack == t->prev_fc.last_ack_sent && GNUNET_NO == t->force_ack)
1958   {
1959     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending FWD ACK, not needed\n");
1960     return;
1961   }
1962
1963   t->prev_fc.last_ack_sent = ack;
1964   if (NULL != t->owner)
1965     send_local_ack (t, t->owner, ack);
1966   else if (0 != t->prev_hop)
1967     send_ack (t, t->prev_hop, ack);
1968   else
1969     GNUNET_break (0);
1970   debug_fwd_ack++;
1971   t->force_ack = GNUNET_NO;
1972 }
1973
1974
1975 /**
1976  * Send an ACK informing the children node/client about the available
1977  * buffer space.
1978  * If buffering is off, send only on behalf of root (can be self).
1979  * If buffering is on, send when sent to predecessor and buffer space is free.
1980  * Note that although the name is bck_ack, the BCK mean backwards *traffic*,
1981  * the ACK itself goes "forward" (towards children/clients).
1982  *
1983  * @param t Tunnel on which to send the ACK.
1984  * @param type Type of message that triggered the ACK transmission.
1985  */
1986 static void
1987 tunnel_send_bck_ack (struct MeshTunnel *t, uint16_t type)
1988 {
1989   uint32_t ack;
1990   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1991               "Sending BCK ACK on tunnel %u [%u] due to %s\n",
1992               t->id.oid, t->id.tid, GNUNET_MESH_DEBUG_M2S(type));
1993   /* Is it after data to_origin retransmission? */
1994   switch (type)
1995   {
1996     case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
1997       if (GNUNET_YES == t->nobuffer)
1998       {
1999         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2000                     "    Not sending ACK, nobuffer + traffic\n");
2001         return;
2002       }
2003       break;
2004     case GNUNET_MESSAGE_TYPE_MESH_ACK:
2005     case GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK:
2006       break;
2007     case GNUNET_MESSAGE_TYPE_MESH_PATH_ACK:
2008     case GNUNET_MESSAGE_TYPE_MESH_POLL:
2009       t->force_ack = GNUNET_YES;
2010       break;
2011     default:
2012       GNUNET_break (0);
2013   }
2014
2015   /* TODO: Check if we need to transmit the ACK (as in fwd) */
2016
2017   ack = t->next_fc.last_pid_recv + t->queue_max - t->prev_fc.queue_n;
2018
2019   if (t->next_fc.last_ack_sent == ack && GNUNET_NO == t->force_ack)
2020   {
2021     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2022                 "    Not sending ACK, not needed\n");
2023     return;
2024   }
2025   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2026               "    Sending BCK ACK %u (last sent: %u)\n",
2027               ack, t->next_fc.last_ack_sent);
2028   t->next_fc.last_ack_sent = ack;
2029
2030   if (NULL != t->client)
2031     send_local_ack (t, t->client, ack);
2032   else if (0 != t->next_hop)
2033     send_ack (t, t->next_hop, ack);
2034   else
2035     GNUNET_break (0);
2036   t->force_ack = GNUNET_NO;
2037 }
2038
2039
2040 /**
2041  * @brief Re-initiate traffic to this peer if necessary.
2042  *
2043  * Check if there is traffic queued towards this peer
2044  * and the core transmit handle is NULL (traffic was stalled).
2045  * If so, call core tmt rdy.
2046  *
2047  * @param peer_id Short ID of peer to which initiate traffic.
2048  */
2049 static void
2050 peer_unlock_queue(GNUNET_PEER_Id peer_id)
2051 {
2052   struct MeshPeerInfo *peer;
2053   struct GNUNET_PeerIdentity id;
2054   struct MeshPeerQueue *q;
2055   size_t size;
2056
2057   peer = peer_get_short (peer_id);
2058   if (NULL != peer->core_transmit)
2059     return;
2060
2061   q = queue_get_next (peer);
2062   if (NULL == q)
2063   {
2064     /* Might br multicast traffic already sent to this particular peer but
2065      * not to other children in this tunnel.
2066      * This way t->queue_n would be > 0 but the queue of this particular peer
2067      * would be empty.
2068      */
2069     return;
2070   }
2071   size = q->size;
2072   GNUNET_PEER_resolve (peer->id, &id);
2073   peer->core_transmit =
2074         GNUNET_CORE_notify_transmit_ready(core_handle,
2075                                           0,
2076                                           0,
2077                                           GNUNET_TIME_UNIT_FOREVER_REL,
2078                                           &id,
2079                                           size,
2080                                           &queue_send,
2081                                           peer);
2082         return;
2083 }
2084
2085
2086 /**
2087  * Send a message to all peers in this tunnel that the tunnel is no longer
2088  * valid.
2089  *
2090  * @param t The tunnel whose peers to notify.
2091  */
2092 static void
2093 tunnel_send_destroy (struct MeshTunnel *t)
2094 {
2095   struct GNUNET_MESH_TunnelDestroy msg;
2096   struct GNUNET_PeerIdentity id;
2097
2098   msg.header.size = htons (sizeof (msg));
2099   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY);
2100   GNUNET_PEER_resolve (t->id.oid, &msg.oid);
2101   msg.tid = htonl (t->id.tid);
2102   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2103               "  sending tunnel destroy for tunnel: %s [%X]\n",
2104               GNUNET_i2s (&msg.oid), t->id.tid);
2105
2106   if (NULL == t->client)
2107   {
2108     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  child: %u\n", t->next_hop);
2109     GNUNET_PEER_resolve (t->next_hop, &id);
2110     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2111                 "  sending forward to %s\n",
2112                 GNUNET_i2s (&id));
2113     send_prebuilt_message (&msg.header, t->next_hop, t);
2114   }
2115   if (NULL == t->owner)
2116   {
2117     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  parent: %u\n", t->prev_hop);
2118     GNUNET_PEER_resolve (t->prev_hop, &id);
2119     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2120                 "  sending back to %s\n",
2121                 GNUNET_i2s (&id));
2122     send_prebuilt_message (&msg.header, t->prev_hop, t);
2123   }
2124 }
2125
2126
2127 /**
2128  * Cancel all transmissions towards a neighbor that belongs to a certain tunnel.
2129  *
2130  * @param t Tunnel which to cancel.
2131  * @param neighbor Short ID of the neighbor to whom cancel the transmissions.
2132  */
2133 static void
2134 peer_cancel_queues (GNUNET_PEER_Id neighbor, struct MeshTunnel *t)
2135 {
2136   struct MeshPeerInfo *peer_info;
2137   struct MeshPeerQueue *pq;
2138   struct MeshPeerQueue *next;
2139
2140   peer_info = peer_get_short (neighbor);
2141   for (pq = peer_info->queue_head; NULL != pq; pq = next)
2142   {
2143     next = pq->next;
2144     if (pq->tunnel == t)
2145     {
2146       if (GNUNET_MESSAGE_TYPE_MESH_UNICAST == pq->type ||
2147           GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN == pq->type)
2148       {
2149         /* Should have been removed on destroy children */
2150         GNUNET_break (0);
2151       }
2152       queue_destroy (pq, GNUNET_YES);
2153     }
2154   }
2155   if (NULL == peer_info->queue_head && NULL != peer_info->core_transmit)
2156   {
2157     GNUNET_CORE_notify_transmit_ready_cancel(peer_info->core_transmit);
2158     peer_info->core_transmit = NULL;
2159   }
2160 }
2161
2162
2163 /**
2164  * Destroy the tunnel and free any allocated resources linked to it.
2165  *
2166  * @param t the tunnel to destroy
2167  *
2168  * @return GNUNET_OK on success
2169  */
2170 static int
2171 tunnel_destroy (struct MeshTunnel *t)
2172 {
2173   struct MeshClient *c;
2174   struct GNUNET_HashCode hash;
2175   int r;
2176
2177   if (NULL == t)
2178     return GNUNET_OK;
2179
2180   r = GNUNET_OK;
2181   c = t->owner;
2182 #if MESH_DEBUG
2183   {
2184     struct GNUNET_PeerIdentity id;
2185
2186     GNUNET_PEER_resolve (t->id.oid, &id);
2187     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "destroying tunnel %s [%x]\n",
2188                 GNUNET_i2s (&id), t->id.tid);
2189     if (NULL != c)
2190       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
2191   }
2192 #endif
2193
2194   GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
2195   if (GNUNET_YES != GNUNET_CONTAINER_multihashmap_remove (tunnels, &hash, t))
2196   {
2197     GNUNET_break (0);
2198     r = GNUNET_SYSERR;
2199   }
2200
2201   if (NULL != c)
2202   {
2203     GMC_hash32 (t->local_tid, &hash);
2204     if (GNUNET_YES !=
2205         GNUNET_CONTAINER_multihashmap_remove (c->own_tunnels, &hash, t))
2206     {
2207       GNUNET_break (0);
2208       r = GNUNET_SYSERR;
2209     }
2210   }
2211
2212   if (NULL != t->client)
2213   {
2214     c = t->client;
2215     GMC_hash32 (t->local_tid_dest, &hash);
2216     if (GNUNET_YES !=
2217           GNUNET_CONTAINER_multihashmap_remove (c->incoming_tunnels, &hash, t))
2218     {
2219       GNUNET_break (0);
2220       r = GNUNET_SYSERR;
2221     }
2222   }
2223   if (GNUNET_YES !=
2224       GNUNET_CONTAINER_multihashmap_remove (incoming_tunnels, &hash, t))
2225   {
2226     GNUNET_break (0);
2227     r = GNUNET_SYSERR;
2228   }
2229
2230   peer_cancel_queues (t->next_hop, t);
2231   peer_cancel_queues (t->prev_hop, t);
2232   GNUNET_PEER_change_rc(t->next_hop, -1);
2233   GNUNET_PEER_change_rc(t->prev_hop, -1);
2234
2235   if (GNUNET_SCHEDULER_NO_TASK != t->maintenance_task)
2236     GNUNET_SCHEDULER_cancel (t->maintenance_task);
2237
2238   n_tunnels--;
2239   GNUNET_STATISTICS_update (stats, "# tunnels", -1, GNUNET_NO);
2240   GNUNET_free (t);
2241   return r;
2242 }
2243
2244 /**
2245  * Tunnel is empty: destroy it.
2246  *
2247  * @param t Tunnel to destroy.
2248  */
2249 static void
2250 tunnel_destroy_empty (struct MeshTunnel *t)
2251 {
2252   #if MESH_DEBUG
2253   {
2254     struct GNUNET_PeerIdentity id;
2255
2256     GNUNET_PEER_resolve (t->id.oid, &id);
2257     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2258                 "executing destruction of empty tunnel %s [%X]\n",
2259                 GNUNET_i2s (&id), t->id.tid);
2260   }
2261   #endif
2262
2263   tunnel_send_destroy (t);
2264   if (0 == t->pending_messages)
2265     tunnel_destroy (t);
2266   else
2267     t->destroy = GNUNET_YES;
2268 }
2269
2270 /**
2271  * Initialize a Flow Control structure to the initial state.
2272  *
2273  * @param fc Flow Control structure to initialize.
2274  */
2275 static void
2276 fc_init (struct MeshFlowControl *fc)
2277 {
2278   fc->last_pid_sent = (uint32_t) -1; /* Next (expected) = 0 */
2279   fc->last_pid_recv = (uint32_t) -1;
2280   fc->last_ack_sent = (uint32_t) -1; /* No traffic allowed yet */
2281   fc->last_ack_recv = (uint32_t) -1;
2282   fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
2283   fc->poll_time = GNUNET_TIME_UNIT_SECONDS;
2284   fc->queue_n = 0;
2285 }
2286
2287 /**
2288  * Create a new tunnel
2289  *
2290  * @param owner Who is the owner of the tunnel (short ID).
2291  * @param tid Tunnel Number of the tunnel.
2292  * @param client Clients that owns the tunnel, NULL for foreign tunnels.
2293  * @param local Tunnel Number for the tunnel, for the client point of view.
2294  *
2295  * @return A new initialized tunnel. NULL on error.
2296  */
2297 static struct MeshTunnel *
2298 tunnel_new (GNUNET_PEER_Id owner,
2299             MESH_TunnelNumber tid,
2300             struct MeshClient *client,
2301             MESH_TunnelNumber local)
2302 {
2303   struct MeshTunnel *t;
2304   struct GNUNET_HashCode hash;
2305
2306   if (n_tunnels >= max_tunnels && NULL == client)
2307     return NULL;
2308
2309   t = GNUNET_malloc (sizeof (struct MeshTunnel));
2310   t->id.oid = owner;
2311   t->id.tid = tid;
2312   t->queue_max = (max_msgs_queue / max_tunnels) + 1;
2313   t->owner = client;
2314   fc_init (&t->next_fc);
2315   fc_init (&t->prev_fc);
2316   t->local_tid = local;
2317   n_tunnels++;
2318   GNUNET_STATISTICS_update (stats, "# tunnels", 1, GNUNET_NO);
2319
2320   GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
2321   if (GNUNET_OK !=
2322       GNUNET_CONTAINER_multihashmap_put (tunnels, &hash, t,
2323                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
2324   {
2325     GNUNET_break (0);
2326     tunnel_destroy (t);
2327     if (NULL != client)
2328     {
2329       GNUNET_break (0);
2330       GNUNET_SERVER_receive_done (client->handle, GNUNET_SYSERR);
2331     }
2332     return NULL;
2333   }
2334
2335   if (NULL != client)
2336   {
2337     GMC_hash32 (t->local_tid, &hash);
2338     if (GNUNET_OK !=
2339         GNUNET_CONTAINER_multihashmap_put (client->own_tunnels, &hash, t,
2340                                           GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
2341     {
2342       tunnel_destroy (t);
2343       GNUNET_break (0);
2344       GNUNET_SERVER_receive_done (client->handle, GNUNET_SYSERR);
2345       return NULL;
2346     }
2347   }
2348
2349   return t;
2350 }
2351
2352
2353
2354 /**
2355  * tunnel_destroy_iterator: iterator for deleting each tunnel that belongs to a
2356  * client when the client disconnects. If the client is not the owner, the
2357  * owner will get notified if no more clients are in the tunnel and the client
2358  * get removed from the tunnel's list.
2359  *
2360  * @param cls closure (client that is disconnecting)
2361  * @param key the hash of the local tunnel id (used to access the hashmap)
2362  * @param value the value stored at the key (tunnel to destroy)
2363  *
2364  * @return GNUNET_OK, keep iterating.
2365  */
2366 static int
2367 tunnel_destroy_iterator (void *cls,
2368                          const struct GNUNET_HashCode * key,
2369                          void *value)
2370 {
2371   struct MeshTunnel *t = value;
2372   struct MeshClient *c = cls;
2373
2374   send_client_tunnel_destroy (t);
2375   if (c != t->owner)
2376   {
2377     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Client %u is destination.\n", c->id);
2378     client_delete_tunnel (c, t);
2379     tunnel_destroy_empty (t);
2380     return GNUNET_OK;
2381   }
2382   tunnel_send_destroy (t);
2383   t->owner = NULL;
2384   t->destroy = GNUNET_YES;
2385
2386   return GNUNET_OK;
2387 }
2388
2389
2390 /**
2391  * Timeout function, destroys tunnel if called
2392  *
2393  * @param cls Closure (tunnel to destroy).
2394  * @param tc TaskContext
2395  */
2396 static void
2397 tunnel_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
2398 {
2399   struct MeshTunnel *t = cls;
2400   struct GNUNET_PeerIdentity id;
2401
2402   t->maintenance_task = GNUNET_SCHEDULER_NO_TASK;
2403   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
2404     return;
2405   GNUNET_PEER_resolve(t->id.oid, &id);
2406   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
2407               "Tunnel %s [%X] timed out. Destroying.\n",
2408               GNUNET_i2s(&id), t->id.tid);
2409   send_client_tunnel_destroy (t);
2410   tunnel_destroy (t);
2411 }
2412
2413
2414 /**
2415  * Resets the tunnel timeout. Starts it if no timeout was running.
2416  *
2417  * @param t Tunnel whose timeout to reset.
2418  *
2419  * TODO use heap to improve efficiency of scheduler.
2420  */
2421 static void
2422 tunnel_reset_timeout (struct MeshTunnel *t)
2423 {
2424   if (NULL != t->owner || 0 != t->local_tid || 0 == t->prev_hop)
2425     return;
2426   if (GNUNET_SCHEDULER_NO_TASK != t->maintenance_task)
2427     GNUNET_SCHEDULER_cancel (t->maintenance_task);
2428   t->maintenance_task =
2429       GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_relative_multiply
2430                                     (refresh_path_time, 4), &tunnel_timeout, t);
2431 }
2432
2433
2434 /******************************************************************************/
2435 /****************      MESH NETWORK HANDLER HELPERS     ***********************/
2436 /******************************************************************************/
2437
2438 /**
2439  * Function to send a create path packet to a peer.
2440  *
2441  * @param cls closure
2442  * @param size number of bytes available in buf
2443  * @param buf where the callee should write the message
2444  * @return number of bytes written to buf
2445  */
2446 static size_t
2447 send_core_path_create (void *cls, size_t size, void *buf)
2448 {
2449   struct MeshTunnel *t = cls;
2450   struct GNUNET_MESH_CreateTunnel *msg;
2451   struct GNUNET_PeerIdentity *peer_ptr;
2452   struct MeshPeerPath *p = t->path;
2453   size_t size_needed;
2454   uint32_t opt;
2455   int i;
2456
2457   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "CREATE PATH sending...\n");
2458   size_needed =
2459       sizeof (struct GNUNET_MESH_CreateTunnel) +
2460       p->length * sizeof (struct GNUNET_PeerIdentity);
2461
2462   if (size < size_needed || NULL == buf)
2463   {
2464     GNUNET_break (0);
2465     return 0;
2466   }
2467   msg = (struct GNUNET_MESH_CreateTunnel *) buf;
2468   msg->header.size = htons (size_needed);
2469   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE);
2470   msg->tid = ntohl (t->id.tid);
2471
2472   opt = 0;
2473   if (GNUNET_YES == t->nobuffer)
2474     opt |= MESH_TUNNEL_OPT_NOBUFFER;
2475   msg->opt = htonl (opt);
2476   msg->port = htonl (t->port);
2477
2478   peer_ptr = (struct GNUNET_PeerIdentity *) &msg[1];
2479   for (i = 0; i < p->length; i++)
2480   {
2481     GNUNET_PEER_resolve (p->peers[i], peer_ptr++);
2482   }
2483
2484   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2485               "CREATE PATH (%u bytes long) sent!\n", size_needed);
2486   return size_needed;
2487 }
2488
2489
2490 /**
2491  * Creates a path ack message in buf and frees all unused resources.
2492  *
2493  * @param cls closure (MeshTransmissionDescriptor)
2494  * @param size number of bytes available in buf
2495  * @param buf where the callee should write the message
2496  * @return number of bytes written to buf
2497  */
2498 static size_t
2499 send_core_path_ack (void *cls, size_t size, void *buf)
2500 {
2501   struct MeshTunnel *t = cls;
2502   struct GNUNET_MESH_PathACK *msg = buf;
2503
2504   GNUNET_assert (NULL != t);
2505   if (sizeof (struct GNUNET_MESH_PathACK) > size)
2506   {
2507     GNUNET_break (0);
2508     return 0;
2509   }
2510   t->prev_fc.last_ack_sent = t->nobuffer ? 0 : t->queue_max - 1;
2511   msg->header.size = htons (sizeof (struct GNUNET_MESH_PathACK));
2512   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_ACK);
2513   GNUNET_PEER_resolve (t->id.oid, &msg->oid);
2514   msg->tid = htonl (t->id.tid);
2515   msg->peer_id = my_full_id;
2516   msg->ack = htonl (t->prev_fc.last_ack_sent);
2517
2518   /* TODO add signature */
2519
2520   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "PATH ACK sent!\n");
2521   return sizeof (struct GNUNET_MESH_PathACK);
2522 }
2523
2524
2525 /**
2526  * Free a transmission that was already queued with all resources
2527  * associated to the request.
2528  *
2529  * @param queue Queue handler to cancel.
2530  * @param clear_cls Is it necessary to free associated cls?
2531  */
2532 static void
2533 queue_destroy (struct MeshPeerQueue *queue, int clear_cls)
2534 {
2535   struct MeshFlowControl *fc;
2536
2537   if (GNUNET_YES == clear_cls)
2538   {
2539     switch (queue->type)
2540     {
2541       case GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY:
2542         GNUNET_log (GNUNET_ERROR_TYPE_INFO, "   cancelling TUNNEL_DESTROY\n");
2543         GNUNET_break (GNUNET_YES == queue->tunnel->destroy);
2544         /* fall through */
2545       case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
2546       case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
2547       case GNUNET_MESSAGE_TYPE_MESH_ACK:
2548       case GNUNET_MESSAGE_TYPE_MESH_POLL:
2549       case GNUNET_MESSAGE_TYPE_MESH_PATH_KEEPALIVE:
2550         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2551                     "   prebuilt message\n");
2552         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2553                     "   type %s\n",
2554                     GNUNET_MESH_DEBUG_M2S (queue->type));
2555         break;
2556       case GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE:
2557         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   type create path\n");
2558         break;
2559       default:
2560         GNUNET_break (0);
2561         GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2562                     "   type %s unknown!\n",
2563                     GNUNET_MESH_DEBUG_M2S (queue->type));
2564     }
2565     GNUNET_free_non_null (queue->cls);
2566   }
2567   GNUNET_CONTAINER_DLL_remove (queue->peer->queue_head,
2568                                queue->peer->queue_tail,
2569                                queue);
2570
2571   /* Delete from appropiate fc in the tunnel */
2572   if (queue->peer->id == queue->tunnel->next_hop)
2573     fc = &queue->tunnel->next_fc;
2574   else if (queue->peer->id == queue->tunnel->next_hop)
2575     fc = &queue->tunnel->next_fc;
2576   else
2577   {
2578     GNUNET_break (0);
2579     return;
2580   }
2581   fc->queue_n--;
2582   GNUNET_free (queue);
2583 }
2584
2585
2586 /**
2587  * @brief Get the next transmittable message from the queue.
2588  *
2589  * This will be the head, except in the case of being a data packet
2590  * not allowed by the destination peer.
2591  *
2592  * @param peer Destination peer.
2593  *
2594  * @return The next viable MeshPeerQueue element to send to that peer.
2595  *         NULL when there are no transmittable messages.
2596  */
2597 struct MeshPeerQueue *
2598 queue_get_next (const struct MeshPeerInfo *peer)
2599 {
2600   struct MeshPeerQueue *q;
2601
2602   struct GNUNET_MESH_Unicast *ucast;
2603   struct GNUNET_MESH_ToOrigin *to_orig;
2604   struct MeshTunnel* t;
2605   uint32_t pid;
2606   uint32_t ack;
2607
2608   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   selecting message\n");
2609   for (q = peer->queue_head; NULL != q; q = q->next)
2610   {
2611     t = q->tunnel;
2612     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2613                 "*     %s\n",
2614                 GNUNET_MESH_DEBUG_M2S(q->type));
2615     switch (q->type)
2616     {
2617       case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
2618         ucast = (struct GNUNET_MESH_Unicast *) q->cls;
2619         pid = ntohl (ucast->pid);
2620         ack = t->next_fc.last_ack_recv;
2621         break;
2622       case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
2623         to_orig = (struct GNUNET_MESH_ToOrigin *) q->cls;
2624         pid = ntohl (to_orig->pid);
2625         ack = t->prev_fc.last_ack_recv;
2626         break;
2627       default:
2628         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2629                     "*   OK!\n");
2630         return q;
2631     }
2632     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2633                 "*     ACK: %u, PID: %u\n",
2634                 ack, pid);
2635     if (GNUNET_NO == GMC_is_pid_bigger (pid, ack))
2636     {
2637       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2638                   "*   OK!\n");
2639       return q;
2640     }
2641     else
2642     {
2643       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2644                   "*     NEXT!\n");
2645     }
2646   }
2647   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2648                 "*   nothing found\n");
2649   return NULL;
2650 }
2651
2652
2653 static size_t
2654 queue_send (void *cls, size_t size, void *buf)
2655 {
2656   struct MeshPeerInfo *peer = cls;
2657   struct GNUNET_MessageHeader *msg;
2658   struct MeshPeerQueue *queue;
2659   struct MeshTunnel *t;
2660   struct GNUNET_PeerIdentity dst_id;
2661   struct MeshFlowControl *fc;
2662   size_t data_size;
2663   uint16_t type;
2664
2665   peer->core_transmit = NULL;
2666
2667   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "* Queue send\n");
2668   queue = queue_get_next (peer);
2669
2670   /* Queue has no internal mesh traffic nor sendable payload */
2671   if (NULL == queue)
2672   {
2673     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   not ready, return\n");
2674     if (NULL == peer->queue_head)
2675       GNUNET_break (0); /* Core tmt_rdy should've been canceled */
2676     return 0;
2677   }
2678   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   not empty\n");
2679
2680   GNUNET_PEER_resolve (peer->id, &dst_id);
2681   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2682               "*   towards %s\n",
2683               GNUNET_i2s (&dst_id));
2684   /* Check if buffer size is enough for the message */
2685   if (queue->size > size)
2686   {
2687       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2688                   "*   not enough room, reissue\n");
2689       peer->core_transmit =
2690           GNUNET_CORE_notify_transmit_ready (core_handle,
2691                                              GNUNET_NO,
2692                                              0,
2693                                              GNUNET_TIME_UNIT_FOREVER_REL,
2694                                              &dst_id,
2695                                              queue->size,
2696                                              &queue_send,
2697                                              peer);
2698       return 0;
2699   }
2700   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   size ok\n");
2701
2702   t = queue->tunnel;
2703   GNUNET_assert (0 < t->pending_messages);
2704   t->pending_messages--;
2705   type = 0;
2706
2707   /* Fill buf */
2708   switch (queue->type)
2709   {
2710     case 0:
2711     case GNUNET_MESSAGE_TYPE_MESH_ACK:
2712     case GNUNET_MESSAGE_TYPE_MESH_POLL:
2713     case GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN:
2714     case GNUNET_MESSAGE_TYPE_MESH_PATH_DESTROY:
2715     case GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY:
2716     case GNUNET_MESSAGE_TYPE_MESH_PATH_KEEPALIVE:
2717       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2718                   "*   raw: %s\n",
2719                   GNUNET_MESH_DEBUG_M2S (queue->type));
2720       /* Fall through */
2721     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
2722     case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
2723       data_size = send_core_data_raw (queue->cls, size, buf);
2724       msg = (struct GNUNET_MessageHeader *) buf;
2725       type = ntohs (msg->type);
2726       break;
2727     case GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE:
2728       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   path create\n");
2729       data_size = send_core_path_create (queue->cls, size, buf);
2730       break;
2731     case GNUNET_MESSAGE_TYPE_MESH_PATH_ACK:
2732       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   path ack\n");
2733       data_size = send_core_path_ack (queue->cls, size, buf);
2734       break;
2735     default:
2736       GNUNET_break (0);
2737       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
2738                   "*   type unknown: %u\n",
2739                   queue->type);
2740       data_size = 0;
2741   }
2742
2743   /* Free queue, but cls was freed by send_core_* */
2744   queue_destroy (queue, GNUNET_NO);
2745
2746   /* Send ACK if needed, after accounting for sent ID in fc->queue_n */
2747   switch (type)
2748   {
2749     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
2750       t->next_fc.last_pid_sent = ((struct GNUNET_MESH_Unicast *) buf)->pid;
2751       tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_UNICAST);
2752       break;
2753     case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
2754       t->prev_fc.last_pid_sent = ((struct GNUNET_MESH_ToOrigin *) buf)->pid;
2755       tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN);
2756       break;
2757     default:
2758       break;
2759   }
2760
2761   if (GNUNET_YES == t->destroy && 0 == t->pending_messages)
2762   {
2763     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*  destroying tunnel!\n");
2764     tunnel_destroy (t);
2765   }
2766
2767   /* If more data in queue, send next */
2768   queue = queue_get_next (peer);
2769   if (NULL != queue)
2770   {
2771       struct GNUNET_PeerIdentity id;
2772
2773       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   more data!\n");
2774       GNUNET_PEER_resolve (peer->id, &id);
2775       peer->core_transmit =
2776           GNUNET_CORE_notify_transmit_ready(core_handle,
2777                                             0,
2778                                             0,
2779                                             GNUNET_TIME_UNIT_FOREVER_REL,
2780                                             &id,
2781                                             queue->size,
2782                                             &queue_send,
2783                                             peer);
2784   }
2785   else if (NULL != peer->queue_head)
2786   {
2787     GNUNET_log (GNUNET_ERROR_TYPE_INFO,
2788                 "*   %s stalled\n",
2789                 GNUNET_i2s (&my_full_id));
2790     if (peer->id == t->next_hop)
2791       fc = &t->next_fc;
2792     else if (peer->id == t->prev_hop)
2793       fc = &t->prev_fc;
2794     else
2795     {
2796       GNUNET_break (0);
2797       fc = NULL;
2798     }
2799     if (NULL != fc && GNUNET_SCHEDULER_NO_TASK == fc->poll_task)
2800     {
2801       fc->t = t;
2802       fc->poll_task = GNUNET_SCHEDULER_add_delayed (fc->poll_time,
2803                                                     &tunnel_poll, fc);
2804     }
2805   }
2806   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*  Return %d\n", data_size);
2807   return data_size;
2808 }
2809
2810
2811 /**
2812  * @brief Queue and pass message to core when possible.
2813  *
2814  * If type is payload (UNICAST, TO_ORIGIN) checks for queue status and
2815  * accounts for it. In case the queue is full, the message is dropped and
2816  * a break issued.
2817  *
2818  * Otherwise, message is treated as internal and allowed to go regardless of
2819  * queue status.
2820  *
2821  * @param cls Closure (@c type dependant). It will be used by queue_send to
2822  *            build the message to be sent if not already prebuilt.
2823  * @param type Type of the message, 0 for a raw message.
2824  * @param size Size of the message.
2825  * @param dst Neighbor to send message to.
2826  * @param t Tunnel this message belongs to.
2827  */
2828 static void
2829 queue_add (void *cls, uint16_t type, size_t size,
2830            struct MeshPeerInfo *dst, struct MeshTunnel *t)
2831 {
2832   struct MeshPeerQueue *queue;
2833   struct GNUNET_PeerIdentity id;
2834   unsigned int *n;
2835
2836   n = NULL;
2837   if (GNUNET_MESSAGE_TYPE_MESH_UNICAST == type)
2838   {
2839     n = &t->next_fc.queue_n;
2840   }
2841   else if (GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN == type)
2842   {
2843     n = &t->prev_fc.queue_n;
2844   }
2845   if (NULL != n)
2846   {
2847     if (*n >= t->queue_max)
2848     {
2849       GNUNET_break(0);
2850       GNUNET_STATISTICS_update(stats,
2851                                "# messages dropped (buffer full)",
2852                                1, GNUNET_NO);
2853       return; /* Drop message */
2854     }
2855     (*n)++;
2856   }
2857   queue = GNUNET_malloc (sizeof (struct MeshPeerQueue));
2858   queue->cls = cls;
2859   queue->type = type;
2860   queue->size = size;
2861   queue->peer = dst;
2862   queue->tunnel = t;
2863   GNUNET_CONTAINER_DLL_insert_tail (dst->queue_head, dst->queue_tail, queue);
2864   if (NULL == dst->core_transmit)
2865   {
2866     GNUNET_PEER_resolve (dst->id, &id);
2867     dst->core_transmit =
2868         GNUNET_CORE_notify_transmit_ready (core_handle,
2869                                            0,
2870                                            0,
2871                                            GNUNET_TIME_UNIT_FOREVER_REL,
2872                                            &id,
2873                                            size,
2874                                            &queue_send,
2875                                            dst);
2876   }
2877   t->pending_messages++;
2878 }
2879
2880
2881 /******************************************************************************/
2882 /********************      MESH NETWORK HANDLERS     **************************/
2883 /******************************************************************************/
2884
2885
2886 /**
2887  * Core handler for path creation
2888  *
2889  * @param cls closure
2890  * @param message message
2891  * @param peer peer identity this notification is about
2892  *
2893  * @return GNUNET_OK to keep the connection open,
2894  *         GNUNET_SYSERR to close it (signal serious error)
2895  */
2896 static int
2897 handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
2898                          const struct GNUNET_MessageHeader *message)
2899 {
2900   unsigned int own_pos;
2901   uint16_t size;
2902   uint16_t i;
2903   MESH_TunnelNumber tid;
2904   struct GNUNET_MESH_CreateTunnel *msg;
2905   struct GNUNET_PeerIdentity *pi;
2906   struct GNUNET_HashCode hash;
2907   struct MeshPeerPath *path;
2908   struct MeshPeerInfo *dest_peer_info;
2909   struct MeshPeerInfo *orig_peer_info;
2910   struct MeshTunnel *t;
2911
2912   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2913               "Received a path create msg [%s]\n",
2914               GNUNET_i2s (&my_full_id));
2915   size = ntohs (message->size);
2916   if (size < sizeof (struct GNUNET_MESH_CreateTunnel))
2917   {
2918     GNUNET_break_op (0);
2919     return GNUNET_OK;
2920   }
2921
2922   size -= sizeof (struct GNUNET_MESH_CreateTunnel);
2923   if (size % sizeof (struct GNUNET_PeerIdentity))
2924   {
2925     GNUNET_break_op (0);
2926     return GNUNET_OK;
2927   }
2928   size /= sizeof (struct GNUNET_PeerIdentity);
2929   if (size < 1)
2930   {
2931     GNUNET_break_op (0);
2932     return GNUNET_OK;
2933   }
2934   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "    path has %u hops.\n", size);
2935   msg = (struct GNUNET_MESH_CreateTunnel *) message;
2936
2937   tid = ntohl (msg->tid);
2938   pi = (struct GNUNET_PeerIdentity *) &msg[1];
2939   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2940               "    path is for tunnel %s[%X].\n", GNUNET_i2s (pi), tid);
2941   t = tunnel_get (pi, tid);
2942   if (NULL == t) /* might be a local tunnel */
2943   {
2944     uint32_t opt;
2945
2946     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Creating tunnel\n");
2947     t = tunnel_new (GNUNET_PEER_intern (pi), tid, NULL, 0);
2948     if (NULL == t)
2949     {
2950       GNUNET_break (0);
2951       return GNUNET_OK;
2952     }
2953     t->port = ntohl (msg->port);
2954     opt = ntohl (msg->opt);
2955     if (0 != (opt & MESH_TUNNEL_OPT_NOBUFFER))
2956     {
2957       t->nobuffer = GNUNET_YES;
2958       t->prev_fc.last_ack_sent = t->prev_fc.last_pid_recv + 1;
2959       t->next_fc.last_ack_sent = t->next_fc.last_pid_recv + 1;
2960       t->queue_max = 1;
2961     }
2962     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  nobuffer:%d\n", t->nobuffer);
2963
2964     tunnel_reset_timeout (t);
2965     GMC_hash32 (t->local_tid_dest, &hash);
2966     if (GNUNET_OK !=
2967         GNUNET_CONTAINER_multihashmap_put (incoming_tunnels, &hash, t,
2968                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
2969     {
2970       tunnel_destroy (t);
2971       GNUNET_break (0);
2972       return GNUNET_OK;
2973     }
2974   }
2975   t->state = MESH_TUNNEL_WAITING;
2976   dest_peer_info =
2977       GNUNET_CONTAINER_multihashmap_get (peers, &pi[size - 1].hashPubKey);
2978   if (NULL == dest_peer_info)
2979   {
2980     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2981                 "  Creating PeerInfo for destination.\n");
2982     dest_peer_info = GNUNET_malloc (sizeof (struct MeshPeerInfo));
2983     dest_peer_info->id = GNUNET_PEER_intern (&pi[size - 1]);
2984     GNUNET_CONTAINER_multihashmap_put (peers, &pi[size - 1].hashPubKey,
2985                                        dest_peer_info,
2986                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
2987   }
2988   orig_peer_info = GNUNET_CONTAINER_multihashmap_get (peers, &pi->hashPubKey);
2989   if (NULL == orig_peer_info)
2990   {
2991     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2992                 "  Creating PeerInfo for origin.\n");
2993     orig_peer_info = GNUNET_malloc (sizeof (struct MeshPeerInfo));
2994     orig_peer_info->id = GNUNET_PEER_intern (pi);
2995     GNUNET_CONTAINER_multihashmap_put (peers, &pi->hashPubKey, orig_peer_info,
2996                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
2997   }
2998   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Creating path...\n");
2999   path = path_new (size);
3000   own_pos = 0;
3001   for (i = 0; i < size; i++)
3002   {
3003     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  ... adding %s\n",
3004                 GNUNET_i2s (&pi[i]));
3005     path->peers[i] = GNUNET_PEER_intern (&pi[i]);
3006     if (path->peers[i] == myid)
3007       own_pos = i;
3008   }
3009   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Own position: %u\n", own_pos);
3010   if (own_pos == 0 && path->peers[own_pos] != myid)
3011   {
3012     /* create path: self not found in path through self */
3013     GNUNET_break_op (0);
3014     path_destroy (path);
3015     tunnel_destroy (t);
3016     return GNUNET_OK;
3017   }
3018   path_add_to_peers (path, GNUNET_NO);
3019   tunnel_use_path (t, path);
3020
3021   if (own_pos == size - 1)
3022   {
3023     struct MeshClient *c;
3024     struct GNUNET_HashCode hc;
3025
3026     /* Find target client */
3027     GMC_hash32 (t->port, &hc);
3028     c = GNUNET_CONTAINER_multihashmap_get (ports, &hc);
3029     if (NULL == c)
3030     {
3031       /* TODO send reject */
3032       return GNUNET_OK;
3033     }
3034     t->client = c;
3035
3036     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  It's for us!\n");
3037     peer_info_add_path_to_origin (orig_peer_info, path, GNUNET_YES);
3038     t->dest = myid;
3039
3040     /* Assign local tid */
3041     while (NULL != tunnel_get_incoming (next_local_tid))
3042       next_local_tid = (next_local_tid + 1) | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
3043     t->local_tid_dest = next_local_tid++;
3044     next_local_tid = next_local_tid | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
3045
3046     send_client_tunnel_create (t);
3047     send_path_ack (t);
3048   }
3049   else
3050   {
3051     struct MeshPeerPath *path2;
3052
3053     t->next_hop = path->peers[own_pos + 1];
3054     GNUNET_PEER_change_rc(t->next_hop, 1);
3055
3056     /* It's for somebody else! Retransmit. */
3057     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Retransmitting.\n");
3058     path2 = path_duplicate (path);
3059     peer_info_add_path (dest_peer_info, path2, GNUNET_NO);
3060     peer_info_add_path_to_origin (orig_peer_info, path, GNUNET_NO);
3061     send_create_path (t);
3062   }
3063   return GNUNET_OK;
3064 }
3065
3066
3067
3068 /**
3069  * Core handler for path ACKs
3070  *
3071  * @param cls closure
3072  * @param message message
3073  * @param peer peer identity this notification is about
3074  *
3075  * @return GNUNET_OK to keep the connection open,
3076  *         GNUNET_SYSERR to close it (signal serious error)
3077  */
3078 static int
3079 handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
3080                       const struct GNUNET_MessageHeader *message)
3081 {
3082   struct GNUNET_MESH_PathACK *msg;
3083   struct MeshPeerInfo *peer_info;
3084   struct MeshPeerPath *p;
3085   struct MeshTunnel *t;
3086
3087   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Received a path ACK msg [%s]\n",
3088               GNUNET_i2s (&my_full_id));
3089   msg = (struct GNUNET_MESH_PathACK *) message;
3090   t = tunnel_get (&msg->oid, ntohl(msg->tid));
3091   if (NULL == t)
3092   {
3093     /* TODO notify that we don't know the tunnel */
3094     GNUNET_STATISTICS_update (stats, "# control on unknown tunnel", 1, GNUNET_NO);
3095     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  don't know the tunnel %s [%X]!\n",
3096                 GNUNET_i2s (&msg->oid), ntohl(msg->tid));
3097     return GNUNET_OK;
3098   }
3099   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %s [%X]\n",
3100               GNUNET_i2s (&msg->oid), ntohl(msg->tid));
3101
3102   peer_info = peer_get (&msg->peer_id);
3103   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by peer %s\n",
3104               GNUNET_i2s (&msg->peer_id));
3105   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  via peer %s\n",
3106               GNUNET_i2s (peer));
3107
3108   /* Add path to peers? */
3109   p = t->path;
3110   if (NULL != p)
3111   {
3112     path_add_to_peers (p, GNUNET_YES);
3113   }
3114   else
3115   {
3116     GNUNET_break (0);
3117   }
3118   t->state = MESH_TUNNEL_READY;
3119   t->next_fc.last_ack_recv = ntohl (msg->ack);
3120   t->prev_fc.last_ack_sent = ntohl (msg->ack);
3121
3122   /* Message for us? */
3123   if (0 == memcmp (&msg->oid, &my_full_id, sizeof (struct GNUNET_PeerIdentity)))
3124   {
3125     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  It's for us!\n");
3126     if (NULL == t->owner)
3127     {
3128       GNUNET_break_op (0);
3129       return GNUNET_OK;
3130     }
3131     if (NULL != peer_info->dhtget)
3132     {
3133       GNUNET_DHT_get_stop (peer_info->dhtget);
3134       peer_info->dhtget = NULL;
3135     }
3136     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_PATH_ACK);
3137     return GNUNET_OK;
3138   }
3139
3140   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3141               "  not for us, retransmitting...\n");
3142   peer_info = peer_get (&msg->oid);
3143   send_prebuilt_message (message, t->prev_hop, t);
3144   return GNUNET_OK;
3145 }
3146
3147
3148 /**
3149  * Core handler for notifications of broken paths
3150  *
3151  * @param cls closure
3152  * @param message message
3153  * @param peer peer identity this notification is about
3154  *
3155  * @return GNUNET_OK to keep the connection open,
3156  *         GNUNET_SYSERR to close it (signal serious error)
3157  */
3158 static int
3159 handle_mesh_path_broken (void *cls, const struct GNUNET_PeerIdentity *peer,
3160                          const struct GNUNET_MessageHeader *message)
3161 {
3162   struct GNUNET_MESH_PathBroken *msg;
3163   struct MeshTunnel *t;
3164
3165   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3166               "Received a PATH BROKEN msg from %s\n", GNUNET_i2s (peer));
3167   msg = (struct GNUNET_MESH_PathBroken *) message;
3168   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  regarding %s\n",
3169               GNUNET_i2s (&msg->peer1));
3170   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  regarding %s\n",
3171               GNUNET_i2s (&msg->peer2));
3172   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3173   if (NULL == t)
3174   {
3175     GNUNET_break_op (0);
3176     return GNUNET_OK;
3177   }
3178   tunnel_notify_connection_broken (t, GNUNET_PEER_search (&msg->peer1),
3179                                    GNUNET_PEER_search (&msg->peer2));
3180   return GNUNET_OK;
3181
3182 }
3183
3184
3185 /**
3186  * Core handler for tunnel destruction
3187  *
3188  * @param cls closure
3189  * @param message message
3190  * @param peer peer identity this notification is about
3191  *
3192  * @return GNUNET_OK to keep the connection open,
3193  *         GNUNET_SYSERR to close it (signal serious error)
3194  */
3195 static int
3196 handle_mesh_tunnel_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
3197                             const struct GNUNET_MessageHeader *message)
3198 {
3199   struct GNUNET_MESH_TunnelDestroy *msg;
3200   struct MeshTunnel *t;
3201
3202   msg = (struct GNUNET_MESH_TunnelDestroy *) message;
3203   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3204               "Got a TUNNEL DESTROY packet from %s\n",
3205               GNUNET_i2s (peer));
3206   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3207               "  for tunnel %s [%u]\n",
3208               GNUNET_i2s (&msg->oid), ntohl (msg->tid));
3209   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3210   if (NULL == t)
3211   {
3212     /* Probably already got the message from another path,
3213      * destroyed the tunnel and retransmitted to children.
3214      * Safe to ignore.
3215      */
3216     GNUNET_STATISTICS_update (stats, "# control on unknown tunnel",
3217                               1, GNUNET_NO);
3218     return GNUNET_OK;
3219   }
3220   // TODO check owner's signature
3221   if (t->local_tid_dest >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
3222   {
3223     /* Tunnel was incoming, notify clients */
3224     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "INCOMING TUNNEL %X %X\n",
3225                 t->local_tid, t->local_tid_dest);
3226     send_client_tunnel_destroy (t);
3227   }
3228   tunnel_send_destroy (t);
3229   t->destroy = GNUNET_YES;
3230   // TODO: add timeout to destroy the tunnel anyway
3231   return GNUNET_OK;
3232 }
3233
3234
3235 /**
3236  * Core handler for mesh network traffic going from the origin to a peer
3237  *
3238  * @param cls closure
3239  * @param peer peer identity this notification is about
3240  * @param message message
3241  * @return GNUNET_OK to keep the connection open,
3242  *         GNUNET_SYSERR to close it (signal serious error)
3243  */
3244 static int
3245 handle_mesh_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
3246                           const struct GNUNET_MessageHeader *message)
3247 {
3248   struct GNUNET_MESH_Unicast *msg;
3249   struct MeshTunnel *t;
3250   uint32_t pid;
3251   uint32_t ttl;
3252   size_t size;
3253
3254   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got a unicast packet from %s\n",
3255               GNUNET_i2s (peer));
3256   /* Check size */
3257   size = ntohs (message->size);
3258   if (size <
3259       sizeof (struct GNUNET_MESH_Unicast) +
3260       sizeof (struct GNUNET_MessageHeader))
3261   {
3262     GNUNET_break (0);
3263     return GNUNET_OK;
3264   }
3265   msg = (struct GNUNET_MESH_Unicast *) message;
3266   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " of type %s\n",
3267               GNUNET_MESH_DEBUG_M2S (ntohs (msg[1].header.type)));
3268   /* Check tunnel */
3269   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3270   if (NULL == t)
3271   {
3272     /* TODO notify back: we don't know this tunnel */
3273     GNUNET_STATISTICS_update (stats, "# data on unknown tunnel", 1, GNUNET_NO);
3274     GNUNET_break_op (0);
3275     return GNUNET_OK;
3276   }
3277   pid = ntohl (msg->pid);
3278   if (t->prev_fc.last_pid_recv == pid)
3279   {
3280     GNUNET_STATISTICS_update (stats, "# duplicate PID drops", 1, GNUNET_NO);
3281     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
3282                 " Already seen pid %u, DROPPING!\n", pid);
3283     return GNUNET_OK;
3284   }
3285   else
3286   {
3287     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3288                 " pid %u not seen yet, forwarding\n", pid);
3289   }
3290
3291   if (GMC_is_pid_bigger (pid, t->prev_fc.last_ack_sent))
3292   {
3293     GNUNET_STATISTICS_update (stats, "# unsolicited unicast", 1, GNUNET_NO);
3294     GNUNET_break_op (0);
3295     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3296                 "Received PID %u, ACK %u\n",
3297                 pid, t->prev_fc.last_ack_sent);
3298     tunnel_send_fwd_ack(t, GNUNET_MESSAGE_TYPE_MESH_POLL);
3299     return GNUNET_OK;
3300   }
3301   t->prev_fc.last_pid_recv = pid;
3302
3303   tunnel_reset_timeout (t);
3304   if (t->dest == myid)
3305   {
3306     if (NULL == t->client)
3307     {
3308       GNUNET_break (0);
3309       return GNUNET_OK;
3310     }
3311     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3312                 "  it's for us! sending to clients...\n");
3313     GNUNET_STATISTICS_update (stats, "# unicast received", 1, GNUNET_NO);
3314     GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
3315                                                 message, GNUNET_NO);
3316     tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_UNICAST);
3317     return GNUNET_OK;
3318   }
3319   if (0 == t->next_hop)
3320   {
3321     GNUNET_break (0);
3322     return GNUNET_OK;
3323   }
3324   ttl = ntohl (msg->ttl);
3325   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   ttl: %u\n", ttl);
3326   if (ttl == 0)
3327   {
3328     GNUNET_STATISTICS_update (stats, "# TTL drops", 1, GNUNET_NO);
3329     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, " TTL is 0, DROPPING!\n");
3330     tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
3331     return GNUNET_OK;
3332   }
3333   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3334               "  not for us, retransmitting...\n");
3335
3336   send_prebuilt_message (message, t->next_hop, t);
3337   GNUNET_STATISTICS_update (stats, "# unicast forwarded", 1, GNUNET_NO);
3338   return GNUNET_OK;
3339 }
3340
3341
3342 /**
3343  * Core handler for mesh network traffic toward the owner of a tunnel
3344  *
3345  * @param cls closure
3346  * @param message message
3347  * @param peer peer identity this notification is about
3348  *
3349  * @return GNUNET_OK to keep the connection open,
3350  *         GNUNET_SYSERR to close it (signal serious error)
3351  */
3352 static int
3353 handle_mesh_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
3354                           const struct GNUNET_MessageHeader *message)
3355 {
3356   struct GNUNET_MESH_ToOrigin *msg;
3357   struct MeshTunnel *t;
3358   size_t size;
3359   uint32_t pid;
3360
3361   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got a ToOrigin packet from %s\n",
3362               GNUNET_i2s (peer));
3363   size = ntohs (message->size);
3364   if (size < sizeof (struct GNUNET_MESH_ToOrigin) +     /* Payload must be */
3365       sizeof (struct GNUNET_MessageHeader))     /* at least a header */
3366   {
3367     GNUNET_break_op (0);
3368     return GNUNET_OK;
3369   }
3370   msg = (struct GNUNET_MESH_ToOrigin *) message;
3371   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " of type %s\n",
3372               GNUNET_MESH_DEBUG_M2S (ntohs (msg[1].header.type)));
3373   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3374   pid = ntohl (msg->pid);
3375
3376   if (NULL == t)
3377   {
3378     /* TODO notify that we dont know this tunnel (whom)? */
3379     GNUNET_STATISTICS_update (stats, "# data on unknown tunnel", 1, GNUNET_NO);
3380     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3381                 "Received to_origin with PID %u on unknown tunnel %s [%u]\n",
3382                 pid, GNUNET_i2s (&msg->oid), ntohl (msg->tid));
3383     return GNUNET_OK;
3384   }
3385
3386   if (t->next_fc.last_pid_recv == pid)
3387   {
3388     /* already seen this packet, drop */
3389     GNUNET_STATISTICS_update (stats, "# duplicate PID drops BCK", 1, GNUNET_NO);
3390     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3391                 " Already seen pid %u, DROPPING!\n", pid);
3392     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
3393     return GNUNET_OK;
3394   }
3395
3396   if (GMC_is_pid_bigger (pid, t->next_fc.last_ack_sent))
3397   {
3398     GNUNET_STATISTICS_update (stats, "# unsolicited to_orig", 1, GNUNET_NO);
3399     GNUNET_break_op (0);
3400     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3401                 "Received PID %u, ACK %u\n",
3402                 pid, t->next_fc.last_ack_sent);
3403     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_POLL);
3404     return GNUNET_OK;
3405   }
3406   t->next_fc.last_pid_recv = pid;
3407   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3408               " pid %u not seen yet, forwarding\n", pid);
3409
3410   if (NULL != t->owner)
3411   {
3412     char cbuf[size];
3413     struct GNUNET_MESH_ToOrigin *copy;
3414
3415     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3416                 "  it's for us! sending to clients...\n");
3417     /* TODO signature verification */
3418     memcpy (cbuf, message, size);
3419     copy = (struct GNUNET_MESH_ToOrigin *) cbuf;
3420     copy->tid = htonl (t->local_tid);
3421     GNUNET_STATISTICS_update (stats, "# to origin received", 1, GNUNET_NO);
3422     GNUNET_SERVER_notification_context_unicast (nc, t->owner->handle,
3423                                                 &copy->header, GNUNET_NO);
3424     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN);
3425     return GNUNET_OK;
3426   }
3427   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3428               "  not for us, retransmitting...\n");
3429
3430   if (0 == t->prev_hop) /* No owner AND no prev hop */
3431   {
3432     if (GNUNET_YES == t->destroy)
3433     {
3434       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3435                   "to orig received on a dying tunnel %s [%X]\n",
3436                   GNUNET_i2s (&msg->oid), ntohl(msg->tid));
3437       return GNUNET_OK;
3438     }
3439     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3440                 "unknown to origin at %s\n",
3441                 GNUNET_i2s (&my_full_id));
3442     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3443                 "from peer %s\n",
3444                 GNUNET_i2s (peer));
3445     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3446                 "on tunnel %s [%X]\n",
3447                 GNUNET_i2s (&msg->oid), ntohl(msg->tid));
3448     return GNUNET_OK;
3449   }
3450   send_prebuilt_message (message, t->prev_hop, t);
3451   GNUNET_STATISTICS_update (stats, "# to origin forwarded", 1, GNUNET_NO);
3452
3453   return GNUNET_OK;
3454 }
3455
3456
3457 /**
3458  * Core handler for mesh network traffic point-to-point acks.
3459  *
3460  * @param cls closure
3461  * @param message message
3462  * @param peer peer identity this notification is about
3463  *
3464  * @return GNUNET_OK to keep the connection open,
3465  *         GNUNET_SYSERR to close it (signal serious error)
3466  */
3467 static int
3468 handle_mesh_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
3469                  const struct GNUNET_MessageHeader *message)
3470 {
3471   struct GNUNET_MESH_ACK *msg;
3472   struct MeshTunnel *t;
3473   GNUNET_PEER_Id id;
3474   uint32_t ack;
3475
3476   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got an ACK packet from %s!\n",
3477               GNUNET_i2s (peer));
3478   msg = (struct GNUNET_MESH_ACK *) message;
3479
3480   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3481
3482   if (NULL == t)
3483   {
3484     /* TODO notify that we dont know this tunnel (whom)? */
3485     GNUNET_STATISTICS_update (stats, "# ack on unknown tunnel", 1, GNUNET_NO);
3486     return GNUNET_OK;
3487   }
3488   ack = ntohl (msg->pid);
3489   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  ACK %u\n", ack);
3490
3491   /* Is this a forward or backward ACK? */
3492   id = GNUNET_PEER_search (peer);
3493   if (t->next_hop == id)
3494   {
3495     debug_fwd_ack++;
3496     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  FWD ACK\n");
3497     if (GNUNET_SCHEDULER_NO_TASK != t->next_fc.poll_task &&
3498         GMC_is_pid_bigger (ack, t->next_fc.last_ack_recv))
3499     {
3500       GNUNET_SCHEDULER_cancel (t->next_fc.poll_task);
3501       t->next_fc.poll_task = GNUNET_SCHEDULER_NO_TASK;
3502       t->next_fc.poll_time = GNUNET_TIME_UNIT_SECONDS;
3503     }
3504     t->next_fc.last_ack_recv = ack;
3505     peer_unlock_queue (t->next_hop);
3506     tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
3507   }
3508   else if (t->prev_hop == id)
3509   {
3510     debug_bck_ack++;
3511     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  BCK ACK\n");
3512     if (GNUNET_SCHEDULER_NO_TASK != t->prev_fc.poll_task &&
3513         GMC_is_pid_bigger (ack, t->prev_fc.last_ack_recv))
3514     {
3515       GNUNET_SCHEDULER_cancel (t->prev_fc.poll_task);
3516       t->prev_fc.poll_task = GNUNET_SCHEDULER_NO_TASK;
3517       t->prev_fc.poll_time = GNUNET_TIME_UNIT_SECONDS;
3518     }
3519     t->prev_fc.last_ack_recv = ack;
3520     peer_unlock_queue (t->prev_hop);
3521     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
3522   }
3523   else
3524     GNUNET_break_op (0);
3525   return GNUNET_OK;
3526 }
3527
3528
3529 /**
3530  * Core handler for mesh network traffic point-to-point ack polls.
3531  *
3532  * @param cls closure
3533  * @param message message
3534  * @param peer peer identity this notification is about
3535  *
3536  * @return GNUNET_OK to keep the connection open,
3537  *         GNUNET_SYSERR to close it (signal serious error)
3538  */
3539 static int
3540 handle_mesh_poll (void *cls, const struct GNUNET_PeerIdentity *peer,
3541                   const struct GNUNET_MessageHeader *message)
3542 {
3543   struct GNUNET_MESH_Poll *msg;
3544   struct MeshTunnel *t;
3545   GNUNET_PEER_Id id;
3546
3547   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got an POLL packet from %s!\n",
3548               GNUNET_i2s (peer));
3549
3550   msg = (struct GNUNET_MESH_Poll *) message;
3551
3552   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3553
3554   if (NULL == t)
3555   {
3556     /* TODO notify that we dont know this tunnel (whom)? */
3557     GNUNET_STATISTICS_update (stats, "# poll on unknown tunnel", 1, GNUNET_NO);
3558     GNUNET_break_op (0);
3559     return GNUNET_OK;
3560   }
3561
3562   /* Is this a forward or backward ACK? */
3563   id = GNUNET_PEER_search(peer);
3564   if (t->next_hop == id)
3565   {
3566     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  from FWD\n");
3567     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_POLL);
3568   }
3569   else if (t->prev_hop == id)
3570   {
3571     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  from BCK\n");
3572     tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_POLL);
3573   }
3574   else
3575     GNUNET_break (0);
3576
3577   return GNUNET_OK;
3578 }
3579
3580
3581 /**
3582  * Core handler for mesh keepalives.
3583  *
3584  * @param cls closure
3585  * @param message message
3586  * @param peer peer identity this notification is about
3587  * @return GNUNET_OK to keep the connection open,
3588  *         GNUNET_SYSERR to close it (signal serious error)
3589  *
3590  * TODO: Check who we got this from, to validate route.
3591  */
3592 static int
3593 handle_mesh_keepalive (void *cls, const struct GNUNET_PeerIdentity *peer,
3594                        const struct GNUNET_MessageHeader *message)
3595 {
3596   struct GNUNET_MESH_TunnelKeepAlive *msg;
3597   struct MeshTunnel *t;
3598
3599   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got a keepalive packet from %s\n",
3600               GNUNET_i2s (peer));
3601
3602   msg = (struct GNUNET_MESH_TunnelKeepAlive *) message;
3603   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3604
3605   if (NULL == t)
3606   {
3607     /* TODO notify that we dont know that tunnel */
3608     GNUNET_STATISTICS_update (stats, "# keepalive on unknown tunnel", 1,
3609                               GNUNET_NO);
3610     return GNUNET_OK;
3611   }
3612
3613   tunnel_reset_timeout (t);
3614
3615   GNUNET_STATISTICS_update (stats, "# keepalives forwarded", 1, GNUNET_NO);
3616   send_prebuilt_message (message, t->next_hop, t);
3617   return GNUNET_OK;
3618   }
3619
3620
3621
3622 /**
3623  * Functions to handle messages from core
3624  */
3625 static struct GNUNET_CORE_MessageHandler core_handlers[] = {
3626   {&handle_mesh_path_create, GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE, 0},
3627   {&handle_mesh_path_broken, GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN,
3628    sizeof (struct GNUNET_MESH_PathBroken)},
3629   {&handle_mesh_tunnel_destroy, GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY,
3630    sizeof (struct GNUNET_MESH_TunnelDestroy)},
3631   {&handle_mesh_unicast, GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
3632   {&handle_mesh_keepalive, GNUNET_MESSAGE_TYPE_MESH_PATH_KEEPALIVE,
3633     sizeof (struct GNUNET_MESH_TunnelKeepAlive)},
3634   {&handle_mesh_to_orig, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
3635   {&handle_mesh_ack, GNUNET_MESSAGE_TYPE_MESH_ACK,
3636     sizeof (struct GNUNET_MESH_ACK)},
3637   {&handle_mesh_poll, GNUNET_MESSAGE_TYPE_MESH_POLL,
3638     sizeof (struct GNUNET_MESH_Poll)},
3639   {&handle_mesh_path_ack, GNUNET_MESSAGE_TYPE_MESH_PATH_ACK,
3640    sizeof (struct GNUNET_MESH_PathACK)},
3641   {NULL, 0, 0}
3642 };
3643
3644
3645
3646 /******************************************************************************/
3647 /****************       MESH LOCAL HANDLER HELPERS      ***********************/
3648 /******************************************************************************/
3649
3650
3651 #if LATER
3652 /**
3653  * notify_client_connection_failure: notify a client that the connection to the
3654  * requested remote peer is not possible (for instance, no route found)
3655  * Function called when the socket is ready to queue more data. "buf" will be
3656  * NULL and "size" zero if the socket was closed for writing in the meantime.
3657  *
3658  * @param cls closure
3659  * @param size number of bytes available in buf
3660  * @param buf where the callee should write the message
3661  * @return number of bytes written to buf
3662  */
3663 static size_t
3664 notify_client_connection_failure (void *cls, size_t size, void *buf)
3665 {
3666   int size_needed;
3667   struct MeshPeerInfo *peer_info;
3668   struct GNUNET_MESH_PeerControl *msg;
3669   struct GNUNET_PeerIdentity id;
3670
3671   if (0 == size && NULL == buf)
3672   {
3673     // TODO retry? cancel?
3674     return 0;
3675   }
3676
3677   size_needed = sizeof (struct GNUNET_MESH_PeerControl);
3678   peer_info = (struct MeshPeerInfo *) cls;
3679   msg = (struct GNUNET_MESH_PeerControl *) buf;
3680   msg->header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
3681   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DISCONNECTED);
3682 //     msg->tunnel_id = htonl(peer_info->t->tid);
3683   GNUNET_PEER_resolve (peer_info->id, &id);
3684   memcpy (&msg->peer, &id, sizeof (struct GNUNET_PeerIdentity));
3685
3686   return size_needed;
3687 }
3688 #endif
3689
3690
3691 /**
3692  * Send keepalive packets for a tunnel.
3693  *
3694  * @param cls Closure (tunnel for which to send the keepalive).
3695  * @param tc Notification context.
3696  */
3697 static void
3698 path_refresh (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
3699 {
3700   struct MeshTunnel *t = cls;
3701   struct GNUNET_MESH_TunnelKeepAlive *msg;
3702   size_t size = sizeof (struct GNUNET_MESH_TunnelKeepAlive);
3703   char cbuf[size];
3704
3705   t->maintenance_task = GNUNET_SCHEDULER_NO_TASK;
3706   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN) ||
3707       NULL == t->owner || 0 == t->local_tid || 0 != t->prev_hop)
3708   {
3709     return;
3710   }
3711
3712   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3713               "sending keepalive for tunnel %d\n", t->id.tid);
3714
3715   msg = (struct GNUNET_MESH_TunnelKeepAlive *) cbuf;
3716   msg->header.size = htons (size);
3717   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_KEEPALIVE);
3718   msg->oid = my_full_id;
3719   msg->tid = htonl (t->id.tid);
3720   send_prebuilt_message (&msg->header, t->next_hop, t);
3721
3722   t->maintenance_task =
3723       GNUNET_SCHEDULER_add_delayed (refresh_path_time, &path_refresh, t);
3724 }
3725
3726
3727 /**
3728  * Function to process paths received for a new peer addition. The recorded
3729  * paths form the initial tunnel, which can be optimized later.
3730  * Called on each result obtained for the DHT search.
3731  *
3732  * @param cls closure
3733  * @param exp when will this value expire
3734  * @param key key of the result
3735  * @param get_path path of the get request
3736  * @param get_path_length lenght of get_path
3737  * @param put_path path of the put request
3738  * @param put_path_length length of the put_path
3739  * @param type type of the result
3740  * @param size number of bytes in data
3741  * @param data pointer to the result data
3742  */
3743 static void
3744 dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
3745                     const struct GNUNET_HashCode * key,
3746                     const struct GNUNET_PeerIdentity *get_path,
3747                     unsigned int get_path_length,
3748                     const struct GNUNET_PeerIdentity *put_path,
3749                     unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
3750                     size_t size, const void *data)
3751 {
3752   struct MeshPeerInfo *peer = cls;
3753   struct MeshPeerPath *p;
3754   struct GNUNET_PeerIdentity pi;
3755   int i;
3756
3757   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got results from DHT!\n");
3758   GNUNET_PEER_resolve (peer->id, &pi);
3759   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  for %s\n", GNUNET_i2s (&pi));
3760
3761   p = path_build_from_dht (get_path, get_path_length,
3762                            put_path, put_path_length);
3763   path_add_to_peers (p, GNUNET_NO);
3764   path_destroy (p);
3765   for (i = 0; i < peer->ntunnels; i++)
3766   {
3767     if (peer->tunnels[i]->state == MESH_TUNNEL_SEARCHING)
3768       peer_connect (peer, peer->tunnels[i]);
3769   }
3770
3771   return;
3772 }
3773
3774
3775 /******************************************************************************/
3776 /*********************       MESH LOCAL HANDLES      **************************/
3777 /******************************************************************************/
3778
3779
3780 /**
3781  * Handler for client disconnection
3782  *
3783  * @param cls closure
3784  * @param client identification of the client; NULL
3785  *        for the last call when the server is destroyed
3786  */
3787 static void
3788 handle_local_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
3789 {
3790   struct MeshClient *c;
3791   struct MeshClient *next;
3792
3793   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "client disconnected\n");
3794   if (client == NULL)
3795   {
3796     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   (SERVER DOWN)\n");
3797     return;
3798   }
3799
3800   c = clients_head;
3801   while (NULL != c)
3802   {
3803     if (c->handle != client)
3804     {
3805       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   ... searching\n");
3806       c = c->next;
3807       continue;
3808     }
3809     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "matching client found (%u)\n",
3810                 c->id);
3811     GNUNET_SERVER_client_drop (c->handle);
3812     c->shutting_down = GNUNET_YES;
3813     GNUNET_CONTAINER_multihashmap_iterate (c->own_tunnels,
3814                                            &tunnel_destroy_iterator, c);
3815     GNUNET_CONTAINER_multihashmap_iterate (c->incoming_tunnels,
3816                                            &tunnel_destroy_iterator, c);
3817     GNUNET_CONTAINER_multihashmap_destroy (c->own_tunnels);
3818     GNUNET_CONTAINER_multihashmap_destroy (c->incoming_tunnels);
3819
3820     if (NULL != c->ports)
3821       GNUNET_CONTAINER_multihashmap_destroy (c->ports);
3822     next = c->next;
3823     GNUNET_CONTAINER_DLL_remove (clients_head, clients_tail, c);
3824     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  CLIENT FREE at %p\n", c);
3825     GNUNET_free (c);
3826     GNUNET_STATISTICS_update (stats, "# clients", -1, GNUNET_NO);
3827     c = next;
3828   }
3829   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "done!\n");
3830   return;
3831 }
3832
3833
3834 /**
3835  * Handler for new clients
3836  *
3837  * @param cls closure
3838  * @param client identification of the client
3839  * @param message the actual message, which includes messages the client wants
3840  */
3841 static void
3842 handle_local_new_client (void *cls, struct GNUNET_SERVER_Client *client,
3843                          const struct GNUNET_MessageHeader *message)
3844 {
3845   struct GNUNET_MESH_ClientConnect *cc_msg;
3846   struct MeshClient *c;
3847   unsigned int size;
3848   uint32_t *p;
3849   unsigned int i;
3850
3851   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new client connected\n");
3852
3853   /* Check data sanity */
3854   size = ntohs (message->size) - sizeof (struct GNUNET_MESH_ClientConnect);
3855   cc_msg = (struct GNUNET_MESH_ClientConnect *) message;
3856   if (0 != (size % sizeof (uint32_t)))
3857   {
3858     GNUNET_break (0);
3859     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3860     return;
3861   }
3862   size /= sizeof (uint32_t);
3863
3864   /* Create new client structure */
3865   c = GNUNET_malloc (sizeof (struct MeshClient));
3866   c->id = next_client_id++; /* overflow not important: just for debug */
3867   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  client id %u\n", c->id);
3868   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  client has %u ports\n", size);
3869   c->handle = client;
3870   GNUNET_SERVER_client_keep (client);
3871   if (size > 0)
3872   {
3873     uint32_t u32;
3874     struct GNUNET_HashCode hc;
3875
3876     p = (uint32_t *) &cc_msg[1];
3877     c->ports = GNUNET_CONTAINER_multihashmap_create (size, GNUNET_NO);
3878     for (i = 0; i < size; i++)
3879     {
3880       u32 = ntohl (p[i]);
3881       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "    port: %u\n", u32);
3882       GMC_hash32 (u32, &hc);
3883
3884       /* store in client's hashmap */
3885       GNUNET_CONTAINER_multihashmap_put (c->ports, &hc, c,
3886                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
3887       /* store in global hashmap */
3888       /* FIXME only allow one client to have the port open,
3889        *       have a backup hashmap with waiting clients */
3890       GNUNET_CONTAINER_multihashmap_put (ports, &hc, c,
3891                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
3892     }
3893   }
3894
3895   GNUNET_CONTAINER_DLL_insert (clients_head, clients_tail, c);
3896   c->own_tunnels = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
3897   c->incoming_tunnels = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
3898   GNUNET_SERVER_notification_context_add (nc, client);
3899   GNUNET_STATISTICS_update (stats, "# clients", 1, GNUNET_NO);
3900
3901   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3902   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new client processed\n");
3903 }
3904
3905
3906 /**
3907  * Handler for requests of new tunnels
3908  *
3909  * @param cls Closure.
3910  * @param client Identification of the client.
3911  * @param message The actual message.
3912  */
3913 static void
3914 handle_local_tunnel_create (void *cls, struct GNUNET_SERVER_Client *client,
3915                             const struct GNUNET_MessageHeader *message)
3916 {
3917   struct GNUNET_MESH_TunnelMessage *t_msg;
3918   struct MeshPeerInfo *peer_info;
3919   struct MeshTunnel *t;
3920   struct MeshClient *c;
3921   MESH_TunnelNumber tid;
3922
3923   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new tunnel requested\n");
3924
3925   /* Sanity check for client registration */
3926   if (NULL == (c = client_get (client)))
3927   {
3928     GNUNET_break (0);
3929     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3930     return;
3931   }
3932   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
3933
3934   /* Message sanity check */
3935   if (sizeof (struct GNUNET_MESH_TunnelMessage) != ntohs (message->size))
3936   {
3937     GNUNET_break (0);
3938     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3939     return;
3940   }
3941
3942   t_msg = (struct GNUNET_MESH_TunnelMessage *) message;
3943   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  towards %s\n",
3944               GNUNET_i2s (&t_msg->peer));
3945   /* Sanity check for tunnel numbering */
3946   tid = ntohl (t_msg->tunnel_id);
3947   if (0 == (tid & GNUNET_MESH_LOCAL_TUNNEL_ID_CLI))
3948   {
3949     GNUNET_break (0);
3950     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3951     return;
3952   }
3953   /* Sanity check for duplicate tunnel IDs */
3954   if (NULL != tunnel_get_by_local_id (c, tid))
3955   {
3956     GNUNET_break (0);
3957     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3958     return;
3959   }
3960
3961   while (NULL != tunnel_get_by_pi (myid, next_tid))
3962     next_tid = (next_tid + 1) & ~GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
3963   t = tunnel_new (myid, next_tid, c, tid);
3964   next_tid = (next_tid + 1) & ~GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
3965   if (NULL == t)
3966   {
3967     GNUNET_break (0);
3968     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3969     return;
3970   }
3971   t->port = ntohl (t_msg->port);
3972   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "CREATED TUNNEL %s[%x]:%u (%x)\n",
3973               GNUNET_i2s (&my_full_id), t->id.tid, t->port, t->local_tid);
3974
3975   peer_info = peer_get (&t_msg->peer);
3976   GNUNET_array_append (peer_info->tunnels, peer_info->ntunnels, t);
3977   peer_connect (peer_info, t);
3978   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3979   return;
3980 }
3981
3982
3983 /**
3984  * Handler for requests of deleting tunnels
3985  *
3986  * @param cls closure
3987  * @param client identification of the client
3988  * @param message the actual message
3989  */
3990 static void
3991 handle_local_tunnel_destroy (void *cls, struct GNUNET_SERVER_Client *client,
3992                              const struct GNUNET_MessageHeader *message)
3993 {
3994   struct GNUNET_MESH_TunnelMessage *tunnel_msg;
3995   struct MeshClient *c;
3996   struct MeshTunnel *t;
3997   MESH_TunnelNumber tid;
3998
3999   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4000               "Got a DESTROY TUNNEL from client!\n");
4001
4002   /* Sanity check for client registration */
4003   if (NULL == (c = client_get (client)))
4004   {
4005     GNUNET_break (0);
4006     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4007     return;
4008   }
4009   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
4010
4011   /* Message sanity check */
4012   if (sizeof (struct GNUNET_MESH_TunnelMessage) != ntohs (message->size))
4013   {
4014     GNUNET_break (0);
4015     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4016     return;
4017   }
4018
4019   tunnel_msg = (struct GNUNET_MESH_TunnelMessage *) message;
4020
4021   /* Retrieve tunnel */
4022   tid = ntohl (tunnel_msg->tunnel_id);
4023   t = tunnel_get_by_local_id(c, tid);
4024   if (NULL == t)
4025   {
4026     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "  tunnel %X not found\n", tid);
4027     GNUNET_break (0);
4028     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4029     return;
4030   }
4031   if (c == t->client)
4032   {
4033     tunnel_destroy_empty (t);
4034     GNUNET_SERVER_receive_done (client, GNUNET_OK);
4035     return;
4036   }
4037   send_client_tunnel_destroy (t);
4038   client_delete_tunnel (c, t);
4039
4040   /* Don't try to ACK the client about the tunnel_destroy multicast packet */
4041   t->owner = NULL;
4042   tunnel_send_destroy (t);
4043   peer_remove_tunnel (peer_get_short(t->dest), t);
4044   t->destroy = GNUNET_YES;
4045   /* The tunnel will be destroyed when the last message is transmitted. */
4046   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4047   return;
4048 }
4049
4050
4051 /**
4052  * Handler for requests of seeting tunnel's buffering policy.
4053  *
4054  * @param cls Closure (unused).
4055  * @param client Identification of the client.
4056  * @param message The actual message.
4057  */
4058 static void
4059 handle_local_tunnel_buffer (void *cls, struct GNUNET_SERVER_Client *client,
4060                             const struct GNUNET_MessageHeader *message)
4061 {
4062   struct GNUNET_MESH_TunnelMessage *tunnel_msg;
4063   struct MeshClient *c;
4064   struct MeshTunnel *t;
4065   MESH_TunnelNumber tid;
4066
4067   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4068               "Got a BUFFER request from client!\n");
4069
4070   /* Sanity check for client registration */
4071   if (NULL == (c = client_get (client)))
4072   {
4073     GNUNET_break (0);
4074     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4075     return;
4076   }
4077   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
4078
4079   tunnel_msg = (struct GNUNET_MESH_TunnelMessage *) message;
4080
4081   /* Retrieve tunnel */
4082   tid = ntohl (tunnel_msg->tunnel_id);
4083   t = tunnel_get_by_local_id(c, tid);
4084   if (NULL == t)
4085   {
4086     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "  tunnel %X not found\n", tid);
4087     GNUNET_break (0);
4088     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4089     return;
4090   }
4091
4092   switch (ntohs(message->type))
4093   {
4094       case GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_BUFFER:
4095           t->nobuffer = GNUNET_NO;
4096           break;
4097       case GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_NOBUFFER:
4098           t->nobuffer = GNUNET_YES;
4099           break;
4100       default:
4101           GNUNET_break (0);
4102   }
4103
4104   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4105 }
4106
4107
4108 /**
4109  * Handler for client traffic directed to one peer
4110  *
4111  * @param cls closure
4112  * @param client identification of the client
4113  * @param message the actual message
4114  */
4115 static void
4116 handle_local_unicast (void *cls, struct GNUNET_SERVER_Client *client,
4117                       const struct GNUNET_MessageHeader *message)
4118 {
4119   struct MeshClient *c;
4120   struct MeshTunnel *t;
4121   struct GNUNET_MESH_Unicast *data_msg;
4122   MESH_TunnelNumber tid;
4123   size_t size;
4124
4125   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4126               "Got a unicast request from a client!\n");
4127
4128   /* Sanity check for client registration */
4129   if (NULL == (c = client_get (client)))
4130   {
4131     GNUNET_break (0);
4132     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4133     return;
4134   }
4135   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
4136
4137   data_msg = (struct GNUNET_MESH_Unicast *) message;
4138
4139   /* Sanity check for message size */
4140   size = ntohs (message->size);
4141   if (sizeof (struct GNUNET_MESH_Unicast) +
4142       sizeof (struct GNUNET_MessageHeader) > size)
4143   {
4144     GNUNET_break (0);
4145     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4146     return;
4147   }
4148
4149   /* Tunnel exists? */
4150   tid = ntohl (data_msg->tid);
4151   t = tunnel_get_by_local_id (c, tid);
4152   if (NULL == t)
4153   {
4154     GNUNET_break (0);
4155     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4156     return;
4157   }
4158
4159   /*  Is it a local tunnel? Then, does client own the tunnel? */
4160   if (t->owner->handle != client)
4161   {
4162     GNUNET_break (0);
4163     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4164     return;
4165   }
4166
4167   /* PID should be as expected: client<->service communication */
4168   if (ntohl (data_msg->pid) != t->prev_fc.last_pid_recv + 1)
4169   {
4170     GNUNET_break (0);
4171     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
4172               "Unicast PID, expected %u, got %u\n",
4173               t->prev_fc.last_pid_recv + 1, ntohl (data_msg->pid));
4174     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4175     return;
4176   }
4177
4178   /* Ok, everything is correct, send the message
4179    * (pretend we got it from a mesh peer)
4180    */
4181   {
4182     /* Work around const limitation */
4183     char buf[ntohs (message->size)] GNUNET_ALIGN;
4184     struct GNUNET_MESH_Unicast *copy;
4185
4186     copy = (struct GNUNET_MESH_Unicast *) buf;
4187     memcpy (buf, data_msg, size);
4188     copy->oid = my_full_id;
4189     copy->tid = htonl (t->id.tid);
4190     copy->ttl = htonl (default_ttl);
4191     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4192                 "  calling generic handler...\n");
4193         handle_mesh_unicast (NULL, &my_full_id, &copy->header);
4194   }
4195   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "receive done OK\n");
4196   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4197
4198   return;
4199 }
4200
4201
4202 /**
4203  * Handler for client traffic directed to the origin
4204  *
4205  * @param cls closure
4206  * @param client identification of the client
4207  * @param message the actual message
4208  */
4209 static void
4210 handle_local_to_origin (void *cls, struct GNUNET_SERVER_Client *client,
4211                         const struct GNUNET_MessageHeader *message)
4212 {
4213   struct GNUNET_MESH_ToOrigin *data_msg;
4214   struct MeshFlowControl *fc;
4215   struct MeshClient *c;
4216   struct MeshTunnel *t;
4217   MESH_TunnelNumber tid;
4218   size_t size;
4219
4220   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4221               "Got a ToOrigin request from a client!\n");
4222   /* Sanity check for client registration */
4223   if (NULL == (c = client_get (client)))
4224   {
4225     GNUNET_break (0);
4226     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4227     return;
4228   }
4229   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
4230
4231   data_msg = (struct GNUNET_MESH_ToOrigin *) message;
4232
4233   /* Sanity check for message size */
4234   size = ntohs (message->size);
4235   if (sizeof (struct GNUNET_MESH_ToOrigin) +
4236       sizeof (struct GNUNET_MessageHeader) > size)
4237   {
4238     GNUNET_break (0);
4239     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4240     return;
4241   }
4242
4243   /* Tunnel exists? */
4244   tid = ntohl (data_msg->tid);
4245   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %X\n", tid);
4246   if (tid < GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
4247   {
4248     GNUNET_break (0);
4249     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4250     return;
4251   }
4252   t = tunnel_get_by_local_id (c, tid);
4253   if (NULL == t)
4254   {
4255     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "Tunnel %X unknown.\n", tid);
4256     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "  for client %u.\n", c->id);
4257     GNUNET_break (0);
4258     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4259     return;
4260   }
4261
4262   /*  It should be sent by someone who has this as incoming tunnel. */
4263   if (t->client != c)
4264   {
4265     GNUNET_break (0);
4266     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4267     return;
4268   }
4269
4270   /* PID should be as expected */
4271   fc = &t->next_fc;
4272   if (ntohl (data_msg->pid) != fc->last_pid_recv + 1)
4273   {
4274     GNUNET_break (0);
4275     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
4276                 "To Origin PID, expected %u, got %u\n",
4277                 fc->last_pid_recv + 1,
4278                 ntohl (data_msg->pid));
4279     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4280     return;
4281   }
4282
4283   /* Ok, everything is correct, send the message
4284    * (pretend we got it from a mesh peer)
4285    */
4286   {
4287     char buf[ntohs (message->size)] GNUNET_ALIGN;
4288     struct GNUNET_MESH_ToOrigin *copy;
4289
4290     /* Work around 'const' limitation */
4291     memcpy (buf, data_msg, size);
4292     copy = (struct GNUNET_MESH_ToOrigin *) buf;
4293     GNUNET_PEER_resolve (t->id.oid, &copy->oid);
4294     copy->tid = htonl (t->id.tid);
4295     copy->ttl = htonl (default_ttl);
4296
4297     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4298                 "  calling generic handler...\n");
4299         handle_mesh_to_orig (NULL, &my_full_id, &copy->header);
4300   }
4301   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4302
4303   return;
4304 }
4305
4306
4307 /**
4308  * Handler for client's ACKs for payload traffic.
4309  *
4310  * @param cls Closure (unused).
4311  * @param client Identification of the client.
4312  * @param message The actual message.
4313  */
4314 static void
4315 handle_local_ack (void *cls, struct GNUNET_SERVER_Client *client,
4316                   const struct GNUNET_MessageHeader *message)
4317 {
4318   struct GNUNET_MESH_LocalAck *msg;
4319   struct MeshTunnel *t;
4320   struct MeshClient *c;
4321   MESH_TunnelNumber tid;
4322   uint32_t ack;
4323
4324   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got a local ACK\n");
4325   /* Sanity check for client registration */
4326   if (NULL == (c = client_get (client)))
4327   {
4328     GNUNET_break (0);
4329     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4330     return;
4331   }
4332   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
4333
4334   msg = (struct GNUNET_MESH_LocalAck *) message;
4335
4336   /* Tunnel exists? */
4337   tid = ntohl (msg->tunnel_id);
4338   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %X\n", tid);
4339   t = tunnel_get_by_local_id (c, tid);
4340   if (NULL == t)
4341   {
4342     GNUNET_break (0);
4343     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "Tunnel %X unknown.\n", tid);
4344     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "  for client %u.\n", c->id);
4345     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4346     return;
4347   }
4348
4349   ack = ntohl (msg->max_pid);
4350   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  ack %u\n", ack);
4351
4352   /* Does client own tunnel? I.E: Is this an ACK for BCK traffic? */
4353   if (t->owner == c)
4354   {
4355     /* The client owns the tunnel, ACK is for data to_origin, send BCK ACK. */
4356     t->prev_fc.last_ack_recv = ack;
4357     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK);
4358   }
4359   else
4360   {
4361     /* The client doesn't own the tunnel, this ACK is for FWD traffic. */
4362     t->next_fc.last_ack_recv = ack;
4363     tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK);
4364   }
4365
4366   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4367
4368   return;
4369 }
4370
4371
4372
4373 /**
4374  * Iterator over all tunnels to send a monitoring client info about each tunnel.
4375  *
4376  * @param cls Closure (client handle).
4377  * @param key Key (hashed tunnel ID, unused).
4378  * @param value Tunnel info.
4379  *
4380  * @return GNUNET_YES, to keep iterating.
4381  */
4382 static int
4383 monitor_all_tunnels_iterator (void *cls,
4384                               const struct GNUNET_HashCode * key,
4385                               void *value)
4386 {
4387   struct GNUNET_SERVER_Client *client = cls;
4388   struct MeshTunnel *t = value;
4389   struct GNUNET_MESH_LocalMonitor *msg;
4390
4391   msg = GNUNET_malloc (sizeof(struct GNUNET_MESH_LocalMonitor));
4392   GNUNET_PEER_resolve(t->id.oid, &msg->owner);
4393   msg->tunnel_id = htonl (t->id.tid);
4394   msg->header.size = htons (sizeof (struct GNUNET_MESH_LocalMonitor));
4395   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_INFO_TUNNELS);
4396   GNUNET_PEER_resolve (t->dest, &msg->destination);
4397
4398   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4399               "*  sending info about tunnel %s [%u]\n",
4400               GNUNET_i2s (&msg->owner), t->id.tid);
4401
4402   GNUNET_SERVER_notification_context_unicast (nc, client,
4403                                               &msg->header, GNUNET_NO);
4404   return GNUNET_YES;
4405 }
4406
4407
4408 /**
4409  * Handler for client's MONITOR request.
4410  *
4411  * @param cls Closure (unused).
4412  * @param client Identification of the client.
4413  * @param message The actual message.
4414  */
4415 static void
4416 handle_local_get_tunnels (void *cls, struct GNUNET_SERVER_Client *client,
4417                           const struct GNUNET_MessageHeader *message)
4418 {
4419   struct MeshClient *c;
4420
4421   /* Sanity check for client registration */
4422   if (NULL == (c = client_get (client)))
4423   {
4424     GNUNET_break (0);
4425     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4426     return;
4427   }
4428
4429   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4430               "Received get tunnels request from client %u\n",
4431               c->id);
4432   GNUNET_CONTAINER_multihashmap_iterate (tunnels,
4433                                          monitor_all_tunnels_iterator,
4434                                          client);
4435   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4436               "Get tunnels request from client %u completed\n",
4437               c->id);
4438   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4439 }
4440
4441
4442 /**
4443  * Handler for client's MONITOR_TUNNEL request.
4444  *
4445  * @param cls Closure (unused).
4446  * @param client Identification of the client.
4447  * @param message The actual message.
4448  */
4449 static void
4450 handle_local_show_tunnel (void *cls, struct GNUNET_SERVER_Client *client,
4451                           const struct GNUNET_MessageHeader *message)
4452 {
4453   const struct GNUNET_MESH_LocalMonitor *msg;
4454   struct GNUNET_MESH_LocalMonitor *resp;
4455   struct MeshClient *c;
4456   struct MeshTunnel *t;
4457
4458   /* Sanity check for client registration */
4459   if (NULL == (c = client_get (client)))
4460   {
4461     GNUNET_break (0);
4462     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4463     return;
4464   }
4465
4466   msg = (struct GNUNET_MESH_LocalMonitor *) message;
4467   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4468               "Received tunnel info request from client %u for tunnel %s[%X]\n",
4469               c->id,
4470               &msg->owner,
4471               ntohl (msg->tunnel_id));
4472   t = tunnel_get (&msg->owner, ntohl (msg->tunnel_id));
4473   if (NULL == t)
4474   {
4475     /* We don't know the tunnel FIXME */
4476     struct GNUNET_MESH_LocalMonitor warn;
4477
4478     warn = *msg;
4479     GNUNET_SERVER_notification_context_unicast (nc, client,
4480                                                 &warn.header,
4481                                                 GNUNET_NO);
4482     GNUNET_SERVER_receive_done (client, GNUNET_OK);
4483     return;
4484   }
4485
4486   /* Initialize context */
4487   resp = GNUNET_malloc (sizeof (struct GNUNET_MESH_LocalMonitor));
4488   *resp = *msg;
4489   GNUNET_PEER_resolve (t->dest, &resp->destination);
4490   resp->header.size = htons (sizeof (struct GNUNET_MESH_LocalMonitor));
4491   GNUNET_SERVER_notification_context_unicast (nc, c->handle,
4492                                               &resp->header, GNUNET_NO);
4493   GNUNET_free (resp);
4494
4495   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4496               "Monitor tunnel request from client %u completed\n",
4497               c->id);
4498   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4499 }
4500
4501
4502 /**
4503  * Functions to handle messages from clients
4504  */
4505 static struct GNUNET_SERVER_MessageHandler client_handlers[] = {
4506   {&handle_local_new_client, NULL,
4507    GNUNET_MESSAGE_TYPE_MESH_LOCAL_CONNECT, 0},
4508   {&handle_local_tunnel_create, NULL,
4509    GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE,
4510    sizeof (struct GNUNET_MESH_TunnelMessage)},
4511   {&handle_local_tunnel_destroy, NULL,
4512    GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY,
4513    sizeof (struct GNUNET_MESH_TunnelMessage)},
4514   {&handle_local_tunnel_buffer, NULL,
4515    GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_BUFFER,
4516    sizeof (struct GNUNET_MESH_TunnelMessage)},
4517   {&handle_local_tunnel_buffer, NULL,
4518    GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_NOBUFFER,
4519    sizeof (struct GNUNET_MESH_TunnelMessage)},
4520   {&handle_local_unicast, NULL,
4521    GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
4522   {&handle_local_to_origin, NULL,
4523    GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
4524   {&handle_local_ack, NULL,
4525    GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK,
4526    sizeof (struct GNUNET_MESH_LocalAck)},
4527   {&handle_local_get_tunnels, NULL,
4528    GNUNET_MESSAGE_TYPE_MESH_LOCAL_INFO_TUNNELS,
4529    sizeof (struct GNUNET_MessageHeader)},
4530   {&handle_local_show_tunnel, NULL,
4531    GNUNET_MESSAGE_TYPE_MESH_LOCAL_INFO_TUNNEL,
4532      sizeof (struct GNUNET_MESH_LocalMonitor)},
4533   {NULL, NULL, 0, 0}
4534 };
4535
4536
4537 /**
4538  * Method called whenever a given peer connects.
4539  *
4540  * @param cls closure
4541  * @param peer peer identity this notification is about
4542  */
4543 static void
4544 core_connect (void *cls, const struct GNUNET_PeerIdentity *peer)
4545 {
4546   struct MeshPeerInfo *peer_info;
4547   struct MeshPeerPath *path;
4548
4549   DEBUG_CONN ("Peer connected\n");
4550   DEBUG_CONN ("     %s\n", GNUNET_i2s (&my_full_id));
4551   peer_info = peer_get (peer);
4552   if (myid == peer_info->id)
4553   {
4554     DEBUG_CONN ("     (self)\n");
4555     return;
4556   }
4557   else
4558   {
4559     DEBUG_CONN ("     %s\n", GNUNET_i2s (peer));
4560   }
4561   path = path_new (2);
4562   path->peers[0] = myid;
4563   path->peers[1] = peer_info->id;
4564   GNUNET_PEER_change_rc (myid, 1);
4565   GNUNET_PEER_change_rc (peer_info->id, 1);
4566   peer_info_add_path (peer_info, path, GNUNET_YES);
4567   GNUNET_STATISTICS_update (stats, "# peers", 1, GNUNET_NO);
4568   return;
4569 }
4570
4571
4572 /**
4573  * Method called whenever a peer disconnects.
4574  *
4575  * @param cls closure
4576  * @param peer peer identity this notification is about
4577  */
4578 static void
4579 core_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
4580 {
4581   struct MeshPeerInfo *pi;
4582   struct MeshPeerQueue *q;
4583   struct MeshPeerQueue *n;
4584
4585   DEBUG_CONN ("Peer disconnected\n");
4586   pi = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
4587   if (NULL == pi)
4588   {
4589     GNUNET_break (0);
4590     return;
4591   }
4592   q = pi->queue_head;
4593   while (NULL != q)
4594   {
4595       n = q->next;
4596       /* TODO try to reroute this traffic instead */
4597       queue_destroy(q, GNUNET_YES);
4598       q = n;
4599   }
4600   if (NULL != pi->core_transmit)
4601   {
4602     GNUNET_CORE_notify_transmit_ready_cancel(pi->core_transmit);
4603     pi->core_transmit = NULL;
4604   }
4605     peer_remove_path (pi, pi->id, myid);
4606   if (myid == pi->id)
4607   {
4608     DEBUG_CONN ("     (self)\n");
4609   }
4610   GNUNET_STATISTICS_update (stats, "# peers", -1, GNUNET_NO);
4611   return;
4612 }
4613
4614
4615 /**
4616  * Install server (service) handlers and start listening to clients.
4617  */
4618 static void
4619 server_init (void)
4620 {
4621   GNUNET_SERVER_add_handlers (server_handle, client_handlers);
4622   GNUNET_SERVER_disconnect_notify (server_handle,
4623                                    &handle_local_client_disconnect, NULL);
4624   nc = GNUNET_SERVER_notification_context_create (server_handle, 1);
4625
4626   clients_head = NULL;
4627   clients_tail = NULL;
4628   next_client_id = 0;
4629   GNUNET_SERVER_resume (server_handle);
4630 }
4631
4632
4633 /**
4634  * To be called on core init/fail.
4635  *
4636  * @param cls Closure (config)
4637  * @param server handle to the server for this service
4638  * @param identity the public identity of this peer
4639  */
4640 static void
4641 core_init (void *cls, struct GNUNET_CORE_Handle *server,
4642            const struct GNUNET_PeerIdentity *identity)
4643 {
4644   const struct GNUNET_CONFIGURATION_Handle *c = cls;
4645   static int i = 0;
4646
4647   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Core init\n");
4648   GNUNET_break (core_handle == server);
4649   if (0 != memcmp (identity, &my_full_id, sizeof (my_full_id)) ||
4650     NULL == server)
4651   {
4652     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, _("Wrong CORE service\n"));
4653     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4654                 " core id %s\n",
4655                 GNUNET_i2s (identity));
4656     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4657                 " my id %s\n",
4658                 GNUNET_i2s (&my_full_id));
4659     GNUNET_CORE_disconnect (core_handle);
4660     core_handle = GNUNET_CORE_connect (c, /* Main configuration */
4661                                        NULL,      /* Closure passed to MESH functions */
4662                                        &core_init,        /* Call core_init once connected */
4663                                        &core_connect,     /* Handle connects */
4664                                        &core_disconnect,  /* remove peers on disconnects */
4665                                        NULL,      /* Don't notify about all incoming messages */
4666                                        GNUNET_NO, /* For header only in notification */
4667                                        NULL,      /* Don't notify about all outbound messages */
4668                                        GNUNET_NO, /* For header-only out notification */
4669                                        core_handlers);    /* Register these handlers */
4670     if (10 < i++)
4671       GNUNET_abort();
4672   }
4673   server_init ();
4674   return;
4675 }
4676
4677
4678 /******************************************************************************/
4679 /************************      MAIN FUNCTIONS      ****************************/
4680 /******************************************************************************/
4681
4682 /**
4683  * Iterator over tunnel hash map entries to destroy the tunnel during shutdown.
4684  *
4685  * @param cls closure
4686  * @param key current key code
4687  * @param value value in the hash map
4688  * @return GNUNET_YES if we should continue to iterate,
4689  *         GNUNET_NO if not.
4690  */
4691 static int
4692 shutdown_tunnel (void *cls, const struct GNUNET_HashCode * key, void *value)
4693 {
4694   struct MeshTunnel *t = value;
4695
4696   tunnel_destroy (t);
4697   return GNUNET_YES;
4698 }
4699
4700 /**
4701  * Iterator over peer hash map entries to destroy the tunnel during shutdown.
4702  *
4703  * @param cls closure
4704  * @param key current key code
4705  * @param value value in the hash map
4706  * @return GNUNET_YES if we should continue to iterate,
4707  *         GNUNET_NO if not.
4708  */
4709 static int
4710 shutdown_peer (void *cls, const struct GNUNET_HashCode * key, void *value)
4711 {
4712   struct MeshPeerInfo *p = value;
4713   struct MeshPeerQueue *q;
4714   struct MeshPeerQueue *n;
4715
4716   q = p->queue_head;
4717   while (NULL != q)
4718   {
4719       n = q->next;
4720       if (q->peer == p)
4721       {
4722         queue_destroy(q, GNUNET_YES);
4723       }
4724       q = n;
4725   }
4726   peer_info_destroy (p);
4727   return GNUNET_YES;
4728 }
4729
4730
4731 /**
4732  * Task run during shutdown.
4733  *
4734  * @param cls unused
4735  * @param tc unused
4736  */
4737 static void
4738 shutdown_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
4739 {
4740   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "shutting down\n");
4741
4742   if (core_handle != NULL)
4743   {
4744     GNUNET_CORE_disconnect (core_handle);
4745     core_handle = NULL;
4746   }
4747   if (NULL != keygen)
4748   {
4749     GNUNET_CRYPTO_ecc_key_create_stop (keygen);
4750     keygen = NULL;
4751   }
4752   GNUNET_CONTAINER_multihashmap_iterate (tunnels, &shutdown_tunnel, NULL);
4753   GNUNET_CONTAINER_multihashmap_iterate (peers, &shutdown_peer, NULL);
4754   if (dht_handle != NULL)
4755   {
4756     GNUNET_DHT_disconnect (dht_handle);
4757     dht_handle = NULL;
4758   }
4759   if (nc != NULL)
4760   {
4761     GNUNET_SERVER_notification_context_destroy (nc);
4762     nc = NULL;
4763   }
4764   if (GNUNET_SCHEDULER_NO_TASK != announce_id_task)
4765   {
4766     GNUNET_SCHEDULER_cancel (announce_id_task);
4767     announce_id_task = GNUNET_SCHEDULER_NO_TASK;
4768   }
4769   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "shut down\n");
4770 }
4771
4772
4773 /**
4774  * Callback for hostkey read/generation.
4775  *
4776  * @param cls Closure (Configuration handle).
4777  * @param pk The ECC private key.
4778  * @param emsg Error message, if any.
4779  */
4780 static void
4781 key_generation_cb (void *cls,
4782                    struct GNUNET_CRYPTO_EccPrivateKey *pk,
4783                    const char *emsg)
4784 {
4785   const struct GNUNET_CONFIGURATION_Handle *c = cls;
4786   struct MeshPeerInfo *peer;
4787   struct MeshPeerPath *p;
4788
4789   keygen = NULL;
4790   if (NULL == pk)
4791   {
4792     GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4793                 _("Could not access hostkey: %s. Exiting.\n"),
4794                 emsg);
4795     GNUNET_SCHEDULER_shutdown ();
4796     return;
4797   }
4798   my_private_key = pk;
4799   GNUNET_CRYPTO_ecc_key_get_public (my_private_key, &my_public_key);
4800   GNUNET_CRYPTO_hash (&my_public_key, sizeof (my_public_key),
4801                       &my_full_id.hashPubKey);
4802   myid = GNUNET_PEER_intern (&my_full_id);
4803   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4804               "Mesh for peer [%s] starting\n",
4805               GNUNET_i2s(&my_full_id));
4806
4807   core_handle = GNUNET_CORE_connect (c, /* Main configuration */
4808                                      NULL,      /* Closure passed to MESH functions */
4809                                      &core_init,        /* Call core_init once connected */
4810                                      &core_connect,     /* Handle connects */
4811                                      &core_disconnect,  /* remove peers on disconnects */
4812                                      NULL,      /* Don't notify about all incoming messages */
4813                                      GNUNET_NO, /* For header only in notification */
4814                                      NULL,      /* Don't notify about all outbound messages */
4815                                      GNUNET_NO, /* For header-only out notification */
4816                                      core_handlers);    /* Register these handlers */
4817   if (core_handle == NULL)
4818   {
4819     GNUNET_break (0);
4820     GNUNET_SCHEDULER_shutdown ();
4821     return;
4822   }
4823
4824   next_tid = 0;
4825   next_local_tid = GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
4826
4827   announce_id_task = GNUNET_SCHEDULER_add_now (&announce_id, cls);
4828
4829   /* Create a peer_info for the local peer */
4830   peer = peer_get (&my_full_id);
4831   p = path_new (1);
4832   p->peers[0] = myid;
4833   GNUNET_PEER_change_rc (myid, 1);
4834   peer_info_add_path (peer, p, GNUNET_YES);
4835
4836   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Mesh service running\n");
4837 }
4838
4839
4840 /**
4841  * Process mesh requests.
4842  *
4843  * @param cls closure
4844  * @param server the initialized server
4845  * @param c configuration to use
4846  */
4847 static void
4848 run (void *cls, struct GNUNET_SERVER_Handle *server,
4849      const struct GNUNET_CONFIGURATION_Handle *c)
4850 {
4851   char *keyfile;
4852
4853   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "starting to run\n");
4854   server_handle = server;
4855   GNUNET_SERVER_suspend (server_handle);
4856
4857   if (GNUNET_OK !=
4858       GNUNET_CONFIGURATION_get_value_filename (c, "PEER", "PRIVATE_KEY",
4859                                                &keyfile))
4860   {
4861     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4862                 _
4863                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
4864                 "mesh", "peer/privatekey");
4865     GNUNET_SCHEDULER_shutdown ();
4866     return;
4867   }
4868
4869   if (GNUNET_OK !=
4870       GNUNET_CONFIGURATION_get_value_time (c, "MESH", "REFRESH_PATH_TIME",
4871                                            &refresh_path_time))
4872   {
4873     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4874                 _
4875                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
4876                 "mesh", "refresh path time");
4877     GNUNET_SCHEDULER_shutdown ();
4878     return;
4879   }
4880
4881   if (GNUNET_OK !=
4882       GNUNET_CONFIGURATION_get_value_time (c, "MESH", "ID_ANNOUNCE_TIME",
4883                                            &id_announce_time))
4884   {
4885     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4886                 _
4887                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
4888                 "mesh", "id announce time");
4889     GNUNET_SCHEDULER_shutdown ();
4890     return;
4891   }
4892
4893   if (GNUNET_OK !=
4894       GNUNET_CONFIGURATION_get_value_time (c, "MESH", "CONNECT_TIMEOUT",
4895                                            &connect_timeout))
4896   {
4897     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4898                 _
4899                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
4900                 "mesh", "connect timeout");
4901     GNUNET_SCHEDULER_shutdown ();
4902     return;
4903   }
4904
4905   if (GNUNET_OK !=
4906       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_MSGS_QUEUE",
4907                                              &max_msgs_queue))
4908   {
4909     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4910                 _
4911                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
4912                 "mesh", "max msgs queue");
4913     GNUNET_SCHEDULER_shutdown ();
4914     return;
4915   }
4916
4917   if (GNUNET_OK !=
4918       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_TUNNELS",
4919                                              &max_tunnels))
4920   {
4921     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4922                 _
4923                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
4924                 "mesh", "max tunnels");
4925     GNUNET_SCHEDULER_shutdown ();
4926     return;
4927   }
4928
4929   if (GNUNET_OK !=
4930       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "DEFAULT_TTL",
4931                                              &default_ttl))
4932   {
4933     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
4934                 _
4935                 ("%s service is lacking key configuration settings (%s). Using default (%u).\n"),
4936                 "mesh", "default ttl", 64);
4937     default_ttl = 64;
4938   }
4939
4940   if (GNUNET_OK !=
4941       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_PEERS",
4942                                              &max_peers))
4943   {
4944     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
4945                 _("%s service is lacking key configuration settings (%s). Using default (%u).\n"),
4946                 "mesh", "max peers", 1000);
4947     max_peers = 1000;
4948   }
4949
4950   if (GNUNET_OK !=
4951       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "DHT_REPLICATION_LEVEL",
4952                                              &dht_replication_level))
4953   {
4954     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
4955                 _
4956                 ("%s service is lacking key configuration settings (%s). Using default (%u).\n"),
4957                 "mesh", "dht replication level", 3);
4958     dht_replication_level = 3;
4959   }
4960
4961   tunnels = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
4962   incoming_tunnels = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
4963   peers = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
4964   ports = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
4965
4966   dht_handle = GNUNET_DHT_connect (c, 64);
4967   if (NULL == dht_handle)
4968   {
4969     GNUNET_break (0);
4970   }
4971   stats = GNUNET_STATISTICS_create ("mesh", c);
4972
4973   /* Scheduled the task to clean up when shutdown is called */
4974   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL, &shutdown_task,
4975                                 NULL);
4976   keygen = GNUNET_CRYPTO_ecc_key_create_start (keyfile,
4977                                                &key_generation_cb,
4978                                                (void *) c);
4979   GNUNET_free (keyfile);
4980 }
4981
4982
4983 /**
4984  * The main function for the mesh service.
4985  *
4986  * @param argc number of arguments from the command line
4987  * @param argv command line arguments
4988  * @return 0 ok, 1 on error
4989  */
4990 int
4991 main (int argc, char *const *argv)
4992 {
4993   int ret;
4994   int r;
4995
4996   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "main()\n");
4997   r = GNUNET_SERVICE_run (argc, argv, "mesh", GNUNET_SERVICE_OPTION_NONE, &run,
4998                           NULL);
4999   ret = (GNUNET_OK == r) ? 0 : 1;
5000   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "main() END\n");
5001
5002   INTERVAL_SHOW;
5003
5004   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
5005               "Mesh for peer [%s] FWD ACKs %u, BCK ACKs %u\n",
5006               GNUNET_i2s(&my_full_id), debug_fwd_ack, debug_bck_ack);
5007
5008   return ret;
5009 }