src/mesh/gnunet-service-mesh-new.c

   1 /*
   2      This file is part of GNUnet.
   3      (C) 2001-2013 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20
  21 /**
  22  * @file mesh/gnunet-service-mesh-new.c
  23  * @brief GNUnet MESH service
  24  * @author Bartlomiej Polot
  25  *
  26  * TODO:
  27  * - relay corking down to core
  28  * - set ttl relative to path length
  29  * - add signatures
  30  * - add encryption
  31  * - keep queues until receiving ACK
  32  * TODO END
  33  */
  34
  35 #include "platform.h"
  36 #include "mesh2.h"
  37 #include "mesh2_protocol.h"
  38 #include "mesh_path.h"
  39 #include "block_mesh.h"
  40 #include "gnunet_dht_service.h"
  41 #include "gnunet_statistics_service.h"
  42
  43 #define MESH_BLOOM_SIZE         128
  44
  45 #define MESH_DEBUG_DHT          GNUNET_NO
  46 #define MESH_DEBUG_CONNECTION   GNUNET_NO
  47 #define MESH_DEBUG_TIMING       __LINUX__ && GNUNET_NO
  48
  49 #define MESH_MAX_POLL_TIME      GNUNET_TIME_relative_multiply (\
  50                                   GNUNET_TIME_UNIT_MINUTES,\
  51                                   10)
  52
  53 #if MESH_DEBUG_CONNECTION
  54 #define DEBUG_CONN(...) GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
  55 #else
  56 #define DEBUG_CONN(...)
  57 #endif
  58
  59 #if MESH_DEBUG_DHT
  60 #define DEBUG_DHT(...) GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, __VA_ARGS__)
  61 #else
  62 #define DEBUG_DHT(...)
  63 #endif
  64
  65 #if MESH_DEBUG_TIMING
  66 #include <time.h>
  67 double __sum;
  68 uint64_t __count;
  69 struct timespec __mesh_start;
  70 struct timespec __mesh_end;
  71 #define INTERVAL_START clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &(__mesh_start))
  72 #define INTERVAL_END \
  73 do {\
  74   clock_gettime(CLOCK_PROCESS_CPUTIME_ID, &(__mesh_end));\
  75   double __diff = __mesh_end.tv_nsec - __mesh_start.tv_nsec;\
  76   if (__diff < 0) __diff += 1000000000;\
  77   __sum += __diff;\
  78   __count++;\
  79 } while (0)
  80 #define INTERVAL_SHOW \
  81 if (0 < __count)\
  82   GNUNET_log (GNUNET_ERROR_TYPE_INFO, "AVG process time: %f ns\n", __sum/__count)
  83 #else
  84 #define INTERVAL_START
  85 #define INTERVAL_END
  86 #define INTERVAL_SHOW
  87 #endif
  88
  89 /******************************************************************************/
  90 /************************      DATA STRUCTURES     ****************************/
  91 /******************************************************************************/
  92
  93 /** FWD declaration */
  94 struct MeshPeerInfo;
  95 struct MeshClient;
  96
  97
  98 /**
  99  * Struct containing info about a queued transmission to this peer
 100  */
 101 struct MeshPeerQueue
 102 {
 103     /**
 104       * DLL next
 105       */
 106   struct MeshPeerQueue *next;
 107
 108     /**
 109       * DLL previous
 110       */
 111   struct MeshPeerQueue *prev;
 112
 113     /**
 114      * Peer this transmission is directed to.
 115      */
 116   struct MeshPeerInfo *peer;
 117
 118     /**
 119      * Tunnel this message belongs to.
 120      */
 121   struct MeshTunnel *tunnel;
 122
 123     /**
 124      * Pointer to info stucture used as cls.
 125      */
 126   void *cls;
 127
 128     /**
 129      * Type of message
 130      */
 131   uint16_t type;
 132
 133     /**
 134      * Size of the message
 135      */
 136   size_t size;
 137 };
 138
 139
 140 /**
 141  * Struct containing all information regarding a given peer
 142  */
 143 struct MeshPeerInfo
 144 {
 145     /**
 146      * ID of the peer
 147      */
 148   GNUNET_PEER_Id id;
 149
 150     /**
 151      * Last time we heard from this peer
 152      */
 153   struct GNUNET_TIME_Absolute last_contact;
 154
 155     /**
 156      * Number of attempts to reconnect so far
 157      */
 158   int n_reconnect_attempts;
 159
 160     /**
 161      * Paths to reach the peer, ordered by ascending hop count
 162      */
 163   struct MeshPeerPath *path_head;
 164
 165     /**
 166      * Paths to reach the peer, ordered by ascending hop count
 167      */
 168   struct MeshPeerPath *path_tail;
 169
 170     /**
 171      * Handle to stop the DHT search for a path to this peer
 172      */
 173   struct GNUNET_DHT_GetHandle *dhtget;
 174
 175     /**
 176      * Array of tunnels this peer is the target of.
 177      * Most probably a small amount, therefore not a hashmap.
 178      * When the path to the peer changes, notify these tunnels to let them
 179      * re-adjust their path trees.
 180      */
 181   struct MeshTunnel **tunnels;
 182
 183     /**
 184      * Number of tunnels this peers participates in
 185      */
 186   unsigned int ntunnels;
 187
 188    /**
 189     * Transmission queue to core DLL head
 190     */
 191   struct MeshPeerQueue *queue_head;
 192
 193    /**
 194     * Transmission queue to core DLL tail
 195     */
 196    struct MeshPeerQueue *queue_tail;
 197
 198    /**
 199     * How many messages are in the queue to this peer.
 200     */
 201    unsigned int queue_n;
 202
 203    /**
 204     * Handle for queued transmissions
 205     */
 206   struct GNUNET_CORE_TransmitHandle *core_transmit;
 207 };
 208
 209
 210 /**
 211  * Struct to encapsulate all the Flow Control information to a peer in the
 212  * context of a tunnel: Same peer in different tunnels will have independent
 213  * flow control structures, allowing to choke/free tunnels according to its
 214  * own criteria.
 215  */
 216 struct MeshFlowControl
 217 {
 218   /**
 219    * ID of the last packet sent towards the peer.
 220    */
 221   uint32_t last_pid_sent;
 222
 223   /**
 224    * ID of the last packet received from the peer.
 225    */
 226   uint32_t last_pid_recv;
 227
 228   /**
 229    * Last ACK sent to the peer (peer can't send more than this PID).
 230    */
 231   uint32_t last_ack_sent;
 232
 233   /**
 234    * Last ACK sent towards the origin (for traffic towards leaf node).
 235    */
 236   uint32_t last_ack_recv;
 237
 238   /**
 239    * How many messages are in the queue towards this peer.
 240    */
 241   uint32_t queue_n;
 242
 243   /**
 244    * Task to poll the peer in case of a lost ACK causes stall.
 245    */
 246   GNUNET_SCHEDULER_TaskIdentifier poll_task;
 247
 248   /**
 249    * How frequently to poll for ACKs.
 250    */
 251   struct GNUNET_TIME_Relative poll_time;
 252
 253   /**
 254    * On which tunnel to poll.
 255    * Using an explicit poll_ctx would not help memory wise,
 256    * since the allocated context would have to be stored in the
 257    * fc struct in order to free it upon cancelling poll_task.
 258    */
 259   struct MeshTunnel *t;
 260 };
 261
 262
 263 /**
 264  * Globally unique tunnel identification (owner + number)
 265  * DO NOT USE OVER THE NETWORK
 266  */
 267 struct MESH_TunnelID
 268 {
 269     /**
 270      * Node that owns the tunnel
 271      */
 272   GNUNET_PEER_Id oid;
 273
 274     /**
 275      * Tunnel number to differentiate all the tunnels owned by the node oid
 276      * ( tid < GNUNET_MESH_LOCAL_TUNNEL_ID_CLI )
 277      */
 278   MESH_TunnelNumber tid;
 279 };
 280
 281
 282 /**
 283  * Struct containing all information regarding a tunnel
 284  * For an intermediate node the improtant info used will be:
 285  * - id        Tunnel unique identification
 286  * - paths[0]  To know where to send it next
 287  * - metainfo: ready, speeds, accounting
 288  */
 289 struct MeshTunnel
 290 {
 291     /**
 292      * Tunnel ID
 293      */
 294   struct MESH_TunnelID id;
 295
 296     /**
 297      * Port of the tunnel.
 298      */
 299   uint32_t port;
 300
 301     /**
 302      * State of the tunnel.
 303      */
 304   enum MeshTunnelState state;
 305
 306     /**
 307      * Local tunnel number ( >= GNUNET_MESH_LOCAL_TUNNEL_ID_CLI or 0 )
 308      */
 309   MESH_TunnelNumber local_tid;
 310
 311     /**
 312      * Local tunnel number for local destination clients (incoming number)
 313      * ( >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV or 0). All clients share the same
 314      * number.
 315      */
 316   MESH_TunnelNumber local_tid_dest;
 317
 318     /**
 319      * Is the tunnel bufferless (minimum latency)?
 320      */
 321   int nobuffer;
 322
 323     /**
 324      * Force sending ACK? Flag to allow duplicate ACK on POLL.
 325      */
 326   int force_ack;
 327
 328     /**
 329      * How many messages do we accept in the forward queue.
 330      */
 331   unsigned int queue_max;
 332
 333     /**
 334      * Last time the tunnel was used
 335      */
 336   struct GNUNET_TIME_Absolute timestamp;
 337
 338     /**
 339      * Destination of the tunnel.
 340      */
 341   GNUNET_PEER_Id dest;
 342
 343     /**
 344      * Next hop in the tunnel. If 0, @c client must be set.
 345      */
 346   GNUNET_PEER_Id next_hop;
 347
 348     /**
 349      * Previous hop in the tunnel. If 0, @c owner must be set.
 350      */
 351   GNUNET_PEER_Id prev_hop;
 352
 353     /**
 354      * Flow control information about @c next_hop or @c client.
 355      */
 356   struct MeshFlowControl next_fc;
 357
 358   /**
 359    * Flow control information about @c prev_hop or @c owner.
 360    */
 361   struct MeshFlowControl prev_fc;
 362
 363     /**
 364      * Client owner of the tunnel, if any
 365      */
 366   struct MeshClient *owner;
 367
 368     /**
 369      * Client destination of the tunnel, if any.
 370      */
 371   struct MeshClient *client;
 372
 373     /**
 374      * Task to keep the used paths alive at the owner,
 375      * time tunnel out on all the other peers.
 376      */
 377   GNUNET_SCHEDULER_TaskIdentifier maintenance_task;
 378
 379     /**
 380      * Path being used for the tunnel.
 381      */
 382   struct MeshPeerPath *path;
 383
 384     /**
 385      * Flag to signal the destruction of the tunnel.
 386      * If this is set GNUNET_YES the tunnel will be destroyed
 387      * when the queue is empty.
 388      */
 389   int destroy;
 390
 391     /**
 392      * Total messages pending for this tunnels, payload or not.
 393      */
 394   unsigned int pending_messages;
 395 };
 396
 397
 398 /**
 399  * Struct containing information about a client of the service
 400  *
 401  * TODO: add a list of 'waiting' ports
 402  */
 403 struct MeshClient
 404 {
 405     /**
 406      * Linked list next
 407      */
 408   struct MeshClient *next;
 409
 410     /**
 411      * Linked list prev
 412      */
 413   struct MeshClient *prev;
 414
 415     /**
 416      * Tunnels that belong to this client, indexed by local id
 417      */
 418   struct GNUNET_CONTAINER_MultiHashMap *own_tunnels;
 419
 420    /**
 421      * Tunnels this client has accepted, indexed by incoming local id
 422      */
 423   struct GNUNET_CONTAINER_MultiHashMap *incoming_tunnels;
 424
 425     /**
 426      * Handle to communicate with the client
 427      */
 428   struct GNUNET_SERVER_Client *handle;
 429
 430     /**
 431      * Ports that this client has declared interest in.
 432      * Indexed by a GMC_hash32 (type), contains *Client.
 433      */
 434   struct GNUNET_CONTAINER_MultiHashMap *ports;
 435
 436     /**
 437      * Whether the client is active or shutting down (don't send confirmations
 438      * to a client that is shutting down.
 439      */
 440   int shutting_down;
 441
 442     /**
 443      * ID of the client, mainly for debug messages
 444      */
 445   unsigned int id;
 446
 447 };
 448
 449
 450 /******************************************************************************/
 451 /************************      DEBUG FUNCTIONS     ****************************/
 452 /******************************************************************************/
 453
 454 #if MESH_DEBUG
 455 /**
 456  * GNUNET_SCHEDULER_Task for printing a message after some operation is done
 457  * @param cls string to print
 458  * @param success  GNUNET_OK if the PUT was transmitted,
 459  *                GNUNET_NO on timeout,
 460  *                GNUNET_SYSERR on disconnect from service
 461  *                after the PUT message was transmitted
 462  *                (so we don't know if it was received or not)
 463  */
 464
 465 #if 0
 466 static void
 467 mesh_debug (void *cls, int success)
 468 {
 469   char *s = cls;
 470
 471   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "%s (%d)\n", s, success);
 472 }
 473 #endif
 474
 475 /* FIXME */
 476 unsigned int debug_fwd_ack;
 477 unsigned int debug_bck_ack;
 478
 479 #endif
 480
 481 /******************************************************************************/
 482 /***********************      GLOBAL VARIABLES     ****************************/
 483 /******************************************************************************/
 484
 485 /************************** Configuration parameters **************************/
 486
 487 /**
 488  * How often to send tunnel keepalives. Tunnels timeout after 4 missed.
 489  */
 490 static struct GNUNET_TIME_Relative refresh_path_time;
 491
 492 /**
 493  * How often to PUT own ID in the DHT.
 494  */
 495 static struct GNUNET_TIME_Relative id_announce_time;
 496
 497 /**
 498  * Maximum time allowed to connect to a peer found by string.
 499  */
 500 static struct GNUNET_TIME_Relative connect_timeout;
 501
 502 /**
 503  * Default TTL for payload packets.
 504  */
 505 static unsigned long long default_ttl;
 506
 507 /**
 508  * DHT replication level, see DHT API: GNUNET_DHT_get_start, GNUNET_DHT_put.
 509  */
 510 static unsigned long long dht_replication_level;
 511
 512 /**
 513  * How many tunnels are we willing to maintain.
 514  * Local tunnels are always allowed, even if there are more tunnels than max.
 515  */
 516 static unsigned long long max_tunnels;
 517
 518 /**
 519  * How many messages *in total* are we willing to queue, divided by number of
 520  * tunnels to get tunnel queue size.
 521  */
 522 static unsigned long long max_msgs_queue;
 523
 524 /**
 525  * How many peers do we want to remember?
 526  */
 527 static unsigned long long max_peers;
 528
 529
 530 /*************************** Static global variables **************************/
 531
 532 /**
 533  * Hostkey generation context
 534  */
 535 static struct GNUNET_CRYPTO_EccKeyGenerationContext *keygen;
 536
 537 /**
 538  * DLL with all the clients, head.
 539  */
 540 static struct MeshClient *clients_head;
 541
 542 /**
 543  * DLL with all the clients, tail.
 544  */
 545 static struct MeshClient *clients_tail;
 546
 547 /**
 548  * Tunnels known, indexed by MESH_TunnelID (MeshTunnel).
 549  */
 550 static struct GNUNET_CONTAINER_MultiHashMap *tunnels;
 551
 552 /**
 553  * Number of tunnels known.
 554  */
 555 static unsigned long long n_tunnels;
 556
 557 /**
 558  * Tunnels incoming, indexed by MESH_TunnelNumber
 559  * (which is greater than GNUNET_MESH_LOCAL_TUNNEL_ID_SERV).
 560  */
 561 static struct GNUNET_CONTAINER_MultiHashMap *incoming_tunnels;
 562
 563 /**
 564  * Peers known, indexed by PeerIdentity (MeshPeerInfo).
 565  */
 566 static struct GNUNET_CONTAINER_MultiHashMap *peers;
 567
 568 /*
 569  * Handle to communicate with transport
 570  */
 571 // static struct GNUNET_TRANSPORT_Handle *transport_handle;
 572
 573 /**
 574  * Handle to communicate with core.
 575  */
 576 static struct GNUNET_CORE_Handle *core_handle;
 577
 578 /**
 579  * Handle to use DHT.
 580  */
 581 static struct GNUNET_DHT_Handle *dht_handle;
 582
 583 /**
 584  * Handle to server.
 585  */
 586 static struct GNUNET_SERVER_Handle *server_handle;
 587
 588 /**
 589  * Handle to the statistics service.
 590  */
 591 static struct GNUNET_STATISTICS_Handle *stats;
 592
 593 /**
 594  * Notification context, to send messages to local clients.
 595  */
 596 static struct GNUNET_SERVER_NotificationContext *nc;
 597
 598 /**
 599  * Local peer own ID (memory efficient handle).
 600  */
 601 static GNUNET_PEER_Id myid;
 602
 603 /**
 604  * Local peer own ID (full value).
 605  */
 606 static struct GNUNET_PeerIdentity my_full_id;
 607
 608 /**
 609  * Own private key.
 610  */
 611 static struct GNUNET_CRYPTO_EccPrivateKey *my_private_key;
 612
 613 /**
 614  * Own public key.
 615  */
 616 static struct GNUNET_CRYPTO_EccPublicKeyBinaryEncoded my_public_key;
 617
 618 /**
 619  * Tunnel ID for the next created tunnel (global tunnel number).
 620  */
 621 static MESH_TunnelNumber next_tid;
 622
 623 /**
 624  * Tunnel ID for the next incoming tunnel (local tunnel number).
 625  */
 626 static MESH_TunnelNumber next_local_tid;
 627
 628 /**
 629  * All ports clients of this peer have opened.
 630  */
 631 static struct GNUNET_CONTAINER_MultiHashMap *ports;
 632
 633 /**
 634  * Task to periodically announce itself in the network.
 635  */
 636 GNUNET_SCHEDULER_TaskIdentifier announce_id_task;
 637
 638 /**
 639  * Next ID to assign to a client.
 640  */
 641 unsigned int next_client_id;
 642
 643
 644 /******************************************************************************/
 645 /***********************         DECLARATIONS        **************************/
 646 /******************************************************************************/
 647
 648 /**
 649  * Function to process paths received for a new peer addition. The recorded
 650  * paths form the initial tunnel, which can be optimized later.
 651  * Called on each result obtained for the DHT search.
 652  *
 653  * @param cls closure
 654  * @param exp when will this value expire
 655  * @param key key of the result
 656  * @param type type of the result
 657  * @param size number of bytes in data
 658  * @param data pointer to the result data
 659  */
 660 static void
 661 dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
 662                     const struct GNUNET_HashCode * key,
 663                     const struct GNUNET_PeerIdentity *get_path,
 664                     unsigned int get_path_length,
 665                     const struct GNUNET_PeerIdentity *put_path,
 666                     unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
 667                     size_t size, const void *data);
 668
 669
 670 /**
 671  * Retrieve the MeshPeerInfo stucture associated with the peer, create one
 672  * and insert it in the appropiate structures if the peer is not known yet.
 673  *
 674  * @param peer Full identity of the peer.
 675  *
 676  * @return Existing or newly created peer info.
 677  */
 678 static struct MeshPeerInfo *
 679 peer_get (const struct GNUNET_PeerIdentity *peer);
 680
 681
 682 /**
 683  * Retrieve the MeshPeerInfo stucture associated with the peer, create one
 684  * and insert it in the appropiate structures if the peer is not known yet.
 685  *
 686  * @param peer Short identity of the peer.
 687  *
 688  * @return Existing or newly created peer info.
 689  */
 690 static struct MeshPeerInfo *
 691 peer_get_short (const GNUNET_PEER_Id peer);
 692
 693
 694 /**
 695  * Build a PeerPath from the paths returned from the DHT, reversing the paths
 696  * to obtain a local peer -> destination path and interning the peer ids.
 697  *
 698  * @return Newly allocated and created path
 699  */
 700 static struct MeshPeerPath *
 701 path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
 702                      unsigned int get_path_length,
 703                      const struct GNUNET_PeerIdentity *put_path,
 704                      unsigned int put_path_length);
 705
 706
 707 /**
 708  * Adds a path to the peer_infos of all the peers in the path
 709  *
 710  * @param p Path to process.
 711  * @param confirmed Whether we know if the path works or not.
 712  */
 713 static void
 714 path_add_to_peers (struct MeshPeerPath *p, int confirmed);
 715
 716
 717
 718 /**
 719  * Search for a tunnel by global ID using full PeerIdentities.
 720  *
 721  * @param oid owner of the tunnel.
 722  * @param tid global tunnel number.
 723  *
 724  * @return tunnel handler, NULL if doesn't exist.
 725  */
 726 static struct MeshTunnel *
 727 tunnel_get (const struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid);
 728
 729
 730 /**
 731  * Notify a tunnel that a connection has broken that affects at least
 732  * some of its peers.
 733  *
 734  * @param t Tunnel affected.
 735  * @param p1 Peer that got disconnected from p2.
 736  * @param p2 Peer that got disconnected from p1.
 737  *
 738  * @return Short ID of the peer disconnected (either p1 or p2).
 739  *         0 if the tunnel remained unaffected.
 740  */
 741 static GNUNET_PEER_Id
 742 tunnel_notify_connection_broken (struct MeshTunnel *t, GNUNET_PEER_Id p1,
 743                                  GNUNET_PEER_Id p2);
 744
 745
 746 /**
 747  * @brief Use the given path for the tunnel.
 748  * Update the next and prev hops (and RCs).
 749  * (Re)start the path refresh in case the tunnel is locally owned.
 750  *
 751  * @param t Tunnel to update.
 752  * @param p Path to use.
 753  */
 754 static void
 755 tunnel_use_path (struct MeshTunnel *t, struct MeshPeerPath *p);
 756
 757 /**
 758  * @brief Queue and pass message to core when possible.
 759  *
 760  * If type is payload (UNICAST, TO_ORIGIN, MULTICAST) checks for queue status
 761  * and accounts for it. In case the queue is full, the message is dropped and
 762  * a break issued.
 763  *
 764  * Otherwise, message is treated as internal and allowed to go regardless of
 765  * queue status.
 766  *
 767  * @param cls Closure (@c type dependant). It will be used by queue_send to
 768  *            build the message to be sent if not already prebuilt.
 769  * @param type Type of the message, 0 for a raw message.
 770  * @param size Size of the message.
 771  * @param dst Neighbor to send message to.
 772  * @param t Tunnel this message belongs to.
 773  */
 774 static void
 775 queue_add (void *cls, uint16_t type, size_t size,
 776            struct MeshPeerInfo *dst, struct MeshTunnel *t);
 777
 778
 779 /**
 780  * Free a transmission that was already queued with all resources
 781  * associated to the request.
 782  *
 783  * @param queue Queue handler to cancel.
 784  * @param clear_cls Is it necessary to free associated cls?
 785  */
 786 static void
 787 queue_destroy (struct MeshPeerQueue *queue, int clear_cls);
 788
 789
 790 /**
 791  * @brief Get the next transmittable message from the queue.
 792  *
 793  * This will be the head, except in the case of being a data packet
 794  * not allowed by the destination peer.
 795  *
 796  * @param peer Destination peer.
 797  *
 798  * @return The next viable MeshPeerQueue element to send to that peer.
 799  *         NULL when there are no transmittable messages.
 800  */
 801 struct MeshPeerQueue *
 802 queue_get_next (const struct MeshPeerInfo *peer);
 803
 804
 805 /**
 806  * Core callback to write a queued packet to core buffer
 807  *
 808  * @param cls Closure (peer info).
 809  * @param size Number of bytes available in buf.
 810  * @param buf Where the to write the message.
 811  *
 812  * @return number of bytes written to buf
 813  */
 814 static size_t
 815 queue_send (void *cls, size_t size, void *buf);
 816
 817
 818 /******************************************************************************/
 819 /************************    PERIODIC FUNCTIONS    ****************************/
 820 /******************************************************************************/
 821
 822 /**
 823  * Periodically announce self id in the DHT
 824  *
 825  * @param cls closure
 826  * @param tc task context
 827  */
 828 static void
 829 announce_id (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 830 {
 831   struct PBlock block;
 832
 833   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
 834   {
 835     announce_id_task = GNUNET_SCHEDULER_NO_TASK;
 836     return;
 837   }
 838   /* TODO
 839    * - Set data expiration in function of X
 840    * - Adapt X to churn
 841    */
 842   DEBUG_DHT ("DHT_put for ID %s started.\n", GNUNET_i2s (&my_full_id));
 843
 844   block.id = my_full_id;
 845   block.type = htonl (0);
 846   GNUNET_DHT_put (dht_handle,   /* DHT handle */
 847                   &my_full_id.hashPubKey,       /* Key to use */
 848                   dht_replication_level,     /* Replication level */
 849                   GNUNET_DHT_RO_RECORD_ROUTE | GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,    /* DHT options */
 850                   GNUNET_BLOCK_TYPE_MESH_PEER,       /* Block type */
 851                   sizeof (block),  /* Size of the data */
 852                   (const char *) &block, /* Data itself */
 853                   GNUNET_TIME_UNIT_FOREVER_ABS,  /* Data expiration */
 854                   GNUNET_TIME_UNIT_FOREVER_REL, /* Retry time */
 855                   NULL,         /* Continuation */
 856                   NULL);        /* Continuation closure */
 857   announce_id_task =
 858       GNUNET_SCHEDULER_add_delayed (id_announce_time, &announce_id, cls);
 859 }
 860
 861
 862 /******************************************************************************/
 863 /******************      GENERAL HELPER FUNCTIONS      ************************/
 864 /******************************************************************************/
 865
 866
 867 /**
 868  * Check if client has registered with the service and has not disconnected
 869  *
 870  * @param client the client to check
 871  *
 872  * @return non-NULL if client exists in the global DLL
 873  */
 874 static struct MeshClient *
 875 client_get (struct GNUNET_SERVER_Client *client)
 876 {
 877   struct MeshClient *c;
 878
 879   c = clients_head;
 880   while (NULL != c)
 881   {
 882     if (c->handle == client)
 883       return c;
 884     c = c->next;
 885   }
 886   return NULL;
 887 }
 888
 889
 890 /**
 891  * Deletes a tunnel from a client (either owner or destination). To be used on
 892  * tunnel destroy.
 893  *
 894  * @param c Client whose tunnel to delete.
 895  * @param t Tunnel which should be deleted.
 896  */
 897 static void
 898 client_delete_tunnel (struct MeshClient *c, struct MeshTunnel *t)
 899 {
 900   struct GNUNET_HashCode hash;
 901
 902   if (c == t->owner)
 903   {
 904     GMC_hash32 (t->local_tid, &hash);
 905     GNUNET_assert (GNUNET_YES ==
 906                    GNUNET_CONTAINER_multihashmap_remove (c->own_tunnels,
 907                                                          &hash,
 908                                                          t));
 909   }
 910   else if (c == t->client)
 911   {
 912     GMC_hash32 (t->local_tid_dest, &hash);
 913     GNUNET_assert (GNUNET_YES ==
 914                    GNUNET_CONTAINER_multihashmap_remove (c->incoming_tunnels,
 915                                                          &hash,
 916                                                          t));
 917   }
 918   else
 919   {
 920     GNUNET_break (0);
 921   }
 922 }
 923
 924 /**
 925  * Notify the appropiate client that a new incoming tunnel was created.
 926  *
 927  * @param t Tunnel that was created.
 928  */
 929 static void
 930 send_client_tunnel_create (struct MeshTunnel *t)
 931 {
 932   struct GNUNET_MESH_TunnelMessage msg;
 933
 934   if (NULL == t->client)
 935     return;
 936   msg.header.size = htons (sizeof (msg));
 937   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE);
 938   msg.tunnel_id = htonl (t->local_tid_dest);
 939   msg.port = htonl (t->port);
 940   GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
 941                                               &msg.header, GNUNET_NO);
 942 }
 943
 944
 945 /**
 946  * Notify dest client that the incoming tunnel is no longer valid.
 947  *
 948  * @param t Tunnel that was destroyed.
 949  */
 950 static void
 951 send_client_tunnel_destroy (struct MeshTunnel *t)
 952 {
 953   struct GNUNET_MESH_TunnelMessage msg;
 954
 955   if (NULL == t->client)
 956     return;
 957   msg.header.size = htons (sizeof (msg));
 958   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY);
 959   msg.tunnel_id = htonl (t->local_tid_dest);
 960   GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
 961                                               &msg.header, GNUNET_NO);
 962 }
 963
 964
 965 /**
 966  * Iterator over all the peers to remove the oldest not-used entry.
 967  *
 968  * @param cls Closure (unsued).
 969  * @param key ID of the peer.
 970  * @param value Peer_Info of the peer.
 971  *
 972  * FIXME implement
 973  */
 974 static int
 975 peer_info_timeout (void *cls,
 976                    const struct GNUNET_HashCode *key,
 977                    void *value)
 978 {
 979   return GNUNET_YES;
 980 }
 981
 982 /**
 983  * Retrieve the MeshPeerInfo stucture associated with the peer, create one
 984  * and insert it in the appropiate structures if the peer is not known yet.
 985  *
 986  * @param peer Full identity of the peer.
 987  *
 988  * @return Existing or newly created peer info.
 989  */
 990 static struct MeshPeerInfo *
 991 peer_get (const struct GNUNET_PeerIdentity *peer)
 992 {
 993   struct MeshPeerInfo *peer_info;
 994
 995   peer_info = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
 996   if (NULL == peer_info)
 997   {
 998     peer_info =
 999         (struct MeshPeerInfo *) GNUNET_malloc (sizeof (struct MeshPeerInfo));
1000     if (GNUNET_CONTAINER_multihashmap_size (peers) > max_peers)
1001     {
1002       GNUNET_CONTAINER_multihashmap_iterate (peers,
1003                                              &peer_info_timeout,
1004                                              NULL);
1005     }
1006     GNUNET_CONTAINER_multihashmap_put (peers, &peer->hashPubKey, peer_info,
1007                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
1008     peer_info->id = GNUNET_PEER_intern (peer);
1009   }
1010   peer_info->last_contact = GNUNET_TIME_absolute_get();
1011
1012   return peer_info;
1013 }
1014
1015
1016 /**
1017  * Retrieve the MeshPeerInfo stucture associated with the peer, create one
1018  * and insert it in the appropiate structures if the peer is not known yet.
1019  *
1020  * @param peer Short identity of the peer.
1021  *
1022  * @return Existing or newly created peer info.
1023  */
1024 static struct MeshPeerInfo *
1025 peer_get_short (const GNUNET_PEER_Id peer)
1026 {
1027   struct GNUNET_PeerIdentity id;
1028
1029   GNUNET_PEER_resolve (peer, &id);
1030   return peer_get (&id);
1031 }
1032
1033
1034 /**
1035  * Choose the best path towards a peer considering the tunnel properties.
1036  *
1037  * @param peer The destination peer.
1038  * @param t The tunnel the path is for.
1039  *
1040  * @return Best current known path towards the peer, if any.
1041  */
1042 static struct MeshPeerPath *
1043 peer_get_best_path (const struct MeshPeerInfo *peer, const struct MeshTunnel *t)
1044 {
1045   struct MeshPeerPath *best_p;
1046   struct MeshPeerPath *p;
1047   unsigned int best_cost;
1048   unsigned int cost;
1049
1050   best_p = p = peer->path_head;
1051   best_cost = cost = p->length;
1052   while (NULL != p)
1053   {
1054     if ((cost = p->length) < best_cost)
1055     {
1056       best_cost = cost;
1057       best_p = p;
1058     }
1059         p = p->next;
1060   }
1061   return best_p;
1062 }
1063
1064
1065 /**
1066  * Remove the tunnel from the list of tunnels to which a peer is target.
1067  *
1068  * @param peer PeerInfo of the peer.
1069  * @param t Tunnel to remove.
1070  */
1071 static void
1072 peer_remove_tunnel (struct MeshPeerInfo *peer, struct MeshTunnel *t)
1073 {
1074   unsigned int i;
1075
1076   for (i = 0; i < peer->ntunnels; i++)
1077   {
1078     if (0 ==
1079         memcmp (&peer->tunnels[i]->id, &t->id, sizeof (struct MESH_TunnelID)))
1080     {
1081       peer->ntunnels--;
1082       peer->tunnels[i] = peer->tunnels[peer->ntunnels];
1083       peer->tunnels =
1084         GNUNET_realloc (peer->tunnels,
1085                         peer->ntunnels * sizeof(struct MeshTunnel *));
1086       return;
1087     }
1088   }
1089 }
1090
1091
1092 /**
1093   * Core callback to write a pre-constructed data packet to core buffer
1094   *
1095   * @param cls Closure (MeshTransmissionDescriptor with data in "data" member).
1096   * @param size Number of bytes available in buf.
1097   * @param buf Where the to write the message.
1098   *
1099   * @return number of bytes written to buf
1100   */
1101 static size_t
1102 send_core_data_raw (void *cls, size_t size, void *buf)
1103 {
1104   struct GNUNET_MessageHeader *msg = cls;
1105   size_t total_size;
1106
1107   GNUNET_assert (NULL != msg);
1108   total_size = ntohs (msg->size);
1109
1110   if (total_size > size)
1111   {
1112     GNUNET_break (0);
1113     return 0;
1114   }
1115   memcpy (buf, msg, total_size);
1116   GNUNET_free (cls);
1117   return total_size;
1118 }
1119
1120
1121 /**
1122  * Sends an already built message to a peer, properly registrating
1123  * all used resources.
1124  *
1125  * @param message Message to send. Function makes a copy of it.
1126  * @param peer Short ID of the neighbor whom to send the message.
1127  * @param t Tunnel on which this message is transmitted.
1128  */
1129 static void
1130 send_prebuilt_message (const struct GNUNET_MessageHeader *message,
1131                        GNUNET_PEER_Id peer,
1132                        struct MeshTunnel *t)
1133 {
1134   struct GNUNET_PeerIdentity id;
1135   struct MeshPeerInfo *neighbor;
1136   struct MeshPeerPath *p;
1137   void *data;
1138   size_t size;
1139   uint16_t type;
1140
1141 //   GNUNET_TRANSPORT_try_connect(); FIXME use?
1142
1143   if (0 == peer)
1144     return;
1145
1146   size = ntohs (message->size);
1147   data = GNUNET_malloc (size);
1148   memcpy (data, message, size);
1149   type = ntohs(message->type);
1150   switch (type)
1151   {
1152     struct GNUNET_MESH_Unicast *u;
1153
1154     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
1155       u = (struct GNUNET_MESH_Unicast *) data;
1156       u->ttl = htonl (ntohl (u->ttl) - 1);
1157       break;
1158   }
1159   GNUNET_PEER_resolve (peer, &id);
1160   neighbor = peer_get (&id);
1161   for (p = neighbor->path_head; NULL != p; p = p->next)
1162   {
1163     if (2 >= p->length)
1164     {
1165       break;
1166     }
1167   }
1168   if (NULL == p)
1169   {
1170 #if MESH_DEBUG
1171     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1172                 "  %s IS NOT DIRECTLY CONNECTED\n",
1173                 GNUNET_i2s(&id));
1174     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1175                 "  PATHS TO %s:\n",
1176                 GNUNET_i2s(&id));
1177     for (p = neighbor->path_head; NULL != p; p = p->next)
1178     {
1179       struct GNUNET_PeerIdentity debug_id;
1180       unsigned int i;
1181
1182       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1183                   "    path with %u hops through:\n",
1184                   p->length);
1185       for (i = 0; i < p->length; i++)
1186       {
1187         GNUNET_PEER_resolve(p->peers[i], &debug_id);
1188         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1189                     "      hop %u: %s\n",
1190                     i, GNUNET_i2s(&debug_id));
1191       }
1192     }
1193 #endif
1194     GNUNET_break (0); // FIXME sometimes fails (testing disconnect?)
1195     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
1196                     " no direct connection to %s\n",
1197                     GNUNET_i2s (&id));
1198     GNUNET_free (data);
1199     return;
1200   }
1201   if (GNUNET_MESSAGE_TYPE_MESH_PATH_ACK == type)
1202     type = 0;
1203   queue_add (data,
1204              type,
1205              size,
1206              neighbor,
1207              t);
1208 }
1209
1210
1211 /**
1212  * Sends a CREATE PATH message for a path to a peer, properly registrating
1213  * all used resources.
1214  *
1215  * @param t Tunnel for which the path is created.
1216  */
1217 static void
1218 send_create_path (struct MeshTunnel *t)
1219 {
1220   struct MeshPeerInfo *neighbor;
1221
1222   neighbor = peer_get_short (t->next_hop);
1223   queue_add (t,
1224              GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE,
1225              sizeof (struct GNUNET_MESH_CreateTunnel) +
1226                 (t->path->length * sizeof (struct GNUNET_PeerIdentity)),
1227              neighbor,
1228              t);
1229   t->state = MESH_TUNNEL_WAITING;
1230 }
1231
1232
1233 /**
1234  * Sends a PATH ACK message in reponse to a received PATH_CREATE directed to us.
1235  *
1236  * @param t Tunnel which to confirm.
1237  */
1238 static void
1239 send_path_ack (struct MeshTunnel *t)
1240 {
1241   struct MeshPeerInfo *peer;
1242
1243   peer = peer_get_short (t->prev_hop);
1244
1245   queue_add (t,
1246              GNUNET_MESSAGE_TYPE_MESH_PATH_ACK,
1247              sizeof (struct GNUNET_MESH_PathACK),
1248              peer,
1249              t);
1250 }
1251
1252
1253 /**
1254  * Try to establish a new connection to this peer in the given tunnel.
1255  * If the peer doesn't have any path to it yet, try to get one.
1256  * If the peer already has some path, send a CREATE PATH towards it.
1257  *
1258  * @param peer PeerInfo of the peer.
1259  * @param t Tunnel for which to create the path, if possible.
1260  */
1261 static void
1262 peer_connect (struct MeshPeerInfo *peer, struct MeshTunnel *t)
1263 {
1264   struct MeshPeerPath *p;
1265
1266   if (NULL != peer->path_head)
1267   {
1268     p = peer_get_best_path (peer, t);
1269     tunnel_use_path (t, p);
1270     send_create_path (t);
1271   }
1272   else if (NULL == peer->dhtget)
1273   {
1274     struct GNUNET_PeerIdentity id;
1275
1276     GNUNET_PEER_resolve (peer->id, &id);
1277     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1278                 "  Starting DHT GET for peer %s\n", GNUNET_i2s (&id));
1279     peer->dhtget = GNUNET_DHT_get_start (dht_handle,    /* handle */
1280                                          GNUNET_BLOCK_TYPE_MESH_PEER, /* type */
1281                                          &id.hashPubKey,     /* key to search */
1282                                          dht_replication_level, /* replication level */
1283                                          GNUNET_DHT_RO_RECORD_ROUTE |
1284                                          GNUNET_DHT_RO_DEMULTIPLEX_EVERYWHERE,
1285                                          NULL,       /* xquery */
1286                                          0,     /* xquery bits */
1287                                          &dht_get_id_handler, peer);
1288     t->state = MESH_TUNNEL_SEARCHING;
1289   }
1290   /* Otherwise, there is no path but the DHT get is already started. */
1291 }
1292
1293
1294 /**
1295  * Destroy the peer_info and free any allocated resources linked to it
1296  *
1297  * @param pi The peer_info to destroy.
1298  *
1299  * @return GNUNET_OK on success
1300  */
1301 static int
1302 peer_info_destroy (struct MeshPeerInfo *pi)
1303 {
1304   struct GNUNET_PeerIdentity id;
1305   struct MeshPeerPath *p;
1306   struct MeshPeerPath *nextp;
1307
1308   GNUNET_PEER_resolve (pi->id, &id);
1309   GNUNET_PEER_change_rc (pi->id, -1);
1310
1311   if (GNUNET_YES !=
1312       GNUNET_CONTAINER_multihashmap_remove (peers, &id.hashPubKey, pi))
1313   {
1314     GNUNET_break (0);
1315     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
1316                 "removing peer %s, not in hashmap\n", GNUNET_i2s (&id));
1317   }
1318   if (NULL != pi->dhtget)
1319   {
1320     GNUNET_DHT_get_stop (pi->dhtget);
1321   }
1322   p = pi->path_head;
1323   while (NULL != p)
1324   {
1325     nextp = p->next;
1326     GNUNET_CONTAINER_DLL_remove (pi->path_head, pi->path_tail, p);
1327     path_destroy (p);
1328     p = nextp;
1329   }
1330   GNUNET_free (pi);
1331   return GNUNET_OK;
1332 }
1333
1334
1335 /**
1336  * Remove all paths that rely on a direct connection between p1 and p2
1337  * from the peer itself and notify all tunnels about it.
1338  *
1339  * @param peer PeerInfo of affected peer.
1340  * @param p1 GNUNET_PEER_Id of one peer.
1341  * @param p2 GNUNET_PEER_Id of another peer that was connected to the first and
1342  *           no longer is.
1343  *
1344  * TODO: optimize (see below)
1345  */
1346 static void
1347 peer_remove_path (struct MeshPeerInfo *peer, GNUNET_PEER_Id p1,
1348                        GNUNET_PEER_Id p2)
1349 {
1350   struct MeshPeerPath *p;
1351   struct MeshPeerPath *next;
1352   struct MeshPeerInfo *peer_d;
1353   GNUNET_PEER_Id d;
1354   unsigned int destroyed;
1355   unsigned int i;
1356
1357   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "peer_info_remove_path\n");
1358   destroyed = 0;
1359   for (p = peer->path_head; NULL != p; p = next)
1360   {
1361     next = p->next;
1362     for (i = 0; i < (p->length - 1); i++)
1363     {
1364       if ((p->peers[i] == p1 && p->peers[i + 1] == p2) ||
1365           (p->peers[i] == p2 && p->peers[i + 1] == p1))
1366       {
1367         GNUNET_CONTAINER_DLL_remove (peer->path_head, peer->path_tail, p);
1368         path_destroy (p);
1369         destroyed++;
1370         break;
1371       }
1372     }
1373   }
1374   if (0 == destroyed)
1375     return;
1376
1377   for (i = 0; i < peer->ntunnels; i++)
1378   {
1379     d = tunnel_notify_connection_broken (peer->tunnels[i], p1, p2);
1380     if (0 == d)
1381       continue;
1382
1383     peer_d = peer_get_short (d);
1384     next = peer_get_best_path (peer_d, peer->tunnels[i]);
1385     tunnel_use_path (peer->tunnels[i], next);
1386     peer_connect (peer_d, peer->tunnels[i]);
1387   }
1388   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "peer_info_remove_path END\n");
1389 }
1390
1391
1392 /**
1393  * Add the path to the peer and update the path used to reach it in case this
1394  * is the shortest.
1395  *
1396  * @param peer_info Destination peer to add the path to.
1397  * @param path New path to add. Last peer must be the peer in arg 1.
1398  *             Path will be either used of freed if already known.
1399  * @param trusted Do we trust that this path is real?
1400  */
1401 void
1402 peer_info_add_path (struct MeshPeerInfo *peer_info, struct MeshPeerPath *path,
1403                     int trusted)
1404 {
1405   struct MeshPeerPath *aux;
1406   unsigned int l;
1407   unsigned int l2;
1408
1409   if ((NULL == peer_info) || (NULL == path))
1410   {
1411     GNUNET_break (0);
1412     path_destroy (path);
1413     return;
1414   }
1415   if (path->peers[path->length - 1] != peer_info->id)
1416   {
1417     GNUNET_break (0);
1418     path_destroy (path);
1419     return;
1420   }
1421   if (path->length <= 2 && GNUNET_NO == trusted)
1422   {
1423     /* Only allow CORE to tell us about direct paths */
1424     path_destroy (path);
1425     return;
1426   }
1427   for (l = 1; l < path->length; l++)
1428   {
1429     if (path->peers[l] == myid)
1430     {
1431       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "shortening path by %u\n", l);
1432       for (l2 = 0; l2 < path->length - l; l2++)
1433       {
1434         path->peers[l2] = path->peers[l + l2];
1435       }
1436       path->length -= l;
1437       l = 1;
1438       path->peers =
1439           GNUNET_realloc (path->peers, path->length * sizeof (GNUNET_PEER_Id));
1440     }
1441   }
1442 #if MESH_DEBUG
1443   {
1444     struct GNUNET_PeerIdentity id;
1445
1446     GNUNET_PEER_resolve (peer_info->id, &id);
1447     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "adding path [%u] to peer %s\n",
1448                 path->length, GNUNET_i2s (&id));
1449   }
1450 #endif
1451   l = path_get_length (path);
1452   if (0 == l)
1453   {
1454     GNUNET_free (path);
1455     return;
1456   }
1457
1458   GNUNET_assert (peer_info->id == path->peers[path->length - 1]);
1459   for (aux = peer_info->path_head; aux != NULL; aux = aux->next)
1460   {
1461     l2 = path_get_length (aux);
1462     if (l2 > l)
1463     {
1464       GNUNET_CONTAINER_DLL_insert_before (peer_info->path_head,
1465                                           peer_info->path_tail, aux, path);
1466       return;
1467     }
1468     else
1469     {
1470       if (l2 == l && memcmp (path->peers, aux->peers, l) == 0)
1471       {
1472         path_destroy (path);
1473         return;
1474       }
1475     }
1476   }
1477   GNUNET_CONTAINER_DLL_insert_tail (peer_info->path_head, peer_info->path_tail,
1478                                     path);
1479   return;
1480 }
1481
1482
1483 /**
1484  * Add the path to the origin peer and update the path used to reach it in case
1485  * this is the shortest.
1486  * The path is given in peer_info -> destination, therefore we turn the path
1487  * upside down first.
1488  *
1489  * @param peer_info Peer to add the path to, being the origin of the path.
1490  * @param path New path to add after being inversed.
1491  *             Path will be either used or freed.
1492  * @param trusted Do we trust that this path is real?
1493  */
1494 static void
1495 peer_info_add_path_to_origin (struct MeshPeerInfo *peer_info,
1496                               struct MeshPeerPath *path, int trusted)
1497 {
1498   path_invert (path);
1499   peer_info_add_path (peer_info, path, trusted);
1500 }
1501
1502
1503 /**
1504  * Function called if the connection to the peer has been stalled for a while,
1505  * possibly due to a missed ACK. Poll the peer about its ACK status.
1506  *
1507  * @param cls Closure (poll ctx).
1508  * @param tc TaskContext.
1509  */
1510 static void
1511 tunnel_poll (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1512 {
1513   struct MeshFlowControl *fc = cls;
1514   struct GNUNET_MESH_Poll msg;
1515   struct MeshTunnel *t = fc->t;
1516   GNUNET_PEER_Id peer;
1517
1518   fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
1519   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
1520   {
1521     return;
1522   }
1523
1524   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_POLL);
1525   msg.header.size = htons (sizeof (msg));
1526   msg.tid = htonl (t->id.tid);
1527   GNUNET_PEER_resolve (t->id.oid, &msg.oid);
1528
1529   if (fc == &t->prev_fc)
1530   {
1531     peer = t->prev_hop;
1532   }
1533   else if (fc == &t->next_fc)
1534   {
1535     peer = t->next_hop;
1536   }
1537   else
1538   {
1539     GNUNET_break (0);
1540     return;
1541   }
1542   send_prebuilt_message (&msg.header, peer, t);
1543   fc->poll_time = GNUNET_TIME_STD_BACKOFF (fc->poll_time);
1544   fc->poll_task = GNUNET_SCHEDULER_add_delayed (fc->poll_time,
1545                                                 &tunnel_poll, fc);
1546 }
1547
1548
1549 /**
1550  * Build a PeerPath from the paths returned from the DHT, reversing the paths
1551  * to obtain a local peer -> destination path and interning the peer ids.
1552  *
1553  * @return Newly allocated and created path
1554  */
1555 static struct MeshPeerPath *
1556 path_build_from_dht (const struct GNUNET_PeerIdentity *get_path,
1557                      unsigned int get_path_length,
1558                      const struct GNUNET_PeerIdentity *put_path,
1559                      unsigned int put_path_length)
1560 {
1561   struct MeshPeerPath *p;
1562   GNUNET_PEER_Id id;
1563   int i;
1564
1565   p = path_new (1);
1566   p->peers[0] = myid;
1567   GNUNET_PEER_change_rc (myid, 1);
1568   i = get_path_length;
1569   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   GET has %d hops.\n", i);
1570   for (i--; i >= 0; i--)
1571   {
1572     id = GNUNET_PEER_intern (&get_path[i]);
1573     if (p->length > 0 && id == p->peers[p->length - 1])
1574     {
1575       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Optimizing 1 hop out.\n");
1576       GNUNET_PEER_change_rc (id, -1);
1577     }
1578     else
1579     {
1580       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Adding from GET: %s.\n",
1581                   GNUNET_i2s (&get_path[i]));
1582       p->length++;
1583       p->peers = GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * p->length);
1584       p->peers[p->length - 1] = id;
1585     }
1586   }
1587   i = put_path_length;
1588   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   PUT has %d hops.\n", i);
1589   for (i--; i >= 0; i--)
1590   {
1591     id = GNUNET_PEER_intern (&put_path[i]);
1592     if (id == myid)
1593     {
1594       /* PUT path went through us, so discard the path up until now and start
1595        * from here to get a much shorter (and loop-free) path.
1596        */
1597       path_destroy (p);
1598       p = path_new (0);
1599     }
1600     if (p->length > 0 && id == p->peers[p->length - 1])
1601     {
1602       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Optimizing 1 hop out.\n");
1603       GNUNET_PEER_change_rc (id, -1);
1604     }
1605     else
1606     {
1607       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   Adding from PUT: %s.\n",
1608                   GNUNET_i2s (&put_path[i]));
1609       p->length++;
1610       p->peers = GNUNET_realloc (p->peers, sizeof (GNUNET_PEER_Id) * p->length);
1611       p->peers[p->length - 1] = id;
1612     }
1613   }
1614 #if MESH_DEBUG
1615   if (get_path_length > 0)
1616     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   (first of GET: %s)\n",
1617                 GNUNET_i2s (&get_path[0]));
1618   if (put_path_length > 0)
1619     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   (first of PUT: %s)\n",
1620                 GNUNET_i2s (&put_path[0]));
1621   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   In total: %d hops\n",
1622               p->length);
1623   for (i = 0; i < p->length; i++)
1624   {
1625     struct GNUNET_PeerIdentity peer_id;
1626
1627     GNUNET_PEER_resolve (p->peers[i], &peer_id);
1628     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "       %u: %s\n", p->peers[i],
1629                 GNUNET_i2s (&peer_id));
1630   }
1631 #endif
1632   return p;
1633 }
1634
1635
1636 /**
1637  * Adds a path to the peer_infos of all the peers in the path
1638  *
1639  * @param p Path to process.
1640  * @param confirmed Whether we know if the path works or not.
1641  */
1642 static void
1643 path_add_to_peers (struct MeshPeerPath *p, int confirmed)
1644 {
1645   unsigned int i;
1646
1647   /* TODO: invert and add */
1648   for (i = 0; i < p->length && p->peers[i] != myid; i++) /* skip'em */ ;
1649   for (i++; i < p->length; i++)
1650   {
1651     struct MeshPeerInfo *aux;
1652     struct MeshPeerPath *copy;
1653
1654     aux = peer_get_short (p->peers[i]);
1655     copy = path_duplicate (p);
1656     copy->length = i + 1;
1657     peer_info_add_path (aux, copy, p->length < 3 ? GNUNET_NO : confirmed);
1658   }
1659 }
1660
1661
1662 /**
1663  * Send keepalive packets for a peer
1664  *
1665  * @param cls Closure (tunnel for which to send the keepalive).
1666  * @param tc Notification context.
1667  */
1668 static void
1669 path_refresh (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
1670
1671
1672 /**
1673  * Search for a tunnel among the incoming tunnels
1674  *
1675  * @param tid the local id of the tunnel
1676  *
1677  * @return tunnel handler, NULL if doesn't exist
1678  */
1679 static struct MeshTunnel *
1680 tunnel_get_incoming (MESH_TunnelNumber tid)
1681 {
1682   struct GNUNET_HashCode hash;
1683
1684   GNUNET_assert (tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV);
1685   GMC_hash32 (tid, &hash);
1686   return GNUNET_CONTAINER_multihashmap_get (incoming_tunnels, &hash);
1687 }
1688
1689
1690 /**
1691  * Search for a tunnel among the tunnels for a client
1692  *
1693  * @param c the client whose tunnels to search in
1694  * @param tid the local id of the tunnel
1695  *
1696  * @return tunnel handler, NULL if doesn't exist
1697  */
1698 static struct MeshTunnel *
1699 tunnel_get_by_local_id (struct MeshClient *c, MESH_TunnelNumber tid)
1700 {
1701   if (tid >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
1702   {
1703     return tunnel_get_incoming (tid);
1704   }
1705   else
1706   {
1707     struct GNUNET_HashCode hash;
1708
1709     GMC_hash32 (tid, &hash);
1710     return GNUNET_CONTAINER_multihashmap_get (c->own_tunnels, &hash);
1711   }
1712 }
1713
1714
1715 /**
1716  * Search for a tunnel by global ID using PEER_ID
1717  *
1718  * @param pi owner of the tunnel
1719  * @param tid global tunnel number
1720  *
1721  * @return tunnel handler, NULL if doesn't exist
1722  */
1723 static struct MeshTunnel *
1724 tunnel_get_by_pi (GNUNET_PEER_Id pi, MESH_TunnelNumber tid)
1725 {
1726   struct MESH_TunnelID id;
1727   struct GNUNET_HashCode hash;
1728
1729   id.oid = pi;
1730   id.tid = tid;
1731
1732   GNUNET_CRYPTO_hash (&id, sizeof (struct MESH_TunnelID), &hash);
1733   return GNUNET_CONTAINER_multihashmap_get (tunnels, &hash);
1734 }
1735
1736
1737 /**
1738  * Search for a tunnel by global ID using full PeerIdentities
1739  *
1740  * @param oid owner of the tunnel
1741  * @param tid global tunnel number
1742  *
1743  * @return tunnel handler, NULL if doesn't exist
1744  */
1745 static struct MeshTunnel *
1746 tunnel_get (const struct GNUNET_PeerIdentity *oid, MESH_TunnelNumber tid)
1747 {
1748   return tunnel_get_by_pi (GNUNET_PEER_search (oid), tid);
1749 }
1750
1751
1752 /**
1753  * Add a client to a tunnel, initializing all needed data structures.
1754  *
1755  * FIXME: make static after implementing port numbers
1756  *
1757  * @param t Tunnel to which add the client.
1758  * @param c Client which to add to the tunnel.
1759  */
1760 void
1761 tunnel_add_client (struct MeshTunnel *t, struct MeshClient *c)
1762 {
1763   if (NULL != t->client)
1764   {
1765     GNUNET_break(0);
1766     return;
1767   }
1768   if (0 != t->next_hop)
1769   {
1770     GNUNET_break(0);
1771     return;
1772   }
1773   t->client = c;
1774 }
1775
1776
1777 static void
1778 tunnel_use_path (struct MeshTunnel *t, struct MeshPeerPath *p)
1779 {
1780   unsigned int own_pos;
1781
1782   for (own_pos = 0; own_pos < p->length; own_pos++)
1783   {
1784     if (p->peers[own_pos] == myid)
1785       break;
1786   }
1787   if (own_pos > p->length - 1)
1788   {
1789     GNUNET_break (0);
1790     return;
1791   }
1792
1793   if (own_pos < p->length - 1)
1794     t->next_hop = p->peers[own_pos + 1];
1795   else
1796     t->next_hop = p->peers[own_pos];
1797   GNUNET_PEER_change_rc (t->next_hop, 1);
1798   if (0 < own_pos)
1799     t->prev_hop = p->peers[own_pos - 1];
1800   else
1801     t->prev_hop = p->peers[0];
1802   GNUNET_PEER_change_rc (t->prev_hop, 1);
1803
1804   if (NULL != t->path)
1805     path_destroy (t->path);
1806   t->path = path_duplicate (p);
1807   if (0 == own_pos)
1808   {
1809     if (GNUNET_SCHEDULER_NO_TASK != t->maintenance_task)
1810       GNUNET_SCHEDULER_cancel (t->maintenance_task);
1811     t->maintenance_task = GNUNET_SCHEDULER_add_delayed (refresh_path_time,
1812                                                         &path_refresh, t);
1813   }
1814 }
1815
1816
1817 /**
1818  * Notifies a tunnel that a connection has broken that affects at least
1819  * some of its peers. Sends a notification towards the root of the tree.
1820  * In case the peer is the owner of the tree, notifies the client that owns
1821  * the tunnel and tries to reconnect.
1822  *
1823  * @param t Tunnel affected.
1824  * @param p1 Peer that got disconnected from p2.
1825  * @param p2 Peer that got disconnected from p1.
1826  *
1827  * @return Short ID of the peer disconnected (either p1 or p2).
1828  *         0 if the tunnel remained unaffected.
1829  */
1830 static GNUNET_PEER_Id
1831 tunnel_notify_connection_broken (struct MeshTunnel *t, GNUNET_PEER_Id p1,
1832                                  GNUNET_PEER_Id p2)
1833 {
1834 //   if (myid != p1 && myid != p2) FIXME
1835 //   {
1836 //     return;
1837 //   }
1838 //
1839 //   if (tree_get_predecessor (t->tree) != 0)
1840 //   {
1841 //     /* We are the peer still connected, notify owner of the disconnection. */
1842 //     struct GNUNET_MESH_PathBroken msg;
1843 //     struct GNUNET_PeerIdentity neighbor;
1844 //
1845 //     msg.header.size = htons (sizeof (msg));
1846 //     msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN);
1847 //     GNUNET_PEER_resolve (t->id.oid, &msg.oid);
1848 //     msg.tid = htonl (t->id.tid);
1849 //     msg.peer1 = my_full_id;
1850 //     GNUNET_PEER_resolve (pid, &msg.peer2);
1851 //     GNUNET_PEER_resolve (tree_get_predecessor (t->tree), &neighbor);
1852 //     send_prebuilt_message (&msg.header, &neighbor, t);
1853 //   }
1854   return 0;
1855 }
1856
1857
1858 /**
1859  * Build a local ACK message and send it to a local client.
1860  *
1861  * @param t Tunnel on which to send the ACK.
1862  * @param c Client to whom send the ACK.
1863  * @param ack Value of the ACK.
1864  */
1865 static void
1866 send_local_ack (struct MeshTunnel *t, struct MeshClient *c, uint32_t ack)
1867 {
1868   struct GNUNET_MESH_LocalAck msg;
1869
1870   msg.header.size = htons (sizeof (msg));
1871   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK);
1872   msg.tunnel_id = htonl (t->owner == c ? t->local_tid : t->local_tid_dest);
1873   msg.max_pid = htonl (ack);
1874   GNUNET_SERVER_notification_context_unicast(nc,
1875                                               c->handle,
1876                                               &msg.header,
1877                                               GNUNET_NO);
1878 }
1879
1880 /**
1881  * Build an ACK message and queue it to send to the given peer.
1882  *
1883  * @param t Tunnel on which to send the ACK.
1884  * @param peer Peer to whom send the ACK.
1885  * @param ack Value of the ACK.
1886  */
1887 static void
1888 send_ack (struct MeshTunnel *t, GNUNET_PEER_Id peer,  uint32_t ack)
1889 {
1890   struct GNUNET_MESH_ACK msg;
1891
1892   GNUNET_PEER_resolve (t->id.oid, &msg.oid);
1893   msg.header.size = htons (sizeof (msg));
1894   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_ACK);
1895   msg.pid = htonl (ack);
1896   msg.tid = htonl (t->id.tid);
1897
1898   send_prebuilt_message (&msg.header, peer, t);
1899 }
1900
1901
1902 /**
1903  * Send an ACK informing the predecessor about the available buffer space.
1904  * In case there is no predecessor, inform the owning client.
1905  * If buffering is off, send only on behalf of children or self if endpoint.
1906  * If buffering is on, send when sent to children and buffer space is free.
1907  * Note that although the name is fwd_ack, the FWD mean forward *traffic*,
1908  * the ACK itself goes "back" (towards root).
1909  *
1910  * @param t Tunnel on which to send the ACK.
1911  * @param type Type of message that triggered the ACK transmission.
1912  */
1913 static void
1914 tunnel_send_fwd_ack (struct MeshTunnel *t, uint16_t type)
1915 {
1916   uint32_t ack;
1917
1918   /* Is it after unicast retransmission? */
1919   switch (type)
1920   {
1921     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
1922       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1923                   "ACK due to FWD DATA retransmission\n");
1924       if (GNUNET_YES == t->nobuffer)
1925       {
1926         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending ACK, nobuffer\n");
1927         return;
1928       }
1929       break;
1930     case GNUNET_MESSAGE_TYPE_MESH_ACK:
1931     case GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK:
1932       break;
1933     case GNUNET_MESSAGE_TYPE_MESH_POLL:
1934       t->force_ack = GNUNET_YES;
1935       break;
1936     default:
1937       GNUNET_break (0);
1938   }
1939
1940   /* Check if we need to transmit the ACK */
1941   if (t->queue_max > t->next_fc.queue_n * 4 &&
1942       GMC_is_pid_bigger(t->prev_fc.last_ack_sent, t->prev_fc.last_pid_recv) &&
1943       GNUNET_NO == t->force_ack)
1944   {
1945     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending ACK, buffer free\n");
1946     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1947                 "  t->qmax: %u, t->qn: %u\n",
1948                 t->queue_max, t->next_fc.queue_n);
1949     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1950                 "  t->pid: %u, t->ack: %u\n",
1951                 t->prev_fc.last_pid_recv, t->prev_fc.last_ack_sent);
1952     return;
1953   }
1954
1955   /* Ok, ACK might be necessary, what PID to ACK? */
1956   ack = t->prev_fc.last_pid_recv + t->queue_max - t->next_fc.queue_n;
1957   if (ack == t->prev_fc.last_ack_sent && GNUNET_NO == t->force_ack)
1958   {
1959     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Not sending FWD ACK, not needed\n");
1960     return;
1961   }
1962
1963   t->prev_fc.last_ack_sent = ack;
1964   if (NULL != t->owner)
1965     send_local_ack (t, t->owner, ack);
1966   else if (0 != t->prev_hop)
1967     send_ack (t, t->prev_hop, ack);
1968   else
1969     GNUNET_break (0);
1970   debug_fwd_ack++;
1971   t->force_ack = GNUNET_NO;
1972 }
1973
1974
1975 /**
1976  * Send an ACK informing the children node/client about the available
1977  * buffer space.
1978  * If buffering is off, send only on behalf of root (can be self).
1979  * If buffering is on, send when sent to predecessor and buffer space is free.
1980  * Note that although the name is bck_ack, the BCK mean backwards *traffic*,
1981  * the ACK itself goes "forward" (towards children/clients).
1982  *
1983  * @param t Tunnel on which to send the ACK.
1984  * @param type Type of message that triggered the ACK transmission.
1985  */
1986 static void
1987 tunnel_send_bck_ack (struct MeshTunnel *t, uint16_t type)
1988 {
1989   uint32_t ack;
1990   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1991               "Sending BCK ACK on tunnel %u [%u] due to %s\n",
1992               t->id.oid, t->id.tid, GNUNET_MESH_DEBUG_M2S(type));
1993   /* Is it after data to_origin retransmission? */
1994   switch (type)
1995   {
1996     case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
1997       if (GNUNET_YES == t->nobuffer)
1998       {
1999         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2000                     "    Not sending ACK, nobuffer + traffic\n");
2001         return;
2002       }
2003       break;
2004     case GNUNET_MESSAGE_TYPE_MESH_ACK:
2005     case GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK:
2006       break;
2007     case GNUNET_MESSAGE_TYPE_MESH_PATH_ACK:
2008     case GNUNET_MESSAGE_TYPE_MESH_POLL:
2009       t->force_ack = GNUNET_YES;
2010       break;
2011     default:
2012       GNUNET_break (0);
2013   }
2014
2015   /* TODO: Check if we need to transmit the ACK (as in fwd) */
2016
2017   ack = t->next_fc.last_pid_recv + t->queue_max - t->prev_fc.queue_n;
2018
2019   if (t->next_fc.last_ack_sent == ack && GNUNET_NO == t->force_ack)
2020   {
2021     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2022                 "    Not sending ACK, not needed\n");
2023     return;
2024   }
2025   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2026               "    Sending BCK ACK %u (last sent: %u)\n",
2027               ack, t->next_fc.last_ack_sent);
2028   t->next_fc.last_ack_sent = ack;
2029
2030   if (NULL != t->client)
2031     send_local_ack (t, t->client, ack);
2032   else if (0 != t->next_hop)
2033     send_ack (t, t->next_hop, ack);
2034   else
2035     GNUNET_break (0);
2036   t->force_ack = GNUNET_NO;
2037 }
2038
2039
2040 /**
2041  * @brief Re-initiate traffic to this peer if necessary.
2042  *
2043  * Check if there is traffic queued towards this peer
2044  * and the core transmit handle is NULL (traffic was stalled).
2045  * If so, call core tmt rdy.
2046  *
2047  * @param peer_id Short ID of peer to which initiate traffic.
2048  */
2049 static void
2050 peer_unlock_queue(GNUNET_PEER_Id peer_id)
2051 {
2052   struct MeshPeerInfo *peer;
2053   struct GNUNET_PeerIdentity id;
2054   struct MeshPeerQueue *q;
2055   size_t size;
2056
2057   peer = peer_get_short (peer_id);
2058   if (NULL != peer->core_transmit)
2059     return;
2060
2061   q = queue_get_next (peer);
2062   if (NULL == q)
2063   {
2064     /* Might br multicast traffic already sent to this particular peer but
2065      * not to other children in this tunnel.
2066      * This way t->queue_n would be > 0 but the queue of this particular peer
2067      * would be empty.
2068      */
2069     return;
2070   }
2071   size = q->size;
2072   GNUNET_PEER_resolve (peer->id, &id);
2073   peer->core_transmit =
2074         GNUNET_CORE_notify_transmit_ready(core_handle,
2075                                           0,
2076                                           0,
2077                                           GNUNET_TIME_UNIT_FOREVER_REL,
2078                                           &id,
2079                                           size,
2080                                           &queue_send,
2081                                           peer);
2082         return;
2083 }
2084
2085
2086 /**
2087  * Send a message to all peers in this tunnel that the tunnel is no longer
2088  * valid.
2089  *
2090  * @param t The tunnel whose peers to notify.
2091  */
2092 static void
2093 tunnel_send_destroy (struct MeshTunnel *t)
2094 {
2095   struct GNUNET_MESH_TunnelDestroy msg;
2096   struct GNUNET_PeerIdentity id;
2097
2098   msg.header.size = htons (sizeof (msg));
2099   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY);
2100   GNUNET_PEER_resolve (t->id.oid, &msg.oid);
2101   msg.tid = htonl (t->id.tid);
2102   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2103               "  sending tunnel destroy for tunnel: %s [%X]\n",
2104               GNUNET_i2s (&msg.oid), t->id.tid);
2105
2106   if (NULL == t->client)
2107   {
2108     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  child: %u\n", t->next_hop);
2109     GNUNET_PEER_resolve (t->next_hop, &id);
2110     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2111                 "  sending forward to %s\n",
2112                 GNUNET_i2s (&id));
2113     send_prebuilt_message (&msg.header, t->next_hop, t);
2114   }
2115   if (NULL == t->owner)
2116   {
2117     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  parent: %u\n", t->prev_hop);
2118     GNUNET_PEER_resolve (t->prev_hop, &id);
2119     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2120                 "  sending back to %s\n",
2121                 GNUNET_i2s (&id));
2122     send_prebuilt_message (&msg.header, t->prev_hop, t);
2123   }
2124 }
2125
2126
2127 /**
2128  * Cancel all transmissions towards a neighbor that belongs to a certain tunnel.
2129  *
2130  * @param t Tunnel which to cancel.
2131  * @param neighbor Short ID of the neighbor to whom cancel the transmissions.
2132  */
2133 static void
2134 peer_cancel_queues (GNUNET_PEER_Id neighbor, struct MeshTunnel *t)
2135 {
2136   struct MeshPeerInfo *peer_info;
2137   struct MeshPeerQueue *pq;
2138   struct MeshPeerQueue *next;
2139
2140   peer_info = peer_get_short (neighbor);
2141   for (pq = peer_info->queue_head; NULL != pq; pq = next)
2142   {
2143     next = pq->next;
2144     if (pq->tunnel == t)
2145     {
2146       if (GNUNET_MESSAGE_TYPE_MESH_UNICAST == pq->type ||
2147           GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN == pq->type)
2148       {
2149         /* Should have been removed on destroy children */
2150         GNUNET_break (0);
2151       }
2152       queue_destroy (pq, GNUNET_YES);
2153     }
2154   }
2155   if (NULL == peer_info->queue_head && NULL != peer_info->core_transmit)
2156   {
2157     GNUNET_CORE_notify_transmit_ready_cancel(peer_info->core_transmit);
2158     peer_info->core_transmit = NULL;
2159   }
2160 }
2161
2162
2163 /**
2164  * Destroy the tunnel and free any allocated resources linked to it.
2165  *
2166  * @param t the tunnel to destroy
2167  *
2168  * @return GNUNET_OK on success
2169  */
2170 static int
2171 tunnel_destroy (struct MeshTunnel *t)
2172 {
2173   struct MeshClient *c;
2174   struct GNUNET_HashCode hash;
2175   int r;
2176
2177   if (NULL == t)
2178     return GNUNET_OK;
2179
2180   r = GNUNET_OK;
2181   c = t->owner;
2182 #if MESH_DEBUG
2183   {
2184     struct GNUNET_PeerIdentity id;
2185
2186     GNUNET_PEER_resolve (t->id.oid, &id);
2187     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "destroying tunnel %s [%x]\n",
2188                 GNUNET_i2s (&id), t->id.tid);
2189     if (NULL != c)
2190       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
2191   }
2192 #endif
2193
2194   GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
2195   if (GNUNET_YES != GNUNET_CONTAINER_multihashmap_remove (tunnels, &hash, t))
2196   {
2197     GNUNET_break (0);
2198     r = GNUNET_SYSERR;
2199   }
2200
2201   if (NULL != c)
2202   {
2203     GMC_hash32 (t->local_tid, &hash);
2204     if (GNUNET_YES !=
2205         GNUNET_CONTAINER_multihashmap_remove (c->own_tunnels, &hash, t))
2206     {
2207       GNUNET_break (0);
2208       r = GNUNET_SYSERR;
2209     }
2210   }
2211
2212   if (NULL != t->client)
2213   {
2214     c = t->client;
2215     GMC_hash32 (t->local_tid_dest, &hash);
2216     if (GNUNET_YES !=
2217           GNUNET_CONTAINER_multihashmap_remove (c->incoming_tunnels, &hash, t))
2218     {
2219       GNUNET_break (0);
2220       r = GNUNET_SYSERR;
2221     }
2222   }
2223   if (GNUNET_YES !=
2224       GNUNET_CONTAINER_multihashmap_remove (incoming_tunnels, &hash, t))
2225   {
2226     GNUNET_break (0);
2227     r = GNUNET_SYSERR;
2228   }
2229
2230   peer_cancel_queues (t->next_hop, t);
2231   peer_cancel_queues (t->prev_hop, t);
2232   GNUNET_PEER_change_rc(t->next_hop, -1);
2233   GNUNET_PEER_change_rc(t->prev_hop, -1);
2234
2235   if (GNUNET_SCHEDULER_NO_TASK != t->maintenance_task)
2236     GNUNET_SCHEDULER_cancel (t->maintenance_task);
2237
2238   n_tunnels--;
2239   GNUNET_STATISTICS_update (stats, "# tunnels", -1, GNUNET_NO);
2240   GNUNET_free (t);
2241   return r;
2242 }
2243
2244 /**
2245  * Tunnel is empty: destroy it.
2246  *
2247  * @param t Tunnel to destroy.
2248  */
2249 static void
2250 tunnel_destroy_empty (struct MeshTunnel *t)
2251 {
2252   #if MESH_DEBUG
2253   {
2254     struct GNUNET_PeerIdentity id;
2255
2256     GNUNET_PEER_resolve (t->id.oid, &id);
2257     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2258                 "executing destruction of empty tunnel %s [%X]\n",
2259                 GNUNET_i2s (&id), t->id.tid);
2260   }
2261   #endif
2262
2263   tunnel_send_destroy (t);
2264   if (0 == t->pending_messages)
2265     tunnel_destroy (t);
2266   else
2267     t->destroy = GNUNET_YES;
2268 }
2269
2270 /**
2271  * Initialize a Flow Control structure to the initial state.
2272  *
2273  * @param fc Flow Control structure to initialize.
2274  */
2275 static void
2276 fc_init (struct MeshFlowControl *fc)
2277 {
2278   fc->last_pid_sent = (uint32_t) -1; /* Next (expected) = 0 */
2279   fc->last_pid_recv = (uint32_t) -1;
2280   fc->last_ack_sent = (uint32_t) -1; /* No traffic allowed yet */
2281   fc->last_ack_recv = (uint32_t) -1;
2282   fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
2283   fc->poll_time = GNUNET_TIME_UNIT_SECONDS;
2284   fc->queue_n = 0;
2285 }
2286
2287 /**
2288  * Create a new tunnel
2289  *
2290  * @param owner Who is the owner of the tunnel (short ID).
2291  * @param tid Tunnel Number of the tunnel.
2292  * @param client Clients that owns the tunnel, NULL for foreign tunnels.
2293  * @param local Tunnel Number for the tunnel, for the client point of view.
2294  *
2295  * @return A new initialized tunnel. NULL on error.
2296  */
2297 static struct MeshTunnel *
2298 tunnel_new (GNUNET_PEER_Id owner,
2299             MESH_TunnelNumber tid,
2300             struct MeshClient *client,
2301             MESH_TunnelNumber local)
2302 {
2303   struct MeshTunnel *t;
2304   struct GNUNET_HashCode hash;
2305
2306   if (n_tunnels >= max_tunnels && NULL == client)
2307     return NULL;
2308
2309   t = GNUNET_malloc (sizeof (struct MeshTunnel));
2310   t->id.oid = owner;
2311   t->id.tid = tid;
2312   t->queue_max = (max_msgs_queue / max_tunnels) + 1;
2313   t->owner = client;
2314   fc_init (&t->next_fc);
2315   fc_init (&t->prev_fc);
2316   t->local_tid = local;
2317   n_tunnels++;
2318   GNUNET_STATISTICS_update (stats, "# tunnels", 1, GNUNET_NO);
2319
2320   GNUNET_CRYPTO_hash (&t->id, sizeof (struct MESH_TunnelID), &hash);
2321   if (GNUNET_OK !=
2322       GNUNET_CONTAINER_multihashmap_put (tunnels, &hash, t,
2323                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
2324   {
2325     GNUNET_break (0);
2326     tunnel_destroy (t);
2327     if (NULL != client)
2328     {
2329       GNUNET_break (0);
2330       GNUNET_SERVER_receive_done (client->handle, GNUNET_SYSERR);
2331     }
2332     return NULL;
2333   }
2334
2335   if (NULL != client)
2336   {
2337     GMC_hash32 (t->local_tid, &hash);
2338     if (GNUNET_OK !=
2339         GNUNET_CONTAINER_multihashmap_put (client->own_tunnels, &hash, t,
2340                                           GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY))
2341     {
2342       tunnel_destroy (t);
2343       GNUNET_break (0);
2344       GNUNET_SERVER_receive_done (client->handle, GNUNET_SYSERR);
2345       return NULL;
2346     }
2347   }
2348
2349   return t;
2350 }
2351
2352
2353
2354 /**
2355  * tunnel_destroy_iterator: iterator for deleting each tunnel that belongs to a
2356  * client when the client disconnects. If the client is not the owner, the
2357  * owner will get notified if no more clients are in the tunnel and the client
2358  * get removed from the tunnel's list.
2359  *
2360  * @param cls closure (client that is disconnecting)
2361  * @param key the hash of the local tunnel id (used to access the hashmap)
2362  * @param value the value stored at the key (tunnel to destroy)
2363  *
2364  * @return GNUNET_OK, keep iterating.
2365  */
2366 static int
2367 tunnel_destroy_iterator (void *cls,
2368                          const struct GNUNET_HashCode * key,
2369                          void *value)
2370 {
2371   struct MeshTunnel *t = value;
2372   struct MeshClient *c = cls;
2373
2374   if (GNUNET_NO == c->shutting_down)
2375     send_client_tunnel_destroy (t);
2376   if (c != t->owner)
2377   {
2378     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Client %u is destination.\n", c->id);
2379     client_delete_tunnel (c, t);
2380     tunnel_destroy_empty (t);
2381     return GNUNET_OK;
2382   }
2383   tunnel_send_destroy (t);
2384   t->owner = NULL;
2385   t->destroy = GNUNET_YES;
2386
2387   return GNUNET_OK;
2388 }
2389
2390
2391 /**
2392  * Timeout function, destroys tunnel if called
2393  *
2394  * @param cls Closure (tunnel to destroy).
2395  * @param tc TaskContext
2396  */
2397 static void
2398 tunnel_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
2399 {
2400   struct MeshTunnel *t = cls;
2401   struct GNUNET_PeerIdentity id;
2402
2403   t->maintenance_task = GNUNET_SCHEDULER_NO_TASK;
2404   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
2405     return;
2406   GNUNET_PEER_resolve(t->id.oid, &id);
2407   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
2408               "Tunnel %s [%X] timed out. Destroying.\n",
2409               GNUNET_i2s(&id), t->id.tid);
2410   send_client_tunnel_destroy (t);
2411   tunnel_destroy (t);
2412 }
2413
2414
2415 /**
2416  * Resets the tunnel timeout. Starts it if no timeout was running.
2417  *
2418  * @param t Tunnel whose timeout to reset.
2419  *
2420  * TODO use heap to improve efficiency of scheduler.
2421  */
2422 static void
2423 tunnel_reset_timeout (struct MeshTunnel *t)
2424 {
2425   if (NULL != t->owner || 0 != t->local_tid || 0 == t->prev_hop)
2426     return;
2427   if (GNUNET_SCHEDULER_NO_TASK != t->maintenance_task)
2428     GNUNET_SCHEDULER_cancel (t->maintenance_task);
2429   t->maintenance_task =
2430       GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_relative_multiply
2431                                     (refresh_path_time, 4), &tunnel_timeout, t);
2432 }
2433
2434
2435 /******************************************************************************/
2436 /****************      MESH NETWORK HANDLER HELPERS     ***********************/
2437 /******************************************************************************/
2438
2439 /**
2440  * Function to send a create path packet to a peer.
2441  *
2442  * @param cls closure
2443  * @param size number of bytes available in buf
2444  * @param buf where the callee should write the message
2445  * @return number of bytes written to buf
2446  */
2447 static size_t
2448 send_core_path_create (void *cls, size_t size, void *buf)
2449 {
2450   struct MeshTunnel *t = cls;
2451   struct GNUNET_MESH_CreateTunnel *msg;
2452   struct GNUNET_PeerIdentity *peer_ptr;
2453   struct MeshPeerPath *p = t->path;
2454   size_t size_needed;
2455   uint32_t opt;
2456   int i;
2457
2458   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "CREATE PATH sending...\n");
2459   size_needed =
2460       sizeof (struct GNUNET_MESH_CreateTunnel) +
2461       p->length * sizeof (struct GNUNET_PeerIdentity);
2462
2463   if (size < size_needed || NULL == buf)
2464   {
2465     GNUNET_break (0);
2466     return 0;
2467   }
2468   msg = (struct GNUNET_MESH_CreateTunnel *) buf;
2469   msg->header.size = htons (size_needed);
2470   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE);
2471   msg->tid = ntohl (t->id.tid);
2472
2473   opt = 0;
2474   if (GNUNET_YES == t->nobuffer)
2475     opt |= MESH_TUNNEL_OPT_NOBUFFER;
2476   msg->opt = htonl (opt);
2477   msg->port = htonl (t->port);
2478
2479   peer_ptr = (struct GNUNET_PeerIdentity *) &msg[1];
2480   for (i = 0; i < p->length; i++)
2481   {
2482     GNUNET_PEER_resolve (p->peers[i], peer_ptr++);
2483   }
2484
2485   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2486               "CREATE PATH (%u bytes long) sent!\n", size_needed);
2487   return size_needed;
2488 }
2489
2490
2491 /**
2492  * Creates a path ack message in buf and frees all unused resources.
2493  *
2494  * @param cls closure (MeshTransmissionDescriptor)
2495  * @param size number of bytes available in buf
2496  * @param buf where the callee should write the message
2497  * @return number of bytes written to buf
2498  */
2499 static size_t
2500 send_core_path_ack (void *cls, size_t size, void *buf)
2501 {
2502   struct MeshTunnel *t = cls;
2503   struct GNUNET_MESH_PathACK *msg = buf;
2504
2505   GNUNET_assert (NULL != t);
2506   if (sizeof (struct GNUNET_MESH_PathACK) > size)
2507   {
2508     GNUNET_break (0);
2509     return 0;
2510   }
2511   t->prev_fc.last_ack_sent = t->nobuffer ? 0 : t->queue_max - 1;
2512   msg->header.size = htons (sizeof (struct GNUNET_MESH_PathACK));
2513   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_ACK);
2514   GNUNET_PEER_resolve (t->id.oid, &msg->oid);
2515   msg->tid = htonl (t->id.tid);
2516   msg->peer_id = my_full_id;
2517   msg->ack = htonl (t->prev_fc.last_ack_sent);
2518
2519   /* TODO add signature */
2520
2521   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "PATH ACK sent!\n");
2522   return sizeof (struct GNUNET_MESH_PathACK);
2523 }
2524
2525
2526 /**
2527  * Free a transmission that was already queued with all resources
2528  * associated to the request.
2529  *
2530  * @param queue Queue handler to cancel.
2531  * @param clear_cls Is it necessary to free associated cls?
2532  */
2533 static void
2534 queue_destroy (struct MeshPeerQueue *queue, int clear_cls)
2535 {
2536   struct MeshFlowControl *fc;
2537
2538   if (GNUNET_YES == clear_cls)
2539   {
2540     switch (queue->type)
2541     {
2542       case GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY:
2543         GNUNET_log (GNUNET_ERROR_TYPE_INFO, "   cancelling TUNNEL_DESTROY\n");
2544         GNUNET_break (GNUNET_YES == queue->tunnel->destroy);
2545         /* fall through */
2546       case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
2547       case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
2548       case GNUNET_MESSAGE_TYPE_MESH_ACK:
2549       case GNUNET_MESSAGE_TYPE_MESH_POLL:
2550       case GNUNET_MESSAGE_TYPE_MESH_PATH_KEEPALIVE:
2551         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2552                     "   prebuilt message\n");
2553         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2554                     "   type %s\n",
2555                     GNUNET_MESH_DEBUG_M2S (queue->type));
2556         break;
2557       case GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE:
2558         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   type create path\n");
2559         break;
2560       default:
2561         GNUNET_break (0);
2562         GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
2563                     "   type %s unknown!\n",
2564                     GNUNET_MESH_DEBUG_M2S (queue->type));
2565     }
2566     GNUNET_free_non_null (queue->cls);
2567   }
2568   GNUNET_CONTAINER_DLL_remove (queue->peer->queue_head,
2569                                queue->peer->queue_tail,
2570                                queue);
2571
2572   /* Delete from appropiate fc in the tunnel */
2573   if (queue->peer->id == queue->tunnel->next_hop)
2574     fc = &queue->tunnel->next_fc;
2575   else if (queue->peer->id == queue->tunnel->next_hop)
2576     fc = &queue->tunnel->next_fc;
2577   else
2578   {
2579     GNUNET_break (0);
2580     return;
2581   }
2582   fc->queue_n--;
2583   GNUNET_free (queue);
2584 }
2585
2586
2587 /**
2588  * @brief Get the next transmittable message from the queue.
2589  *
2590  * This will be the head, except in the case of being a data packet
2591  * not allowed by the destination peer.
2592  *
2593  * @param peer Destination peer.
2594  *
2595  * @return The next viable MeshPeerQueue element to send to that peer.
2596  *         NULL when there are no transmittable messages.
2597  */
2598 struct MeshPeerQueue *
2599 queue_get_next (const struct MeshPeerInfo *peer)
2600 {
2601   struct MeshPeerQueue *q;
2602
2603   struct GNUNET_MESH_Unicast *ucast;
2604   struct GNUNET_MESH_ToOrigin *to_orig;
2605   struct MeshTunnel* t;
2606   uint32_t pid;
2607   uint32_t ack;
2608
2609   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   selecting message\n");
2610   for (q = peer->queue_head; NULL != q; q = q->next)
2611   {
2612     t = q->tunnel;
2613     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2614                 "*     %s\n",
2615                 GNUNET_MESH_DEBUG_M2S(q->type));
2616     switch (q->type)
2617     {
2618       case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
2619         ucast = (struct GNUNET_MESH_Unicast *) q->cls;
2620         pid = ntohl (ucast->pid);
2621         ack = t->next_fc.last_ack_recv;
2622         break;
2623       case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
2624         to_orig = (struct GNUNET_MESH_ToOrigin *) q->cls;
2625         pid = ntohl (to_orig->pid);
2626         ack = t->prev_fc.last_ack_recv;
2627         break;
2628       default:
2629         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2630                     "*   OK!\n");
2631         return q;
2632     }
2633     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2634                 "*     ACK: %u, PID: %u\n",
2635                 ack, pid);
2636     if (GNUNET_NO == GMC_is_pid_bigger (pid, ack))
2637     {
2638       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2639                   "*   OK!\n");
2640       return q;
2641     }
2642     else
2643     {
2644       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2645                   "*     NEXT!\n");
2646     }
2647   }
2648   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2649                 "*   nothing found\n");
2650   return NULL;
2651 }
2652
2653
2654 static size_t
2655 queue_send (void *cls, size_t size, void *buf)
2656 {
2657   struct MeshPeerInfo *peer = cls;
2658   struct GNUNET_MessageHeader *msg;
2659   struct MeshPeerQueue *queue;
2660   struct MeshTunnel *t;
2661   struct GNUNET_PeerIdentity dst_id;
2662   struct MeshFlowControl *fc;
2663   size_t data_size;
2664   uint16_t type;
2665
2666   peer->core_transmit = NULL;
2667
2668   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "* Queue send\n");
2669   queue = queue_get_next (peer);
2670
2671   /* Queue has no internal mesh traffic nor sendable payload */
2672   if (NULL == queue)
2673   {
2674     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   not ready, return\n");
2675     if (NULL == peer->queue_head)
2676       GNUNET_break (0); /* Core tmt_rdy should've been canceled */
2677     return 0;
2678   }
2679   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   not empty\n");
2680
2681   GNUNET_PEER_resolve (peer->id, &dst_id);
2682   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2683               "*   towards %s\n",
2684               GNUNET_i2s (&dst_id));
2685   /* Check if buffer size is enough for the message */
2686   if (queue->size > size)
2687   {
2688       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2689                   "*   not enough room, reissue\n");
2690       peer->core_transmit =
2691           GNUNET_CORE_notify_transmit_ready (core_handle,
2692                                              GNUNET_NO,
2693                                              0,
2694                                              GNUNET_TIME_UNIT_FOREVER_REL,
2695                                              &dst_id,
2696                                              queue->size,
2697                                              &queue_send,
2698                                              peer);
2699       return 0;
2700   }
2701   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   size ok\n");
2702
2703   t = queue->tunnel;
2704   GNUNET_assert (0 < t->pending_messages);
2705   t->pending_messages--;
2706   type = 0;
2707
2708   /* Fill buf */
2709   switch (queue->type)
2710   {
2711     case 0:
2712     case GNUNET_MESSAGE_TYPE_MESH_ACK:
2713     case GNUNET_MESSAGE_TYPE_MESH_POLL:
2714     case GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN:
2715     case GNUNET_MESSAGE_TYPE_MESH_PATH_DESTROY:
2716     case GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY:
2717     case GNUNET_MESSAGE_TYPE_MESH_PATH_KEEPALIVE:
2718       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2719                   "*   raw: %s\n",
2720                   GNUNET_MESH_DEBUG_M2S (queue->type));
2721       /* Fall through */
2722     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
2723     case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
2724       data_size = send_core_data_raw (queue->cls, size, buf);
2725       msg = (struct GNUNET_MessageHeader *) buf;
2726       type = ntohs (msg->type);
2727       break;
2728     case GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE:
2729       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   path create\n");
2730       data_size = send_core_path_create (queue->cls, size, buf);
2731       break;
2732     case GNUNET_MESSAGE_TYPE_MESH_PATH_ACK:
2733       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   path ack\n");
2734       data_size = send_core_path_ack (queue->cls, size, buf);
2735       break;
2736     default:
2737       GNUNET_break (0);
2738       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
2739                   "*   type unknown: %u\n",
2740                   queue->type);
2741       data_size = 0;
2742   }
2743
2744   /* Free queue, but cls was freed by send_core_* */
2745   queue_destroy (queue, GNUNET_NO);
2746
2747   /* Send ACK if needed, after accounting for sent ID in fc->queue_n */
2748   switch (type)
2749   {
2750     case GNUNET_MESSAGE_TYPE_MESH_UNICAST:
2751       t->next_fc.last_pid_sent = ((struct GNUNET_MESH_Unicast *) buf)->pid;
2752       tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_UNICAST);
2753       break;
2754     case GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN:
2755       t->prev_fc.last_pid_sent = ((struct GNUNET_MESH_ToOrigin *) buf)->pid;
2756       tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN);
2757       break;
2758     default:
2759       break;
2760   }
2761
2762   if (GNUNET_YES == t->destroy && 0 == t->pending_messages)
2763   {
2764     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*  destroying tunnel!\n");
2765     tunnel_destroy (t);
2766   }
2767
2768   /* If more data in queue, send next */
2769   queue = queue_get_next (peer);
2770   if (NULL != queue)
2771   {
2772       struct GNUNET_PeerIdentity id;
2773
2774       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*   more data!\n");
2775       GNUNET_PEER_resolve (peer->id, &id);
2776       peer->core_transmit =
2777           GNUNET_CORE_notify_transmit_ready(core_handle,
2778                                             0,
2779                                             0,
2780                                             GNUNET_TIME_UNIT_FOREVER_REL,
2781                                             &id,
2782                                             queue->size,
2783                                             &queue_send,
2784                                             peer);
2785   }
2786   else if (NULL != peer->queue_head)
2787   {
2788     GNUNET_log (GNUNET_ERROR_TYPE_INFO,
2789                 "*   %s stalled\n",
2790                 GNUNET_i2s (&my_full_id));
2791     if (peer->id == t->next_hop)
2792       fc = &t->next_fc;
2793     else if (peer->id == t->prev_hop)
2794       fc = &t->prev_fc;
2795     else
2796     {
2797       GNUNET_break (0);
2798       fc = NULL;
2799     }
2800     if (NULL != fc && GNUNET_SCHEDULER_NO_TASK == fc->poll_task)
2801     {
2802       fc->t = t;
2803       fc->poll_task = GNUNET_SCHEDULER_add_delayed (fc->poll_time,
2804                                                     &tunnel_poll, fc);
2805     }
2806   }
2807   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "*  Return %d\n", data_size);
2808   return data_size;
2809 }
2810
2811
2812 /**
2813  * @brief Queue and pass message to core when possible.
2814  *
2815  * If type is payload (UNICAST, TO_ORIGIN) checks for queue status and
2816  * accounts for it. In case the queue is full, the message is dropped and
2817  * a break issued.
2818  *
2819  * Otherwise, message is treated as internal and allowed to go regardless of
2820  * queue status.
2821  *
2822  * @param cls Closure (@c type dependant). It will be used by queue_send to
2823  *            build the message to be sent if not already prebuilt.
2824  * @param type Type of the message, 0 for a raw message.
2825  * @param size Size of the message.
2826  * @param dst Neighbor to send message to.
2827  * @param t Tunnel this message belongs to.
2828  */
2829 static void
2830 queue_add (void *cls, uint16_t type, size_t size,
2831            struct MeshPeerInfo *dst, struct MeshTunnel *t)
2832 {
2833   struct MeshPeerQueue *queue;
2834   struct GNUNET_PeerIdentity id;
2835   unsigned int *n;
2836
2837   n = NULL;
2838   if (GNUNET_MESSAGE_TYPE_MESH_UNICAST == type)
2839   {
2840     n = &t->next_fc.queue_n;
2841   }
2842   else if (GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN == type)
2843   {
2844     n = &t->prev_fc.queue_n;
2845   }
2846   if (NULL != n)
2847   {
2848     if (*n >= t->queue_max)
2849     {
2850       GNUNET_break(0);
2851       GNUNET_STATISTICS_update(stats,
2852                                "# messages dropped (buffer full)",
2853                                1, GNUNET_NO);
2854       return; /* Drop message */
2855     }
2856     (*n)++;
2857   }
2858   queue = GNUNET_malloc (sizeof (struct MeshPeerQueue));
2859   queue->cls = cls;
2860   queue->type = type;
2861   queue->size = size;
2862   queue->peer = dst;
2863   queue->tunnel = t;
2864   GNUNET_CONTAINER_DLL_insert_tail (dst->queue_head, dst->queue_tail, queue);
2865   if (NULL == dst->core_transmit)
2866   {
2867     GNUNET_PEER_resolve (dst->id, &id);
2868     dst->core_transmit =
2869         GNUNET_CORE_notify_transmit_ready (core_handle,
2870                                            0,
2871                                            0,
2872                                            GNUNET_TIME_UNIT_FOREVER_REL,
2873                                            &id,
2874                                            size,
2875                                            &queue_send,
2876                                            dst);
2877   }
2878   t->pending_messages++;
2879 }
2880
2881
2882 /******************************************************************************/
2883 /********************      MESH NETWORK HANDLERS     **************************/
2884 /******************************************************************************/
2885
2886
2887 /**
2888  * Core handler for path creation
2889  *
2890  * @param cls closure
2891  * @param message message
2892  * @param peer peer identity this notification is about
2893  *
2894  * @return GNUNET_OK to keep the connection open,
2895  *         GNUNET_SYSERR to close it (signal serious error)
2896  */
2897 static int
2898 handle_mesh_path_create (void *cls, const struct GNUNET_PeerIdentity *peer,
2899                          const struct GNUNET_MessageHeader *message)
2900 {
2901   unsigned int own_pos;
2902   uint16_t size;
2903   uint16_t i;
2904   MESH_TunnelNumber tid;
2905   struct GNUNET_MESH_CreateTunnel *msg;
2906   struct GNUNET_PeerIdentity *pi;
2907   struct GNUNET_HashCode hash;
2908   struct MeshPeerPath *path;
2909   struct MeshPeerInfo *dest_peer_info;
2910   struct MeshPeerInfo *orig_peer_info;
2911   struct MeshTunnel *t;
2912
2913   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2914               "Received a path create msg [%s]\n",
2915               GNUNET_i2s (&my_full_id));
2916   size = ntohs (message->size);
2917   if (size < sizeof (struct GNUNET_MESH_CreateTunnel))
2918   {
2919     GNUNET_break_op (0);
2920     return GNUNET_OK;
2921   }
2922
2923   size -= sizeof (struct GNUNET_MESH_CreateTunnel);
2924   if (size % sizeof (struct GNUNET_PeerIdentity))
2925   {
2926     GNUNET_break_op (0);
2927     return GNUNET_OK;
2928   }
2929   size /= sizeof (struct GNUNET_PeerIdentity);
2930   if (size < 1)
2931   {
2932     GNUNET_break_op (0);
2933     return GNUNET_OK;
2934   }
2935   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "    path has %u hops.\n", size);
2936   msg = (struct GNUNET_MESH_CreateTunnel *) message;
2937
2938   tid = ntohl (msg->tid);
2939   pi = (struct GNUNET_PeerIdentity *) &msg[1];
2940   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2941               "    path is for tunnel %s[%X].\n", GNUNET_i2s (pi), tid);
2942   t = tunnel_get (pi, tid);
2943   if (NULL == t) /* might be a local tunnel */
2944   {
2945     uint32_t opt;
2946
2947     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Creating tunnel\n");
2948     t = tunnel_new (GNUNET_PEER_intern (pi), tid, NULL, 0);
2949     if (NULL == t)
2950     {
2951       GNUNET_break (0);
2952       return GNUNET_OK;
2953     }
2954     t->port = ntohl (msg->port);
2955     opt = ntohl (msg->opt);
2956     if (0 != (opt & MESH_TUNNEL_OPT_NOBUFFER))
2957     {
2958       t->nobuffer = GNUNET_YES;
2959       t->prev_fc.last_ack_sent = t->prev_fc.last_pid_recv + 1;
2960       t->next_fc.last_ack_sent = t->next_fc.last_pid_recv + 1;
2961       t->queue_max = 1;
2962     }
2963     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  nobuffer:%d\n", t->nobuffer);
2964
2965     tunnel_reset_timeout (t);
2966     GMC_hash32 (t->local_tid_dest, &hash);
2967     if (GNUNET_OK !=
2968         GNUNET_CONTAINER_multihashmap_put (incoming_tunnels, &hash, t,
2969                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST))
2970     {
2971       tunnel_destroy (t);
2972       GNUNET_break (0);
2973       return GNUNET_OK;
2974     }
2975   }
2976   t->state = MESH_TUNNEL_WAITING;
2977   dest_peer_info =
2978       GNUNET_CONTAINER_multihashmap_get (peers, &pi[size - 1].hashPubKey);
2979   if (NULL == dest_peer_info)
2980   {
2981     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2982                 "  Creating PeerInfo for destination.\n");
2983     dest_peer_info = GNUNET_malloc (sizeof (struct MeshPeerInfo));
2984     dest_peer_info->id = GNUNET_PEER_intern (&pi[size - 1]);
2985     GNUNET_CONTAINER_multihashmap_put (peers, &pi[size - 1].hashPubKey,
2986                                        dest_peer_info,
2987                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
2988   }
2989   orig_peer_info = GNUNET_CONTAINER_multihashmap_get (peers, &pi->hashPubKey);
2990   if (NULL == orig_peer_info)
2991   {
2992     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2993                 "  Creating PeerInfo for origin.\n");
2994     orig_peer_info = GNUNET_malloc (sizeof (struct MeshPeerInfo));
2995     orig_peer_info->id = GNUNET_PEER_intern (pi);
2996     GNUNET_CONTAINER_multihashmap_put (peers, &pi->hashPubKey, orig_peer_info,
2997                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
2998   }
2999   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Creating path...\n");
3000   path = path_new (size);
3001   own_pos = 0;
3002   for (i = 0; i < size; i++)
3003   {
3004     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  ... adding %s\n",
3005                 GNUNET_i2s (&pi[i]));
3006     path->peers[i] = GNUNET_PEER_intern (&pi[i]);
3007     if (path->peers[i] == myid)
3008       own_pos = i;
3009   }
3010   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Own position: %u\n", own_pos);
3011   if (own_pos == 0 && path->peers[own_pos] != myid)
3012   {
3013     /* create path: self not found in path through self */
3014     GNUNET_break_op (0);
3015     path_destroy (path);
3016     tunnel_destroy (t);
3017     return GNUNET_OK;
3018   }
3019   path_add_to_peers (path, GNUNET_NO);
3020   tunnel_use_path (t, path);
3021
3022   if (own_pos == size - 1)
3023   {
3024     struct MeshClient *c;
3025     struct GNUNET_HashCode hc;
3026
3027     /* Find target client */
3028     GMC_hash32 (t->port, &hc);
3029     c = GNUNET_CONTAINER_multihashmap_get (ports, &hc);
3030     if (NULL == c)
3031     {
3032       /* TODO send reject */
3033       return GNUNET_OK;
3034     }
3035     t->client = c;
3036
3037     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  It's for us!\n");
3038     peer_info_add_path_to_origin (orig_peer_info, path, GNUNET_YES);
3039     t->dest = myid;
3040
3041     /* Assign local tid */
3042     while (NULL != tunnel_get_incoming (next_local_tid))
3043       next_local_tid = (next_local_tid + 1) | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
3044     t->local_tid_dest = next_local_tid++;
3045     next_local_tid = next_local_tid | GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
3046
3047     send_client_tunnel_create (t);
3048     send_path_ack (t);
3049   }
3050   else
3051   {
3052     struct MeshPeerPath *path2;
3053
3054     t->next_hop = path->peers[own_pos + 1];
3055     GNUNET_PEER_change_rc(t->next_hop, 1);
3056
3057     /* It's for somebody else! Retransmit. */
3058     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  Retransmitting.\n");
3059     path2 = path_duplicate (path);
3060     peer_info_add_path (dest_peer_info, path2, GNUNET_NO);
3061     peer_info_add_path_to_origin (orig_peer_info, path, GNUNET_NO);
3062     send_create_path (t);
3063   }
3064   return GNUNET_OK;
3065 }
3066
3067
3068
3069 /**
3070  * Core handler for path ACKs
3071  *
3072  * @param cls closure
3073  * @param message message
3074  * @param peer peer identity this notification is about
3075  *
3076  * @return GNUNET_OK to keep the connection open,
3077  *         GNUNET_SYSERR to close it (signal serious error)
3078  */
3079 static int
3080 handle_mesh_path_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
3081                       const struct GNUNET_MessageHeader *message)
3082 {
3083   struct GNUNET_MESH_PathACK *msg;
3084   struct MeshPeerInfo *peer_info;
3085   struct MeshPeerPath *p;
3086   struct MeshTunnel *t;
3087
3088   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Received a path ACK msg [%s]\n",
3089               GNUNET_i2s (&my_full_id));
3090   msg = (struct GNUNET_MESH_PathACK *) message;
3091   t = tunnel_get (&msg->oid, ntohl(msg->tid));
3092   if (NULL == t)
3093   {
3094     /* TODO notify that we don't know the tunnel */
3095     GNUNET_STATISTICS_update (stats, "# control on unknown tunnel", 1, GNUNET_NO);
3096     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  don't know the tunnel %s [%X]!\n",
3097                 GNUNET_i2s (&msg->oid), ntohl(msg->tid));
3098     return GNUNET_OK;
3099   }
3100   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %s [%X]\n",
3101               GNUNET_i2s (&msg->oid), ntohl(msg->tid));
3102
3103   peer_info = peer_get (&msg->peer_id);
3104   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by peer %s\n",
3105               GNUNET_i2s (&msg->peer_id));
3106   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  via peer %s\n",
3107               GNUNET_i2s (peer));
3108
3109   /* Add path to peers? */
3110   p = t->path;
3111   if (NULL != p)
3112   {
3113     path_add_to_peers (p, GNUNET_YES);
3114   }
3115   else
3116   {
3117     GNUNET_break (0);
3118   }
3119   t->state = MESH_TUNNEL_READY;
3120   t->next_fc.last_ack_recv = ntohl (msg->ack);
3121   t->prev_fc.last_ack_sent = ntohl (msg->ack);
3122
3123   /* Message for us? */
3124   if (0 == memcmp (&msg->oid, &my_full_id, sizeof (struct GNUNET_PeerIdentity)))
3125   {
3126     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  It's for us!\n");
3127     if (NULL == t->owner)
3128     {
3129       GNUNET_break_op (0);
3130       return GNUNET_OK;
3131     }
3132     if (NULL != peer_info->dhtget)
3133     {
3134       GNUNET_DHT_get_stop (peer_info->dhtget);
3135       peer_info->dhtget = NULL;
3136     }
3137     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_PATH_ACK);
3138     return GNUNET_OK;
3139   }
3140
3141   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3142               "  not for us, retransmitting...\n");
3143   peer_info = peer_get (&msg->oid);
3144   send_prebuilt_message (message, t->prev_hop, t);
3145   return GNUNET_OK;
3146 }
3147
3148
3149 /**
3150  * Core handler for notifications of broken paths
3151  *
3152  * @param cls closure
3153  * @param message message
3154  * @param peer peer identity this notification is about
3155  *
3156  * @return GNUNET_OK to keep the connection open,
3157  *         GNUNET_SYSERR to close it (signal serious error)
3158  */
3159 static int
3160 handle_mesh_path_broken (void *cls, const struct GNUNET_PeerIdentity *peer,
3161                          const struct GNUNET_MessageHeader *message)
3162 {
3163   struct GNUNET_MESH_PathBroken *msg;
3164   struct MeshTunnel *t;
3165
3166   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3167               "Received a PATH BROKEN msg from %s\n", GNUNET_i2s (peer));
3168   msg = (struct GNUNET_MESH_PathBroken *) message;
3169   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  regarding %s\n",
3170               GNUNET_i2s (&msg->peer1));
3171   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  regarding %s\n",
3172               GNUNET_i2s (&msg->peer2));
3173   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3174   if (NULL == t)
3175   {
3176     GNUNET_break_op (0);
3177     return GNUNET_OK;
3178   }
3179   tunnel_notify_connection_broken (t, GNUNET_PEER_search (&msg->peer1),
3180                                    GNUNET_PEER_search (&msg->peer2));
3181   return GNUNET_OK;
3182
3183 }
3184
3185
3186 /**
3187  * Core handler for tunnel destruction
3188  *
3189  * @param cls closure
3190  * @param message message
3191  * @param peer peer identity this notification is about
3192  *
3193  * @return GNUNET_OK to keep the connection open,
3194  *         GNUNET_SYSERR to close it (signal serious error)
3195  */
3196 static int
3197 handle_mesh_tunnel_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
3198                             const struct GNUNET_MessageHeader *message)
3199 {
3200   struct GNUNET_MESH_TunnelDestroy *msg;
3201   struct MeshTunnel *t;
3202
3203   msg = (struct GNUNET_MESH_TunnelDestroy *) message;
3204   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3205               "Got a TUNNEL DESTROY packet from %s\n",
3206               GNUNET_i2s (peer));
3207   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3208               "  for tunnel %s [%u]\n",
3209               GNUNET_i2s (&msg->oid), ntohl (msg->tid));
3210   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3211   if (NULL == t)
3212   {
3213     /* Probably already got the message from another path,
3214      * destroyed the tunnel and retransmitted to children.
3215      * Safe to ignore.
3216      */
3217     GNUNET_STATISTICS_update (stats, "# control on unknown tunnel",
3218                               1, GNUNET_NO);
3219     return GNUNET_OK;
3220   }
3221   // TODO check owner's signature
3222   if (t->local_tid_dest >= GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
3223   {
3224     /* Tunnel was incoming, notify clients */
3225     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "INCOMING TUNNEL %X %X\n",
3226                 t->local_tid, t->local_tid_dest);
3227     send_client_tunnel_destroy (t);
3228   }
3229   tunnel_send_destroy (t);
3230   t->destroy = GNUNET_YES;
3231   // TODO: add timeout to destroy the tunnel anyway
3232   return GNUNET_OK;
3233 }
3234
3235
3236 /**
3237  * Core handler for mesh network traffic going from the origin to a peer
3238  *
3239  * @param cls closure
3240  * @param peer peer identity this notification is about
3241  * @param message message
3242  * @return GNUNET_OK to keep the connection open,
3243  *         GNUNET_SYSERR to close it (signal serious error)
3244  */
3245 static int
3246 handle_mesh_unicast (void *cls, const struct GNUNET_PeerIdentity *peer,
3247                           const struct GNUNET_MessageHeader *message)
3248 {
3249   struct GNUNET_MESH_Unicast *msg;
3250   struct MeshTunnel *t;
3251   uint32_t pid;
3252   uint32_t ttl;
3253   size_t size;
3254
3255   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got a unicast packet from %s\n",
3256               GNUNET_i2s (peer));
3257   /* Check size */
3258   size = ntohs (message->size);
3259   if (size <
3260       sizeof (struct GNUNET_MESH_Unicast) +
3261       sizeof (struct GNUNET_MessageHeader))
3262   {
3263     GNUNET_break (0);
3264     return GNUNET_OK;
3265   }
3266   msg = (struct GNUNET_MESH_Unicast *) message;
3267   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " of type %s\n",
3268               GNUNET_MESH_DEBUG_M2S (ntohs (msg[1].header.type)));
3269   /* Check tunnel */
3270   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3271   if (NULL == t)
3272   {
3273     /* TODO notify back: we don't know this tunnel */
3274     GNUNET_STATISTICS_update (stats, "# data on unknown tunnel", 1, GNUNET_NO);
3275     GNUNET_break_op (0);
3276     return GNUNET_OK;
3277   }
3278   pid = ntohl (msg->pid);
3279   if (t->prev_fc.last_pid_recv == pid)
3280   {
3281     GNUNET_STATISTICS_update (stats, "# duplicate PID drops", 1, GNUNET_NO);
3282     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
3283                 " Already seen pid %u, DROPPING!\n", pid);
3284     return GNUNET_OK;
3285   }
3286   else
3287   {
3288     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3289                 " pid %u not seen yet, forwarding\n", pid);
3290   }
3291
3292   if (GMC_is_pid_bigger (pid, t->prev_fc.last_ack_sent))
3293   {
3294     GNUNET_STATISTICS_update (stats, "# unsolicited unicast", 1, GNUNET_NO);
3295     GNUNET_break_op (0);
3296     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3297                 "Received PID %u, ACK %u\n",
3298                 pid, t->prev_fc.last_ack_sent);
3299     tunnel_send_fwd_ack(t, GNUNET_MESSAGE_TYPE_MESH_POLL);
3300     return GNUNET_OK;
3301   }
3302   t->prev_fc.last_pid_recv = pid;
3303
3304   tunnel_reset_timeout (t);
3305   if (t->dest == myid)
3306   {
3307     if (NULL == t->client)
3308     {
3309       GNUNET_break (0);
3310       return GNUNET_OK;
3311     }
3312     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3313                 "  it's for us! sending to clients...\n");
3314     GNUNET_STATISTICS_update (stats, "# unicast received", 1, GNUNET_NO);
3315     GNUNET_SERVER_notification_context_unicast (nc, t->client->handle,
3316                                                 message, GNUNET_NO);
3317     tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_UNICAST);
3318     return GNUNET_OK;
3319   }
3320   if (0 == t->next_hop)
3321   {
3322     GNUNET_break (0);
3323     return GNUNET_OK;
3324   }
3325   ttl = ntohl (msg->ttl);
3326   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   ttl: %u\n", ttl);
3327   if (ttl == 0)
3328   {
3329     GNUNET_STATISTICS_update (stats, "# TTL drops", 1, GNUNET_NO);
3330     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, " TTL is 0, DROPPING!\n");
3331     tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
3332     return GNUNET_OK;
3333   }
3334   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3335               "  not for us, retransmitting...\n");
3336
3337   send_prebuilt_message (message, t->next_hop, t);
3338   GNUNET_STATISTICS_update (stats, "# unicast forwarded", 1, GNUNET_NO);
3339   return GNUNET_OK;
3340 }
3341
3342
3343 /**
3344  * Core handler for mesh network traffic toward the owner of a tunnel
3345  *
3346  * @param cls closure
3347  * @param message message
3348  * @param peer peer identity this notification is about
3349  *
3350  * @return GNUNET_OK to keep the connection open,
3351  *         GNUNET_SYSERR to close it (signal serious error)
3352  */
3353 static int
3354 handle_mesh_to_orig (void *cls, const struct GNUNET_PeerIdentity *peer,
3355                           const struct GNUNET_MessageHeader *message)
3356 {
3357   struct GNUNET_MESH_ToOrigin *msg;
3358   struct MeshTunnel *t;
3359   size_t size;
3360   uint32_t pid;
3361
3362   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got a ToOrigin packet from %s\n",
3363               GNUNET_i2s (peer));
3364   size = ntohs (message->size);
3365   if (size < sizeof (struct GNUNET_MESH_ToOrigin) +     /* Payload must be */
3366       sizeof (struct GNUNET_MessageHeader))     /* at least a header */
3367   {
3368     GNUNET_break_op (0);
3369     return GNUNET_OK;
3370   }
3371   msg = (struct GNUNET_MESH_ToOrigin *) message;
3372   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, " of type %s\n",
3373               GNUNET_MESH_DEBUG_M2S (ntohs (msg[1].header.type)));
3374   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3375   pid = ntohl (msg->pid);
3376
3377   if (NULL == t)
3378   {
3379     /* TODO notify that we dont know this tunnel (whom)? */
3380     GNUNET_STATISTICS_update (stats, "# data on unknown tunnel", 1, GNUNET_NO);
3381     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3382                 "Received to_origin with PID %u on unknown tunnel %s [%u]\n",
3383                 pid, GNUNET_i2s (&msg->oid), ntohl (msg->tid));
3384     return GNUNET_OK;
3385   }
3386
3387   if (t->next_fc.last_pid_recv == pid)
3388   {
3389     /* already seen this packet, drop */
3390     GNUNET_STATISTICS_update (stats, "# duplicate PID drops BCK", 1, GNUNET_NO);
3391     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3392                 " Already seen pid %u, DROPPING!\n", pid);
3393     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
3394     return GNUNET_OK;
3395   }
3396
3397   if (GMC_is_pid_bigger (pid, t->next_fc.last_ack_sent))
3398   {
3399     GNUNET_STATISTICS_update (stats, "# unsolicited to_orig", 1, GNUNET_NO);
3400     GNUNET_break_op (0);
3401     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3402                 "Received PID %u, ACK %u\n",
3403                 pid, t->next_fc.last_ack_sent);
3404     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_POLL);
3405     return GNUNET_OK;
3406   }
3407   t->next_fc.last_pid_recv = pid;
3408   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3409               " pid %u not seen yet, forwarding\n", pid);
3410
3411   if (NULL != t->owner)
3412   {
3413     char cbuf[size];
3414     struct GNUNET_MESH_ToOrigin *copy;
3415
3416     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3417                 "  it's for us! sending to clients...\n");
3418     /* TODO signature verification */
3419     memcpy (cbuf, message, size);
3420     copy = (struct GNUNET_MESH_ToOrigin *) cbuf;
3421     copy->tid = htonl (t->local_tid);
3422     GNUNET_STATISTICS_update (stats, "# to origin received", 1, GNUNET_NO);
3423     GNUNET_SERVER_notification_context_unicast (nc, t->owner->handle,
3424                                                 &copy->header, GNUNET_NO);
3425     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN);
3426     return GNUNET_OK;
3427   }
3428   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3429               "  not for us, retransmitting...\n");
3430
3431   if (0 == t->prev_hop) /* No owner AND no prev hop */
3432   {
3433     if (GNUNET_YES == t->destroy)
3434     {
3435       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3436                   "to orig received on a dying tunnel %s [%X]\n",
3437                   GNUNET_i2s (&msg->oid), ntohl(msg->tid));
3438       return GNUNET_OK;
3439     }
3440     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3441                 "unknown to origin at %s\n",
3442                 GNUNET_i2s (&my_full_id));
3443     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3444                 "from peer %s\n",
3445                 GNUNET_i2s (peer));
3446     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3447                 "on tunnel %s [%X]\n",
3448                 GNUNET_i2s (&msg->oid), ntohl(msg->tid));
3449     return GNUNET_OK;
3450   }
3451   send_prebuilt_message (message, t->prev_hop, t);
3452   GNUNET_STATISTICS_update (stats, "# to origin forwarded", 1, GNUNET_NO);
3453
3454   return GNUNET_OK;
3455 }
3456
3457
3458 /**
3459  * Core handler for mesh network traffic point-to-point acks.
3460  *
3461  * @param cls closure
3462  * @param message message
3463  * @param peer peer identity this notification is about
3464  *
3465  * @return GNUNET_OK to keep the connection open,
3466  *         GNUNET_SYSERR to close it (signal serious error)
3467  */
3468 static int
3469 handle_mesh_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
3470                  const struct GNUNET_MessageHeader *message)
3471 {
3472   struct GNUNET_MESH_ACK *msg;
3473   struct MeshTunnel *t;
3474   GNUNET_PEER_Id id;
3475   uint32_t ack;
3476
3477   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got an ACK packet from %s!\n",
3478               GNUNET_i2s (peer));
3479   msg = (struct GNUNET_MESH_ACK *) message;
3480
3481   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3482
3483   if (NULL == t)
3484   {
3485     /* TODO notify that we dont know this tunnel (whom)? */
3486     GNUNET_STATISTICS_update (stats, "# ack on unknown tunnel", 1, GNUNET_NO);
3487     return GNUNET_OK;
3488   }
3489   ack = ntohl (msg->pid);
3490   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  ACK %u\n", ack);
3491
3492   /* Is this a forward or backward ACK? */
3493   id = GNUNET_PEER_search (peer);
3494   if (t->next_hop == id)
3495   {
3496     debug_fwd_ack++;
3497     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  FWD ACK\n");
3498     if (GNUNET_SCHEDULER_NO_TASK != t->next_fc.poll_task &&
3499         GMC_is_pid_bigger (ack, t->next_fc.last_ack_recv))
3500     {
3501       GNUNET_SCHEDULER_cancel (t->next_fc.poll_task);
3502       t->next_fc.poll_task = GNUNET_SCHEDULER_NO_TASK;
3503       t->next_fc.poll_time = GNUNET_TIME_UNIT_SECONDS;
3504     }
3505     t->next_fc.last_ack_recv = ack;
3506     peer_unlock_queue (t->next_hop);
3507     tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
3508   }
3509   else if (t->prev_hop == id)
3510   {
3511     debug_bck_ack++;
3512     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  BCK ACK\n");
3513     if (GNUNET_SCHEDULER_NO_TASK != t->prev_fc.poll_task &&
3514         GMC_is_pid_bigger (ack, t->prev_fc.last_ack_recv))
3515     {
3516       GNUNET_SCHEDULER_cancel (t->prev_fc.poll_task);
3517       t->prev_fc.poll_task = GNUNET_SCHEDULER_NO_TASK;
3518       t->prev_fc.poll_time = GNUNET_TIME_UNIT_SECONDS;
3519     }
3520     t->prev_fc.last_ack_recv = ack;
3521     peer_unlock_queue (t->prev_hop);
3522     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_ACK);
3523   }
3524   else
3525     GNUNET_break_op (0);
3526   return GNUNET_OK;
3527 }
3528
3529
3530 /**
3531  * Core handler for mesh network traffic point-to-point ack polls.
3532  *
3533  * @param cls closure
3534  * @param message message
3535  * @param peer peer identity this notification is about
3536  *
3537  * @return GNUNET_OK to keep the connection open,
3538  *         GNUNET_SYSERR to close it (signal serious error)
3539  */
3540 static int
3541 handle_mesh_poll (void *cls, const struct GNUNET_PeerIdentity *peer,
3542                   const struct GNUNET_MessageHeader *message)
3543 {
3544   struct GNUNET_MESH_Poll *msg;
3545   struct MeshTunnel *t;
3546   GNUNET_PEER_Id id;
3547
3548   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got an POLL packet from %s!\n",
3549               GNUNET_i2s (peer));
3550
3551   msg = (struct GNUNET_MESH_Poll *) message;
3552
3553   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3554
3555   if (NULL == t)
3556   {
3557     /* TODO notify that we dont know this tunnel (whom)? */
3558     GNUNET_STATISTICS_update (stats, "# poll on unknown tunnel", 1, GNUNET_NO);
3559     GNUNET_break_op (0);
3560     return GNUNET_OK;
3561   }
3562
3563   /* Is this a forward or backward ACK? */
3564   id = GNUNET_PEER_search(peer);
3565   if (t->next_hop == id)
3566   {
3567     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  from FWD\n");
3568     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_POLL);
3569   }
3570   else if (t->prev_hop == id)
3571   {
3572     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  from BCK\n");
3573     tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_POLL);
3574   }
3575   else
3576     GNUNET_break (0);
3577
3578   return GNUNET_OK;
3579 }
3580
3581
3582 /**
3583  * Core handler for mesh keepalives.
3584  *
3585  * @param cls closure
3586  * @param message message
3587  * @param peer peer identity this notification is about
3588  * @return GNUNET_OK to keep the connection open,
3589  *         GNUNET_SYSERR to close it (signal serious error)
3590  *
3591  * TODO: Check who we got this from, to validate route.
3592  */
3593 static int
3594 handle_mesh_keepalive (void *cls, const struct GNUNET_PeerIdentity *peer,
3595                        const struct GNUNET_MessageHeader *message)
3596 {
3597   struct GNUNET_MESH_TunnelKeepAlive *msg;
3598   struct MeshTunnel *t;
3599
3600   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got a keepalive packet from %s\n",
3601               GNUNET_i2s (peer));
3602
3603   msg = (struct GNUNET_MESH_TunnelKeepAlive *) message;
3604   t = tunnel_get (&msg->oid, ntohl (msg->tid));
3605
3606   if (NULL == t)
3607   {
3608     /* TODO notify that we dont know that tunnel */
3609     GNUNET_STATISTICS_update (stats, "# keepalive on unknown tunnel", 1,
3610                               GNUNET_NO);
3611     return GNUNET_OK;
3612   }
3613
3614   tunnel_reset_timeout (t);
3615
3616   GNUNET_STATISTICS_update (stats, "# keepalives forwarded", 1, GNUNET_NO);
3617   send_prebuilt_message (message, t->next_hop, t);
3618   return GNUNET_OK;
3619   }
3620
3621
3622
3623 /**
3624  * Functions to handle messages from core
3625  */
3626 static struct GNUNET_CORE_MessageHandler core_handlers[] = {
3627   {&handle_mesh_path_create, GNUNET_MESSAGE_TYPE_MESH_PATH_CREATE, 0},
3628   {&handle_mesh_path_broken, GNUNET_MESSAGE_TYPE_MESH_PATH_BROKEN,
3629    sizeof (struct GNUNET_MESH_PathBroken)},
3630   {&handle_mesh_tunnel_destroy, GNUNET_MESSAGE_TYPE_MESH_TUNNEL_DESTROY,
3631    sizeof (struct GNUNET_MESH_TunnelDestroy)},
3632   {&handle_mesh_unicast, GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
3633   {&handle_mesh_keepalive, GNUNET_MESSAGE_TYPE_MESH_PATH_KEEPALIVE,
3634     sizeof (struct GNUNET_MESH_TunnelKeepAlive)},
3635   {&handle_mesh_to_orig, GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
3636   {&handle_mesh_ack, GNUNET_MESSAGE_TYPE_MESH_ACK,
3637     sizeof (struct GNUNET_MESH_ACK)},
3638   {&handle_mesh_poll, GNUNET_MESSAGE_TYPE_MESH_POLL,
3639     sizeof (struct GNUNET_MESH_Poll)},
3640   {&handle_mesh_path_ack, GNUNET_MESSAGE_TYPE_MESH_PATH_ACK,
3641    sizeof (struct GNUNET_MESH_PathACK)},
3642   {NULL, 0, 0}
3643 };
3644
3645
3646
3647 /******************************************************************************/
3648 /****************       MESH LOCAL HANDLER HELPERS      ***********************/
3649 /******************************************************************************/
3650
3651
3652 #if LATER
3653 /**
3654  * notify_client_connection_failure: notify a client that the connection to the
3655  * requested remote peer is not possible (for instance, no route found)
3656  * Function called when the socket is ready to queue more data. "buf" will be
3657  * NULL and "size" zero if the socket was closed for writing in the meantime.
3658  *
3659  * @param cls closure
3660  * @param size number of bytes available in buf
3661  * @param buf where the callee should write the message
3662  * @return number of bytes written to buf
3663  */
3664 static size_t
3665 notify_client_connection_failure (void *cls, size_t size, void *buf)
3666 {
3667   int size_needed;
3668   struct MeshPeerInfo *peer_info;
3669   struct GNUNET_MESH_PeerControl *msg;
3670   struct GNUNET_PeerIdentity id;
3671
3672   if (0 == size && NULL == buf)
3673   {
3674     // TODO retry? cancel?
3675     return 0;
3676   }
3677
3678   size_needed = sizeof (struct GNUNET_MESH_PeerControl);
3679   peer_info = (struct MeshPeerInfo *) cls;
3680   msg = (struct GNUNET_MESH_PeerControl *) buf;
3681   msg->header.size = htons (sizeof (struct GNUNET_MESH_PeerControl));
3682   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_PEER_DISCONNECTED);
3683 //     msg->tunnel_id = htonl(peer_info->t->tid);
3684   GNUNET_PEER_resolve (peer_info->id, &id);
3685   memcpy (&msg->peer, &id, sizeof (struct GNUNET_PeerIdentity));
3686
3687   return size_needed;
3688 }
3689 #endif
3690
3691
3692 /**
3693  * Send keepalive packets for a tunnel.
3694  *
3695  * @param cls Closure (tunnel for which to send the keepalive).
3696  * @param tc Notification context.
3697  */
3698 static void
3699 path_refresh (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
3700 {
3701   struct MeshTunnel *t = cls;
3702   struct GNUNET_MESH_TunnelKeepAlive *msg;
3703   size_t size = sizeof (struct GNUNET_MESH_TunnelKeepAlive);
3704   char cbuf[size];
3705
3706   t->maintenance_task = GNUNET_SCHEDULER_NO_TASK;
3707   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN) ||
3708       NULL == t->owner || 0 == t->local_tid || 0 != t->prev_hop)
3709   {
3710     return;
3711   }
3712
3713   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3714               "sending keepalive for tunnel %d\n", t->id.tid);
3715
3716   msg = (struct GNUNET_MESH_TunnelKeepAlive *) cbuf;
3717   msg->header.size = htons (size);
3718   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_PATH_KEEPALIVE);
3719   msg->oid = my_full_id;
3720   msg->tid = htonl (t->id.tid);
3721   send_prebuilt_message (&msg->header, t->next_hop, t);
3722
3723   t->maintenance_task =
3724       GNUNET_SCHEDULER_add_delayed (refresh_path_time, &path_refresh, t);
3725 }
3726
3727
3728 /**
3729  * Function to process paths received for a new peer addition. The recorded
3730  * paths form the initial tunnel, which can be optimized later.
3731  * Called on each result obtained for the DHT search.
3732  *
3733  * @param cls closure
3734  * @param exp when will this value expire
3735  * @param key key of the result
3736  * @param get_path path of the get request
3737  * @param get_path_length lenght of get_path
3738  * @param put_path path of the put request
3739  * @param put_path_length length of the put_path
3740  * @param type type of the result
3741  * @param size number of bytes in data
3742  * @param data pointer to the result data
3743  */
3744 static void
3745 dht_get_id_handler (void *cls, struct GNUNET_TIME_Absolute exp,
3746                     const struct GNUNET_HashCode * key,
3747                     const struct GNUNET_PeerIdentity *get_path,
3748                     unsigned int get_path_length,
3749                     const struct GNUNET_PeerIdentity *put_path,
3750                     unsigned int put_path_length, enum GNUNET_BLOCK_Type type,
3751                     size_t size, const void *data)
3752 {
3753   struct MeshPeerInfo *peer = cls;
3754   struct MeshPeerPath *p;
3755   struct GNUNET_PeerIdentity pi;
3756   int i;
3757
3758   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got results from DHT!\n");
3759   GNUNET_PEER_resolve (peer->id, &pi);
3760   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  for %s\n", GNUNET_i2s (&pi));
3761
3762   p = path_build_from_dht (get_path, get_path_length,
3763                            put_path, put_path_length);
3764   path_add_to_peers (p, GNUNET_NO);
3765   path_destroy (p);
3766   for (i = 0; i < peer->ntunnels; i++)
3767   {
3768     if (peer->tunnels[i]->state == MESH_TUNNEL_SEARCHING)
3769       peer_connect (peer, peer->tunnels[i]);
3770   }
3771
3772   return;
3773 }
3774
3775
3776 /******************************************************************************/
3777 /*********************       MESH LOCAL HANDLES      **************************/
3778 /******************************************************************************/
3779
3780
3781 /**
3782  * Handler for client disconnection
3783  *
3784  * @param cls closure
3785  * @param client identification of the client; NULL
3786  *        for the last call when the server is destroyed
3787  */
3788 static void
3789 handle_local_client_disconnect (void *cls, struct GNUNET_SERVER_Client *client)
3790 {
3791   struct MeshClient *c;
3792   struct MeshClient *next;
3793
3794   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "client disconnected\n");
3795   if (client == NULL)
3796   {
3797     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   (SERVER DOWN)\n");
3798     return;
3799   }
3800
3801   c = clients_head;
3802   while (NULL != c)
3803   {
3804     if (c->handle != client)
3805     {
3806       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "   ... searching\n");
3807       c = c->next;
3808       continue;
3809     }
3810     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "matching client found (%u)\n",
3811                 c->id);
3812     GNUNET_SERVER_client_drop (c->handle);
3813     c->shutting_down = GNUNET_YES;
3814     GNUNET_CONTAINER_multihashmap_iterate (c->own_tunnels,
3815                                            &tunnel_destroy_iterator, c);
3816     GNUNET_CONTAINER_multihashmap_iterate (c->incoming_tunnels,
3817                                            &tunnel_destroy_iterator, c);
3818     GNUNET_CONTAINER_multihashmap_destroy (c->own_tunnels);
3819     GNUNET_CONTAINER_multihashmap_destroy (c->incoming_tunnels);
3820
3821     if (NULL != c->ports)
3822       GNUNET_CONTAINER_multihashmap_destroy (c->ports);
3823     next = c->next;
3824     GNUNET_CONTAINER_DLL_remove (clients_head, clients_tail, c);
3825     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  CLIENT FREE at %p\n", c);
3826     GNUNET_free (c);
3827     GNUNET_STATISTICS_update (stats, "# clients", -1, GNUNET_NO);
3828     c = next;
3829   }
3830   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "done!\n");
3831   return;
3832 }
3833
3834
3835 /**
3836  * Handler for new clients
3837  *
3838  * @param cls closure
3839  * @param client identification of the client
3840  * @param message the actual message, which includes messages the client wants
3841  */
3842 static void
3843 handle_local_new_client (void *cls, struct GNUNET_SERVER_Client *client,
3844                          const struct GNUNET_MessageHeader *message)
3845 {
3846   struct GNUNET_MESH_ClientConnect *cc_msg;
3847   struct MeshClient *c;
3848   unsigned int size;
3849   uint32_t *p;
3850   unsigned int i;
3851
3852   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new client connected\n");
3853
3854   /* Check data sanity */
3855   size = ntohs (message->size) - sizeof (struct GNUNET_MESH_ClientConnect);
3856   cc_msg = (struct GNUNET_MESH_ClientConnect *) message;
3857   if (0 != (size % sizeof (uint32_t)))
3858   {
3859     GNUNET_break (0);
3860     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3861     return;
3862   }
3863   size /= sizeof (uint32_t);
3864
3865   /* Create new client structure */
3866   c = GNUNET_malloc (sizeof (struct MeshClient));
3867   c->id = next_client_id++; /* overflow not important: just for debug */
3868   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  client id %u\n", c->id);
3869   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  client has %u ports\n", size);
3870   c->handle = client;
3871   GNUNET_SERVER_client_keep (client);
3872   if (size > 0)
3873   {
3874     uint32_t u32;
3875     struct GNUNET_HashCode hc;
3876
3877     p = (uint32_t *) &cc_msg[1];
3878     c->ports = GNUNET_CONTAINER_multihashmap_create (size, GNUNET_NO);
3879     for (i = 0; i < size; i++)
3880     {
3881       u32 = ntohl (p[i]);
3882       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "    port: %u\n", u32);
3883       GMC_hash32 (u32, &hc);
3884
3885       /* store in client's hashmap */
3886       GNUNET_CONTAINER_multihashmap_put (c->ports, &hc, c,
3887                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
3888       /* store in global hashmap */
3889       /* FIXME only allow one client to have the port open,
3890        *       have a backup hashmap with waiting clients */
3891       GNUNET_CONTAINER_multihashmap_put (ports, &hc, c,
3892                                          GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
3893     }
3894   }
3895
3896   GNUNET_CONTAINER_DLL_insert (clients_head, clients_tail, c);
3897   c->own_tunnels = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
3898   c->incoming_tunnels = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
3899   GNUNET_SERVER_notification_context_add (nc, client);
3900   GNUNET_STATISTICS_update (stats, "# clients", 1, GNUNET_NO);
3901
3902   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3903   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new client processed\n");
3904 }
3905
3906
3907 /**
3908  * Handler for requests of new tunnels
3909  *
3910  * @param cls Closure.
3911  * @param client Identification of the client.
3912  * @param message The actual message.
3913  */
3914 static void
3915 handle_local_tunnel_create (void *cls, struct GNUNET_SERVER_Client *client,
3916                             const struct GNUNET_MessageHeader *message)
3917 {
3918   struct GNUNET_MESH_TunnelMessage *t_msg;
3919   struct MeshPeerInfo *peer_info;
3920   struct MeshTunnel *t;
3921   struct MeshClient *c;
3922   MESH_TunnelNumber tid;
3923
3924   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "new tunnel requested\n");
3925
3926   /* Sanity check for client registration */
3927   if (NULL == (c = client_get (client)))
3928   {
3929     GNUNET_break (0);
3930     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3931     return;
3932   }
3933   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
3934
3935   /* Message sanity check */
3936   if (sizeof (struct GNUNET_MESH_TunnelMessage) != ntohs (message->size))
3937   {
3938     GNUNET_break (0);
3939     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3940     return;
3941   }
3942
3943   t_msg = (struct GNUNET_MESH_TunnelMessage *) message;
3944   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  towards %s\n",
3945               GNUNET_i2s (&t_msg->peer));
3946   /* Sanity check for tunnel numbering */
3947   tid = ntohl (t_msg->tunnel_id);
3948   if (0 == (tid & GNUNET_MESH_LOCAL_TUNNEL_ID_CLI))
3949   {
3950     GNUNET_break (0);
3951     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3952     return;
3953   }
3954   /* Sanity check for duplicate tunnel IDs */
3955   if (NULL != tunnel_get_by_local_id (c, tid))
3956   {
3957     GNUNET_break (0);
3958     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3959     return;
3960   }
3961
3962   while (NULL != tunnel_get_by_pi (myid, next_tid))
3963     next_tid = (next_tid + 1) & ~GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
3964   t = tunnel_new (myid, next_tid, c, tid);
3965   next_tid = (next_tid + 1) & ~GNUNET_MESH_LOCAL_TUNNEL_ID_CLI;
3966   if (NULL == t)
3967   {
3968     GNUNET_break (0);
3969     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3970     return;
3971   }
3972   t->port = ntohl (t_msg->port);
3973   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "CREATED TUNNEL %s[%x]:%u (%x)\n",
3974               GNUNET_i2s (&my_full_id), t->id.tid, t->port, t->local_tid);
3975
3976   peer_info = peer_get (&t_msg->peer);
3977   GNUNET_array_append (peer_info->tunnels, peer_info->ntunnels, t);
3978   peer_connect (peer_info, t);
3979   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3980   return;
3981 }
3982
3983
3984 /**
3985  * Handler for requests of deleting tunnels
3986  *
3987  * @param cls closure
3988  * @param client identification of the client
3989  * @param message the actual message
3990  */
3991 static void
3992 handle_local_tunnel_destroy (void *cls, struct GNUNET_SERVER_Client *client,
3993                              const struct GNUNET_MessageHeader *message)
3994 {
3995   struct GNUNET_MESH_TunnelMessage *tunnel_msg;
3996   struct MeshClient *c;
3997   struct MeshTunnel *t;
3998   MESH_TunnelNumber tid;
3999
4000   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4001               "Got a DESTROY TUNNEL from client!\n");
4002
4003   /* Sanity check for client registration */
4004   if (NULL == (c = client_get (client)))
4005   {
4006     GNUNET_break (0);
4007     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4008     return;
4009   }
4010   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
4011
4012   /* Message sanity check */
4013   if (sizeof (struct GNUNET_MESH_TunnelMessage) != ntohs (message->size))
4014   {
4015     GNUNET_break (0);
4016     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4017     return;
4018   }
4019
4020   tunnel_msg = (struct GNUNET_MESH_TunnelMessage *) message;
4021
4022   /* Retrieve tunnel */
4023   tid = ntohl (tunnel_msg->tunnel_id);
4024   t = tunnel_get_by_local_id(c, tid);
4025   if (NULL == t)
4026   {
4027     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "  tunnel %X not found\n", tid);
4028     GNUNET_break (0);
4029     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4030     return;
4031   }
4032   if (c == t->client)
4033   {
4034     tunnel_destroy_empty (t);
4035     GNUNET_SERVER_receive_done (client, GNUNET_OK);
4036     return;
4037   }
4038   send_client_tunnel_destroy (t);
4039   client_delete_tunnel (c, t);
4040
4041   /* Don't try to ACK the client about the tunnel_destroy multicast packet */
4042   t->owner = NULL;
4043   tunnel_send_destroy (t);
4044   peer_remove_tunnel (peer_get_short(t->dest), t);
4045   t->destroy = GNUNET_YES;
4046   /* The tunnel will be destroyed when the last message is transmitted. */
4047   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4048   return;
4049 }
4050
4051
4052 /**
4053  * Handler for requests of seeting tunnel's buffering policy.
4054  *
4055  * @param cls Closure (unused).
4056  * @param client Identification of the client.
4057  * @param message The actual message.
4058  */
4059 static void
4060 handle_local_tunnel_buffer (void *cls, struct GNUNET_SERVER_Client *client,
4061                             const struct GNUNET_MessageHeader *message)
4062 {
4063   struct GNUNET_MESH_TunnelMessage *tunnel_msg;
4064   struct MeshClient *c;
4065   struct MeshTunnel *t;
4066   MESH_TunnelNumber tid;
4067
4068   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4069               "Got a BUFFER request from client!\n");
4070
4071   /* Sanity check for client registration */
4072   if (NULL == (c = client_get (client)))
4073   {
4074     GNUNET_break (0);
4075     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4076     return;
4077   }
4078   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
4079
4080   tunnel_msg = (struct GNUNET_MESH_TunnelMessage *) message;
4081
4082   /* Retrieve tunnel */
4083   tid = ntohl (tunnel_msg->tunnel_id);
4084   t = tunnel_get_by_local_id(c, tid);
4085   if (NULL == t)
4086   {
4087     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "  tunnel %X not found\n", tid);
4088     GNUNET_break (0);
4089     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4090     return;
4091   }
4092
4093   switch (ntohs(message->type))
4094   {
4095       case GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_BUFFER:
4096           t->nobuffer = GNUNET_NO;
4097           break;
4098       case GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_NOBUFFER:
4099           t->nobuffer = GNUNET_YES;
4100           break;
4101       default:
4102           GNUNET_break (0);
4103   }
4104
4105   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4106 }
4107
4108
4109 /**
4110  * Handler for client traffic directed to one peer
4111  *
4112  * @param cls closure
4113  * @param client identification of the client
4114  * @param message the actual message
4115  */
4116 static void
4117 handle_local_unicast (void *cls, struct GNUNET_SERVER_Client *client,
4118                       const struct GNUNET_MessageHeader *message)
4119 {
4120   struct MeshClient *c;
4121   struct MeshTunnel *t;
4122   struct GNUNET_MESH_Unicast *data_msg;
4123   MESH_TunnelNumber tid;
4124   size_t size;
4125
4126   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4127               "Got a unicast request from a client!\n");
4128
4129   /* Sanity check for client registration */
4130   if (NULL == (c = client_get (client)))
4131   {
4132     GNUNET_break (0);
4133     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4134     return;
4135   }
4136   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
4137
4138   data_msg = (struct GNUNET_MESH_Unicast *) message;
4139
4140   /* Sanity check for message size */
4141   size = ntohs (message->size);
4142   if (sizeof (struct GNUNET_MESH_Unicast) +
4143       sizeof (struct GNUNET_MessageHeader) > size)
4144   {
4145     GNUNET_break (0);
4146     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4147     return;
4148   }
4149
4150   /* Tunnel exists? */
4151   tid = ntohl (data_msg->tid);
4152   t = tunnel_get_by_local_id (c, tid);
4153   if (NULL == t)
4154   {
4155     GNUNET_break (0);
4156     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4157     return;
4158   }
4159
4160   /*  Is it a local tunnel? Then, does client own the tunnel? */
4161   if (t->owner->handle != client)
4162   {
4163     GNUNET_break (0);
4164     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4165     return;
4166   }
4167
4168   /* PID should be as expected: client<->service communication */
4169   if (ntohl (data_msg->pid) != t->prev_fc.last_pid_recv + 1)
4170   {
4171     GNUNET_break (0);
4172     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
4173               "Unicast PID, expected %u, got %u\n",
4174               t->prev_fc.last_pid_recv + 1, ntohl (data_msg->pid));
4175     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4176     return;
4177   }
4178
4179   /* Ok, everything is correct, send the message
4180    * (pretend we got it from a mesh peer)
4181    */
4182   {
4183     /* Work around const limitation */
4184     char buf[ntohs (message->size)] GNUNET_ALIGN;
4185     struct GNUNET_MESH_Unicast *copy;
4186
4187     copy = (struct GNUNET_MESH_Unicast *) buf;
4188     memcpy (buf, data_msg, size);
4189     copy->oid = my_full_id;
4190     copy->tid = htonl (t->id.tid);
4191     copy->ttl = htonl (default_ttl);
4192     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4193                 "  calling generic handler...\n");
4194         handle_mesh_unicast (NULL, &my_full_id, &copy->header);
4195   }
4196   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "receive done OK\n");
4197   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4198
4199   return;
4200 }
4201
4202
4203 /**
4204  * Handler for client traffic directed to the origin
4205  *
4206  * @param cls closure
4207  * @param client identification of the client
4208  * @param message the actual message
4209  */
4210 static void
4211 handle_local_to_origin (void *cls, struct GNUNET_SERVER_Client *client,
4212                         const struct GNUNET_MessageHeader *message)
4213 {
4214   struct GNUNET_MESH_ToOrigin *data_msg;
4215   struct MeshFlowControl *fc;
4216   struct MeshClient *c;
4217   struct MeshTunnel *t;
4218   MESH_TunnelNumber tid;
4219   size_t size;
4220
4221   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4222               "Got a ToOrigin request from a client!\n");
4223   /* Sanity check for client registration */
4224   if (NULL == (c = client_get (client)))
4225   {
4226     GNUNET_break (0);
4227     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4228     return;
4229   }
4230   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
4231
4232   data_msg = (struct GNUNET_MESH_ToOrigin *) message;
4233
4234   /* Sanity check for message size */
4235   size = ntohs (message->size);
4236   if (sizeof (struct GNUNET_MESH_ToOrigin) +
4237       sizeof (struct GNUNET_MessageHeader) > size)
4238   {
4239     GNUNET_break (0);
4240     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4241     return;
4242   }
4243
4244   /* Tunnel exists? */
4245   tid = ntohl (data_msg->tid);
4246   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %X\n", tid);
4247   if (tid < GNUNET_MESH_LOCAL_TUNNEL_ID_SERV)
4248   {
4249     GNUNET_break (0);
4250     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4251     return;
4252   }
4253   t = tunnel_get_by_local_id (c, tid);
4254   if (NULL == t)
4255   {
4256     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "Tunnel %X unknown.\n", tid);
4257     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "  for client %u.\n", c->id);
4258     GNUNET_break (0);
4259     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4260     return;
4261   }
4262
4263   /*  It should be sent by someone who has this as incoming tunnel. */
4264   if (t->client != c)
4265   {
4266     GNUNET_break (0);
4267     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4268     return;
4269   }
4270
4271   /* PID should be as expected */
4272   fc = &t->next_fc;
4273   if (ntohl (data_msg->pid) != fc->last_pid_recv + 1)
4274   {
4275     GNUNET_break (0);
4276     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
4277                 "To Origin PID, expected %u, got %u\n",
4278                 fc->last_pid_recv + 1,
4279                 ntohl (data_msg->pid));
4280     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4281     return;
4282   }
4283
4284   /* Ok, everything is correct, send the message
4285    * (pretend we got it from a mesh peer)
4286    */
4287   {
4288     char buf[ntohs (message->size)] GNUNET_ALIGN;
4289     struct GNUNET_MESH_ToOrigin *copy;
4290
4291     /* Work around 'const' limitation */
4292     memcpy (buf, data_msg, size);
4293     copy = (struct GNUNET_MESH_ToOrigin *) buf;
4294     GNUNET_PEER_resolve (t->id.oid, &copy->oid);
4295     copy->tid = htonl (t->id.tid);
4296     copy->ttl = htonl (default_ttl);
4297
4298     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
4299                 "  calling generic handler...\n");
4300         handle_mesh_to_orig (NULL, &my_full_id, &copy->header);
4301   }
4302   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4303
4304   return;
4305 }
4306
4307
4308 /**
4309  * Handler for client's ACKs for payload traffic.
4310  *
4311  * @param cls Closure (unused).
4312  * @param client Identification of the client.
4313  * @param message The actual message.
4314  */
4315 static void
4316 handle_local_ack (void *cls, struct GNUNET_SERVER_Client *client,
4317                   const struct GNUNET_MessageHeader *message)
4318 {
4319   struct GNUNET_MESH_LocalAck *msg;
4320   struct MeshTunnel *t;
4321   struct MeshClient *c;
4322   MESH_TunnelNumber tid;
4323   uint32_t ack;
4324
4325   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got a local ACK\n");
4326   /* Sanity check for client registration */
4327   if (NULL == (c = client_get (client)))
4328   {
4329     GNUNET_break (0);
4330     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4331     return;
4332   }
4333   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  by client %u\n", c->id);
4334
4335   msg = (struct GNUNET_MESH_LocalAck *) message;
4336
4337   /* Tunnel exists? */
4338   tid = ntohl (msg->tunnel_id);
4339   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  on tunnel %X\n", tid);
4340   t = tunnel_get_by_local_id (c, tid);
4341   if (NULL == t)
4342   {
4343     GNUNET_break (0);
4344     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "Tunnel %X unknown.\n", tid);
4345     GNUNET_log (GNUNET_ERROR_TYPE_WARNING, "  for client %u.\n", c->id);
4346     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4347     return;
4348   }
4349
4350   ack = ntohl (msg->max_pid);
4351   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "  ack %u\n", ack);
4352
4353   /* Does client own tunnel? I.E: Is this an ACK for BCK traffic? */
4354   if (t->owner == c)
4355   {
4356     /* The client owns the tunnel, ACK is for data to_origin, send BCK ACK. */
4357     t->prev_fc.last_ack_recv = ack;
4358     tunnel_send_bck_ack (t, GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK);
4359   }
4360   else
4361   {
4362     /* The client doesn't own the tunnel, this ACK is for FWD traffic. */
4363     t->next_fc.last_ack_recv = ack;
4364     tunnel_send_fwd_ack (t, GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK);
4365   }
4366
4367   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4368
4369   return;
4370 }
4371
4372
4373
4374 /**
4375  * Iterator over all tunnels to send a monitoring client info about each tunnel.
4376  *
4377  * @param cls Closure (client handle).
4378  * @param key Key (hashed tunnel ID, unused).
4379  * @param value Tunnel info.
4380  *
4381  * @return GNUNET_YES, to keep iterating.
4382  */
4383 static int
4384 monitor_all_tunnels_iterator (void *cls,
4385                               const struct GNUNET_HashCode * key,
4386                               void *value)
4387 {
4388   struct GNUNET_SERVER_Client *client = cls;
4389   struct MeshTunnel *t = value;
4390   struct GNUNET_MESH_LocalMonitor *msg;
4391
4392   msg = GNUNET_malloc (sizeof(struct GNUNET_MESH_LocalMonitor));
4393   GNUNET_PEER_resolve(t->id.oid, &msg->owner);
4394   msg->tunnel_id = htonl (t->id.tid);
4395   msg->header.size = htons (sizeof (struct GNUNET_MESH_LocalMonitor));
4396   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_LOCAL_INFO_TUNNELS);
4397   GNUNET_PEER_resolve (t->dest, &msg->destination);
4398
4399   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4400               "*  sending info about tunnel %s [%u]\n",
4401               GNUNET_i2s (&msg->owner), t->id.tid);
4402
4403   GNUNET_SERVER_notification_context_unicast (nc, client,
4404                                               &msg->header, GNUNET_NO);
4405   return GNUNET_YES;
4406 }
4407
4408
4409 /**
4410  * Handler for client's MONITOR request.
4411  *
4412  * @param cls Closure (unused).
4413  * @param client Identification of the client.
4414  * @param message The actual message.
4415  */
4416 static void
4417 handle_local_get_tunnels (void *cls, struct GNUNET_SERVER_Client *client,
4418                           const struct GNUNET_MessageHeader *message)
4419 {
4420   struct MeshClient *c;
4421
4422   /* Sanity check for client registration */
4423   if (NULL == (c = client_get (client)))
4424   {
4425     GNUNET_break (0);
4426     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4427     return;
4428   }
4429
4430   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4431               "Received get tunnels request from client %u\n",
4432               c->id);
4433   GNUNET_CONTAINER_multihashmap_iterate (tunnels,
4434                                          monitor_all_tunnels_iterator,
4435                                          client);
4436   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4437               "Get tunnels request from client %u completed\n",
4438               c->id);
4439   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4440 }
4441
4442
4443 /**
4444  * Handler for client's MONITOR_TUNNEL request.
4445  *
4446  * @param cls Closure (unused).
4447  * @param client Identification of the client.
4448  * @param message The actual message.
4449  */
4450 static void
4451 handle_local_show_tunnel (void *cls, struct GNUNET_SERVER_Client *client,
4452                           const struct GNUNET_MessageHeader *message)
4453 {
4454   const struct GNUNET_MESH_LocalMonitor *msg;
4455   struct GNUNET_MESH_LocalMonitor *resp;
4456   struct MeshClient *c;
4457   struct MeshTunnel *t;
4458
4459   /* Sanity check for client registration */
4460   if (NULL == (c = client_get (client)))
4461   {
4462     GNUNET_break (0);
4463     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
4464     return;
4465   }
4466
4467   msg = (struct GNUNET_MESH_LocalMonitor *) message;
4468   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4469               "Received tunnel info request from client %u for tunnel %s[%X]\n",
4470               c->id,
4471               &msg->owner,
4472               ntohl (msg->tunnel_id));
4473   t = tunnel_get (&msg->owner, ntohl (msg->tunnel_id));
4474   if (NULL == t)
4475   {
4476     /* We don't know the tunnel FIXME */
4477     struct GNUNET_MESH_LocalMonitor warn;
4478
4479     warn = *msg;
4480     GNUNET_SERVER_notification_context_unicast (nc, client,
4481                                                 &warn.header,
4482                                                 GNUNET_NO);
4483     GNUNET_SERVER_receive_done (client, GNUNET_OK);
4484     return;
4485   }
4486
4487   /* Initialize context */
4488   resp = GNUNET_malloc (sizeof (struct GNUNET_MESH_LocalMonitor));
4489   *resp = *msg;
4490   GNUNET_PEER_resolve (t->dest, &resp->destination);
4491   resp->header.size = htons (sizeof (struct GNUNET_MESH_LocalMonitor));
4492   GNUNET_SERVER_notification_context_unicast (nc, c->handle,
4493                                               &resp->header, GNUNET_NO);
4494   GNUNET_free (resp);
4495
4496   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4497               "Monitor tunnel request from client %u completed\n",
4498               c->id);
4499   GNUNET_SERVER_receive_done (client, GNUNET_OK);
4500 }
4501
4502
4503 /**
4504  * Functions to handle messages from clients
4505  */
4506 static struct GNUNET_SERVER_MessageHandler client_handlers[] = {
4507   {&handle_local_new_client, NULL,
4508    GNUNET_MESSAGE_TYPE_MESH_LOCAL_CONNECT, 0},
4509   {&handle_local_tunnel_create, NULL,
4510    GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_CREATE,
4511    sizeof (struct GNUNET_MESH_TunnelMessage)},
4512   {&handle_local_tunnel_destroy, NULL,
4513    GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_DESTROY,
4514    sizeof (struct GNUNET_MESH_TunnelMessage)},
4515   {&handle_local_tunnel_buffer, NULL,
4516    GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_BUFFER,
4517    sizeof (struct GNUNET_MESH_TunnelMessage)},
4518   {&handle_local_tunnel_buffer, NULL,
4519    GNUNET_MESSAGE_TYPE_MESH_LOCAL_TUNNEL_NOBUFFER,
4520    sizeof (struct GNUNET_MESH_TunnelMessage)},
4521   {&handle_local_unicast, NULL,
4522    GNUNET_MESSAGE_TYPE_MESH_UNICAST, 0},
4523   {&handle_local_to_origin, NULL,
4524    GNUNET_MESSAGE_TYPE_MESH_TO_ORIGIN, 0},
4525   {&handle_local_ack, NULL,
4526    GNUNET_MESSAGE_TYPE_MESH_LOCAL_ACK,
4527    sizeof (struct GNUNET_MESH_LocalAck)},
4528   {&handle_local_get_tunnels, NULL,
4529    GNUNET_MESSAGE_TYPE_MESH_LOCAL_INFO_TUNNELS,
4530    sizeof (struct GNUNET_MessageHeader)},
4531   {&handle_local_show_tunnel, NULL,
4532    GNUNET_MESSAGE_TYPE_MESH_LOCAL_INFO_TUNNEL,
4533      sizeof (struct GNUNET_MESH_LocalMonitor)},
4534   {NULL, NULL, 0, 0}
4535 };
4536
4537
4538 /**
4539  * Method called whenever a given peer connects.
4540  *
4541  * @param cls closure
4542  * @param peer peer identity this notification is about
4543  */
4544 static void
4545 core_connect (void *cls, const struct GNUNET_PeerIdentity *peer)
4546 {
4547   struct MeshPeerInfo *peer_info;
4548   struct MeshPeerPath *path;
4549
4550   DEBUG_CONN ("Peer connected\n");
4551   DEBUG_CONN ("     %s\n", GNUNET_i2s (&my_full_id));
4552   peer_info = peer_get (peer);
4553   if (myid == peer_info->id)
4554   {
4555     DEBUG_CONN ("     (self)\n");
4556     return;
4557   }
4558   else
4559   {
4560     DEBUG_CONN ("     %s\n", GNUNET_i2s (peer));
4561   }
4562   path = path_new (2);
4563   path->peers[0] = myid;
4564   path->peers[1] = peer_info->id;
4565   GNUNET_PEER_change_rc (myid, 1);
4566   GNUNET_PEER_change_rc (peer_info->id, 1);
4567   peer_info_add_path (peer_info, path, GNUNET_YES);
4568   GNUNET_STATISTICS_update (stats, "# peers", 1, GNUNET_NO);
4569   return;
4570 }
4571
4572
4573 /**
4574  * Method called whenever a peer disconnects.
4575  *
4576  * @param cls closure
4577  * @param peer peer identity this notification is about
4578  */
4579 static void
4580 core_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
4581 {
4582   struct MeshPeerInfo *pi;
4583   struct MeshPeerQueue *q;
4584   struct MeshPeerQueue *n;
4585
4586   DEBUG_CONN ("Peer disconnected\n");
4587   pi = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
4588   if (NULL == pi)
4589   {
4590     GNUNET_break (0);
4591     return;
4592   }
4593   q = pi->queue_head;
4594   while (NULL != q)
4595   {
4596       n = q->next;
4597       /* TODO try to reroute this traffic instead */
4598       queue_destroy(q, GNUNET_YES);
4599       q = n;
4600   }
4601   if (NULL != pi->core_transmit)
4602   {
4603     GNUNET_CORE_notify_transmit_ready_cancel(pi->core_transmit);
4604     pi->core_transmit = NULL;
4605   }
4606     peer_remove_path (pi, pi->id, myid);
4607   if (myid == pi->id)
4608   {
4609     DEBUG_CONN ("     (self)\n");
4610   }
4611   GNUNET_STATISTICS_update (stats, "# peers", -1, GNUNET_NO);
4612   return;
4613 }
4614
4615
4616 /**
4617  * Install server (service) handlers and start listening to clients.
4618  */
4619 static void
4620 server_init (void)
4621 {
4622   GNUNET_SERVER_add_handlers (server_handle, client_handlers);
4623   GNUNET_SERVER_disconnect_notify (server_handle,
4624                                    &handle_local_client_disconnect, NULL);
4625   nc = GNUNET_SERVER_notification_context_create (server_handle, 1);
4626
4627   clients_head = NULL;
4628   clients_tail = NULL;
4629   next_client_id = 0;
4630   GNUNET_SERVER_resume (server_handle);
4631 }
4632
4633
4634 /**
4635  * To be called on core init/fail.
4636  *
4637  * @param cls Closure (config)
4638  * @param server handle to the server for this service
4639  * @param identity the public identity of this peer
4640  */
4641 static void
4642 core_init (void *cls, struct GNUNET_CORE_Handle *server,
4643            const struct GNUNET_PeerIdentity *identity)
4644 {
4645   const struct GNUNET_CONFIGURATION_Handle *c = cls;
4646   static int i = 0;
4647
4648   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Core init\n");
4649   GNUNET_break (core_handle == server);
4650   if (0 != memcmp (identity, &my_full_id, sizeof (my_full_id)) ||
4651     NULL == server)
4652   {
4653     GNUNET_log (GNUNET_ERROR_TYPE_ERROR, _("Wrong CORE service\n"));
4654     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4655                 " core id %s\n",
4656                 GNUNET_i2s (identity));
4657     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4658                 " my id %s\n",
4659                 GNUNET_i2s (&my_full_id));
4660     GNUNET_CORE_disconnect (core_handle);
4661     core_handle = GNUNET_CORE_connect (c, /* Main configuration */
4662                                        NULL,      /* Closure passed to MESH functions */
4663                                        &core_init,        /* Call core_init once connected */
4664                                        &core_connect,     /* Handle connects */
4665                                        &core_disconnect,  /* remove peers on disconnects */
4666                                        NULL,      /* Don't notify about all incoming messages */
4667                                        GNUNET_NO, /* For header only in notification */
4668                                        NULL,      /* Don't notify about all outbound messages */
4669                                        GNUNET_NO, /* For header-only out notification */
4670                                        core_handlers);    /* Register these handlers */
4671     if (10 < i++)
4672       GNUNET_abort();
4673   }
4674   server_init ();
4675   return;
4676 }
4677
4678
4679 /******************************************************************************/
4680 /************************      MAIN FUNCTIONS      ****************************/
4681 /******************************************************************************/
4682
4683 /**
4684  * Iterator over tunnel hash map entries to destroy the tunnel during shutdown.
4685  *
4686  * @param cls closure
4687  * @param key current key code
4688  * @param value value in the hash map
4689  * @return GNUNET_YES if we should continue to iterate,
4690  *         GNUNET_NO if not.
4691  */
4692 static int
4693 shutdown_tunnel (void *cls, const struct GNUNET_HashCode * key, void *value)
4694 {
4695   struct MeshTunnel *t = value;
4696
4697   tunnel_destroy (t);
4698   return GNUNET_YES;
4699 }
4700
4701 /**
4702  * Iterator over peer hash map entries to destroy the tunnel during shutdown.
4703  *
4704  * @param cls closure
4705  * @param key current key code
4706  * @param value value in the hash map
4707  * @return GNUNET_YES if we should continue to iterate,
4708  *         GNUNET_NO if not.
4709  */
4710 static int
4711 shutdown_peer (void *cls, const struct GNUNET_HashCode * key, void *value)
4712 {
4713   struct MeshPeerInfo *p = value;
4714   struct MeshPeerQueue *q;
4715   struct MeshPeerQueue *n;
4716
4717   q = p->queue_head;
4718   while (NULL != q)
4719   {
4720       n = q->next;
4721       if (q->peer == p)
4722       {
4723         queue_destroy(q, GNUNET_YES);
4724       }
4725       q = n;
4726   }
4727   peer_info_destroy (p);
4728   return GNUNET_YES;
4729 }
4730
4731
4732 /**
4733  * Task run during shutdown.
4734  *
4735  * @param cls unused
4736  * @param tc unused
4737  */
4738 static void
4739 shutdown_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
4740 {
4741   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "shutting down\n");
4742
4743   if (core_handle != NULL)
4744   {
4745     GNUNET_CORE_disconnect (core_handle);
4746     core_handle = NULL;
4747   }
4748   if (NULL != keygen)
4749   {
4750     GNUNET_CRYPTO_ecc_key_create_stop (keygen);
4751     keygen = NULL;
4752   }
4753   GNUNET_CONTAINER_multihashmap_iterate (tunnels, &shutdown_tunnel, NULL);
4754   GNUNET_CONTAINER_multihashmap_iterate (peers, &shutdown_peer, NULL);
4755   if (dht_handle != NULL)
4756   {
4757     GNUNET_DHT_disconnect (dht_handle);
4758     dht_handle = NULL;
4759   }
4760   if (nc != NULL)
4761   {
4762     GNUNET_SERVER_notification_context_destroy (nc);
4763     nc = NULL;
4764   }
4765   if (GNUNET_SCHEDULER_NO_TASK != announce_id_task)
4766   {
4767     GNUNET_SCHEDULER_cancel (announce_id_task);
4768     announce_id_task = GNUNET_SCHEDULER_NO_TASK;
4769   }
4770   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "shut down\n");
4771 }
4772
4773
4774 /**
4775  * Callback for hostkey read/generation.
4776  *
4777  * @param cls Closure (Configuration handle).
4778  * @param pk The ECC private key.
4779  * @param emsg Error message, if any.
4780  */
4781 static void
4782 key_generation_cb (void *cls,
4783                    struct GNUNET_CRYPTO_EccPrivateKey *pk,
4784                    const char *emsg)
4785 {
4786   const struct GNUNET_CONFIGURATION_Handle *c = cls;
4787   struct MeshPeerInfo *peer;
4788   struct MeshPeerPath *p;
4789
4790   keygen = NULL;
4791   if (NULL == pk)
4792   {
4793     GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4794                 _("Could not access hostkey: %s. Exiting.\n"),
4795                 emsg);
4796     GNUNET_SCHEDULER_shutdown ();
4797     return;
4798   }
4799   my_private_key = pk;
4800   GNUNET_CRYPTO_ecc_key_get_public (my_private_key, &my_public_key);
4801   GNUNET_CRYPTO_hash (&my_public_key, sizeof (my_public_key),
4802                       &my_full_id.hashPubKey);
4803   myid = GNUNET_PEER_intern (&my_full_id);
4804   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
4805               "Mesh for peer [%s] starting\n",
4806               GNUNET_i2s(&my_full_id));
4807
4808   core_handle = GNUNET_CORE_connect (c, /* Main configuration */
4809                                      NULL,      /* Closure passed to MESH functions */
4810                                      &core_init,        /* Call core_init once connected */
4811                                      &core_connect,     /* Handle connects */
4812                                      &core_disconnect,  /* remove peers on disconnects */
4813                                      NULL,      /* Don't notify about all incoming messages */
4814                                      GNUNET_NO, /* For header only in notification */
4815                                      NULL,      /* Don't notify about all outbound messages */
4816                                      GNUNET_NO, /* For header-only out notification */
4817                                      core_handlers);    /* Register these handlers */
4818   if (core_handle == NULL)
4819   {
4820     GNUNET_break (0);
4821     GNUNET_SCHEDULER_shutdown ();
4822     return;
4823   }
4824
4825   next_tid = 0;
4826   next_local_tid = GNUNET_MESH_LOCAL_TUNNEL_ID_SERV;
4827
4828   announce_id_task = GNUNET_SCHEDULER_add_now (&announce_id, cls);
4829
4830   /* Create a peer_info for the local peer */
4831   peer = peer_get (&my_full_id);
4832   p = path_new (1);
4833   p->peers[0] = myid;
4834   GNUNET_PEER_change_rc (myid, 1);
4835   peer_info_add_path (peer, p, GNUNET_YES);
4836
4837   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Mesh service running\n");
4838 }
4839
4840
4841 /**
4842  * Process mesh requests.
4843  *
4844  * @param cls closure
4845  * @param server the initialized server
4846  * @param c configuration to use
4847  */
4848 static void
4849 run (void *cls, struct GNUNET_SERVER_Handle *server,
4850      const struct GNUNET_CONFIGURATION_Handle *c)
4851 {
4852   char *keyfile;
4853
4854   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "starting to run\n");
4855   server_handle = server;
4856   GNUNET_SERVER_suspend (server_handle);
4857
4858   if (GNUNET_OK !=
4859       GNUNET_CONFIGURATION_get_value_filename (c, "PEER", "PRIVATE_KEY",
4860                                                &keyfile))
4861   {
4862     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4863                 _
4864                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
4865                 "mesh", "peer/privatekey");
4866     GNUNET_SCHEDULER_shutdown ();
4867     return;
4868   }
4869
4870   if (GNUNET_OK !=
4871       GNUNET_CONFIGURATION_get_value_time (c, "MESH", "REFRESH_PATH_TIME",
4872                                            &refresh_path_time))
4873   {
4874     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4875                 _
4876                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
4877                 "mesh", "refresh path time");
4878     GNUNET_SCHEDULER_shutdown ();
4879     return;
4880   }
4881
4882   if (GNUNET_OK !=
4883       GNUNET_CONFIGURATION_get_value_time (c, "MESH", "ID_ANNOUNCE_TIME",
4884                                            &id_announce_time))
4885   {
4886     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4887                 _
4888                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
4889                 "mesh", "id announce time");
4890     GNUNET_SCHEDULER_shutdown ();
4891     return;
4892   }
4893
4894   if (GNUNET_OK !=
4895       GNUNET_CONFIGURATION_get_value_time (c, "MESH", "CONNECT_TIMEOUT",
4896                                            &connect_timeout))
4897   {
4898     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4899                 _
4900                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
4901                 "mesh", "connect timeout");
4902     GNUNET_SCHEDULER_shutdown ();
4903     return;
4904   }
4905
4906   if (GNUNET_OK !=
4907       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_MSGS_QUEUE",
4908                                              &max_msgs_queue))
4909   {
4910     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4911                 _
4912                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
4913                 "mesh", "max msgs queue");
4914     GNUNET_SCHEDULER_shutdown ();
4915     return;
4916   }
4917
4918   if (GNUNET_OK !=
4919       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_TUNNELS",
4920                                              &max_tunnels))
4921   {
4922     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
4923                 _
4924                 ("%s service is lacking key configuration settings (%s).  Exiting.\n"),
4925                 "mesh", "max tunnels");
4926     GNUNET_SCHEDULER_shutdown ();
4927     return;
4928   }
4929
4930   if (GNUNET_OK !=
4931       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "DEFAULT_TTL",
4932                                              &default_ttl))
4933   {
4934     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
4935                 _
4936                 ("%s service is lacking key configuration settings (%s). Using default (%u).\n"),
4937                 "mesh", "default ttl", 64);
4938     default_ttl = 64;
4939   }
4940
4941   if (GNUNET_OK !=
4942       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_PEERS",
4943                                              &max_peers))
4944   {
4945     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
4946                 _("%s service is lacking key configuration settings (%s). Using default (%u).\n"),
4947                 "mesh", "max peers", 1000);
4948     max_peers = 1000;
4949   }
4950
4951   if (GNUNET_OK !=
4952       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "DHT_REPLICATION_LEVEL",
4953                                              &dht_replication_level))
4954   {
4955     GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
4956                 _
4957                 ("%s service is lacking key configuration settings (%s). Using default (%u).\n"),
4958                 "mesh", "dht replication level", 3);
4959     dht_replication_level = 3;
4960   }
4961
4962   tunnels = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
4963   incoming_tunnels = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
4964   peers = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
4965   ports = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_NO);
4966
4967   dht_handle = GNUNET_DHT_connect (c, 64);
4968   if (NULL == dht_handle)
4969   {
4970     GNUNET_break (0);
4971   }
4972   stats = GNUNET_STATISTICS_create ("mesh", c);
4973
4974   /* Scheduled the task to clean up when shutdown is called */
4975   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL, &shutdown_task,
4976                                 NULL);
4977   keygen = GNUNET_CRYPTO_ecc_key_create_start (keyfile,
4978                                                &key_generation_cb,
4979                                                (void *) c);
4980   GNUNET_free (keyfile);
4981 }
4982
4983
4984 /**
4985  * The main function for the mesh service.
4986  *
4987  * @param argc number of arguments from the command line
4988  * @param argv command line arguments
4989  * @return 0 ok, 1 on error
4990  */
4991 int
4992 main (int argc, char *const *argv)
4993 {
4994   int ret;
4995   int r;
4996
4997   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "main()\n");
4998   r = GNUNET_SERVICE_run (argc, argv, "mesh", GNUNET_SERVICE_OPTION_NONE, &run,
4999                           NULL);
5000   ret = (GNUNET_OK == r) ? 0 : 1;
5001   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "main() END\n");
5002
5003   INTERVAL_SHOW;
5004
5005   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
5006               "Mesh for peer [%s] FWD ACKs %u, BCK ACKs %u\n",
5007               GNUNET_i2s(&my_full_id), debug_fwd_ack, debug_bck_ack);
5008
5009   return ret;
5010 }