src/transport/gnunet-service-transport.c

   1 /*
   2      This file is part of GNUnet.
   3      (C) 2009 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 2, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20
  21 /**
  22  * @file transport/gnunet-service-transport.c
  23  * @brief low-level P2P messaging
  24  * @author Christian Grothoff
  25  *
  26  * NOTE:
  27  * - This code uses 'GNUNET_a2s' for debug printing in many places,
  28  *   which is technically wrong since it assumes we have IP+Port
  29  *   (v4/v6) addresses.  Once we add transports like http or smtp
  30  *   this will have to be changed!
  31  */
  32 #include "platform.h"
  33 #include "gnunet_client_lib.h"
  34 #include "gnunet_container_lib.h"
  35 #include "gnunet_constants.h"
  36 #include "gnunet_getopt_lib.h"
  37 #include "gnunet_hello_lib.h"
  38 #include "gnunet_os_lib.h"
  39 #include "gnunet_peerinfo_service.h"
  40 #include "gnunet_plugin_lib.h"
  41 #include "gnunet_protocols.h"
  42 #include "gnunet_service_lib.h"
  43 #include "gnunet_signatures.h"
  44 #include "plugin_transport.h"
  45 #include "transport.h"
  46
  47 /**
  48  * Should we do some additional checks (to validate behavior
  49  * of clients)?
  50  */
  51 #define EXTRA_CHECKS GNUNET_YES
  52
  53 /**
  54  * How many messages can we have pending for a given client process
  55  * before we start to drop incoming messages?  We typically should
  56  * have only one client and so this would be the primary buffer for
  57  * messages, so the number should be chosen rather generously.
  58  *
  59  * The expectation here is that most of the time the queue is large
  60  * enough so that a drop is virtually never required.
  61  */
  62 #define MAX_PENDING 128
  63
  64 /**
  65  * How often should we try to reconnect to a peer using a particular
  66  * transport plugin before giving up?  Note that the plugin may be
  67  * added back to the list after PLUGIN_RETRY_FREQUENCY expires.
  68  */
  69 #define MAX_CONNECT_RETRY 3
  70
  71 /**
  72  * Limit on the number of ready-to-run tasks when validating
  73  * HELLOs.  If more tasks are ready to run, we will drop
  74  * HELLOs instead of validating them.
  75  */
  76 #define MAX_HELLO_LOAD 4
  77
  78 /**
  79  * How often must a peer violate bandwidth quotas before we start
  80  * to simply drop its messages?
  81  */
  82 #define QUOTA_VIOLATION_DROP_THRESHOLD 10
  83
  84 /**
  85  * How long until a HELLO verification attempt should time out?
  86  * Must be rather small, otherwise a partially successful HELLO
  87  * validation (some addresses working) might not be available
  88  * before a client's request for a connection fails for good.
  89  * Besides, if a single request to an address takes a long time,
  90  * then the peer is unlikely worthwhile anyway.
  91  */
  92 #define HELLO_VERIFICATION_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 30)
  93
  94 /**
  95  * How long will we allow sending of a ping to be delayed?
  96  */
  97 #define TRANSPORT_DEFAULT_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 15)
  98
  99 /**
 100  * Priority to use for PONG messages.
 101  */
 102 #define TRANSPORT_PONG_PRIORITY 4
 103
 104 /**
 105  * How often do we re-add (cheaper) plugins to our list of plugins
 106  * to try for a given connected peer?
 107  */
 108 #define PLUGIN_RETRY_FREQUENCY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 15)
 109
 110 /**
 111  * After how long do we expire an address in a HELLO that we just
 112  * validated?  This value is also used for our own addresses when we
 113  * create a HELLO.
 114  */
 115 #define HELLO_ADDRESS_EXPIRATION GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_HOURS, 12)
 116
 117
 118 /**
 119  * How long before an existing address expires should we again try to
 120  * validate it?  Must be (significantly) smaller than
 121  * HELLO_ADDRESS_EXPIRATION.
 122  */
 123 #define HELLO_REVALIDATION_START_TIME GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_HOURS, 1)
 124
 125 /**
 126  * Maximum frequency for re-evaluating latencies for all transport addresses.
 127  */
 128 #define LATENCY_EVALUATION_MAX_DELAY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_HOURS, 1)
 129
 130 /**
 131  * Maximum frequency for re-evaluating latencies for connected addresses.
 132  */
 133 #define CONNECTED_LATENCY_EVALUATION_MAX_DELAY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 1)
 134
 135
 136 /**
 137  * List of addresses of other peers
 138  */
 139 struct ForeignAddressList
 140 {
 141   /**
 142    * This is a linked list.
 143    */
 144   struct ForeignAddressList *next;
 145
 146   /**
 147    * Which ready list does this entry belong to.
 148    */
 149   struct ReadyList *ready_list;
 150
 151   /**
 152    * How long until we auto-expire this address (unless it is
 153    * re-confirmed by the transport)?
 154    */
 155   struct GNUNET_TIME_Absolute expires;
 156
 157   /**
 158    * Task used to re-validate addresses, updates latencies and
 159    * verifies liveness.
 160    */
 161   GNUNET_SCHEDULER_TaskIdentifier revalidate_task;
 162
 163   /**
 164    * Length of addr.
 165    */
 166   size_t addrlen;
 167
 168   /**
 169    * The address.
 170    */
 171   const void *addr;
 172
 173   /**
 174    * What was the last latency observed for this address, plugin and peer?
 175    */
 176   struct GNUNET_TIME_Relative latency;
 177
 178   /**
 179    * If we did not successfully transmit a message to the given peer
 180    * via this connection during the specified time, we should consider
 181    * the connection to be dead.  This is used in the case that a TCP
 182    * transport simply stalls writing to the stream but does not
 183    * formerly get a signal that the other peer died.
 184    */
 185   struct GNUNET_TIME_Absolute timeout;
 186
 187   /**
 188    * How often have we tried to connect using this plugin?  Used to
 189    * discriminate against addresses that do not work well.
 190    * FIXME: not yet used, but should be!
 191    */
 192   unsigned int connect_attempts;
 193
 194   /**
 195    * DV distance to this peer (1 if no DV is used).
 196    * FIXME: need to set this from transport plugins!
 197    */
 198   uint32_t distance;
 199
 200   /**
 201    * Have we ever estimated the latency of this address?  Used to
 202    * ensure that the first time we add an address, we immediately
 203    * probe its latency.
 204    */
 205   int8_t estimated;
 206
 207   /**
 208    * Are we currently connected via this address?  The first time we
 209    * successfully transmit or receive data to a peer via a particular
 210    * address, we set this to GNUNET_YES.  If we later get an error
 211    * (disconnect notification, transmission failure, timeout), we set
 212    * it back to GNUNET_NO.
 213    */
 214   int8_t connected;
 215
 216   /**
 217    * Is this plugin currently busy transmitting to the specific target?
 218    * GNUNET_NO if not (initial, default state is GNUNET_NO).   Internal
 219    * messages do not count as 'in transmit'.
 220    */
 221   int8_t in_transmit;
 222
 223   /**
 224    * Has this address been validated yet?
 225    */
 226   int8_t validated;
 227
 228 };
 229
 230
 231 /**
 232  * Entry in linked list of network addresses for ourselves.
 233  */
 234 struct OwnAddressList
 235 {
 236   /**
 237    * This is a linked list.
 238    */
 239   struct OwnAddressList *next;
 240
 241   /**
 242    * The address, actually a pointer to the end
 243    * of this struct.  Do not free!
 244    */
 245   const void *addr;
 246
 247   /**
 248    * How long until we auto-expire this address (unless it is
 249    * re-confirmed by the transport)?
 250    */
 251   struct GNUNET_TIME_Absolute expires;
 252
 253   /**
 254    * Length of addr.
 255    */
 256   size_t addrlen;
 257
 258 };
 259
 260
 261 /**
 262  * Entry in linked list of all of our plugins.
 263  */
 264 struct TransportPlugin
 265 {
 266
 267   /**
 268    * This is a linked list.
 269    */
 270   struct TransportPlugin *next;
 271
 272   /**
 273    * API of the transport as returned by the plugin's
 274    * initialization function.
 275    */
 276   struct GNUNET_TRANSPORT_PluginFunctions *api;
 277
 278   /**
 279    * Short name for the plugin (i.e. "tcp").
 280    */
 281   char *short_name;
 282
 283   /**
 284    * Name of the library (i.e. "gnunet_plugin_transport_tcp").
 285    */
 286   char *lib_name;
 287
 288   /**
 289    * List of our known addresses for this transport.
 290    */
 291   struct OwnAddressList *addresses;
 292
 293   /**
 294    * Environment this transport service is using
 295    * for this plugin.
 296    */
 297   struct GNUNET_TRANSPORT_PluginEnvironment env;
 298
 299   /**
 300    * ID of task that is used to clean up expired addresses.
 301    */
 302   GNUNET_SCHEDULER_TaskIdentifier address_update_task;
 303
 304   /**
 305    * Set to GNUNET_YES if we need to scrap the existing list of
 306    * "addresses" and start fresh when we receive the next address
 307    * update from a transport.  Set to GNUNET_NO if we should just add
 308    * the new address to the list and wait for the commit call.
 309    */
 310   int rebuild;
 311
 312 };
 313
 314 struct NeighbourList;
 315
 316 /**
 317  * For each neighbour we keep a list of messages
 318  * that we still want to transmit to the neighbour.
 319  */
 320 struct MessageQueue
 321 {
 322
 323   /**
 324    * This is a doubly linked list.
 325    */
 326   struct MessageQueue *next;
 327
 328   /**
 329    * This is a doubly linked list.
 330    */
 331   struct MessageQueue *prev;
 332
 333   /**
 334    * The message(s) we want to transmit, GNUNET_MessageHeader(s)
 335    * stuck together in memory.  Allocated at the end of this struct.
 336    */
 337   const char *message_buf;
 338
 339   /**
 340    * Size of the message buf
 341    */
 342   size_t message_buf_size;
 343
 344   /**
 345    * Client responsible for queueing the message;
 346    * used to check that a client has no two messages
 347    * pending for the same target.  Can be NULL.
 348    */
 349   struct TransportClient *client;
 350
 351   /**
 352    * Using which specific address should we send this message?
 353    */
 354   struct ForeignAddressList *specific_address;
 355
 356   /**
 357    * Peer ID of the Neighbour this entry belongs to.
 358    */
 359   struct GNUNET_PeerIdentity neighbour_id;
 360
 361   /**
 362    * Plugin that we used for the transmission.
 363    * NULL until we scheduled a transmission.
 364    */
 365   struct TransportPlugin *plugin;
 366
 367   /**
 368    * At what time should we fail?
 369    */
 370   struct GNUNET_TIME_Absolute timeout;
 371
 372   /**
 373    * Internal message of the transport system that should not be
 374    * included in the usual SEND-SEND_OK transmission confirmation
 375    * traffic management scheme.  Typically, "internal_msg" will
 376    * be set whenever "client" is NULL (but it is not strictly
 377    * required).
 378    */
 379   int internal_msg;
 380
 381   /**
 382    * How important is the message?
 383    */
 384   unsigned int priority;
 385
 386 };
 387
 388
 389 /**
 390  * For a given Neighbour, which plugins are available
 391  * to talk to this peer and what are their costs?
 392  */
 393 struct ReadyList
 394 {
 395   /**
 396    * This is a linked list.
 397    */
 398   struct ReadyList *next;
 399
 400   /**
 401    * Which of our transport plugins does this entry
 402    * represent?
 403    */
 404   struct TransportPlugin *plugin;
 405
 406   /**
 407    * Transport addresses, latency, and readiness for
 408    * this particular plugin.
 409    */
 410   struct ForeignAddressList *addresses;
 411
 412   /**
 413    * To which neighbour does this ready list belong to?
 414    */
 415   struct NeighbourList *neighbour;
 416
 417 };
 418
 419
 420 /**
 421  * Entry in linked list of all of our current neighbours.
 422  */
 423 struct NeighbourList
 424 {
 425
 426   /**
 427    * This is a linked list.
 428    */
 429   struct NeighbourList *next;
 430
 431   /**
 432    * Which of our transports is connected to this peer
 433    * and what is their status?
 434    */
 435   struct ReadyList *plugins;
 436
 437   /**
 438    * Head of list of messages we would like to send to this peer;
 439    * must contain at most one message per client.
 440    */
 441   struct MessageQueue *messages_head;
 442
 443   /**
 444    * Tail of list of messages we would like to send to this peer; must
 445    * contain at most one message per client.
 446    */
 447   struct MessageQueue *messages_tail;
 448
 449   /**
 450    * Context for peerinfo iteration.
 451    * NULL after we are done processing peerinfo's information.
 452    */
 453   struct GNUNET_PEERINFO_IteratorContext *piter;
 454
 455   /**
 456    * Public key for this peer.   Valid only if the respective flag is set below.
 457    */
 458   struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded publicKey;
 459
 460   /**
 461    * Identity of this neighbour.
 462    */
 463   struct GNUNET_PeerIdentity id;
 464
 465   /**
 466    * ID of task scheduled to run when this peer is about to
 467    * time out (will free resources associated with the peer).
 468    */
 469   GNUNET_SCHEDULER_TaskIdentifier timeout_task;
 470
 471   /**
 472    * ID of task scheduled to run when we should retry transmitting
 473    * the head of the message queue.  Actually triggered when the
 474    * transmission is timing out (we trigger instantly when we have
 475    * a chance of success).
 476    */
 477   GNUNET_SCHEDULER_TaskIdentifier retry_task;
 478
 479   /**
 480    * How long until we should consider this peer dead
 481    * (if we don't receive another message in the
 482    * meantime)?
 483    */
 484   struct GNUNET_TIME_Absolute peer_timeout;
 485
 486   /**
 487    * Tracker for inbound bandwidth.
 488    */
 489   struct GNUNET_BANDWIDTH_Tracker in_tracker;
 490
 491   /**
 492    * The latency we have seen for this particular address for
 493    * this particular peer.  This latency may have been calculated
 494    * over multiple transports.  This value reflects how long it took
 495    * us to receive a response when SENDING via this particular
 496    * transport/neighbour/address combination!
 497    *
 498    * FIXME: we need to periodically send PINGs to update this
 499    * latency (at least more often than the current "huge" (11h?)
 500    * update interval).
 501    */
 502   struct GNUNET_TIME_Relative latency;
 503
 504   /**
 505    * How often has the other peer (recently) violated the
 506    * inbound traffic limit?  Incremented by 10 per violation,
 507    * decremented by 1 per non-violation (for each
 508    * time interval).
 509    */
 510   unsigned int quota_violation_count;
 511
 512   /**
 513    * DV distance to this peer (1 if no DV is used).
 514    */
 515   uint32_t distance;
 516
 517   /**
 518    * Have we seen an PONG from this neighbour in the past (and
 519    * not had a disconnect since)?
 520    */
 521   int received_pong;
 522
 523   /**
 524    * Do we have a valid public key for this neighbour?
 525    */
 526   int public_key_valid;
 527
 528 };
 529
 530 /**
 531  * Message used to ask a peer to validate receipt (to check an address
 532  * from a HELLO).
 533  */
 534 struct TransportPingMessage
 535 {
 536
 537   /**
 538    * Type will be GNUNET_MESSAGE_TYPE_TRANSPORT_PING
 539    */
 540   struct GNUNET_MessageHeader header;
 541
 542   /**
 543    * Random challenge number (in network byte order).
 544    */
 545   uint32_t challenge GNUNET_PACKED;
 546
 547   /**
 548    * Who is the intended recipient?
 549    */
 550   struct GNUNET_PeerIdentity target;
 551
 552 };
 553
 554
 555 /**
 556  * Message used to validate a HELLO.  The challenge is included in the
 557  * confirmation to make matching of replies to requests possible.  The
 558  * signature signs the original challenge number, our public key, the
 559  * sender's address (so that the sender can check that the address we
 560  * saw is plausible for him and possibly detect a MiM attack) and a
 561  * timestamp (to limit replay).<p>
 562  *
 563  * This message is followed by the address of the
 564  * client that we are observing (which is part of what
 565  * is being signed).
 566  */
 567 struct TransportPongMessage
 568 {
 569
 570   /**
 571    * Type will be GNUNET_MESSAGE_TYPE_TRANSPORT_PONG
 572    */
 573   struct GNUNET_MessageHeader header;
 574
 575   /**
 576    * For padding, always zero.
 577    */
 578   uint32_t reserved GNUNET_PACKED;
 579
 580   /**
 581    * Signature.
 582    */
 583   struct GNUNET_CRYPTO_RsaSignature signature;
 584
 585   /**
 586    * What are we signing and why?
 587    */
 588   struct GNUNET_CRYPTO_RsaSignaturePurpose purpose;
 589
 590   /**
 591    * Random challenge number (in network byte order).
 592    */
 593   uint32_t challenge GNUNET_PACKED;
 594
 595   /**
 596    * Who signed this message?
 597    */
 598   struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded signer;
 599
 600   /**
 601    * Size of address appended to this message
 602    */
 603   size_t addrlen;
 604
 605 };
 606
 607
 608 /**
 609  * Linked list of messages to be transmitted to the client.  Each
 610  * entry is followed by the actual message.
 611  */
 612 struct ClientMessageQueueEntry
 613 {
 614   /**
 615    * This is a doubly-linked list.
 616    */
 617   struct ClientMessageQueueEntry *next;
 618
 619   /**
 620    * This is a doubly-linked list.
 621    */
 622   struct ClientMessageQueueEntry *prev;
 623 };
 624
 625
 626 /**
 627  * Client connected to the transport service.
 628  */
 629 struct TransportClient
 630 {
 631
 632   /**
 633    * This is a linked list.
 634    */
 635   struct TransportClient *next;
 636
 637   /**
 638    * Handle to the client.
 639    */
 640   struct GNUNET_SERVER_Client *client;
 641
 642   /**
 643    * Linked list of messages yet to be transmitted to
 644    * the client.
 645    */
 646   struct ClientMessageQueueEntry *message_queue_head;
 647
 648   /**
 649    * Tail of linked list of messages yet to be transmitted to the
 650    * client.
 651    */
 652   struct ClientMessageQueueEntry *message_queue_tail;
 653
 654   /**
 655    * Current transmit request handle.
 656    */
 657   struct GNUNET_CONNECTION_TransmitHandle *th;
 658
 659   /**
 660    * Is a call to "transmit_send_continuation" pending?  If so, we
 661    * must not free this struct (even if the corresponding client
 662    * disconnects) and instead only remove it from the linked list and
 663    * set the "client" field to NULL.
 664    */
 665   int tcs_pending;
 666
 667   /**
 668    * Length of the list of messages pending for this client.
 669    */
 670   unsigned int message_count;
 671
 672 };
 673
 674
 675 /**
 676  * Entry in map of all HELLOs awaiting validation.
 677  */
 678 struct ValidationEntry
 679 {
 680
 681   /**
 682    * The address, actually a pointer to the end
 683    * of this struct.  Do not free!
 684    */
 685   const void *addr;
 686
 687   /**
 688    * Name of the transport.
 689    */
 690   char *transport_name;
 691
 692   /**
 693    * The public key of the peer.
 694    */
 695   struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded publicKey;
 696
 697   /**
 698    * ID of task that will clean up this entry if we don't succeed
 699    * with the validation first.
 700    */
 701   GNUNET_SCHEDULER_TaskIdentifier timeout_task;
 702
 703   /**
 704    * At what time did we send this validation?
 705    */
 706   struct GNUNET_TIME_Absolute send_time;
 707
 708   /**
 709    * Length of addr.
 710    */
 711   size_t addrlen;
 712
 713   /**
 714    * Challenge number we used.
 715    */
 716   uint32_t challenge;
 717
 718 };
 719
 720
 721 /**
 722  * Context of currently active requests to peerinfo
 723  * for validation of HELLOs.
 724  */
 725 struct CheckHelloValidatedContext
 726 {
 727
 728   /**
 729    * This is a doubly-linked list.
 730    */
 731   struct CheckHelloValidatedContext *next;
 732
 733   /**
 734    * This is a doubly-linked list.
 735    */
 736   struct CheckHelloValidatedContext *prev;
 737
 738   /**
 739    * Hello that we are validating.
 740    */
 741   const struct GNUNET_HELLO_Message *hello;
 742
 743   /**
 744    * Context for peerinfo iteration.
 745    * NULL after we are done processing peerinfo's information.
 746    */
 747   struct GNUNET_PEERINFO_IteratorContext *piter;
 748
 749   /**
 750    * Was a HELLO known for this peer to peerinfo?
 751    */
 752   int hello_known;
 753
 754 };
 755
 756
 757 /**
 758  * Our HELLO message.
 759  */
 760 static struct GNUNET_HELLO_Message *our_hello;
 761
 762 /**
 763  * "version" of "our_hello".  Used to see if a given neighbour has
 764  * already been sent the latest version of our HELLO message.
 765  */
 766 static unsigned int our_hello_version;
 767
 768 /**
 769  * Our public key.
 770  */
 771 static struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded my_public_key;
 772
 773 /**
 774  * Our identity.
 775  */
 776 static struct GNUNET_PeerIdentity my_identity;
 777
 778 /**
 779  * Our private key.
 780  */
 781 static struct GNUNET_CRYPTO_RsaPrivateKey *my_private_key;
 782
 783 /**
 784  * Our scheduler.
 785  */
 786 struct GNUNET_SCHEDULER_Handle *sched;
 787
 788 /**
 789  * Our configuration.
 790  */
 791 const struct GNUNET_CONFIGURATION_Handle *cfg;
 792
 793 /**
 794  * Linked list of all clients to this service.
 795  */
 796 static struct TransportClient *clients;
 797
 798 /**
 799  * All loaded plugins.
 800  */
 801 static struct TransportPlugin *plugins;
 802
 803 /**
 804  * Our server.
 805  */
 806 static struct GNUNET_SERVER_Handle *server;
 807
 808 /**
 809  * All known neighbours and their HELLOs.
 810  */
 811 static struct NeighbourList *neighbours;
 812
 813 /**
 814  * Number of neighbours we'd like to have.
 815  */
 816 static uint32_t max_connect_per_transport;
 817
 818 /**
 819  * Head of linked list.
 820  */
 821 static struct CheckHelloValidatedContext *chvc_head;
 822
 823 /**
 824  * Tail of linked list.
 825  */
 826 static struct CheckHelloValidatedContext *chvc_tail;
 827
 828 /**
 829  * Map of PeerIdentities to 'struct ValidationEntry*'s (addresses
 830  * of the given peer that we are currently validating).
 831  */
 832 static struct GNUNET_CONTAINER_MultiHashMap *validation_map;
 833
 834 /**
 835  * Handle for reporting statistics.
 836  */
 837 static struct GNUNET_STATISTICS_Handle *stats;
 838
 839
 840 /**
 841  * The peer specified by the given neighbour has timed-out or a plugin
 842  * has disconnected.  We may either need to do nothing (other plugins
 843  * still up), or trigger a full disconnect and clean up.  This
 844  * function updates our state and do the necessary notifications.
 845  * Also notifies our clients that the neighbour is now officially
 846  * gone.
 847  *
 848  * @param n the neighbour list entry for the peer
 849  * @param check should we just check if all plugins
 850  *        disconnected or must we ask all plugins to
 851  *        disconnect?
 852  */
 853 static void disconnect_neighbour (struct NeighbourList *n, int check);
 854
 855 /**
 856  * Check the ready list for the given neighbour and if a plugin is
 857  * ready for transmission (and if we have a message), do so!
 858  *
 859  * @param neighbour target peer for which to transmit
 860  */
 861 static void try_transmission_to_peer (struct NeighbourList *neighbour);
 862
 863
 864 /**
 865  * Find an entry in the neighbour list for a particular peer.
 866  *
 867  * @return NULL if not found.
 868  */
 869 static struct NeighbourList *
 870 find_neighbour (const struct GNUNET_PeerIdentity *key)
 871 {
 872   struct NeighbourList *head = neighbours;
 873
 874   while ((head != NULL) &&
 875         (0 != memcmp (key, &head->id, sizeof (struct GNUNET_PeerIdentity))))
 876     head = head->next;
 877   return head;
 878 }
 879
 880
 881 /**
 882  * Find an entry in the transport list for a particular transport.
 883  *
 884  * @return NULL if not found.
 885  */
 886 static struct TransportPlugin *
 887 find_transport (const char *short_name)
 888 {
 889   struct TransportPlugin *head = plugins;
 890   while ((head != NULL) && (0 != strcmp (short_name, head->short_name)))
 891     head = head->next;
 892   return head;
 893 }
 894
 895
 896 /**
 897  * Function called to notify a client about the socket being ready to
 898  * queue more data.  "buf" will be NULL and "size" zero if the socket
 899  * was closed for writing in the meantime.
 900  *
 901  * @param cls closure
 902  * @param size number of bytes available in buf
 903  * @param buf where the callee should write the message
 904  * @return number of bytes written to buf
 905  */
 906 static size_t
 907 transmit_to_client_callback (void *cls, size_t size, void *buf)
 908 {
 909   struct TransportClient *client = cls;
 910   struct ClientMessageQueueEntry *q;
 911   uint16_t msize;
 912   size_t tsize;
 913   const struct GNUNET_MessageHeader *msg;
 914   char *cbuf;
 915
 916   client->th = NULL;
 917   if (buf == NULL)
 918     {
 919       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 920                   "Transmission to client failed, closing connection.\n");
 921       /* fatal error with client, free message queue! */
 922       while (NULL != (q = client->message_queue_head))
 923         {
 924           GNUNET_STATISTICS_update (stats,
 925                                     gettext_noop ("# bytes discarded (could not transmit to client)"),
 926                                     ntohs (((const struct GNUNET_MessageHeader*)&q[1])->size),
 927                                     GNUNET_NO);
 928           GNUNET_CONTAINER_DLL_remove (client->message_queue_head,
 929                                        client->message_queue_tail,
 930                                        q);
 931           GNUNET_free (q);
 932         }
 933       client->message_count = 0;
 934       return 0;
 935     }
 936   cbuf = buf;
 937   tsize = 0;
 938   while (NULL != (q = client->message_queue_head))
 939     {
 940       msg = (const struct GNUNET_MessageHeader *) &q[1];
 941       msize = ntohs (msg->size);
 942       if (msize + tsize > size)
 943         break;
 944 #if DEBUG_TRANSPORT
 945       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 946                   "Transmitting message of type %u to client.\n",
 947                   ntohs (msg->type));
 948 #endif
 949       GNUNET_CONTAINER_DLL_remove (client->message_queue_head,
 950                                    client->message_queue_tail,
 951                                    q);
 952       memcpy (&cbuf[tsize], msg, msize);
 953       tsize += msize;
 954       GNUNET_free (q);
 955       client->message_count--;
 956     }
 957   if (NULL != q)
 958     {
 959       GNUNET_assert (msize >= sizeof (struct GNUNET_MessageHeader));
 960       client->th = GNUNET_SERVER_notify_transmit_ready (client->client,
 961                                                         msize,
 962                                                         GNUNET_TIME_UNIT_FOREVER_REL,
 963                                                         &transmit_to_client_callback,
 964                                                         client);
 965       GNUNET_assert (client->th != NULL);
 966     }
 967   return tsize;
 968 }
 969
 970
 971 /**
 972  * Send the specified message to the specified client.  Since multiple
 973  * messages may be pending for the same client at a time, this code
 974  * makes sure that no message is lost.
 975  *
 976  * @param client client to transmit the message to
 977  * @param msg the message to send
 978  * @param may_drop can this message be dropped if the
 979  *        message queue for this client is getting far too large?
 980  */
 981 static void
 982 transmit_to_client (struct TransportClient *client,
 983                     const struct GNUNET_MessageHeader *msg, int may_drop)
 984 {
 985   struct ClientMessageQueueEntry *q;
 986   uint16_t msize;
 987
 988   if ((client->message_count >= MAX_PENDING) && (GNUNET_YES == may_drop))
 989     {
 990       GNUNET_log (GNUNET_ERROR_TYPE_INFO,
 991                   _
 992                   ("Dropping message, have %u messages pending (%u is the soft limit)\n"),
 993                   client->message_count, MAX_PENDING);
 994       /* TODO: call to statistics... */
 995       return;
 996     }
 997   msize = ntohs (msg->size);
 998   GNUNET_assert (msize >= sizeof (struct GNUNET_MessageHeader));
 999   q = GNUNET_malloc (sizeof (struct ClientMessageQueueEntry) + msize);
1000   memcpy (&q[1], msg, msize);
1001   GNUNET_CONTAINER_DLL_insert_after (client->message_queue_head,
1002                                      client->message_queue_tail,
1003                                      client->message_queue_tail,
1004                                      q);
1005   client->message_count++;
1006   if (client->th == NULL)
1007     {
1008       client->th = GNUNET_SERVER_notify_transmit_ready (client->client,
1009                                                         msize,
1010                                                         GNUNET_TIME_UNIT_FOREVER_REL,
1011                                                         &transmit_to_client_callback,
1012                                                         client);
1013       GNUNET_assert (client->th != NULL);
1014     }
1015 }
1016
1017
1018 /**
1019  * Transmit a 'SEND_OK' notification to the given client for the
1020  * given neighbour.
1021  *
1022  * @param client who to notify
1023  * @param n neighbour to notify about
1024  * @param result status code for the transmission request
1025  */
1026 static void
1027 transmit_send_ok (struct TransportClient *client,
1028                   struct NeighbourList *n,
1029                   int result)
1030 {
1031   struct SendOkMessage send_ok_msg;
1032
1033   send_ok_msg.header.size = htons (sizeof (send_ok_msg));
1034   send_ok_msg.header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_SEND_OK);
1035   send_ok_msg.success = htonl (result);
1036   send_ok_msg.latency = GNUNET_TIME_relative_hton (n->latency);
1037   send_ok_msg.peer = n->id;
1038   transmit_to_client (client, &send_ok_msg.header, GNUNET_NO);
1039 }
1040
1041
1042 /**
1043  * Function called by the GNUNET_TRANSPORT_TransmitFunction
1044  * upon "completion" of a send request.  This tells the API
1045  * that it is now legal to send another message to the given
1046  * peer.
1047  *
1048  * @param cls closure, identifies the entry on the
1049  *            message queue that was transmitted and the
1050  *            client responsible for queueing the message
1051  * @param target the peer receiving the message
1052  * @param result GNUNET_OK on success, if the transmission
1053  *           failed, we should not tell the client to transmit
1054  *           more messages
1055  */
1056 static void
1057 transmit_send_continuation (void *cls,
1058                             const struct GNUNET_PeerIdentity *target,
1059                             int result)
1060 {
1061   struct MessageQueue *mq = cls;
1062   struct NeighbourList *n;
1063
1064   GNUNET_STATISTICS_update (stats,
1065                             gettext_noop ("# bytes pending with plugins"),
1066                             - (int64_t) mq->message_buf_size,
1067                             GNUNET_NO);
1068   if (result == GNUNET_OK)
1069     {
1070       GNUNET_STATISTICS_update (stats,
1071                                 gettext_noop ("# bytes successfully transmitted by plugins"),
1072                                 mq->message_buf_size,
1073                                 GNUNET_NO);
1074     }
1075   else
1076     {
1077       GNUNET_STATISTICS_update (stats,
1078                                 gettext_noop ("# bytes with transmission failure by plugins"),
1079                                 mq->message_buf_size,
1080                                 GNUNET_NO);
1081     }
1082   n = find_neighbour(&mq->neighbour_id);
1083   GNUNET_assert (n != NULL);
1084   if (mq->specific_address != NULL)
1085     {
1086       if (result == GNUNET_OK)
1087         {
1088           mq->specific_address->timeout =
1089             GNUNET_TIME_relative_to_absolute
1090             (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
1091           if (mq->specific_address->connected != GNUNET_YES)
1092             {
1093               GNUNET_STATISTICS_update (stats,
1094                                         gettext_noop ("# connected addresses"),
1095                                         1,
1096                                         GNUNET_NO);
1097               mq->specific_address->connected = GNUNET_YES;
1098             }
1099         }
1100       else
1101         {
1102           if (mq->specific_address->connected != GNUNET_NO)
1103             {
1104               GNUNET_STATISTICS_update (stats,
1105                                         gettext_noop ("# connected addresses"),
1106                                         -1,
1107                                         GNUNET_NO);
1108               mq->specific_address->connected = GNUNET_NO;
1109             }
1110         }
1111       if (! mq->internal_msg)
1112         mq->specific_address->in_transmit = GNUNET_NO;
1113     }
1114   if (mq->client != NULL)
1115     transmit_send_ok (mq->client, n, result);
1116   GNUNET_free (mq);
1117   try_transmission_to_peer (n);
1118 }
1119
1120
1121 /**
1122  * Find an address in any of the available transports for
1123  * the given neighbour that would be good for message
1124  * transmission.  This is essentially the transport selection
1125  * routine.
1126  *
1127  * @param neighbour for whom to select an address
1128  * @return selected address, NULL if we have none
1129  */
1130 struct ForeignAddressList *
1131 find_ready_address(struct NeighbourList *neighbour)
1132 {
1133   struct ReadyList *head = neighbour->plugins;
1134   struct ForeignAddressList *addresses;
1135   struct GNUNET_TIME_Absolute now = GNUNET_TIME_absolute_get ();
1136   struct ForeignAddressList *best_address;
1137
1138   best_address = NULL;
1139   while (head != NULL)
1140     {
1141       addresses = head->addresses;
1142       while (addresses != NULL)
1143         {
1144           if ( (addresses->timeout.value < now.value) &&
1145                (addresses->connected == GNUNET_YES) )
1146             {
1147 #if DEBUG_TRANSPORT
1148               GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1149                           "Marking long-time inactive connection to `%4s' as down.\n",
1150                           GNUNET_i2s (&neighbour->id));
1151 #endif
1152               GNUNET_STATISTICS_update (stats,
1153                                         gettext_noop ("# connected addresses"),
1154                                         -1,
1155                                         GNUNET_NO);
1156               addresses->connected = GNUNET_NO;
1157             }
1158           addresses = addresses->next;
1159         }
1160
1161       addresses = head->addresses;
1162       while (addresses != NULL)
1163         {
1164 #if DEBUG_TRANSPORT > 1
1165           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1166                       "Have address `%s' for peer `%4s' (status: %d, %d, %d, %u, %llums, %u)\n",
1167                       GNUNET_a2s (addresses->addr,
1168                                   addresses->addrlen),
1169                       GNUNET_i2s (&neighbour->id),
1170                       addresses->connected,
1171                       addresses->in_transmit,
1172                       addresses->validated,
1173                       addresses->connect_attempts,
1174                       (unsigned long long) addresses->timeout.value,
1175                       (unsigned int) addresses->distance);
1176 #endif
1177           if ( ( (best_address == NULL) ||
1178                  (addresses->connected == GNUNET_YES) ||
1179                  (best_address->connected == GNUNET_NO) ) &&
1180                (addresses->in_transmit == GNUNET_NO) &&
1181                ( (best_address == NULL) ||
1182                  (addresses->latency.value < best_address->latency.value)) )
1183             best_address = addresses;
1184           /* FIXME: also give lower-latency addresses that are not
1185              connected a chance some times... */
1186           addresses = addresses->next;
1187         }
1188       head = head->next;
1189     }
1190   if (best_address != NULL)
1191     {
1192 #if DEBUG_TRANSPORT
1193       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1194                   "Best address found has latency of %llu ms.\n",
1195                   best_address->latency.value);
1196 #endif
1197     }
1198   else
1199     {
1200       GNUNET_STATISTICS_update (stats,
1201                                 gettext_noop ("# transmission attempts failed (no address)"),
1202                                 1,
1203                                 GNUNET_NO);
1204     }
1205   return best_address;
1206
1207 }
1208
1209
1210 /**
1211  * We should re-try transmitting to the given peer,
1212  * hopefully we've learned something in the meantime.
1213  */
1214 static void
1215 retry_transmission_task (void *cls,
1216                          const struct GNUNET_SCHEDULER_TaskContext *tc)
1217 {
1218   struct NeighbourList *n = cls;
1219
1220   n->retry_task = GNUNET_SCHEDULER_NO_TASK;
1221   try_transmission_to_peer (n);
1222 }
1223
1224
1225 /**
1226  * Check the ready list for the given neighbour and if a plugin is
1227  * ready for transmission (and if we have a message), do so!
1228  *
1229  * @param neighbour target peer for which to transmit
1230  */
1231 static void
1232 try_transmission_to_peer (struct NeighbourList *neighbour)
1233 {
1234   struct ReadyList *rl;
1235   struct MessageQueue *mq;
1236   struct GNUNET_TIME_Relative timeout;
1237   ssize_t ret;
1238   int force_address;
1239
1240   if (neighbour->messages_head == NULL)
1241     {
1242 #if DEBUG_TRANSPORT
1243       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1244                   "Transmission queue for `%4s' is empty\n",
1245                   GNUNET_i2s (&neighbour->id));
1246 #endif
1247       return;                     /* nothing to do */
1248     }
1249   rl = NULL;
1250   mq = neighbour->messages_head;
1251   force_address = GNUNET_YES;
1252   if (mq->specific_address == NULL)
1253     {
1254       mq->specific_address = find_ready_address(neighbour);
1255       GNUNET_STATISTICS_update (stats,
1256                                 gettext_noop ("# transport selected peer address freely"),
1257                                 1,
1258                                 GNUNET_NO);
1259       force_address = GNUNET_NO;
1260     }
1261   if (mq->specific_address == NULL)
1262     {
1263       GNUNET_STATISTICS_update (stats,
1264                                 gettext_noop ("# transport failed to selected peer address"),
1265                                 1,
1266                                 GNUNET_NO);
1267       timeout = GNUNET_TIME_absolute_get_remaining (mq->timeout);
1268       if (timeout.value == 0)
1269         {
1270 #if DEBUG_TRANSPORT
1271           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1272                       "No destination address available to transmit message of size %u to peer `%4s'\n",
1273                       mq->message_buf_size,
1274                       GNUNET_i2s (&mq->neighbour_id));
1275 #endif
1276           GNUNET_STATISTICS_update (stats,
1277                                     gettext_noop ("# bytes in message queue for other peers"),
1278                                     - (int64_t) mq->message_buf_size,
1279                                     GNUNET_NO);
1280           GNUNET_STATISTICS_update (stats,
1281                                     gettext_noop ("# bytes discarded (no destination address available)"),
1282                                     mq->message_buf_size,
1283                                     GNUNET_NO);
1284           if (mq->client != NULL)
1285             transmit_send_ok (mq->client, neighbour, GNUNET_NO);
1286           GNUNET_CONTAINER_DLL_remove (neighbour->messages_head,
1287                                        neighbour->messages_tail,
1288                                        mq);
1289           GNUNET_free (mq);
1290           return;               /* nobody ready */
1291         }
1292       GNUNET_STATISTICS_update (stats,
1293                                 gettext_noop ("# message delivery deferred (no address)"),
1294                                 1,
1295                                 GNUNET_NO);
1296       if (neighbour->retry_task != GNUNET_SCHEDULER_NO_TASK)
1297         GNUNET_SCHEDULER_cancel (sched,
1298                                  neighbour->retry_task);
1299       neighbour->retry_task = GNUNET_SCHEDULER_add_delayed (sched,
1300                                                             timeout,
1301                                                             &retry_transmission_task,
1302                                                             neighbour);
1303 #if DEBUG_TRANSPORT
1304       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1305                   "No validated destination address available to transmit message of size %u to peer `%4s', will wait %llums to find an address.\n",
1306                   mq->message_buf_size,
1307                   GNUNET_i2s (&mq->neighbour_id),
1308                   timeout.value);
1309 #endif
1310       /* FIXME: might want to trigger peerinfo lookup here
1311          (unless that's already pending...) */
1312       return;
1313     }
1314   GNUNET_CONTAINER_DLL_remove (neighbour->messages_head,
1315                                neighbour->messages_tail,
1316                                mq);
1317   if (mq->specific_address->connected == GNUNET_NO)
1318     mq->specific_address->connect_attempts++;
1319   rl = mq->specific_address->ready_list;
1320   mq->plugin = rl->plugin;
1321   if (!mq->internal_msg)
1322     mq->specific_address->in_transmit = GNUNET_YES;
1323 #if DEBUG_TRANSPORT
1324   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1325               "Sending message of size %u for `%4s' to `%s' via plugin `%s'\n",
1326               mq->message_buf_size,
1327               GNUNET_i2s (&neighbour->id),
1328               GNUNET_a2s (mq->specific_address->addr,
1329                           mq->specific_address->addrlen),
1330               rl->plugin->short_name);
1331 #endif
1332   GNUNET_STATISTICS_update (stats,
1333                             gettext_noop ("# bytes in message queue for other peers"),
1334                             - (int64_t) mq->message_buf_size,
1335                             GNUNET_NO);
1336   GNUNET_STATISTICS_update (stats,
1337                             gettext_noop ("# bytes pending with plugins"),
1338                             mq->message_buf_size,
1339                             GNUNET_NO);
1340   ret = rl->plugin->api->send (rl->plugin->api->cls,
1341                                &mq->neighbour_id,
1342                                mq->message_buf,
1343                                mq->message_buf_size,
1344                                mq->priority,
1345                                GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT,
1346                                mq->specific_address->addr,
1347                                mq->specific_address->addrlen,
1348                                force_address,
1349                                &transmit_send_continuation, mq);
1350   if (ret == -1)
1351     {
1352       /* failure, but 'send' would not call continuation in this case,
1353          so we need to do it here! */
1354       transmit_send_continuation (mq,
1355                                   &mq->neighbour_id,
1356                                   GNUNET_SYSERR);
1357     }
1358 }
1359
1360
1361 /**
1362  * Send the specified message to the specified peer.
1363  *
1364  * @param client source of the transmission request (can be NULL)
1365  * @param peer_address ForeignAddressList where we should send this message
1366  * @param priority how important is the message
1367  * @param timeout how long do we have to transmit?
1368  * @param message_buf message(s) to send GNUNET_MessageHeader(s)
1369  * @param message_buf_size total size of all messages in message_buf
1370  * @param is_internal is this an internal message; these are pre-pended and
1371  *                    also do not count for plugins being "ready" to transmit
1372  * @param neighbour handle to the neighbour for transmission
1373  */
1374 static void
1375 transmit_to_peer (struct TransportClient *client,
1376                   struct ForeignAddressList *peer_address,
1377                   unsigned int priority,
1378                   struct GNUNET_TIME_Relative timeout,
1379                   const char *message_buf,
1380                   size_t message_buf_size,
1381                   int is_internal, struct NeighbourList *neighbour)
1382 {
1383   struct MessageQueue *mq;
1384
1385 #if EXTRA_CHECKS
1386   if (client != NULL)
1387     {
1388       /* check for duplicate submission */
1389       mq = neighbour->messages_head;
1390       while (NULL != mq)
1391         {
1392           if (mq->client == client)
1393             {
1394               /* client transmitted to same peer twice
1395                  before getting SEND_OK! */
1396               GNUNET_break (0);
1397               return;
1398             }
1399           mq = mq->next;
1400         }
1401     }
1402 #endif
1403   GNUNET_STATISTICS_update (stats,
1404                             gettext_noop ("# bytes in message queue for other peers"),
1405                             message_buf_size,
1406                             GNUNET_NO);
1407   mq = GNUNET_malloc (sizeof (struct MessageQueue) + message_buf_size);
1408   mq->specific_address = peer_address;
1409   mq->client = client;
1410   memcpy (&mq[1], message_buf, message_buf_size);
1411   mq->message_buf = (const char*) &mq[1];
1412   mq->message_buf_size = message_buf_size;
1413   memcpy(&mq->neighbour_id, &neighbour->id, sizeof(struct GNUNET_PeerIdentity));
1414   mq->internal_msg = is_internal;
1415   mq->priority = priority;
1416   mq->timeout = GNUNET_TIME_relative_to_absolute (timeout);
1417   if (is_internal)
1418     GNUNET_CONTAINER_DLL_insert (neighbour->messages_head,
1419                                  neighbour->messages_tail,
1420                                  mq);
1421   else
1422     GNUNET_CONTAINER_DLL_insert_after (neighbour->messages_head,
1423                                        neighbour->messages_tail,
1424                                        neighbour->messages_tail,
1425                                        mq);
1426   try_transmission_to_peer (neighbour);
1427 }
1428
1429
1430 /**
1431  * FIXME: document.
1432  */
1433 struct GeneratorContext
1434 {
1435   struct TransportPlugin *plug_pos;
1436   struct OwnAddressList *addr_pos;
1437   struct GNUNET_TIME_Absolute expiration;
1438 };
1439
1440
1441 /**
1442  * FIXME: document.
1443  */
1444 static size_t
1445 address_generator (void *cls, size_t max, void *buf)
1446 {
1447   struct GeneratorContext *gc = cls;
1448   size_t ret;
1449
1450   while ((gc->addr_pos == NULL) && (gc->plug_pos != NULL))
1451     {
1452       gc->plug_pos = gc->plug_pos->next;
1453       gc->addr_pos = (gc->plug_pos != NULL) ? gc->plug_pos->addresses : NULL;
1454     }
1455   if (NULL == gc->plug_pos)
1456     {
1457
1458       return 0;
1459     }
1460   ret = GNUNET_HELLO_add_address (gc->plug_pos->short_name,
1461                                   gc->expiration,
1462                                   gc->addr_pos->addr,
1463                                   gc->addr_pos->addrlen, buf, max);
1464   gc->addr_pos = gc->addr_pos->next;
1465   return ret;
1466 }
1467
1468
1469 /**
1470  * Construct our HELLO message from all of the addresses of
1471  * all of the transports.
1472  */
1473 static void
1474 refresh_hello ()
1475 {
1476   struct GNUNET_HELLO_Message *hello;
1477   struct TransportClient *cpos;
1478   struct NeighbourList *npos;
1479   struct GeneratorContext gc;
1480
1481   gc.plug_pos = plugins;
1482   gc.addr_pos = plugins != NULL ? plugins->addresses : NULL;
1483   gc.expiration = GNUNET_TIME_relative_to_absolute (HELLO_ADDRESS_EXPIRATION);
1484   hello = GNUNET_HELLO_create (&my_public_key, &address_generator, &gc);
1485 #if DEBUG_TRANSPORT
1486   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG | GNUNET_ERROR_TYPE_BULK,
1487               "Refreshed my `%s', new size is %d\n", "HELLO", GNUNET_HELLO_size(hello));
1488 #endif
1489   GNUNET_STATISTICS_update (stats,
1490                             gettext_noop ("# refreshed my HELLO"),
1491                             1,
1492                             GNUNET_NO);
1493   cpos = clients;
1494   while (cpos != NULL)
1495     {
1496       transmit_to_client (cpos,
1497                           (const struct GNUNET_MessageHeader *) hello,
1498                           GNUNET_NO);
1499       cpos = cpos->next;
1500     }
1501
1502   GNUNET_free_non_null (our_hello);
1503   our_hello = hello;
1504   our_hello_version++;
1505   GNUNET_PEERINFO_add_peer (cfg, sched, &my_identity, our_hello);
1506   npos = neighbours;
1507   while (npos != NULL)
1508     {
1509 #if DEBUG_TRANSPORT
1510       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG | GNUNET_ERROR_TYPE_BULK,
1511                   "Transmitting updated `%s' to neighbour `%4s'\n",
1512                   "HELLO", GNUNET_i2s (&npos->id));
1513 #endif
1514       GNUNET_STATISTICS_update (stats,
1515                                 gettext_noop ("# transmitted my HELLO to other peers"),
1516                                 1,
1517                                 GNUNET_NO);
1518       transmit_to_peer (NULL, NULL, 0,
1519                         HELLO_ADDRESS_EXPIRATION,
1520                         (const char *) our_hello,
1521                         GNUNET_HELLO_size(our_hello),
1522                         GNUNET_NO, npos);
1523       npos = npos->next;
1524     }
1525 }
1526
1527
1528 /**
1529  * Task used to clean up expired addresses for a plugin.
1530  *
1531  * @param cls closure
1532  * @param tc context
1533  */
1534 static void
1535 expire_address_task (void *cls,
1536                      const struct GNUNET_SCHEDULER_TaskContext *tc);
1537
1538
1539 /**
1540  * Update the list of addresses for this plugin,
1541  * expiring those that are past their expiration date.
1542  *
1543  * @param plugin addresses of which plugin should be recomputed?
1544  * @param fresh set to GNUNET_YES if a new address was added
1545  *        and we need to regenerate the HELLO even if nobody
1546  *        expired
1547  */
1548 static void
1549 update_addresses (struct TransportPlugin *plugin, int fresh)
1550 {
1551   struct GNUNET_TIME_Relative min_remaining;
1552   struct GNUNET_TIME_Relative remaining;
1553   struct GNUNET_TIME_Absolute now;
1554   struct OwnAddressList *pos;
1555   struct OwnAddressList *prev;
1556   struct OwnAddressList *next;
1557   int expired;
1558
1559   if (plugin->address_update_task != GNUNET_SCHEDULER_NO_TASK)
1560     GNUNET_SCHEDULER_cancel (plugin->env.sched, plugin->address_update_task);
1561   plugin->address_update_task = GNUNET_SCHEDULER_NO_TASK;
1562   now = GNUNET_TIME_absolute_get ();
1563   min_remaining = GNUNET_TIME_UNIT_FOREVER_REL;
1564   expired = GNUNET_NO;
1565   prev = NULL;
1566   pos = plugin->addresses;
1567   while (pos != NULL)
1568     {
1569       next = pos->next;
1570       if (pos->expires.value < now.value)
1571         {
1572           expired = GNUNET_YES;
1573           if (prev == NULL)
1574             plugin->addresses = pos->next;
1575           else
1576             prev->next = pos->next;
1577
1578
1579           GNUNET_free (pos);
1580         }
1581       else
1582         {
1583           remaining = GNUNET_TIME_absolute_get_remaining (pos->expires);
1584           if (remaining.value < min_remaining.value)
1585             min_remaining = remaining;
1586           prev = pos;
1587         }
1588       pos = next;
1589     }
1590
1591   if (expired || fresh)
1592     refresh_hello ();
1593   if (min_remaining.value < GNUNET_TIME_UNIT_FOREVER_REL.value)
1594     plugin->address_update_task
1595       = GNUNET_SCHEDULER_add_delayed (plugin->env.sched,
1596                                       min_remaining,
1597                                       &expire_address_task, plugin);
1598
1599 }
1600
1601
1602 /**
1603  * Task used to clean up expired addresses for a plugin.
1604  *
1605  * @param cls closure
1606  * @param tc context
1607  */
1608 static void
1609 expire_address_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1610 {
1611   struct TransportPlugin *plugin = cls;
1612   plugin->address_update_task = GNUNET_SCHEDULER_NO_TASK;
1613   update_addresses (plugin, GNUNET_NO);
1614 }
1615
1616
1617 /**
1618  * Function that must be called by each plugin to notify the
1619  * transport service about the addresses under which the transport
1620  * provided by the plugin can be reached.
1621  *
1622  * @param cls closure
1623  * @param name name of the transport that generated the address
1624  * @param addr one of the addresses of the host, NULL for the last address
1625  *        the specific address format depends on the transport
1626  * @param addrlen length of the address
1627  * @param expires when should this address automatically expire?
1628  */
1629 static void
1630 plugin_env_notify_address (void *cls,
1631                            const char *name,
1632                            const void *addr,
1633                            size_t addrlen,
1634                            struct GNUNET_TIME_Relative expires)
1635 {
1636   struct TransportPlugin *p = cls;
1637   struct OwnAddressList *al;
1638   struct GNUNET_TIME_Absolute abex;
1639
1640   abex = GNUNET_TIME_relative_to_absolute (expires);
1641   GNUNET_assert (p == find_transport (name));
1642
1643   al = p->addresses;
1644   while (al != NULL)
1645     {
1646       if ((addrlen == al->addrlen) && (0 == memcmp (addr, &al[1], addrlen)))
1647         {
1648           if (al->expires.value < abex.value)
1649             al->expires = abex;
1650           return;
1651         }
1652       al = al->next;
1653     }
1654
1655   al = GNUNET_malloc (sizeof (struct OwnAddressList) + addrlen);
1656   al->addr = &al[1];
1657   al->next = p->addresses;
1658   p->addresses = al;
1659   al->expires = abex;
1660   al->addrlen = addrlen;
1661   memcpy (&al[1], addr, addrlen);
1662   update_addresses (p, GNUNET_YES);
1663 }
1664
1665
1666 /**
1667  * Notify all of our clients about a peer connecting.
1668  */
1669 static void
1670 notify_clients_connect (const struct GNUNET_PeerIdentity *peer,
1671                         struct GNUNET_TIME_Relative latency,
1672                         uint32_t distance)
1673 {
1674   struct ConnectInfoMessage cim;
1675   struct TransportClient *cpos;
1676
1677 #if DEBUG_TRANSPORT
1678   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1679               "Notifying clients about connection from `%s'\n",
1680               GNUNET_i2s (peer));
1681 #endif
1682   GNUNET_STATISTICS_update (stats,
1683                             gettext_noop ("# peers connected"),
1684                             1,
1685                             GNUNET_NO);
1686   cim.header.size = htons (sizeof (struct ConnectInfoMessage));
1687   cim.header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_CONNECT);
1688   cim.distance = htonl (distance);
1689   cim.latency = GNUNET_TIME_relative_hton (latency);
1690   memcpy (&cim.id, peer, sizeof (struct GNUNET_PeerIdentity));
1691   cpos = clients;
1692   while (cpos != NULL)
1693     {
1694       transmit_to_client (cpos, &cim.header, GNUNET_NO);
1695       cpos = cpos->next;
1696     }
1697 }
1698
1699
1700 /**
1701  * Notify all of our clients about a peer disconnecting.
1702  */
1703 static void
1704 notify_clients_disconnect (const struct GNUNET_PeerIdentity *peer)
1705 {
1706   struct DisconnectInfoMessage dim;
1707   struct TransportClient *cpos;
1708
1709 #if DEBUG_TRANSPORT
1710   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
1711               "Notifying clients about lost connection to `%s'\n",
1712               GNUNET_i2s (peer));
1713 #endif
1714   GNUNET_STATISTICS_update (stats,
1715                             gettext_noop ("# peers connected"),
1716                             -1,
1717                             GNUNET_NO);
1718   dim.header.size = htons (sizeof (struct DisconnectInfoMessage));
1719   dim.header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_DISCONNECT);
1720   dim.reserved = htonl (0);
1721   memcpy (&dim.peer, peer, sizeof (struct GNUNET_PeerIdentity));
1722   cpos = clients;
1723   while (cpos != NULL)
1724     {
1725       transmit_to_client (cpos, &dim.header, GNUNET_NO);
1726       cpos = cpos->next;
1727     }
1728 }
1729
1730
1731 /**
1732  * Find a ForeignAddressList entry for the given neighbour
1733  * that matches the given address and transport.
1734  *
1735  * @param neighbour which peer we care about
1736  * @param tname name of the transport plugin
1737  * @param addr binary address
1738  * @param addrlen length of addr
1739  * @return NULL if no such entry exists
1740  */
1741 static struct ForeignAddressList *
1742 find_peer_address(struct NeighbourList *neighbour,
1743                   const char *tname,
1744                   const char *addr,
1745                   size_t addrlen)
1746 {
1747   struct ReadyList *head;
1748   struct ForeignAddressList *address_head;
1749
1750   head = neighbour->plugins;
1751   while (head != NULL)
1752     {
1753       if (0 == strcmp (tname, head->plugin->short_name))
1754         break;
1755       head = head->next;
1756     }
1757   if (head == NULL)
1758     return NULL;
1759
1760   address_head = head->addresses;
1761   while ( (address_head != NULL) &&
1762           ( (address_head->addrlen != addrlen) ||
1763             (memcmp(address_head->addr, addr, addrlen) != 0) ) )
1764     address_head = address_head->next;
1765   return address_head;
1766 }
1767
1768
1769 /**
1770  * Get the peer address struct for the given neighbour and
1771  * address.  If it doesn't yet exist, create it.
1772  *
1773  * @param neighbour which peer we care about
1774  * @param tname name of the transport plugin
1775  * @param addr binary address
1776  * @param addrlen length of addr
1777  * @return NULL if we do not have a transport plugin for 'tname'
1778  */
1779 static struct ForeignAddressList *
1780 add_peer_address (struct NeighbourList *neighbour,
1781                   const char *tname,
1782                   const char *addr,
1783                   size_t addrlen)
1784 {
1785   struct ReadyList *head;
1786   struct ForeignAddressList *ret;
1787
1788   ret = find_peer_address (neighbour, tname, addr, addrlen);
1789   if (ret != NULL)
1790     return ret;
1791   head = neighbour->plugins;
1792   while (head != NULL)
1793     {
1794       if (0 == strcmp (tname, head->plugin->short_name))
1795         break;
1796       head = head->next;
1797     }
1798   if (head == NULL)
1799     return NULL;
1800   ret = GNUNET_malloc(sizeof(struct ForeignAddressList) + addrlen);
1801   ret->addr = (const char*) &ret[1];
1802   memcpy (&ret[1], addr, addrlen);
1803   ret->addrlen = addrlen;
1804   ret->expires = GNUNET_TIME_relative_to_absolute
1805     (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
1806   ret->latency = GNUNET_TIME_relative_get_forever();
1807   ret->distance = -1;
1808   ret->timeout = GNUNET_TIME_relative_to_absolute
1809     (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
1810   ret->ready_list = head;
1811   ret->next = head->addresses;
1812   head->addresses = ret;
1813   return ret;
1814 }
1815
1816
1817 /**
1818  * Closure for 'add_validated_address'.
1819  */
1820 struct AddValidatedAddressContext
1821 {
1822   /**
1823    * Entry that has been validated.
1824    */
1825   const struct ValidationEntry *ve;
1826
1827   /**
1828    * Flag set after we have added the address so
1829    * that we terminate the iteration next time.
1830    */
1831   int done;
1832 };
1833
1834
1835 /**
1836  * Callback function used to fill a buffer of max bytes with a list of
1837  * addresses in the format used by HELLOs.  Should use
1838  * "GNUNET_HELLO_add_address" as a helper function.
1839  *
1840  * @param cls the 'struct AddValidatedAddressContext' with the validated address
1841  * @param max maximum number of bytes that can be written to buf
1842  * @param buf where to write the address information
1843  * @return number of bytes written, 0 to signal the
1844  *         end of the iteration.
1845  */
1846 static size_t
1847 add_validated_address (void *cls,
1848                        size_t max, void *buf)
1849 {
1850   struct AddValidatedAddressContext *avac = cls;
1851   const struct ValidationEntry *ve = avac->ve;
1852
1853   if (GNUNET_YES == avac->done)
1854     return 0;
1855   avac->done = GNUNET_YES;
1856   return GNUNET_HELLO_add_address (ve->transport_name,
1857                                    GNUNET_TIME_relative_to_absolute (HELLO_ADDRESS_EXPIRATION),
1858                                    ve->addr,
1859                                    ve->addrlen,
1860                                    buf,
1861                                    max);
1862 }
1863
1864
1865
1866 /**
1867  * Closure for 'check_address_exists'.
1868  */
1869 struct CheckAddressExistsClosure
1870 {
1871   /**
1872    * Address to check for.
1873    */
1874   const void *addr;
1875
1876   /**
1877    * Name of the transport.
1878    */
1879   const char *tname;
1880
1881   /**
1882    * Length of addr.
1883    */
1884   size_t addrlen;
1885
1886   /**
1887    * Set to GNUNET_YES if the address exists.
1888    */
1889   int exists;
1890 };
1891
1892
1893 /**
1894  * Iterator over hash map entries.  Checks if the given
1895  * validation entry is for the same address as what is given
1896  * in the closure.
1897  *
1898  * @param cls the 'struct CheckAddressExistsClosure*'
1899  * @param key current key code (ignored)
1900  * @param value value in the hash map ('struct ValidationEntry')
1901  * @return GNUNET_YES if we should continue to
1902  *         iterate (mismatch), GNUNET_NO if not (entry matched)
1903  */
1904 static int
1905 check_address_exists (void *cls,
1906                       const GNUNET_HashCode * key,
1907                       void *value)
1908 {
1909   struct CheckAddressExistsClosure *caec = cls;
1910   struct ValidationEntry *ve = value;
1911   if ( (0 == strcmp (caec->tname,
1912                      ve->transport_name)) &&
1913        (caec->addrlen == ve->addrlen) &&
1914        (0 == memcmp (caec->addr,
1915                      ve->addr,
1916                      caec->addrlen)) )
1917     {
1918       caec->exists = GNUNET_YES;
1919       return GNUNET_NO;
1920     }
1921   return GNUNET_YES;
1922 }
1923
1924
1925 /**
1926  * HELLO validation cleanup task (validation failed).
1927  *
1928  * @param cls the 'struct ValidationEntry' that failed
1929  * @param tc scheduler context (unused)
1930  */
1931 static void
1932 timeout_hello_validation (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1933 {
1934   struct ValidationEntry *va = cls;
1935   struct GNUNET_PeerIdentity pid;
1936
1937   GNUNET_STATISTICS_update (stats,
1938                             gettext_noop ("# address validation timeouts"),
1939                             1,
1940                             GNUNET_NO);
1941   GNUNET_CRYPTO_hash (&va->publicKey,
1942                       sizeof (struct
1943                               GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
1944                       &pid.hashPubKey);
1945   GNUNET_CONTAINER_multihashmap_remove (validation_map,
1946                                         &pid.hashPubKey,
1947                                         va);
1948   GNUNET_free (va->transport_name);
1949   GNUNET_free (va);
1950 }
1951
1952
1953 static void
1954 neighbour_timeout_task (void *cls,
1955                        const struct GNUNET_SCHEDULER_TaskContext *tc)
1956 {
1957   struct NeighbourList *n = cls;
1958
1959 #if DEBUG_TRANSPORT
1960   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG | GNUNET_ERROR_TYPE_BULK,
1961               "Neighbour `%4s' has timed out!\n", GNUNET_i2s (&n->id));
1962 #endif
1963   GNUNET_STATISTICS_update (stats,
1964                             gettext_noop ("# disconnects due to timeout"),
1965                             1,
1966                             GNUNET_NO);
1967   n->timeout_task = GNUNET_SCHEDULER_NO_TASK;
1968   disconnect_neighbour (n, GNUNET_NO);
1969 }
1970
1971
1972 /**
1973  * Schedule the job that will cause us to send a PING to the
1974  * foreign address to evaluate its validity and latency.
1975  *
1976  * @param fal address to PING
1977  */
1978 static void
1979 schedule_next_ping (struct ForeignAddressList *fal);
1980
1981
1982 /**
1983  * Add the given address to the list of foreign addresses
1984  * available for the given peer (check for duplicates).
1985  *
1986  * @param cls the respective 'struct NeighbourList' to update
1987  * @param tname name of the transport
1988  * @param expiration expiration time
1989  * @param addr the address
1990  * @param addrlen length of the address
1991  * @return GNUNET_OK (always)
1992  */
1993 static int
1994 add_to_foreign_address_list (void *cls,
1995                              const char *tname,
1996                              struct GNUNET_TIME_Absolute expiration,
1997                              const void *addr, size_t addrlen)
1998 {
1999   struct NeighbourList *n = cls;
2000   struct ForeignAddressList *fal;
2001   int try;
2002
2003   GNUNET_STATISTICS_update (stats,
2004                             gettext_noop ("# valid peer addresses returned by peerinfo"),
2005                             1,
2006                             GNUNET_NO);
2007   try = GNUNET_NO;
2008   fal = find_peer_address (n, tname, addr, addrlen);
2009   if (fal == NULL)
2010     {
2011 #if DEBUG_TRANSPORT
2012       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2013                   "Adding address `%s' (%s) for peer `%4s' due to peerinfo data for %llums.\n",
2014                   GNUNET_a2s (addr, addrlen),
2015                   tname,
2016                   GNUNET_i2s (&n->id),
2017                   expiration.value);
2018 #endif
2019       fal = add_peer_address (n, tname, addr, addrlen);
2020       if (fal == NULL)
2021         {
2022           GNUNET_STATISTICS_update (stats,
2023                                     gettext_noop ("# previously validated addresses lacking transport"),
2024                                     1,
2025                                     GNUNET_NO);
2026         }
2027       else
2028         {
2029           fal->expires = GNUNET_TIME_absolute_max (expiration,
2030                                                    fal->expires);
2031           schedule_next_ping (fal);
2032         }
2033       try = GNUNET_YES;
2034     }
2035   else
2036     {
2037       fal->expires = GNUNET_TIME_absolute_max (expiration,
2038                                                fal->expires);
2039     }
2040   if (fal == NULL)
2041     {
2042       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2043                   "Failed to add new address for `%4s'\n",
2044                   GNUNET_i2s (&n->id));
2045       return GNUNET_OK;
2046     }
2047   if (fal->validated == GNUNET_NO)
2048     {
2049       fal->validated = GNUNET_YES;
2050       GNUNET_STATISTICS_update (stats,
2051                                 gettext_noop ("# peer addresses considered valid"),
2052                                 1,
2053                                 GNUNET_NO);
2054     }
2055   if (try == GNUNET_YES)
2056     {
2057       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2058                   "Have new addresses, will try to trigger transmissions.\n");
2059       try_transmission_to_peer (n);
2060     }
2061   return GNUNET_OK;
2062 }
2063
2064
2065 /**
2066  * Add addresses in validated HELLO "h" to the set of addresses
2067  * we have for this peer.
2068  *
2069  * @param cls closure ('struct NeighbourList*')
2070  * @param peer id of the peer, NULL for last call
2071  * @param h hello message for the peer (can be NULL)
2072  * @param trust amount of trust we have in the peer (not used)
2073  */
2074 static void
2075 add_hello_for_peer (void *cls,
2076                     const struct GNUNET_PeerIdentity *peer,
2077                     const struct GNUNET_HELLO_Message *h,
2078                     uint32_t trust)
2079 {
2080   struct NeighbourList *n = cls;
2081
2082   if (peer == NULL)
2083     {
2084       n->piter = NULL;
2085       return;
2086     }
2087   if (h == NULL)
2088     return; /* no HELLO available */
2089 #if DEBUG_TRANSPORT
2090   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2091               "Peerinfo had `%s' message for peer `%4s', adding existing addresses.\n",
2092               "HELLO",
2093               GNUNET_i2s (peer));
2094 #endif
2095   if (GNUNET_YES != n->public_key_valid)
2096     {
2097       GNUNET_HELLO_get_key (h, &n->publicKey);
2098       n->public_key_valid = GNUNET_YES;
2099     }
2100   GNUNET_HELLO_iterate_addresses (h,
2101                                   GNUNET_NO,
2102                                   &add_to_foreign_address_list,
2103                                   n);
2104 }
2105
2106
2107 /**
2108  * Create a fresh entry in our neighbour list for the given peer.
2109  * Will try to transmit our current HELLO to the new neighbour.
2110  *
2111  * @param peer the peer for which we create the entry
2112  * @return the new neighbour list entry
2113  */
2114 static struct NeighbourList *
2115 setup_new_neighbour (const struct GNUNET_PeerIdentity *peer)
2116 {
2117   struct NeighbourList *n;
2118   struct TransportPlugin *tp;
2119   struct ReadyList *rl;
2120
2121   GNUNET_assert (our_hello != NULL);
2122   GNUNET_STATISTICS_update (stats,
2123                             gettext_noop ("# active neighbours"),
2124                             1,
2125                             GNUNET_NO);
2126   n = GNUNET_malloc (sizeof (struct NeighbourList));
2127   n->next = neighbours;
2128   neighbours = n;
2129   n->id = *peer;
2130   n->peer_timeout =
2131     GNUNET_TIME_relative_to_absolute
2132     (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
2133   GNUNET_BANDWIDTH_tracker_init (&n->in_tracker,
2134                                  GNUNET_CONSTANTS_DEFAULT_BW_IN_OUT,
2135                                  MAX_BANDWIDTH_CARRY_S);
2136   tp = plugins;
2137   while (tp != NULL)
2138     {
2139       if (tp->api->send != NULL)
2140         {
2141           rl = GNUNET_malloc (sizeof (struct ReadyList));
2142           rl->neighbour = n;
2143           rl->next = n->plugins;
2144           n->plugins = rl;
2145           rl->plugin = tp;
2146           rl->addresses = NULL;
2147         }
2148       tp = tp->next;
2149     }
2150   n->latency = GNUNET_TIME_UNIT_FOREVER_REL;
2151   n->distance = -1;
2152   n->timeout_task = GNUNET_SCHEDULER_add_delayed (sched,
2153                                                   GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT,
2154                                                   &neighbour_timeout_task, n);
2155   n->piter = GNUNET_PEERINFO_iterate (cfg, sched, peer,
2156                                       0, GNUNET_TIME_UNIT_FOREVER_REL,
2157                                       &add_hello_for_peer, n);
2158   transmit_to_peer (NULL, NULL, 0,
2159                     HELLO_ADDRESS_EXPIRATION,
2160                     (const char *) our_hello, GNUNET_HELLO_size(our_hello),
2161                     GNUNET_NO, n);
2162   return n;
2163 }
2164
2165
2166 /**
2167  * Send periodic PING messages to a give foreign address.
2168  *
2169  * @param cls our 'struct PeriodicValidationContext*'
2170  * @param tc task context
2171  */
2172 static void
2173 send_periodic_ping (void *cls,
2174                     const struct GNUNET_SCHEDULER_TaskContext *tc)
2175 {
2176   struct ForeignAddressList *peer_address = cls;
2177   struct TransportPlugin *tp;
2178   struct ValidationEntry *va;
2179   struct NeighbourList *neighbour;
2180   struct TransportPingMessage ping;
2181   struct CheckAddressExistsClosure caec;
2182   char * message_buf;
2183   uint16_t hello_size;
2184   size_t tsize;
2185
2186   peer_address->revalidate_task = GNUNET_SCHEDULER_NO_TASK;
2187   if (tc->reason == GNUNET_SCHEDULER_REASON_SHUTDOWN)
2188     return;
2189   tp = peer_address->ready_list->plugin;
2190   neighbour = peer_address->ready_list->neighbour;
2191   if (GNUNET_YES != neighbour->public_key_valid)
2192     {
2193       /* no public key yet, try again later */
2194       schedule_next_ping (peer_address);
2195       return;
2196     }
2197   caec.addr = peer_address->addr;
2198   caec.addrlen = peer_address->addrlen;
2199   caec.tname = tp->short_name;
2200   caec.exists = GNUNET_NO;
2201   GNUNET_CONTAINER_multihashmap_iterate (validation_map,
2202                                          &check_address_exists,
2203                                          &caec);
2204   if (caec.exists == GNUNET_YES)
2205     {
2206       /* During validation attempts we will likely trigger the other
2207          peer trying to validate our address which in turn will cause
2208          it to send us its HELLO, so we expect to hit this case rather
2209          frequently.  Only print something if we are very verbose. */
2210 #if DEBUG_TRANSPORT > 1
2211       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2212                   "Some validation of address `%s' via `%s' for peer `%4s' already in progress.\n",
2213                   GNUNET_a2s (peer_address->addr,
2214                               peer_address->addrlen),
2215                   tp->short_name,
2216                   GNUNET_i2s (&neighbour->id));
2217 #endif
2218       schedule_next_ping (peer_address);
2219       return;
2220     }
2221   va = GNUNET_malloc (sizeof (struct ValidationEntry) + peer_address->addrlen);
2222   va->transport_name = GNUNET_strdup (tp->short_name);
2223   va->challenge = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK,
2224                                             (unsigned int) -1);
2225   va->send_time = GNUNET_TIME_absolute_get();
2226   va->addr = (const void*) &va[1];
2227   memcpy (&va[1], peer_address->addr, peer_address->addrlen);
2228   va->addrlen = peer_address->addrlen;
2229
2230   memcpy(&va->publicKey,
2231          &neighbour->publicKey,
2232          sizeof(struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded));
2233
2234   va->timeout_task = GNUNET_SCHEDULER_add_delayed (sched,
2235                                                    HELLO_VERIFICATION_TIMEOUT,
2236                                                    &timeout_hello_validation,
2237                                                    va);
2238   GNUNET_CONTAINER_multihashmap_put (validation_map,
2239                                      &neighbour->id.hashPubKey,
2240                                      va,
2241                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
2242   hello_size = GNUNET_HELLO_size(our_hello);
2243   tsize = sizeof(struct TransportPingMessage) + hello_size;
2244   message_buf = GNUNET_malloc(tsize);
2245   ping.challenge = htonl(va->challenge);
2246   ping.header.size = htons(sizeof(struct TransportPingMessage));
2247   ping.header.type = htons(GNUNET_MESSAGE_TYPE_TRANSPORT_PING);
2248   memcpy(&ping.target, &neighbour->id, sizeof(struct GNUNET_PeerIdentity));
2249   memcpy(message_buf, our_hello, hello_size);
2250   memcpy(&message_buf[hello_size],
2251          &ping,
2252          sizeof(struct TransportPingMessage));
2253 #if DEBUG_TRANSPORT_REVALIDATION
2254   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2255               "Performing re-validation of address `%s' via `%s' for peer `%4s' sending `%s' (%u bytes) and `%s' (%u bytes)\n",
2256               GNUNET_a2s (peer_address->addr,
2257                           peer_address->addrlen),
2258               tp->short_name,
2259               GNUNET_i2s (&neighbour->id),
2260               "HELLO", hello_size,
2261               "PING", sizeof (struct TransportPingMessage));
2262 #endif
2263   GNUNET_STATISTICS_update (stats,
2264                             gettext_noop ("# PING messages sent for re-validation"),
2265                             1,
2266                             GNUNET_NO);
2267   transmit_to_peer (NULL, peer_address,
2268                     GNUNET_SCHEDULER_PRIORITY_DEFAULT,
2269                     HELLO_VERIFICATION_TIMEOUT,
2270                     message_buf, tsize,
2271                     GNUNET_YES, neighbour);
2272   GNUNET_free(message_buf);
2273   schedule_next_ping (peer_address);
2274 }
2275
2276
2277 /**
2278  * Schedule the job that will cause us to send a PING to the
2279  * foreign address to evaluate its validity and latency.
2280  *
2281  * @param fal address to PING
2282  */
2283 static void
2284 schedule_next_ping (struct ForeignAddressList *fal)
2285 {
2286   struct GNUNET_TIME_Relative delay;
2287
2288   if (fal->revalidate_task != GNUNET_SCHEDULER_NO_TASK)
2289     return;
2290   delay = GNUNET_TIME_absolute_get_remaining (fal->expires);
2291   delay.value /= 2; /* do before expiration */
2292   delay = GNUNET_TIME_relative_min (delay,
2293                                     LATENCY_EVALUATION_MAX_DELAY);
2294   if (GNUNET_YES != fal->estimated)
2295     {
2296       delay = GNUNET_TIME_UNIT_ZERO;
2297       fal->estimated = GNUNET_YES;
2298     }
2299   if (GNUNET_YES == fal->connected)
2300     {
2301       delay = GNUNET_TIME_relative_min (delay,
2302                                         CONNECTED_LATENCY_EVALUATION_MAX_DELAY);
2303     }
2304   /* FIXME: also adjust delay based on how close the last
2305      observed latency is to the latency of the best alternative */
2306   /* bound how fast we can go */
2307   delay = GNUNET_TIME_relative_max (delay,
2308                                     GNUNET_TIME_UNIT_SECONDS);
2309   /* randomize a bit (to avoid doing all at the same time) */
2310   delay.value += GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, 1000);
2311   fal->revalidate_task = GNUNET_SCHEDULER_add_delayed(sched,
2312                                                       delay,
2313                                                       &send_periodic_ping,
2314                                                       fal);
2315 }
2316
2317
2318 /**
2319  * Iterator over hash map entries.  Checks if the given validation
2320  * entry is for the same challenge as what is given in the PONG.
2321  *
2322  * @param cls the 'struct TransportPongMessage*'
2323  * @param key peer identity
2324  * @param value value in the hash map ('struct ValidationEntry')
2325  * @return GNUNET_YES if we should continue to
2326  *         iterate (mismatch), GNUNET_NO if not (entry matched)
2327  */
2328 static int
2329 check_pending_validation (void *cls,
2330                           const GNUNET_HashCode * key,
2331                           void *value)
2332 {
2333   const struct TransportPongMessage *pong = cls;
2334   struct ValidationEntry *ve = value;
2335   struct AddValidatedAddressContext avac;
2336   unsigned int challenge = ntohl(pong->challenge);
2337   struct GNUNET_HELLO_Message *hello;
2338   struct GNUNET_PeerIdentity target;
2339   struct NeighbourList *n;
2340   struct ForeignAddressList *fal;
2341
2342   if (ve->challenge != challenge)
2343     return GNUNET_YES;
2344
2345 #if DEBUG_TRANSPORT
2346   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2347               "Confirmed validity of address, peer `%4s' has address `%s' (%s).\n",
2348               GNUNET_h2s (key),
2349               GNUNET_a2s ((const struct sockaddr *) ve->addr,
2350                           ve->addrlen),
2351               ve->transport_name);
2352 #endif
2353   GNUNET_STATISTICS_update (stats,
2354                             gettext_noop ("# address validation successes"),
2355                             1,
2356                             GNUNET_NO);
2357   /* create the updated HELLO */
2358   GNUNET_CRYPTO_hash (&ve->publicKey,
2359                       sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
2360                       &target.hashPubKey);
2361   avac.done = GNUNET_NO;
2362   avac.ve = ve;
2363   hello = GNUNET_HELLO_create (&ve->publicKey,
2364                                &add_validated_address,
2365                                &avac);
2366   GNUNET_PEERINFO_add_peer (cfg, sched,
2367                             &target,
2368                             hello);
2369   GNUNET_free (hello);
2370   n = find_neighbour (&target);
2371   if (n != NULL)
2372     {
2373       n->publicKey = ve->publicKey;
2374       n->public_key_valid = GNUNET_YES;
2375       fal = add_peer_address (n,
2376                               ve->transport_name,
2377                               ve->addr,
2378                               ve->addrlen);
2379       GNUNET_assert (fal != NULL);
2380       fal->expires = GNUNET_TIME_relative_to_absolute (HELLO_ADDRESS_EXPIRATION);
2381       fal->validated = GNUNET_YES;
2382       GNUNET_STATISTICS_update (stats,
2383                                 gettext_noop ("# peer addresses considered valid"),
2384                                 1,
2385                                 GNUNET_NO);
2386       fal->latency = GNUNET_TIME_absolute_get_duration (ve->send_time);
2387       schedule_next_ping (fal);
2388       if (n->latency.value == GNUNET_TIME_UNIT_FOREVER_REL.value)
2389         n->latency = fal->latency;
2390       else
2391         n->latency.value = (fal->latency.value + n->latency.value) / 2;
2392       n->distance = fal->distance;
2393       if (GNUNET_NO == n->received_pong)
2394         {
2395           notify_clients_connect (&target, n->latency, n->distance);
2396           n->received_pong = GNUNET_YES;
2397         }
2398       if (n->retry_task != GNUNET_SCHEDULER_NO_TASK)
2399         {
2400           GNUNET_SCHEDULER_cancel (sched,
2401                                    n->retry_task);
2402           n->retry_task = GNUNET_SCHEDULER_NO_TASK;
2403           try_transmission_to_peer (n);
2404         }
2405     }
2406
2407   /* clean up validation entry */
2408   GNUNET_assert (GNUNET_YES ==
2409                  GNUNET_CONTAINER_multihashmap_remove (validation_map,
2410                                                        key,
2411                                                        ve));
2412   GNUNET_SCHEDULER_cancel (sched,
2413                            ve->timeout_task);
2414   GNUNET_free (ve->transport_name);
2415   GNUNET_free (ve);
2416   return GNUNET_NO;
2417 }
2418
2419
2420 /**
2421  * Function that will be called if we receive a validation
2422  * of an address challenge that we transmitted to another
2423  * peer.  Note that the validation should only be considered
2424  * acceptable if the challenge matches AND if the sender
2425  * address is at least a plausible address for this peer
2426  * (otherwise we may be seeing a MiM attack).
2427  *
2428  * @param cls closure
2429  * @param message the pong message
2430  * @param peer who responded to our challenge
2431  * @param sender_address string describing our sender address (as observed
2432  *         by the other peer in binary format)
2433  * @param sender_address_len number of bytes in 'sender_address'
2434  */
2435 static void
2436 handle_pong (void *cls, const struct GNUNET_MessageHeader *message,
2437              const struct GNUNET_PeerIdentity *peer,
2438              const char *sender_address,
2439              size_t sender_address_len)
2440 {
2441 #if DEBUG_TRANSPORT > 1
2442   /* we get tons of these that just get discarded, only log
2443      if we are quite verbose */
2444   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2445               "Receiving `%s' message from `%4s'.\n", "PONG",
2446               GNUNET_i2s (peer));
2447 #endif
2448   GNUNET_STATISTICS_update (stats,
2449                             gettext_noop ("# PONG messages received"),
2450                             1,
2451                             GNUNET_NO);
2452   if (GNUNET_SYSERR !=
2453       GNUNET_CONTAINER_multihashmap_get_multiple (validation_map,
2454                                                   &peer->hashPubKey,
2455                                                   &check_pending_validation,
2456                                                   (void*) message))
2457     {
2458       /* This is *expected* to happen a lot since we send
2459          PONGs to *all* known addresses of the sender of
2460          the PING, so most likely we get multiple PONGs
2461          per PING, and all but the first PONG will end up
2462          here. So really we should not print anything here
2463          unless we want to be very, very verbose... */
2464 #if DEBUG_TRANSPORT > 2
2465       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2466                   "Received `%s' message from `%4s' but have no record of a matching `%s' message. Ignoring.\n",
2467                   "PONG",
2468                   GNUNET_i2s (peer),
2469                   "PING");
2470 #endif
2471       return;
2472     }
2473
2474 #if 0
2475   /* FIXME: add given address to potential pool of our addresses
2476      (for voting) */
2477   GNUNET_log (GNUNET_ERROR_TYPE_INFO | GNUNET_ERROR_TYPE_BULK,
2478               _("Another peer saw us using the address `%s' via `%s'.\n"),
2479               GNUNET_a2s ((const struct sockaddr *) &pong[1],
2480                           ntohs(pong->addrlen)),
2481               va->transport_name);
2482 #endif
2483 }
2484
2485
2486 /**
2487  * Check if the given address is already being validated; if not,
2488  * append the given address to the list of entries that are being be
2489  * validated and initiate validation.
2490  *
2491  * @param cls closure ('struct CheckHelloValidatedContext *')
2492  * @param tname name of the transport
2493  * @param expiration expiration time
2494  * @param addr the address
2495  * @param addrlen length of the address
2496  * @return GNUNET_OK (always)
2497  */
2498 static int
2499 run_validation (void *cls,
2500                 const char *tname,
2501                 struct GNUNET_TIME_Absolute expiration,
2502                 const void *addr, size_t addrlen)
2503 {
2504   struct CheckHelloValidatedContext *chvc = cls;
2505   struct GNUNET_PeerIdentity id;
2506   struct TransportPlugin *tp;
2507   struct ValidationEntry *va;
2508   struct NeighbourList *neighbour;
2509   struct ForeignAddressList *peer_address;
2510   struct TransportPingMessage ping;
2511   struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded pk;
2512   struct CheckAddressExistsClosure caec;
2513   char * message_buf;
2514   uint16_t hello_size;
2515   size_t tsize;
2516
2517   GNUNET_STATISTICS_update (stats,
2518                             gettext_noop ("# peer addresses scheduled for validation"),
2519                             1,
2520                             GNUNET_NO);
2521   tp = find_transport (tname);
2522   if (tp == NULL)
2523     {
2524       GNUNET_log (GNUNET_ERROR_TYPE_INFO |
2525                   GNUNET_ERROR_TYPE_BULK,
2526                   _
2527                   ("Transport `%s' not loaded, will not try to validate peer address using this transport.\n"),
2528                   tname);
2529       GNUNET_STATISTICS_update (stats,
2530                                 gettext_noop ("# peer addresses not validated (no applicable transport plugin available)"),
2531                                 1,
2532                                 GNUNET_NO);
2533       return GNUNET_OK;
2534     }
2535   GNUNET_HELLO_get_key (chvc->hello, &pk);
2536   GNUNET_CRYPTO_hash (&pk,
2537                       sizeof (struct
2538                               GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
2539                       &id.hashPubKey);
2540   caec.addr = addr;
2541   caec.addrlen = addrlen;
2542   caec.tname = tname;
2543   caec.exists = GNUNET_NO;
2544   GNUNET_CONTAINER_multihashmap_iterate (validation_map,
2545                                          &check_address_exists,
2546                                          &caec);
2547   if (caec.exists == GNUNET_YES)
2548     {
2549       /* During validation attempts we will likely trigger the other
2550          peer trying to validate our address which in turn will cause
2551          it to send us its HELLO, so we expect to hit this case rather
2552          frequently.  Only print something if we are very verbose. */
2553 #if DEBUG_TRANSPORT > 1
2554       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2555                   "Validation of address `%s' via `%s' for peer `%4s' already in progress.\n",
2556                   GNUNET_a2s (addr, addrlen),
2557                   tname,
2558                   GNUNET_i2s (&id));
2559 #endif
2560       GNUNET_STATISTICS_update (stats,
2561                                 gettext_noop ("# peer addresses not validated (in progress)"),
2562                                 1,
2563                                 GNUNET_NO);
2564       return GNUNET_OK;
2565     }
2566   va = GNUNET_malloc (sizeof (struct ValidationEntry) + addrlen);
2567   va->transport_name = GNUNET_strdup (tname);
2568   va->challenge = GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK,
2569                                             (unsigned int) -1);
2570   va->send_time = GNUNET_TIME_absolute_get();
2571   va->addr = (const void*) &va[1];
2572   memcpy (&va[1], addr, addrlen);
2573   va->addrlen = addrlen;
2574   GNUNET_HELLO_get_key (chvc->hello,
2575                         &va->publicKey);
2576   va->timeout_task = GNUNET_SCHEDULER_add_delayed (sched,
2577                                                    HELLO_VERIFICATION_TIMEOUT,
2578                                                    &timeout_hello_validation,
2579                                                    va);
2580   GNUNET_CONTAINER_multihashmap_put (validation_map,
2581                                      &id.hashPubKey,
2582                                      va,
2583                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_MULTIPLE);
2584   neighbour = find_neighbour(&id);
2585   if (neighbour == NULL)
2586     neighbour = setup_new_neighbour(&id);
2587   neighbour->publicKey = va->publicKey;
2588   neighbour->public_key_valid = GNUNET_YES;
2589   peer_address = add_peer_address(neighbour, tname, addr, addrlen);
2590   GNUNET_assert(peer_address != NULL);
2591   hello_size = GNUNET_HELLO_size(our_hello);
2592   tsize = sizeof(struct TransportPingMessage) + hello_size;
2593   message_buf = GNUNET_malloc(tsize);
2594   ping.challenge = htonl(va->challenge);
2595   ping.header.size = htons(sizeof(struct TransportPingMessage));
2596   ping.header.type = htons(GNUNET_MESSAGE_TYPE_TRANSPORT_PING);
2597   memcpy(&ping.target, &id, sizeof(struct GNUNET_PeerIdentity));
2598   memcpy(message_buf, our_hello, hello_size);
2599   memcpy(&message_buf[hello_size],
2600          &ping,
2601          sizeof(struct TransportPingMessage));
2602 #if DEBUG_TRANSPORT
2603   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2604               "Performing validation of address `%s' via `%s' for peer `%4s' sending `%s' (%u bytes) and `%s' (%u bytes)\n",
2605               GNUNET_a2s (addr, addrlen),
2606               tname,
2607               GNUNET_i2s (&id),
2608               "HELLO", hello_size,
2609               "PING", sizeof (struct TransportPingMessage));
2610 #endif
2611   GNUNET_STATISTICS_update (stats,
2612                             gettext_noop ("# PING messages sent for initial validation"),
2613                             1,
2614                             GNUNET_NO);
2615   transmit_to_peer (NULL, peer_address,
2616                     GNUNET_SCHEDULER_PRIORITY_DEFAULT,
2617                     HELLO_VERIFICATION_TIMEOUT,
2618                     message_buf, tsize,
2619                     GNUNET_YES, neighbour);
2620   GNUNET_free(message_buf);
2621   return GNUNET_OK;
2622 }
2623
2624
2625 /**
2626  * Check if addresses in validated hello "h" overlap with
2627  * those in "chvc->hello" and validate the rest.
2628  *
2629  * @param cls closure
2630  * @param peer id of the peer, NULL for last call
2631  * @param h hello message for the peer (can be NULL)
2632  * @param trust amount of trust we have in the peer (not used)
2633  */
2634 static void
2635 check_hello_validated (void *cls,
2636                        const struct GNUNET_PeerIdentity *peer,
2637                        const struct GNUNET_HELLO_Message *h,
2638                        uint32_t trust)
2639 {
2640   struct CheckHelloValidatedContext *chvc = cls;
2641   struct GNUNET_HELLO_Message *plain_hello;
2642   struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded pk;
2643   struct GNUNET_PeerIdentity target;
2644   struct NeighbourList *n;
2645
2646   if (peer == NULL)
2647     {
2648       chvc->piter = NULL;
2649       GNUNET_CONTAINER_DLL_remove (chvc_head,
2650                                    chvc_tail,
2651                                    chvc);
2652       if (GNUNET_NO == chvc->hello_known)
2653         {
2654           /* notify PEERINFO about the peer now, so that we at least
2655              have the public key if some other component needs it */
2656           GNUNET_HELLO_get_key (chvc->hello, &pk);
2657           GNUNET_CRYPTO_hash (&pk,
2658                               sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
2659                               &target.hashPubKey);
2660           plain_hello = GNUNET_HELLO_create (&pk,
2661                                              NULL,
2662                                              NULL);
2663           GNUNET_PEERINFO_add_peer (cfg, sched, &target, plain_hello);
2664           GNUNET_free (plain_hello);
2665 #if DEBUG_TRANSPORT
2666           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2667                       "Peerinfo had no `%s' message for peer `%4s', full validation needed.\n",
2668                       "HELLO",
2669                       GNUNET_i2s (&target));
2670 #endif
2671           GNUNET_STATISTICS_update (stats,
2672                                     gettext_noop ("# new HELLOs requiring full validation"),
2673                                     1,
2674                                     GNUNET_NO);
2675           GNUNET_HELLO_iterate_addresses (chvc->hello,
2676                                           GNUNET_NO,
2677                                           &run_validation,
2678                                           chvc);
2679         }
2680       else
2681         {
2682           GNUNET_STATISTICS_update (stats,
2683                                     gettext_noop ("# duplicate HELLO (peer known)"),
2684                                     1,
2685                                     GNUNET_NO);
2686         }
2687       GNUNET_free (chvc);
2688       return;
2689     }
2690   if (h == NULL)
2691     return;
2692 #if DEBUG_TRANSPORT
2693   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2694               "Peerinfo had `%s' message for peer `%4s', validating only new addresses.\n",
2695               "HELLO",
2696               GNUNET_i2s (peer));
2697 #endif
2698   chvc->hello_known = GNUNET_YES;
2699   n = find_neighbour (peer);
2700   if (n != NULL)
2701     {
2702       GNUNET_HELLO_iterate_addresses (h,
2703                                       GNUNET_NO,
2704                                       &add_to_foreign_address_list,
2705                                       n);
2706       try_transmission_to_peer (n);
2707     }
2708   else
2709     {
2710       GNUNET_STATISTICS_update (stats,
2711                                 gettext_noop ("# no existing neighbour record (validating HELLO)"),
2712                                 1,
2713                                 GNUNET_NO);
2714     }
2715   GNUNET_STATISTICS_update (stats,
2716                             gettext_noop ("# HELLO validations (update case)"),
2717                             1,
2718                             GNUNET_NO);
2719   GNUNET_HELLO_iterate_new_addresses (chvc->hello,
2720                                       h,
2721                                       GNUNET_TIME_relative_to_absolute (HELLO_REVALIDATION_START_TIME),
2722                                       &run_validation,
2723                                       chvc);
2724 }
2725
2726 /**
2727  * Process HELLO-message.
2728  *
2729  * @param plugin transport involved, may be NULL
2730  * @param message the actual message
2731  * @return GNUNET_OK if the HELLO was well-formed, GNUNET_SYSERR otherwise
2732  */
2733 static int
2734 process_hello (struct TransportPlugin *plugin,
2735                const struct GNUNET_MessageHeader *message)
2736 {
2737   uint16_t hsize;
2738   struct GNUNET_PeerIdentity target;
2739   const struct GNUNET_HELLO_Message *hello;
2740   struct CheckHelloValidatedContext *chvc;
2741   struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded publicKey;
2742
2743   hsize = ntohs (message->size);
2744   if ((ntohs (message->type) != GNUNET_MESSAGE_TYPE_HELLO) ||
2745       (hsize < sizeof (struct GNUNET_MessageHeader)))
2746     {
2747       GNUNET_break (0);
2748       return GNUNET_SYSERR;
2749     }
2750   GNUNET_STATISTICS_update (stats,
2751                             gettext_noop ("# HELLOs received for validation"),
2752                             1,
2753                             GNUNET_NO);
2754   /* first, check if load is too high */
2755   if (GNUNET_SCHEDULER_get_load (sched,
2756                                  GNUNET_SCHEDULER_PRIORITY_BACKGROUND) > MAX_HELLO_LOAD)
2757     {
2758       GNUNET_STATISTICS_update (stats,
2759                                 gettext_noop ("# HELLOs ignored due to high load"),
2760                                 1,
2761                                 GNUNET_NO);
2762       return GNUNET_OK;
2763     }
2764   hello = (const struct GNUNET_HELLO_Message *) message;
2765   if (GNUNET_OK != GNUNET_HELLO_get_key (hello, &publicKey))
2766     {
2767       GNUNET_break_op (0);
2768       return GNUNET_SYSERR;
2769     }
2770   GNUNET_CRYPTO_hash (&publicKey,
2771                       sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded),
2772                       &target.hashPubKey);
2773   if (0 == memcmp (&my_identity,
2774                    &target,
2775                    sizeof (struct GNUNET_PeerIdentity)))
2776     {
2777       GNUNET_STATISTICS_update (stats,
2778                                 gettext_noop ("# HELLOs ignored for validation (is my own HELLO)"),
2779                                 1,
2780                                 GNUNET_NO);
2781       return GNUNET_OK;
2782     }
2783 #if DEBUG_TRANSPORT > 1
2784   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
2785               "Processing `%s' message for `%4s' of size %u\n",
2786               "HELLO",
2787               GNUNET_i2s (&target),
2788               GNUNET_HELLO_size(hello));
2789 #endif
2790   chvc = GNUNET_malloc (sizeof (struct CheckHelloValidatedContext) + hsize);
2791   chvc->hello = (const struct GNUNET_HELLO_Message *) &chvc[1];
2792   memcpy (&chvc[1], hello, hsize);
2793   GNUNET_CONTAINER_DLL_insert (chvc_head,
2794                                chvc_tail,
2795                                chvc);
2796   /* finally, check if HELLO was previously validated
2797      (continuation will then schedule actual validation) */
2798   chvc->piter = GNUNET_PEERINFO_iterate (cfg,
2799                                          sched,
2800                                          &target,
2801                                          0,
2802                                          HELLO_VERIFICATION_TIMEOUT,
2803                                          &check_hello_validated, chvc);
2804   return GNUNET_OK;
2805 }
2806
2807
2808 /**
2809  * The peer specified by the given neighbour has timed-out or a plugin
2810  * has disconnected.  We may either need to do nothing (other plugins
2811  * still up), or trigger a full disconnect and clean up.  This
2812  * function updates our state and does the necessary notifications.
2813  * Also notifies our clients that the neighbour is now officially
2814  * gone.
2815  *
2816  * @param n the neighbour list entry for the peer
2817  * @param check should we just check if all plugins
2818  *        disconnected or must we ask all plugins to
2819  *        disconnect?
2820  */
2821 static void
2822 disconnect_neighbour (struct NeighbourList *n, int check)
2823 {
2824   struct ReadyList *rpos;
2825   struct NeighbourList *npos;
2826   struct NeighbourList *nprev;
2827   struct MessageQueue *mq;
2828   struct ForeignAddressList *peer_addresses;
2829   struct ForeignAddressList *peer_pos;
2830
2831   if (GNUNET_YES == check)
2832     {
2833       rpos = n->plugins;
2834       while (NULL != rpos)
2835         {
2836           peer_addresses = rpos->addresses;
2837           while (peer_addresses != NULL)
2838             {
2839               if (GNUNET_YES == peer_addresses->connected)
2840                 return;             /* still connected */
2841               peer_addresses = peer_addresses->next;
2842             }
2843           rpos = rpos->next;
2844         }
2845     }
2846 #if DEBUG_TRANSPORT
2847   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG | GNUNET_ERROR_TYPE_BULK,
2848               "Disconnecting from `%4s'\n",
2849               GNUNET_i2s (&n->id));
2850 #endif
2851   /* remove n from neighbours list */
2852   nprev = NULL;
2853   npos = neighbours;
2854   while ((npos != NULL) && (npos != n))
2855     {
2856       nprev = npos;
2857       npos = npos->next;
2858     }
2859   GNUNET_assert (npos != NULL);
2860   if (nprev == NULL)
2861     neighbours = n->next;
2862   else
2863     nprev->next = n->next;
2864
2865   /* notify all clients about disconnect */
2866   if (GNUNET_YES == n->received_pong)
2867     notify_clients_disconnect (&n->id);
2868
2869   /* clean up all plugins, cancel connections and pending transmissions */
2870   while (NULL != (rpos = n->plugins))
2871     {
2872       n->plugins = rpos->next;
2873       rpos->plugin->api->disconnect (rpos->plugin->api->cls, &n->id);
2874       while (rpos->addresses != NULL)
2875         {
2876           peer_pos = rpos->addresses;
2877           rpos->addresses = peer_pos->next;
2878           if (peer_pos->connected == GNUNET_YES)
2879             GNUNET_STATISTICS_update (stats,
2880                                       gettext_noop ("# connected addresses"),
2881                                       -1,
2882                                       GNUNET_NO);
2883           if (GNUNET_YES == peer_pos->validated)
2884             GNUNET_STATISTICS_update (stats,
2885                                       gettext_noop ("# peer addresses considered valid"),
2886                                       -1,
2887                                       GNUNET_NO);
2888           if (GNUNET_SCHEDULER_NO_TASK != peer_pos->revalidate_task)
2889             {
2890               GNUNET_SCHEDULER_cancel (sched,
2891                                        peer_pos->revalidate_task);
2892               peer_pos->revalidate_task = GNUNET_SCHEDULER_NO_TASK;
2893             }
2894           GNUNET_free(peer_pos);
2895         }
2896       GNUNET_free (rpos);
2897     }
2898
2899   /* free all messages on the queue */
2900   while (NULL != (mq = n->messages_head))
2901     {
2902       GNUNET_STATISTICS_update (stats,
2903                                 gettext_noop ("# bytes in message queue for other peers"),
2904                                 - (int64_t) mq->message_buf_size,
2905                                 GNUNET_NO);
2906       GNUNET_STATISTICS_update (stats,
2907                                 gettext_noop ("# bytes discarded due to disconnect"),
2908                                 mq->message_buf_size,
2909                                 GNUNET_NO);
2910       GNUNET_CONTAINER_DLL_remove (n->messages_head,
2911                                    n->messages_tail,
2912                                    mq);
2913       GNUNET_assert (0 == memcmp(&mq->neighbour_id,
2914                                  &n->id,
2915                                  sizeof(struct GNUNET_PeerIdentity)));
2916       GNUNET_free (mq);
2917     }
2918   if (n->timeout_task != GNUNET_SCHEDULER_NO_TASK)
2919     {
2920       GNUNET_SCHEDULER_cancel (sched, n->timeout_task);
2921       n->timeout_task = GNUNET_SCHEDULER_NO_TASK;
2922     }
2923   if (n->retry_task != GNUNET_SCHEDULER_NO_TASK)
2924     {
2925       GNUNET_SCHEDULER_cancel (sched, n->retry_task);
2926       n->retry_task = GNUNET_SCHEDULER_NO_TASK;
2927     }
2928   if (n->piter != NULL)
2929     {
2930       GNUNET_PEERINFO_iterate_cancel (n->piter);
2931       n->piter = NULL;
2932     }
2933   /* finally, free n itself */
2934   GNUNET_STATISTICS_update (stats,
2935                             gettext_noop ("# active neighbours"),
2936                             -1,
2937                             GNUNET_NO);
2938   GNUNET_free (n);
2939 }
2940
2941
2942 /**
2943  * We have received a PING message from someone.  Need to send a PONG message
2944  * in response to the peer by any means necessary.
2945  */
2946 static int
2947 handle_ping(void *cls, const struct GNUNET_MessageHeader *message,
2948             const struct GNUNET_PeerIdentity *peer,
2949             const char *sender_address,
2950             size_t sender_address_len)
2951 {
2952   struct TransportPlugin *plugin = cls;
2953   struct TransportPingMessage *ping;
2954   struct TransportPongMessage *pong;
2955   struct NeighbourList *n;
2956   struct ReadyList *rl;
2957   struct ForeignAddressList *fal;
2958
2959   if (ntohs (message->size) != sizeof (struct TransportPingMessage))
2960     {
2961       GNUNET_break_op (0);
2962       return GNUNET_SYSERR;
2963     }
2964   ping = (struct TransportPingMessage *) message;
2965   if (0 != memcmp (&ping->target,
2966                    plugin->env.my_identity,
2967                    sizeof (struct GNUNET_PeerIdentity)))
2968     {
2969       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
2970                   _("Received `%s' message not destined for me!\n"),
2971                   "PING");
2972       return GNUNET_SYSERR;
2973     }
2974 #if DEBUG_TRANSPORT
2975   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG | GNUNET_ERROR_TYPE_BULK,
2976               "Processing `%s' from `%s'\n",
2977               "PING",
2978               GNUNET_a2s ((const struct sockaddr *)sender_address,
2979                           sender_address_len));
2980 #endif
2981   GNUNET_STATISTICS_update (stats,
2982                             gettext_noop ("# PING messages received"),
2983                             1,
2984                             GNUNET_NO);
2985   pong = GNUNET_malloc (sizeof (struct TransportPongMessage) + sender_address_len);
2986   pong->header.size = htons (sizeof (struct TransportPongMessage) + sender_address_len);
2987   pong->header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_PONG);
2988   pong->purpose.size =
2989     htonl (sizeof (struct GNUNET_CRYPTO_RsaSignaturePurpose) +
2990            sizeof (uint32_t) +
2991            sizeof (struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded) + sender_address_len);
2992   pong->purpose.purpose = htonl (GNUNET_SIGNATURE_PURPOSE_TRANSPORT_TCP_PING);
2993   pong->challenge = ping->challenge;
2994   pong->addrlen = htons(sender_address_len);
2995   memcpy(&pong->signer,
2996          &my_public_key,
2997          sizeof(struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded));
2998   memcpy (&pong[1], sender_address, sender_address_len);
2999   GNUNET_assert (GNUNET_OK ==
3000                  GNUNET_CRYPTO_rsa_sign (my_private_key,
3001                                          &pong->purpose, &pong->signature));
3002   n = find_neighbour(peer);
3003   if (n == NULL)
3004     n = setup_new_neighbour(peer);
3005   /* first try reliable response transmission */
3006   rl = n->plugins;
3007   while (rl != NULL)
3008     {
3009       fal = rl->addresses;
3010       while (fal != NULL)
3011         {
3012           if (-1 != rl->plugin->api->send (rl->plugin->api->cls,
3013                                            peer,
3014                                            (const char*) pong,
3015                                            ntohs (pong->header.size),
3016                                            TRANSPORT_PONG_PRIORITY,
3017                                            HELLO_VERIFICATION_TIMEOUT,
3018                                            fal->addr,
3019                                            fal->addrlen,
3020                                            GNUNET_SYSERR,
3021                                            NULL, NULL))
3022             {
3023               /* done! */
3024               GNUNET_STATISTICS_update (stats,
3025                                         gettext_noop ("# PONGs unicast via reliable transport"),
3026                                         1,
3027                                         GNUNET_NO);
3028               GNUNET_free (pong);
3029               return GNUNET_OK;
3030             }
3031           fal = fal->next;
3032         }
3033       rl = rl->next;
3034     }
3035   /* no reliable method found, do multicast */
3036   GNUNET_STATISTICS_update (stats,
3037                             gettext_noop ("# PONGs multicast to all available addresses"),
3038                             1,
3039                             GNUNET_NO);
3040   rl = n->plugins;
3041   while (rl != NULL)
3042     {
3043       fal = rl->addresses;
3044       while (fal != NULL)
3045         {
3046           transmit_to_peer(NULL, fal,
3047                            TRANSPORT_PONG_PRIORITY,
3048                            HELLO_VERIFICATION_TIMEOUT,
3049                            (const char *)pong,
3050                            ntohs(pong->header.size),
3051                            GNUNET_YES,
3052                            n);
3053           fal = fal->next;
3054         }
3055       rl = rl->next;
3056     }
3057   GNUNET_free(pong);
3058   return GNUNET_OK;
3059 }
3060
3061
3062 /**
3063  * Function called by the plugin for each received message.
3064  * Update data volumes, possibly notify plugins about
3065  * reducing the rate at which they read from the socket
3066  * and generally forward to our receive callback.
3067  *
3068  * @param cls the "struct TransportPlugin *" we gave to the plugin
3069  * @param peer (claimed) identity of the other peer
3070  * @param message the message, NULL if we only care about
3071  *                learning about the delay until we should receive again
3072  * @param distance in overlay hops; use 1 unless DV (or 0 if message == NULL)
3073  * @param sender_address binary address of the sender (if observed)
3074  * @param sender_address_len number of bytes in sender_address
3075  * @return how long the plugin should wait until receiving more data
3076  *         (plugins that do not support this, can ignore the return value)
3077  */
3078 static struct GNUNET_TIME_Relative
3079 plugin_env_receive (void *cls, const struct GNUNET_PeerIdentity *peer,
3080                     const struct GNUNET_MessageHeader *message,
3081                     unsigned int distance, const char *sender_address,
3082                     size_t sender_address_len)
3083 {
3084   struct ReadyList *service_context;
3085   struct TransportPlugin *plugin = cls;
3086   struct TransportClient *cpos;
3087   struct InboundMessage *im;
3088   struct ForeignAddressList *peer_address;
3089   uint16_t msize;
3090   struct NeighbourList *n;
3091   struct GNUNET_TIME_Relative ret;
3092
3093   n = find_neighbour (peer);
3094   if (n == NULL)
3095     n = setup_new_neighbour (peer);
3096   service_context = n->plugins;
3097   while ((service_context != NULL) && (plugin != service_context->plugin))
3098     service_context = service_context->next;
3099   GNUNET_assert ((plugin->api->send == NULL) || (service_context != NULL));
3100   if (message != NULL)
3101     {
3102       peer_address = add_peer_address(n,
3103                                       plugin->short_name,
3104                                       sender_address,
3105                                       sender_address_len);
3106       if (peer_address != NULL)
3107         {
3108           peer_address->distance = distance;
3109           if (peer_address->connected == GNUNET_NO)
3110             {
3111               /* FIXME: be careful here to not mark
3112                  MULTIPLE addresses as connected! */
3113               peer_address->connected = GNUNET_YES;
3114               GNUNET_STATISTICS_update (stats,
3115                                         gettext_noop ("# connected addresses"),
3116                                         1,
3117                                         GNUNET_NO);
3118             }
3119           peer_address->timeout
3120             =
3121             GNUNET_TIME_relative_to_absolute
3122             (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
3123           schedule_next_ping (peer_address);
3124         }
3125       /* update traffic received amount ... */
3126       msize = ntohs (message->size);
3127       GNUNET_STATISTICS_update (stats,
3128                                 gettext_noop ("# bytes received from other peers"),
3129                                 msize,
3130                                 GNUNET_NO);
3131       n->distance = distance;
3132       n->peer_timeout =
3133         GNUNET_TIME_relative_to_absolute
3134         (GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT);
3135       GNUNET_SCHEDULER_cancel (sched,
3136                                n->timeout_task);
3137       n->timeout_task =
3138         GNUNET_SCHEDULER_add_delayed (sched,
3139                                       GNUNET_CONSTANTS_IDLE_CONNECTION_TIMEOUT,
3140                                       &neighbour_timeout_task, n);
3141       if (n->quota_violation_count > QUOTA_VIOLATION_DROP_THRESHOLD)
3142         {
3143           /* dropping message due to frequent inbound volume violations! */
3144           GNUNET_log (GNUNET_ERROR_TYPE_WARNING |
3145                       GNUNET_ERROR_TYPE_BULK,
3146                       _
3147                       ("Dropping incoming message due to repeated bandwidth quota (%u b/s) violations (total of %u).\n"),
3148                       n->in_tracker.available_bytes_per_s__,
3149                       n->quota_violation_count);
3150           GNUNET_STATISTICS_update (stats,
3151                                     gettext_noop ("# bandwidth quota violations by other peers"),
3152                                     1,
3153                                     GNUNET_NO);
3154           return GNUNET_CONSTANTS_QUOTA_VIOLATION_TIMEOUT;
3155         }
3156       switch (ntohs (message->type))
3157         {
3158         case GNUNET_MESSAGE_TYPE_HELLO:
3159           GNUNET_STATISTICS_update (stats,
3160                                     gettext_noop ("# HELLO messages received from other peers"),
3161                                     1,
3162                                     GNUNET_NO);
3163           process_hello (plugin, message);
3164           break;
3165         case GNUNET_MESSAGE_TYPE_TRANSPORT_PING:
3166           handle_ping(plugin, message, peer, sender_address, sender_address_len);
3167           break;
3168         case GNUNET_MESSAGE_TYPE_TRANSPORT_PONG:
3169           handle_pong(plugin, message, peer, sender_address, sender_address_len);
3170           break;
3171         default:
3172 #if DEBUG_TRANSPORT
3173           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3174                       "Received message of type %u from `%4s', sending to all clients.\n",
3175                       ntohs (message->type), GNUNET_i2s (peer));
3176 #endif
3177           if (GNUNET_YES == GNUNET_BANDWIDTH_tracker_consume (&n->in_tracker,
3178                                                               (ssize_t) msize))
3179             {
3180               n->quota_violation_count++;
3181 #if DEBUG_TRANSPORT
3182               GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3183                           "Bandwidth quota (%u b/s) violation detected (total of %u).\n",
3184                           n->in_tracker.available_bytes_per_s__,
3185                           n->quota_violation_count);
3186 #endif
3187               /* Discount 32k per violation */
3188               GNUNET_BANDWIDTH_tracker_consume (&n->in_tracker,
3189                                                 - 32 * 1024);
3190             }
3191           else
3192             {
3193               if (n->quota_violation_count > 0)
3194                 {
3195                   /* try to add 32k back */
3196                   GNUNET_BANDWIDTH_tracker_consume (&n->in_tracker,
3197                                                     32 * 1024);
3198                   n->quota_violation_count--;
3199                 }
3200             }
3201           GNUNET_STATISTICS_update (stats,
3202                                     gettext_noop ("# payload received from other peers"),
3203                                     msize,
3204                                     GNUNET_NO);
3205           /* transmit message to all clients */
3206           im = GNUNET_malloc (sizeof (struct InboundMessage) + msize);
3207           im->header.size = htons (sizeof (struct InboundMessage) + msize);
3208           im->header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_RECV);
3209           im->latency = GNUNET_TIME_relative_hton (n->latency);
3210           im->peer = *peer;
3211           memcpy (&im[1], message, msize);
3212           cpos = clients;
3213           while (cpos != NULL)
3214             {
3215               transmit_to_client (cpos, &im->header, GNUNET_YES);
3216               cpos = cpos->next;
3217             }
3218           GNUNET_free (im);
3219         }
3220     }
3221   ret = GNUNET_BANDWIDTH_tracker_get_delay (&n->in_tracker, 0);
3222   if (ret.value > 0)
3223     {
3224       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
3225                   "Throttling read (%llu bytes excess at %u b/s), waiting %llums before reading more.\n",
3226                   (unsigned long long) n->in_tracker.consumption_since_last_update__,
3227                   (unsigned int) n->in_tracker.available_bytes_per_s__,
3228                   (unsigned long long) ret.value);
3229       GNUNET_STATISTICS_update (stats,
3230                                 gettext_noop ("# ms throttling suggested"),
3231                                 (int64_t) ret.value,
3232                                 GNUNET_NO);
3233     }
3234   return ret;
3235 }
3236
3237
3238 /**
3239  * Handle START-message.  This is the first message sent to us
3240  * by any client which causes us to add it to our list.
3241  *
3242  * @param cls closure (always NULL)
3243  * @param client identification of the client
3244  * @param message the actual message
3245  */
3246 static void
3247 handle_start (void *cls,
3248               struct GNUNET_SERVER_Client *client,
3249               const struct GNUNET_MessageHeader *message)
3250 {
3251   struct TransportClient *c;
3252   struct ConnectInfoMessage cim;
3253   struct NeighbourList *n;
3254
3255 #if DEBUG_TRANSPORT
3256   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3257               "Received `%s' request from client\n", "START");
3258 #endif
3259   c = clients;
3260   while (c != NULL)
3261     {
3262       if (c->client == client)
3263         {
3264           /* client already on our list! */
3265           GNUNET_break (0);
3266           GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3267           return;
3268         }
3269       c = c->next;
3270     }
3271   c = GNUNET_malloc (sizeof (struct TransportClient));
3272   c->next = clients;
3273   clients = c;
3274   c->client = client;
3275   if (our_hello != NULL)
3276     {
3277 #if DEBUG_TRANSPORT
3278       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3279                   "Sending our own `%s' to new client\n", "HELLO");
3280 #endif
3281       transmit_to_client (c,
3282                           (const struct GNUNET_MessageHeader *) our_hello,
3283                           GNUNET_NO);
3284       /* tell new client about all existing connections */
3285       cim.header.size = htons (sizeof (struct ConnectInfoMessage));
3286       cim.header.type = htons (GNUNET_MESSAGE_TYPE_TRANSPORT_CONNECT);
3287       n = neighbours;
3288       while (n != NULL)
3289         {
3290           if (GNUNET_YES == n->received_pong)
3291             {
3292               cim.id = n->id;
3293               cim.latency = GNUNET_TIME_relative_hton (n->latency);
3294               cim.distance = htonl (n->distance);
3295               transmit_to_client (c, &cim.header, GNUNET_NO);
3296             }
3297             n = n->next;
3298         }
3299     }
3300   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3301 }
3302
3303
3304 /**
3305  * Handle HELLO-message.
3306  *
3307  * @param cls closure (always NULL)
3308  * @param client identification of the client
3309  * @param message the actual message
3310  */
3311 static void
3312 handle_hello (void *cls,
3313               struct GNUNET_SERVER_Client *client,
3314               const struct GNUNET_MessageHeader *message)
3315 {
3316   int ret;
3317
3318   GNUNET_STATISTICS_update (stats,
3319                             gettext_noop ("# HELLOs received from clients"),
3320                             1,
3321                             GNUNET_NO);
3322   ret = process_hello (NULL, message);
3323   GNUNET_SERVER_receive_done (client, ret);
3324 }
3325
3326
3327 /**
3328  * Handle SEND-message.
3329  *
3330  * @param cls closure (always NULL)
3331  * @param client identification of the client
3332  * @param message the actual message
3333  */
3334 static void
3335 handle_send (void *cls,
3336              struct GNUNET_SERVER_Client *client,
3337              const struct GNUNET_MessageHeader *message)
3338 {
3339   struct TransportClient *tc;
3340   struct NeighbourList *n;
3341   const struct OutboundMessage *obm;
3342   const struct GNUNET_MessageHeader *obmm;
3343   uint16_t size;
3344   uint16_t msize;
3345
3346   size = ntohs (message->size);
3347   if (size <
3348       sizeof (struct OutboundMessage) + sizeof (struct GNUNET_MessageHeader))
3349     {
3350       GNUNET_break (0);
3351       GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3352       return;
3353     }
3354   GNUNET_STATISTICS_update (stats,
3355                             gettext_noop ("# payload received for other peers"),
3356                             size,
3357                             GNUNET_NO);
3358   obm = (const struct OutboundMessage *) message;
3359 #if DEBUG_TRANSPORT
3360   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3361               "Received `%s' request from client with target `%4s'\n",
3362               "SEND", GNUNET_i2s (&obm->peer));
3363 #endif
3364   obmm = (const struct GNUNET_MessageHeader *) &obm[1];
3365   msize = ntohs (obmm->size);
3366   if (size != msize + sizeof (struct OutboundMessage))
3367     {
3368       GNUNET_break (0);
3369       GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3370       return;
3371     }
3372   n = find_neighbour (&obm->peer);
3373   if (n == NULL)
3374     n = setup_new_neighbour (&obm->peer);
3375   tc = clients;
3376   while ((tc != NULL) && (tc->client != client))
3377     tc = tc->next;
3378
3379 #if DEBUG_TRANSPORT
3380   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3381               "Client asked to transmit %u-byte message of type %u to `%4s'\n",
3382               ntohs (obmm->size),
3383               ntohs (obmm->type), GNUNET_i2s (&obm->peer));
3384 #endif
3385   transmit_to_peer (tc, NULL, ntohl (obm->priority),
3386                     GNUNET_TIME_relative_ntoh (obm->timeout),
3387                     (char *)obmm,
3388                     ntohs (obmm->size), GNUNET_NO, n);
3389   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3390 }
3391
3392
3393 /**
3394  * Handle SET_QUOTA-message.
3395  *
3396  * @param cls closure (always NULL)
3397  * @param client identification of the client
3398  * @param message the actual message
3399  */
3400 static void
3401 handle_set_quota (void *cls,
3402                   struct GNUNET_SERVER_Client *client,
3403                   const struct GNUNET_MessageHeader *message)
3404 {
3405   const struct QuotaSetMessage *qsm =
3406     (const struct QuotaSetMessage *) message;
3407   struct NeighbourList *n;
3408
3409   GNUNET_STATISTICS_update (stats,
3410                             gettext_noop ("# SET QUOTA messages received"),
3411                             1,
3412                             GNUNET_NO);
3413   n = find_neighbour (&qsm->peer);
3414   if (n == NULL)
3415     {
3416       GNUNET_SERVER_receive_done (client, GNUNET_OK);
3417       GNUNET_STATISTICS_update (stats,
3418                                 gettext_noop ("# SET QUOTA messages ignored (no such peer)"),
3419                                 1,
3420                                 GNUNET_NO);
3421       return;
3422     }
3423 #if DEBUG_TRANSPORT
3424   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3425               "Received `%s' request (new quota %u, old quota %u) from client for peer `%4s'\n",
3426               "SET_QUOTA",
3427               (unsigned int) ntohl (qsm->quota.value__),
3428               (unsigned int) n->in_tracker.available_bytes_per_s__,
3429               GNUNET_i2s (&qsm->peer));
3430 #endif
3431   GNUNET_BANDWIDTH_tracker_update_quota (&n->in_tracker,
3432                                          qsm->quota);
3433   if (0 == ntohl (qsm->quota.value__))
3434     disconnect_neighbour (n, GNUNET_NO);
3435   GNUNET_SERVER_receive_done (client, GNUNET_OK);
3436 }
3437
3438
3439 /**
3440  * Take the given address and append it to the set of results send back to
3441  * the client.
3442  *
3443  * @param cls the transmission context used ('struct GNUNET_SERVER_TransmitContext*')
3444  * @param address the resolved name, NULL to indicate the last response
3445  */
3446 static void
3447 transmit_address_to_client (void *cls, const char *address)
3448 {
3449   struct GNUNET_SERVER_TransmitContext *tc = cls;
3450   size_t slen;
3451
3452   if (NULL == address)
3453     slen = 0;
3454   else
3455     slen = strlen (address) + 1;
3456   GNUNET_SERVER_transmit_context_append_data (tc, address, slen,
3457                                               GNUNET_MESSAGE_TYPE_TRANSPORT_ADDRESS_REPLY);
3458   if (NULL == address)
3459     GNUNET_SERVER_transmit_context_run (tc, GNUNET_TIME_UNIT_FOREVER_REL);
3460 }
3461
3462
3463 /**
3464  * Handle AddressLookup-message.
3465  *
3466  * @param cls closure (always NULL)
3467  * @param client identification of the client
3468  * @param message the actual message
3469  */
3470 static void
3471 handle_address_lookup (void *cls,
3472                        struct GNUNET_SERVER_Client *client,
3473                        const struct GNUNET_MessageHeader *message)
3474 {
3475   const struct AddressLookupMessage *alum;
3476   struct TransportPlugin *lsPlugin;
3477   const char *nameTransport;
3478   const char *address;
3479   uint16_t size;
3480   struct GNUNET_SERVER_TransmitContext *tc;
3481   struct GNUNET_TIME_Absolute timeout;
3482   struct GNUNET_TIME_Relative rtimeout;
3483   int32_t numeric;
3484
3485   size = ntohs (message->size);
3486   if (size < sizeof (struct AddressLookupMessage))
3487     {
3488       GNUNET_break_op (0);
3489       GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3490       return;
3491     }
3492   alum = (const struct AddressLookupMessage *) message;
3493   uint32_t addressLen = ntohl (alum->addrlen);
3494   if (size <= sizeof (struct AddressLookupMessage) + addressLen)
3495     {
3496       GNUNET_break_op (0);
3497       GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3498       return;
3499     }
3500   address = (const char *) &alum[1];
3501   nameTransport = (const char *) &address[addressLen];
3502   if (nameTransport
3503       [size - sizeof (struct AddressLookupMessage) - addressLen - 1] != '\0')
3504     {
3505       GNUNET_break_op (0);
3506       GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
3507       return;
3508     }
3509   timeout = GNUNET_TIME_absolute_ntoh (alum->timeout);
3510   rtimeout = GNUNET_TIME_absolute_get_remaining (timeout);
3511   numeric = ntohl (alum->numeric_only);
3512   lsPlugin = find_transport (nameTransport);
3513   if (NULL == lsPlugin)
3514     {
3515       tc = GNUNET_SERVER_transmit_context_create (client);
3516       GNUNET_SERVER_transmit_context_append_data (tc, NULL, 0,
3517                                                   GNUNET_MESSAGE_TYPE_TRANSPORT_ADDRESS_REPLY);
3518       GNUNET_SERVER_transmit_context_run (tc, rtimeout);
3519       return;
3520     }
3521   tc = GNUNET_SERVER_transmit_context_create (client);
3522   lsPlugin->api->address_pretty_printer (lsPlugin->api->cls,
3523                                          nameTransport,
3524                                          address, addressLen,
3525                                          numeric,
3526                                          rtimeout,
3527                                          &transmit_address_to_client, tc);
3528 }
3529
3530 /**
3531  * List of handlers for the messages understood by this
3532  * service.
3533  */
3534 static struct GNUNET_SERVER_MessageHandler handlers[] = {
3535   {&handle_start, NULL,
3536    GNUNET_MESSAGE_TYPE_TRANSPORT_START, 0},
3537   {&handle_hello, NULL,
3538    GNUNET_MESSAGE_TYPE_HELLO, 0},
3539   {&handle_send, NULL,
3540    GNUNET_MESSAGE_TYPE_TRANSPORT_SEND, 0},
3541   {&handle_set_quota, NULL,
3542    GNUNET_MESSAGE_TYPE_TRANSPORT_SET_QUOTA, sizeof (struct QuotaSetMessage)},
3543   {&handle_address_lookup, NULL,
3544    GNUNET_MESSAGE_TYPE_TRANSPORT_ADDRESS_LOOKUP,
3545    0},
3546   {NULL, NULL, 0, 0}
3547 };
3548
3549
3550 /**
3551  * Setup the environment for this plugin.
3552  */
3553 static void
3554 create_environment (struct TransportPlugin *plug)
3555 {
3556   plug->env.cfg = cfg;
3557   plug->env.sched = sched;
3558   plug->env.my_identity = &my_identity;
3559   plug->env.cls = plug;
3560   plug->env.receive = &plugin_env_receive;
3561   plug->env.notify_address = &plugin_env_notify_address;
3562   plug->env.max_connections = max_connect_per_transport;
3563   plug->env.stats = stats;
3564 }
3565
3566
3567 /**
3568  * Start the specified transport (load the plugin).
3569  */
3570 static void
3571 start_transport (struct GNUNET_SERVER_Handle *server, const char *name)
3572 {
3573   struct TransportPlugin *plug;
3574   char *libname;
3575
3576   GNUNET_log (GNUNET_ERROR_TYPE_INFO,
3577               _("Loading `%s' transport plugin\n"), name);
3578   GNUNET_asprintf (&libname, "libgnunet_plugin_transport_%s", name);
3579   plug = GNUNET_malloc (sizeof (struct TransportPlugin));
3580   create_environment (plug);
3581   plug->short_name = GNUNET_strdup (name);
3582   plug->lib_name = libname;
3583   plug->next = plugins;
3584   plugins = plug;
3585   plug->api = GNUNET_PLUGIN_load (libname, &plug->env);
3586   if (plug->api == NULL)
3587     {
3588       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3589                   _("Failed to load transport plugin for `%s'\n"), name);
3590       GNUNET_free (plug->short_name);
3591       plugins = plug->next;
3592       GNUNET_free (libname);
3593       GNUNET_free (plug);
3594     }
3595 }
3596
3597
3598 /**
3599  * Called whenever a client is disconnected.  Frees our
3600  * resources associated with that client.
3601  *
3602  * @param cls closure
3603  * @param client identification of the client
3604  */
3605 static void
3606 client_disconnect_notification (void *cls,
3607                                 struct GNUNET_SERVER_Client *client)
3608 {
3609   struct TransportClient *pos;
3610   struct TransportClient *prev;
3611   struct ClientMessageQueueEntry *mqe;
3612
3613   if (client == NULL)
3614     return;
3615 #if DEBUG_TRANSPORT
3616   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG | GNUNET_ERROR_TYPE_BULK,
3617               "Client disconnected, cleaning up.\n");
3618 #endif
3619   prev = NULL;
3620   pos = clients;
3621   while ((pos != NULL) && (pos->client != client))
3622     {
3623       prev = pos;
3624       pos = pos->next;
3625     }
3626   if (pos == NULL)
3627     return;
3628   while (NULL != (mqe = pos->message_queue_head))
3629     {
3630       GNUNET_CONTAINER_DLL_remove (pos->message_queue_head,
3631                                    pos->message_queue_tail,
3632                                    mqe);
3633       pos->message_count--;
3634       GNUNET_free (mqe);
3635     }
3636   if (prev == NULL)
3637     clients = pos->next;
3638   else
3639     prev->next = pos->next;
3640   if (GNUNET_YES == pos->tcs_pending)
3641     {
3642       pos->client = NULL;
3643       return;
3644     }
3645   if (pos->th != NULL)
3646     {
3647       GNUNET_CONNECTION_notify_transmit_ready_cancel (pos->th);
3648       pos->th = NULL;
3649     }
3650   GNUNET_break (0 == pos->message_count);
3651   GNUNET_free (pos);
3652 }
3653
3654
3655 /**
3656  * Iterator to free entries in the validation_map.
3657  *
3658  * @param cls closure (unused)
3659  * @param key current key code
3660  * @param value value in the hash map (validation to abort)
3661  * @return GNUNET_YES (always)
3662  */
3663 static int
3664 abort_validation (void *cls,
3665                   const GNUNET_HashCode * key,
3666                   void *value)
3667 {
3668   struct ValidationEntry *va = value;
3669
3670   GNUNET_SCHEDULER_cancel (sched, va->timeout_task);
3671   GNUNET_free (va->transport_name);
3672   GNUNET_free (va);
3673   return GNUNET_YES;
3674 }
3675
3676
3677 /**
3678  * Function called when the service shuts down.  Unloads our plugins
3679  * and cancels pending validations.
3680  *
3681  * @param cls closure, unused
3682  * @param tc task context (unused)
3683  */
3684 static void
3685 shutdown_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
3686 {
3687   struct TransportPlugin *plug;
3688   struct OwnAddressList *al;
3689   struct CheckHelloValidatedContext *chvc;
3690
3691   while (neighbours != NULL)
3692     disconnect_neighbour (neighbours, GNUNET_NO);
3693 #if DEBUG_TRANSPORT
3694   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
3695               "Transport service is unloading plugins...\n");
3696 #endif
3697   while (NULL != (plug = plugins))
3698     {
3699       plugins = plug->next;
3700       GNUNET_break (NULL == GNUNET_PLUGIN_unload (plug->lib_name, plug->api));
3701       GNUNET_free (plug->lib_name);
3702       GNUNET_free (plug->short_name);
3703       while (NULL != (al = plug->addresses))
3704         {
3705           plug->addresses = al->next;
3706           GNUNET_free (al);
3707         }
3708       GNUNET_free (plug);
3709     }
3710   if (my_private_key != NULL)
3711     GNUNET_CRYPTO_rsa_key_free (my_private_key);
3712   GNUNET_free_non_null (our_hello);
3713
3714   /* free 'chvc' data structure */
3715   while (NULL != (chvc = chvc_head))
3716     {
3717       chvc_head = chvc->next;
3718       GNUNET_PEERINFO_iterate_cancel (chvc->piter);
3719       GNUNET_free (chvc);
3720     }
3721   chvc_tail = NULL;
3722
3723   GNUNET_CONTAINER_multihashmap_iterate (validation_map,
3724                                          &abort_validation,
3725                                          NULL);
3726   GNUNET_CONTAINER_multihashmap_destroy (validation_map);
3727   validation_map = NULL;
3728   if (stats != NULL)
3729     {
3730       GNUNET_STATISTICS_destroy (stats, GNUNET_NO);
3731       stats = NULL;
3732     }
3733 }
3734
3735
3736 /**
3737  * Initiate transport service.
3738  *
3739  * @param cls closure
3740  * @param s scheduler to use
3741  * @param serv the initialized server
3742  * @param c configuration to use
3743  */
3744 static void
3745 run (void *cls,
3746      struct GNUNET_SCHEDULER_Handle *s,
3747      struct GNUNET_SERVER_Handle *serv,
3748      const struct GNUNET_CONFIGURATION_Handle *c)
3749 {
3750   char *plugs;
3751   char *pos;
3752   int no_transports;
3753   unsigned long long tneigh;
3754   char *keyfile;
3755
3756   sched = s;
3757   cfg = c;
3758   stats = GNUNET_STATISTICS_create (sched, "transport", cfg);
3759   validation_map = GNUNET_CONTAINER_multihashmap_create (64);
3760   /* parse configuration */
3761   if ((GNUNET_OK !=
3762        GNUNET_CONFIGURATION_get_value_number (c,
3763                                               "TRANSPORT",
3764                                               "NEIGHBOUR_LIMIT",
3765                                               &tneigh)) ||
3766       (GNUNET_OK !=
3767        GNUNET_CONFIGURATION_get_value_filename (c,
3768                                                 "GNUNETD",
3769                                                 "HOSTKEY", &keyfile)))
3770     {
3771       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3772                   _
3773                   ("Transport service is lacking key configuration settings.  Exiting.\n"));
3774       GNUNET_SCHEDULER_shutdown (s);
3775       if (stats != NULL)
3776         {
3777           GNUNET_STATISTICS_destroy (stats, GNUNET_NO);
3778           stats = NULL;
3779         }
3780       GNUNET_CONTAINER_multihashmap_destroy (validation_map);
3781       validation_map = NULL;
3782       return;
3783     }
3784   max_connect_per_transport = (uint32_t) tneigh;
3785   my_private_key = GNUNET_CRYPTO_rsa_key_create_from_file (keyfile);
3786   GNUNET_free (keyfile);
3787   if (my_private_key == NULL)
3788     {
3789       GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
3790                   _
3791                   ("Transport service could not access hostkey.  Exiting.\n"));
3792       GNUNET_SCHEDULER_shutdown (s);
3793       if (stats != NULL)
3794         {
3795           GNUNET_STATISTICS_destroy (stats, GNUNET_NO);
3796           stats = NULL;
3797         }
3798       GNUNET_CONTAINER_multihashmap_destroy (validation_map);
3799       validation_map = NULL;
3800       return;
3801     }
3802   GNUNET_CRYPTO_rsa_key_get_public (my_private_key, &my_public_key);
3803   GNUNET_CRYPTO_hash (&my_public_key,
3804                       sizeof (my_public_key), &my_identity.hashPubKey);
3805   /* setup notification */
3806   server = serv;
3807   GNUNET_SERVER_disconnect_notify (server,
3808                                    &client_disconnect_notification, NULL);
3809   /* load plugins... */
3810   no_transports = 1;
3811   if (GNUNET_OK ==
3812       GNUNET_CONFIGURATION_get_value_string (c,
3813                                              "TRANSPORT", "PLUGINS", &plugs))
3814     {
3815       GNUNET_log (GNUNET_ERROR_TYPE_INFO,
3816                   _("Starting transport plugins `%s'\n"), plugs);
3817       pos = strtok (plugs, " ");
3818       while (pos != NULL)
3819         {
3820           start_transport (server, pos);
3821           no_transports = 0;
3822           pos = strtok (NULL, " ");
3823         }
3824       GNUNET_free (plugs);
3825     }
3826   GNUNET_SCHEDULER_add_delayed (sched,
3827                                 GNUNET_TIME_UNIT_FOREVER_REL,
3828                                 &shutdown_task, NULL);
3829   if (no_transports)
3830     refresh_hello ();
3831
3832 #if DEBUG_TRANSPORT
3833   GNUNET_log (GNUNET_ERROR_TYPE_INFO, _("Transport service ready.\n"));
3834 #endif
3835   /* process client requests */
3836   GNUNET_SERVER_add_handlers (server, handlers);
3837 }
3838
3839
3840 /**
3841  * The main function for the transport service.
3842  *
3843  * @param argc number of arguments from the command line
3844  * @param argv command line arguments
3845  * @return 0 ok, 1 on error
3846  */
3847 int
3848 main (int argc, char *const *argv)
3849 {
3850   return (GNUNET_OK ==
3851           GNUNET_SERVICE_run (argc,
3852                               argv,
3853                               "transport",
3854                               GNUNET_SERVICE_OPTION_NONE,
3855                               &run, NULL)) ? 0 : 1;
3856 }
3857
3858 /* end of gnunet-service-transport.c */