src/mesh/gnunet-service-mesh_connection.c

   1 /*
   2      This file is part of GNUnet.
   3      (C) 2001-2013 Christian Grothoff (and other contributing authors)
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  18      Boston, MA 02111-1307, USA.
  19 */
  20
  21 /**
  22  * @file mesh/gnunet-service-mesh_connection.c
  23  * @brief GNUnet MESH service connection handling
  24  * @author Bartlomiej Polot
  25  */
  26
  27 #include "platform.h"
  28 #include "gnunet_util_lib.h"
  29
  30 #include "gnunet_statistics_service.h"
  31
  32 #include "mesh_path.h"
  33 #include "mesh_protocol_enc.h"
  34 #include "mesh_enc.h"
  35 #include "gnunet-service-mesh_connection.h"
  36 #include "gnunet-service-mesh_peer.h"
  37 #include "gnunet-service-mesh_tunnel.h"
  38
  39
  40 #define LOG(level, ...) GNUNET_log_from (level,"mesh-con",__VA_ARGS__)
  41
  42 #define MESH_MAX_POLL_TIME      GNUNET_TIME_relative_multiply (\
  43                                   GNUNET_TIME_UNIT_MINUTES,\
  44                                   10)
  45 #define AVG_MSGS                32
  46
  47
  48 /******************************************************************************/
  49 /********************************   STRUCTS  **********************************/
  50 /******************************************************************************/
  51
  52 /**
  53  * Struct to encapsulate all the Flow Control information to a peer to which
  54  * we are directly connected (on a core level).
  55  */
  56 struct MeshFlowControl
  57 {
  58   /**
  59    * Connection this controls.
  60    */
  61   struct MeshConnection *c;
  62
  63   /**
  64    * How many messages are in the queue on this connection.
  65    */
  66   unsigned int queue_n;
  67
  68   /**
  69    * How many messages do we accept in the queue.
  70    */
  71   unsigned int queue_max;
  72
  73   /**
  74    * Next ID to use.
  75    */
  76   uint32_t next_pid;
  77
  78   /**
  79    * ID of the last packet sent towards the peer.
  80    */
  81   uint32_t last_pid_sent;
  82
  83   /**
  84    * ID of the last packet received from the peer.
  85    */
  86   uint32_t last_pid_recv;
  87
  88   /**
  89    * Last ACK sent to the peer (peer can't send more than this PID).
  90    */
  91   uint32_t last_ack_sent;
  92
  93   /**
  94    * Last ACK sent towards the origin (for traffic towards leaf node).
  95    */
  96   uint32_t last_ack_recv;
  97
  98   /**
  99    * Task to poll the peer in case of a lost ACK causes stall.
 100    */
 101   GNUNET_SCHEDULER_TaskIdentifier poll_task;
 102
 103   /**
 104    * How frequently to poll for ACKs.
 105    */
 106   struct GNUNET_TIME_Relative poll_time;
 107 };
 108
 109 /**
 110  * Keep a record of the last messages sent on this connection.
 111  */
 112 struct MeshConnectionPerformance
 113 {
 114   /**
 115    * Circular buffer for storing measurements.
 116    */
 117   double usecsperbyte[AVG_MSGS];
 118
 119   /**
 120    * Running average of @c usecsperbyte.
 121    */
 122   double avg;
 123
 124   /**
 125    * How many values of @c usecsperbyte are valid.
 126    */
 127   uint16_t size;
 128
 129   /**
 130    * Index of the next "free" position in @c usecsperbyte.
 131    */
 132   uint16_t idx;
 133 };
 134
 135
 136 /**
 137  * Struct containing all information regarding a connection to a peer.
 138  */
 139 struct MeshConnection
 140 {
 141   /**
 142    * Tunnel this connection is part of.
 143    */
 144   struct MeshTunnel3 *t;
 145
 146   /**
 147    * Flow control information for traffic fwd.
 148    */
 149   struct MeshFlowControl fwd_fc;
 150
 151   /**
 152    * Flow control information for traffic bck.
 153    */
 154   struct MeshFlowControl bck_fc;
 155
 156   /**
 157    * Measure connection performance on the endpoint.
 158    */
 159   struct MeshConnectionPerformance *perf;
 160
 161   /**
 162    * ID of the connection.
 163    */
 164   struct GNUNET_HashCode id;
 165
 166   /**
 167    * State of the connection.
 168    */
 169   enum MeshConnectionState state;
 170
 171   /**
 172    * Path being used for the tunnel.
 173    */
 174   struct MeshPeerPath *path;
 175
 176   /**
 177    * Position of the local peer in the path.
 178    */
 179   unsigned int own_pos;
 180
 181   /**
 182    * Task to keep the used paths alive at the owner,
 183    * time tunnel out on all the other peers.
 184    */
 185   GNUNET_SCHEDULER_TaskIdentifier fwd_maintenance_task;
 186
 187   /**
 188    * Task to keep the used paths alive at the destination,
 189    * time tunnel out on all the other peers.
 190    */
 191   GNUNET_SCHEDULER_TaskIdentifier bck_maintenance_task;
 192
 193   /**
 194    * Pending message count.
 195    */
 196   int pending_messages;
 197
 198   /**
 199    * Destroy flag: if true, destroy on last message.
 200    */
 201   int destroy;
 202 };
 203
 204 /******************************************************************************/
 205 /*******************************   GLOBALS  ***********************************/
 206 /******************************************************************************/
 207
 208 /**
 209  * Global handle to the statistics service.
 210  */
 211 extern struct GNUNET_STATISTICS_Handle *stats;
 212
 213 /**
 214  * Local peer own ID (memory efficient handle).
 215  */
 216 extern GNUNET_PEER_Id myid;
 217
 218 /**
 219  * Local peer own ID (full value).
 220  */
 221 extern struct GNUNET_PeerIdentity my_full_id;
 222
 223 /**
 224  * Connections known, indexed by cid (MeshConnection).
 225  */
 226 static struct GNUNET_CONTAINER_MultiHashMap *connections;
 227
 228 /**
 229  * How many connections are we willing to maintain.
 230  * Local connections are always allowed, even if there are more connections than max.
 231  */
 232 static unsigned long long max_connections;
 233
 234 /**
 235  * How many messages *in total* are we willing to queue, divide by number of
 236  * connections to get connection queue size.
 237  */
 238 static unsigned long long max_msgs_queue;
 239
 240 /**
 241  * How often to send path keepalives. Paths timeout after 4 missed.
 242  */
 243 static struct GNUNET_TIME_Relative refresh_connection_time;
 244
 245
 246 /******************************************************************************/
 247 /********************************   STATIC  ***********************************/
 248 /******************************************************************************/
 249
 250 #if 0 // avoid compiler warning for unused static function
 251 static void
 252 fc_debug (struct MeshFlowControl *fc)
 253 {
 254   LOG (GNUNET_ERROR_TYPE_DEBUG, "    IN: %u/%u\n",
 255               fc->last_pid_recv, fc->last_ack_sent);
 256   LOG (GNUNET_ERROR_TYPE_DEBUG, "    OUT: %u/%u\n",
 257               fc->last_pid_sent, fc->last_ack_recv);
 258   LOG (GNUNET_ERROR_TYPE_DEBUG, "    QUEUE: %u/%u\n",
 259               fc->queue_n, fc->queue_max);
 260 }
 261
 262 static void
 263 connection_debug (struct MeshConnection *c)
 264 {
 265   if (NULL == c)
 266   {
 267     LOG (GNUNET_ERROR_TYPE_DEBUG, "*** DEBUG NULL CONNECTION ***\n");
 268     return;
 269   }
 270   LOG (GNUNET_ERROR_TYPE_DEBUG, "Connection %s:%X\n",
 271               peer2s (c->t->peer), GMC_2s (c));
 272   LOG (GNUNET_ERROR_TYPE_DEBUG, "  state: %u, pending msgs: %u\n",
 273               c->state, c->pending_messages);
 274   LOG (GNUNET_ERROR_TYPE_DEBUG, "  FWD FC\n");
 275   fc_debug (&c->fwd_fc);
 276   LOG (GNUNET_ERROR_TYPE_DEBUG, "  BCK FC\n");
 277   fc_debug (&c->bck_fc);
 278 }
 279 #endif
 280
 281 /**
 282  * Get string description for tunnel state.
 283  *
 284  * @param s Tunnel state.
 285  *
 286  * @return String representation.
 287  */
 288 static const char *
 289 GMC_state2s (enum MeshConnectionState s)
 290 {
 291   switch (s)
 292   {
 293     case MESH_CONNECTION_NEW:
 294       return "MESH_CONNECTION_NEW";
 295     case MESH_CONNECTION_SENT:
 296       return "MESH_CONNECTION_SENT";
 297     case MESH_CONNECTION_ACK:
 298       return "MESH_CONNECTION_ACK";
 299     case MESH_CONNECTION_READY:
 300       return "MESH_CONNECTION_READY";
 301     default:
 302       return "MESH_CONNECTION_STATE_ERROR";
 303   }
 304 }
 305
 306
 307 /**
 308  * Initialize a Flow Control structure to the initial state.
 309  *
 310  * @param fc Flow Control structure to initialize.
 311  */
 312 static void
 313 fc_init (struct MeshFlowControl *fc)
 314 {
 315   fc->next_pid = 0;
 316   fc->last_pid_sent = (uint32_t) -1; /* Next (expected) = 0 */
 317   fc->last_pid_recv = (uint32_t) -1;
 318   fc->last_ack_sent = (uint32_t) 0;
 319   fc->last_ack_recv = (uint32_t) 0;
 320   fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
 321   fc->poll_time = GNUNET_TIME_UNIT_SECONDS;
 322   fc->queue_n = 0;
 323   fc->queue_max = (max_msgs_queue / max_connections) + 1;
 324 }
 325
 326
 327 /**
 328  * Find a connection.
 329  *
 330  * @param cid Connection ID.
 331  */
 332 static struct MeshConnection *
 333 connection_get (const struct GNUNET_HashCode *cid)
 334 {
 335   return GNUNET_CONTAINER_multihashmap_get (connections, cid);
 336 }
 337
 338
 339 static void
 340 connection_change_state (struct MeshConnection* c,
 341                          enum MeshConnectionState state)
 342 {
 343   LOG (GNUNET_ERROR_TYPE_DEBUG,
 344               "Connection %s state was %s\n",
 345               GMC_2s (c), GMC_state2s (c->state));
 346   LOG (GNUNET_ERROR_TYPE_DEBUG,
 347               "Connection %s state is now %s\n",
 348               GMC_2s (c), GMC_state2s (state));
 349   c->state = state;
 350 }
 351
 352
 353 /**
 354  * Send an ACK on the connection, informing the predecessor about
 355  * the available buffer space. Should not be called in case the peer
 356  * is origin (no predecessor).
 357  *
 358  * Note that for fwd ack, the FWD mean forward *traffic* (root->dest),
 359  * the ACK itself goes "back" (dest->root).
 360  *
 361  * @param c Connection on which to send the ACK.
 362  * @param buffer How much space free to advertise?
 363  * @param fwd Is this FWD ACK? (Going dest->owner)
 364  */
 365 static void
 366 send_ack (struct MeshConnection *c, unsigned int buffer, int fwd)
 367 {
 368   struct MeshFlowControl *next_fc;
 369   struct MeshFlowControl *prev_fc;
 370   struct GNUNET_MESH_ACK msg;
 371   uint32_t ack;
 372   int delta;
 373
 374   /* If origin, there is no connection to send ACKs. Wrong function! */
 375   if (GMC_is_origin (c, fwd))
 376   {
 377     GNUNET_break (0);
 378     return;
 379   }
 380
 381   next_fc = fwd ? &c->fwd_fc : &c->bck_fc;
 382   prev_fc = fwd ? &c->bck_fc : &c->fwd_fc;
 383
 384   LOG (GNUNET_ERROR_TYPE_DEBUG,
 385               "connection send %s ack on %s\n",
 386               fwd ? "FWD" : "BCK", GMC_2s (c));
 387
 388   /* Check if we need to transmit the ACK */
 389   delta = prev_fc->last_ack_sent - prev_fc->last_pid_recv;
 390   if (3 < delta && buffer < delta)
 391   {
 392     LOG (GNUNET_ERROR_TYPE_DEBUG, "Not sending ACK, buffer > 3\n");
 393     LOG (GNUNET_ERROR_TYPE_DEBUG,
 394          "  last pid recv: %u, last ack sent: %u\n",
 395          prev_fc->last_pid_recv, prev_fc->last_ack_sent);
 396     return;
 397   }
 398
 399   /* Ok, ACK might be necessary, what PID to ACK? */
 400   ack = prev_fc->last_pid_recv + buffer;
 401   LOG (GNUNET_ERROR_TYPE_DEBUG, " ACK %u\n", ack);
 402   LOG (GNUNET_ERROR_TYPE_DEBUG,
 403        " last pid %u, last ack %u, qmax %u, q %u\n",
 404        prev_fc->last_pid_recv, prev_fc->last_ack_sent,
 405        next_fc->queue_max, next_fc->queue_n);
 406   if (ack == prev_fc->last_ack_sent)
 407   {
 408     LOG (GNUNET_ERROR_TYPE_DEBUG, "Not sending FWD ACK, not needed\n");
 409     return;
 410   }
 411
 412   prev_fc->last_ack_sent = ack;
 413
 414   /* Build ACK message and send on connection */
 415   msg.header.size = htons (sizeof (msg));
 416   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_ACK);
 417   msg.ack = htonl (ack);
 418   msg.cid = c->id;
 419
 420   GMC_send_prebuilt_message (&msg.header, c, !fwd);
 421 }
 422
 423
 424 /**
 425  * Callback called when a queued message is sent.
 426  *
 427  * Calculates the average time and connection packet tracking.
 428  *
 429  * @param cls Closure.
 430  * @param c Connection this message was on.
 431  * @param type Type of message sent.
 432  * @param fwd Was this a FWD going message?
 433  * @param size Size of the message.
 434  * @param wait Time spent waiting for core (only the time for THIS message)
 435  */
 436 static void
 437 message_sent (void *cls,
 438               struct MeshConnection *c, uint16_t type,
 439               int fwd, size_t size,
 440               struct GNUNET_TIME_Relative wait)
 441 {
 442   struct MeshConnectionPerformance *p;
 443   struct MeshFlowControl *fc;
 444   double usecsperbyte;
 445
 446   fc = fwd ? &c->fwd_fc : &c->bck_fc;
 447   LOG (GNUNET_ERROR_TYPE_DEBUG, "!  sent %s\n", GNUNET_MESH_DEBUG_M2S (type));
 448   LOG (GNUNET_ERROR_TYPE_DEBUG, "!  Q_N- %p %u\n", fc, fc->queue_n);
 449   LOG (GNUNET_ERROR_TYPE_DEBUG, "!  C_P- %p %u\n", c, c->pending_messages);
 450   c->pending_messages--;
 451   if (GNUNET_YES == c->destroy && 0 == c->pending_messages)
 452   {
 453     LOG (GNUNET_ERROR_TYPE_DEBUG, "!  destroying connection!\n");
 454     GMC_destroy (c);
 455     return;
 456   }
 457   /* Send ACK if needed, after accounting for sent ID in fc->queue_n */
 458   switch (type)
 459   {
 460     case GNUNET_MESSAGE_TYPE_MESH_ENCRYPTED:
 461       fc->last_pid_sent++;
 462       fc->queue_n--;
 463       LOG (GNUNET_ERROR_TYPE_DEBUG,
 464            "!   accounting pid %u\n",
 465            fc->last_pid_sent);
 466       GMC_send_ack (c, fwd);
 467       break;
 468     default:
 469       break;
 470   }
 471   LOG (GNUNET_ERROR_TYPE_DEBUG, "!  message sent!\n");
 472
 473   if (NULL == c->perf)
 474     return; /* Only endpoints are interested in timing. */
 475
 476   p = c->perf;
 477   usecsperbyte = ((double) wait.rel_value_us) / size;
 478   if (p->size == AVG_MSGS)
 479   {
 480     /* Array is full. Substract oldest value, add new one and store. */
 481     p->avg -= (p->usecsperbyte[p->idx] / AVG_MSGS);
 482     p->usecsperbyte[p->idx] = usecsperbyte;
 483     p->avg += (p->usecsperbyte[p->idx] / AVG_MSGS);
 484   }
 485   else
 486   {
 487     /* Array not yet full. Add current value to avg and store. */
 488     p->usecsperbyte[p->idx] = usecsperbyte;
 489     p->avg *= p->size;
 490     p->avg += p->usecsperbyte[p->idx];
 491     p->size++;
 492     p->avg /= p->size;
 493   }
 494   p->idx = (p->idx + 1) % AVG_MSGS;
 495 }
 496
 497
 498 /**
 499  * Get the previous hop in a connection
 500  *
 501  * @param c Connection.
 502  *
 503  * @return Previous peer in the connection.
 504  */
 505 static struct MeshPeer *
 506 get_prev_hop (const struct MeshConnection *c)
 507 {
 508   GNUNET_PEER_Id id;
 509
 510   LOG (GNUNET_ERROR_TYPE_DEBUG, "Get prev hop, own pos %u\n", c->own_pos);
 511   if (0 == c->own_pos || c->path->length < 2)
 512     id = c->path->peers[0];
 513   else
 514     id = c->path->peers[c->own_pos - 1];
 515
 516   return GMP_get_short (id);
 517 }
 518
 519
 520 /**
 521  * Get the next hop in a connection
 522  *
 523  * @param c Connection.
 524  *
 525  * @return Next peer in the connection.
 526  */
 527 static struct MeshPeer *
 528 get_next_hop (const struct MeshConnection *c)
 529 {
 530   GNUNET_PEER_Id id;
 531
 532   if ((c->path->length - 1) == c->own_pos || c->path->length < 2)
 533     id = c->path->peers[c->path->length - 1];
 534   else
 535     id = c->path->peers[c->own_pos + 1];
 536
 537   return GMP_get_short (id);
 538 }
 539
 540
 541 /**
 542  * Get the hop in a connection.
 543  *
 544  * @param c Connection.
 545  * @param fwd Next hop?
 546  *
 547  * @return Next peer in the connection.
 548  */
 549 static struct MeshPeer *
 550 get_hop (struct MeshConnection *c, int fwd)
 551 {
 552   if (fwd)
 553     return get_next_hop (c);
 554   return get_prev_hop (c);
 555 }
 556
 557
 558 /**
 559  * Is traffic coming from this sender 'FWD' traffic?
 560  *
 561  * @param c Connection to check.
 562  * @param sender Peer identity of neighbor.
 563  *
 564  * @return GNUNET_YES in case the sender is the 'prev' hop and therefore
 565  *         the traffic is 'FWD'. GNUNET_NO for BCK. GNUNET_SYSERR for errors.
 566  */
 567 static int
 568 is_fwd (const struct MeshConnection *c,
 569         const struct GNUNET_PeerIdentity *sender)
 570 {
 571   GNUNET_PEER_Id id;
 572
 573   id = GNUNET_PEER_search (sender);
 574   if (GMP_get_short_id (get_prev_hop (c)) == id)
 575     return GNUNET_YES;
 576
 577   if (GMP_get_short_id (get_next_hop (c)) == id)
 578     return GNUNET_NO;
 579
 580   GNUNET_break (0);
 581   return GNUNET_SYSERR;
 582 }
 583
 584
 585 /**
 586  * Sends a CONNECTION ACK message in reponse to a received CONNECTION_CREATE
 587  * or a first CONNECTION_ACK directed to us.
 588  *
 589  * @param connection Connection to confirm.
 590  * @param fwd Should we send it FWD? (root->dest)
 591  *            (First (~SYNACK) goes BCK, second (~ACK) goes FWD)
 592  */
 593 static void
 594 send_connection_ack (struct MeshConnection *connection, int fwd)
 595 {
 596   struct MeshTunnel3 *t;
 597
 598   t = connection->t;
 599   LOG (GNUNET_ERROR_TYPE_DEBUG, "Send connection %s ACK\n",
 600        !fwd ? "FWD" : "BCK");
 601   GMP_queue_add (get_hop (connection, fwd), NULL,
 602                  GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK,
 603                  sizeof (struct GNUNET_MESH_ConnectionACK),
 604                  connection, fwd, &message_sent, NULL);
 605   if (MESH_TUNNEL3_NEW == GMT_get_state (t))
 606     GMT_change_state (t, MESH_TUNNEL3_WAITING);
 607   if (MESH_CONNECTION_READY != connection->state)
 608     connection_change_state (connection, MESH_CONNECTION_SENT);
 609 }
 610
 611
 612 /**
 613  * Send a notification that a connection is broken.
 614  *
 615  * @param c Connection that is broken.
 616  * @param id1 Peer that has disconnected.
 617  * @param id2 Peer that has disconnected.
 618  * @param fwd Direction towards which to send it.
 619  */
 620 static void
 621 send_broken (struct MeshConnection *c,
 622              const struct GNUNET_PeerIdentity *id1,
 623              const struct GNUNET_PeerIdentity *id2,
 624              int fwd)
 625 {
 626   struct GNUNET_MESH_ConnectionBroken msg;
 627
 628   msg.header.size = htons (sizeof (struct GNUNET_MESH_ConnectionBroken));
 629   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_CONNECTION_BROKEN);
 630   msg.cid = c->id;
 631   msg.peer1 = *id1;
 632   msg.peer2 = *id2;
 633   GMC_send_prebuilt_message (&msg.header, c, fwd);
 634 }
 635
 636
 637
 638 /**
 639  * Send keepalive packets for a connection.
 640  *
 641  * @param c Connection to keep alive..
 642  * @param fwd Is this a FWD keepalive? (owner -> dest).
 643  */
 644 static void
 645 connection_keepalive (struct MeshConnection *c, int fwd)
 646 {
 647   struct GNUNET_MESH_ConnectionKeepAlive *msg;
 648   size_t size = sizeof (struct GNUNET_MESH_ConnectionKeepAlive);
 649   char cbuf[size];
 650   uint16_t type;
 651
 652   type = fwd ? GNUNET_MESSAGE_TYPE_MESH_FWD_KEEPALIVE :
 653                GNUNET_MESSAGE_TYPE_MESH_BCK_KEEPALIVE;
 654
 655   LOG (GNUNET_ERROR_TYPE_DEBUG,
 656        "sending %s keepalive for connection %s]\n",
 657        fwd ? "FWD" : "BCK", GMC_2s (c));
 658
 659   msg = (struct GNUNET_MESH_ConnectionKeepAlive *) cbuf;
 660   msg->header.size = htons (size);
 661   msg->header.type = htons (type);
 662   msg->cid = c->id;
 663
 664   GMC_send_prebuilt_message (&msg->header, c, fwd);
 665 }
 666
 667
 668 /**
 669  * Send CONNECTION_{CREATE/ACK} packets for a connection.
 670  *
 671  * @param c Connection for which to send the message.
 672  * @param fwd If GNUNET_YES, send CREATE, otherwise send ACK.
 673  */
 674 static void
 675 connection_recreate (struct MeshConnection *c, int fwd)
 676 {
 677   LOG (GNUNET_ERROR_TYPE_DEBUG, "sending connection recreate\n");
 678   if (fwd)
 679     GMC_send_create (c);
 680   else
 681     send_connection_ack (c, GNUNET_NO);
 682 }
 683
 684
 685 /**
 686  * Generic connection timer management.
 687  * Depending on the role of the peer in the connection will send the
 688  * appropriate message (build or keepalive)
 689  *
 690  * @param c Conncetion to maintain.
 691  * @param fwd Is FWD?
 692  */
 693 static void
 694 connection_maintain (struct MeshConnection *c, int fwd)
 695 {
 696   if (MESH_TUNNEL3_SEARCHING == GMT_get_state (c->t))
 697   {
 698     /* TODO DHT GET with RO_BART */
 699     return;
 700   }
 701   switch (c->state)
 702   {
 703     case MESH_CONNECTION_NEW:
 704       GNUNET_break (0);
 705     case MESH_CONNECTION_SENT:
 706       connection_recreate (c, fwd);
 707       break;
 708     case MESH_CONNECTION_READY:
 709       connection_keepalive (c, fwd);
 710       break;
 711     default:
 712       break;
 713   }
 714 }
 715
 716
 717 static void
 718 connection_fwd_keepalive (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 719 {
 720   struct MeshConnection *c = cls;
 721
 722   c->fwd_maintenance_task = GNUNET_SCHEDULER_NO_TASK;
 723   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
 724     return;
 725
 726   connection_maintain (c, GNUNET_YES);
 727   c->fwd_maintenance_task = GNUNET_SCHEDULER_add_delayed (refresh_connection_time,
 728                                                           &connection_fwd_keepalive,
 729                                                           c);
 730 }
 731
 732
 733 static void
 734 connection_bck_keepalive (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 735 {
 736   struct MeshConnection *c = cls;
 737
 738   c->bck_maintenance_task = GNUNET_SCHEDULER_NO_TASK;
 739   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
 740     return;
 741
 742   connection_maintain (c, GNUNET_NO);
 743   c->bck_maintenance_task = GNUNET_SCHEDULER_add_delayed (refresh_connection_time,
 744                                                           &connection_bck_keepalive,
 745                                                           c);
 746 }
 747
 748
 749 /**
 750  * @brief Re-initiate traffic on this connection if necessary.
 751  *
 752  * Check if there is traffic queued towards this peer
 753  * and the core transmit handle is NULL (traffic was stalled).
 754  * If so, call core tmt rdy.
 755  *
 756  * @param c Connection on which initiate traffic.
 757  * @param fwd Is this about fwd traffic?
 758  */
 759 static void
 760 connection_unlock_queue (struct MeshConnection *c, int fwd)
 761 {
 762   struct MeshPeer *peer;
 763
 764   LOG (GNUNET_ERROR_TYPE_DEBUG,
 765               "connection_unlock_queue %s on %s\n",
 766               fwd ? "FWD" : "BCK", GMC_2s (c));
 767
 768   if (GMC_is_terminal (c, fwd))
 769   {
 770     LOG (GNUNET_ERROR_TYPE_DEBUG, " is terminal!\n");
 771     return;
 772   }
 773
 774   peer = get_hop (c, fwd);
 775   GMP_queue_unlock (peer, c);
 776 }
 777
 778
 779 /**
 780  * Cancel all transmissions that belong to a certain connection.
 781  *
 782  * If the connection is scheduled for destruction and no more messages are left,
 783  * the connection will be destroyed by the continuation call.
 784  *
 785  * @param c Connection which to cancel. Might be destroyed during this call.
 786  * @param fwd Cancel fwd traffic?
 787  */
 788 static void
 789 connection_cancel_queues (struct MeshConnection *c, int fwd)
 790 {
 791   struct MeshFlowControl *fc;
 792   struct MeshPeer *peer;
 793
 794   if (NULL == c)
 795   {
 796     GNUNET_break (0);
 797     return;
 798   }
 799
 800   fc = fwd ? &c->fwd_fc : &c->bck_fc;
 801   if (GNUNET_SCHEDULER_NO_TASK != fc->poll_task)
 802   {
 803     GNUNET_SCHEDULER_cancel (fc->poll_task);
 804     fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
 805   }
 806   peer = get_hop (c, fwd);
 807   GMP_queue_cancel (peer, c);
 808 }
 809
 810
 811 /**
 812  * Function called if a connection has been stalled for a while,
 813  * possibly due to a missed ACK. Poll the neighbor about its ACK status.
 814  *
 815  * @param cls Closure (poll ctx).
 816  * @param tc TaskContext.
 817  */
 818 static void
 819 connection_poll (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 820 {
 821   struct MeshFlowControl *fc = cls;
 822   struct GNUNET_MESH_Poll msg;
 823   struct MeshConnection *c;
 824
 825   fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
 826   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
 827   {
 828     return;
 829   }
 830
 831   c = fc->c;
 832   LOG (GNUNET_ERROR_TYPE_DEBUG, " *** Polling!\n");
 833   LOG (GNUNET_ERROR_TYPE_DEBUG, " *** connection [%s]\n", GMC_2s (c));
 834   LOG (GNUNET_ERROR_TYPE_DEBUG, " ***   %s\n",
 835               fc == &c->fwd_fc ? "FWD" : "BCK");
 836
 837   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_POLL);
 838   msg.header.size = htons (sizeof (msg));
 839   LOG (GNUNET_ERROR_TYPE_DEBUG, " *** pid (%u)!\n", fc->last_pid_sent);
 840   GMC_send_prebuilt_message (&msg.header, c, fc == &c->fwd_fc);
 841   fc->poll_time = GNUNET_TIME_STD_BACKOFF (fc->poll_time);
 842   fc->poll_task = GNUNET_SCHEDULER_add_delayed (fc->poll_time,
 843                                                 &connection_poll, fc);
 844 }
 845
 846
 847 /**
 848  * Timeout function due to lack of keepalive/traffic from the owner.
 849  * Destroys connection if called.
 850  *
 851  * @param cls Closure (connection to destroy).
 852  * @param tc TaskContext.
 853  */
 854 static void
 855 connection_fwd_timeout (void *cls,
 856                         const struct GNUNET_SCHEDULER_TaskContext *tc)
 857 {
 858   struct MeshConnection *c = cls;
 859
 860   c->fwd_maintenance_task = GNUNET_SCHEDULER_NO_TASK;
 861   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
 862     return;
 863   LOG (GNUNET_ERROR_TYPE_DEBUG,
 864               "Connection %s[%X] FWD timed out. Destroying.\n",
 865               GMT_2s (c->t),
 866               c->id);
 867
 868   if (GMC_is_origin (c, GNUNET_YES)) /* If local, leave. */
 869     return;
 870
 871   GMC_destroy (c);
 872 }
 873
 874
 875 /**
 876  * Timeout function due to lack of keepalive/traffic from the destination.
 877  * Destroys connection if called.
 878  *
 879  * @param cls Closure (connection to destroy).
 880  * @param tc TaskContext
 881  */
 882 static void
 883 connection_bck_timeout (void *cls,
 884                         const struct GNUNET_SCHEDULER_TaskContext *tc)
 885 {
 886   struct MeshConnection *c = cls;
 887
 888   c->bck_maintenance_task = GNUNET_SCHEDULER_NO_TASK;
 889   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
 890     return;
 891
 892   LOG (GNUNET_ERROR_TYPE_DEBUG,
 893               "Connection %s[%X] FWD timed out. Destroying.\n",
 894               GMT_2s (c->t), c->id);
 895
 896   if (GMC_is_origin (c, GNUNET_NO)) /* If local, leave. */
 897     return;
 898
 899   GMC_destroy (c);
 900 }
 901
 902
 903 /**
 904  * Resets the connection timeout task, some other message has done the
 905  * task's job.
 906  * - For the first peer on the direction this means to send
 907  *   a keepalive or a path confirmation message (either create or ACK).
 908  * - For all other peers, this means to destroy the connection,
 909  *   due to lack of activity.
 910  * Starts the tiemout if no timeout was running (connection just created).
 911  *
 912  * @param c Connection whose timeout to reset.
 913  * @param fwd Is this forward?
 914  *
 915  * TODO use heap to improve efficiency of scheduler.
 916  */
 917 static void
 918 connection_reset_timeout (struct MeshConnection *c, int fwd)
 919 {
 920   GNUNET_SCHEDULER_TaskIdentifier *ti;
 921   GNUNET_SCHEDULER_Task f;
 922
 923   ti = fwd ? &c->fwd_maintenance_task : &c->bck_maintenance_task;
 924
 925   if (GNUNET_SCHEDULER_NO_TASK != *ti)
 926     GNUNET_SCHEDULER_cancel (*ti);
 927
 928   if (GMC_is_origin (c, fwd)) /* Endpoint */
 929   {
 930     f  = fwd ? &connection_fwd_keepalive : &connection_bck_keepalive;
 931     *ti = GNUNET_SCHEDULER_add_delayed (refresh_connection_time, f, c);
 932   }
 933   else /* Relay */
 934   {
 935     struct GNUNET_TIME_Relative delay;
 936
 937     delay = GNUNET_TIME_relative_multiply (refresh_connection_time, 4);
 938     f  = fwd ? &connection_fwd_timeout : &connection_bck_timeout;
 939     *ti = GNUNET_SCHEDULER_add_delayed (delay, f, c);
 940   }
 941 }
 942
 943
 944 /**
 945  * Add the connection to the list of both neighbors.
 946  *
 947  * @param c Connection.
 948  */
 949 static void
 950 register_neighbors (struct MeshConnection *c)
 951 {
 952   struct MeshPeer *peer;
 953
 954   peer = get_next_hop (c);
 955   if (GNUNET_NO == GMP_is_neighbor (peer))
 956   {
 957     GMC_destroy (c);
 958     return;
 959   }
 960   GMP_add_connection (peer, c);
 961   peer = get_prev_hop (c);
 962   if (GNUNET_NO == GMP_is_neighbor (peer))
 963   {
 964     GMC_destroy (c);
 965     return;
 966   }
 967   GMP_add_connection (peer, c);
 968 }
 969
 970
 971 /**
 972  * Remove the connection from the list of both neighbors.
 973  *
 974  * @param c Connection.
 975  */
 976 static void
 977 unregister_neighbors (struct MeshConnection *c)
 978 {
 979   struct MeshPeer *peer;
 980
 981   peer = get_next_hop (c);
 982   GMP_remove_connection (peer, c);
 983
 984   peer = get_prev_hop (c);
 985   GMP_remove_connection (peer, c);
 986
 987 }
 988
 989
 990 /**
 991  * Bind the connection to the peer and the tunnel to that peer.
 992  *
 993  * If the peer has no tunnel, create one. Update tunnel and connection
 994  * data structres to reflect new status.
 995  *
 996  * @param c Connection.
 997  * @param peer Peer.
 998  */
 999 static void
1000 add_to_peer (struct MeshConnection *c, struct MeshPeer *peer)
1001 {
1002   GMP_add_tunnel (peer);
1003   c->t = GMP_get_tunnel (peer);
1004   GMT_add_connection (c->t, c);
1005 }
1006
1007 /******************************************************************************/
1008 /********************************    API    ***********************************/
1009 /******************************************************************************/
1010
1011 /**
1012  * Core handler for connection creation.
1013  *
1014  * @param cls Closure (unused).
1015  * @param peer Sender (neighbor).
1016  * @param message Message.
1017  *
1018  * @return GNUNET_OK to keep the connection open,
1019  *         GNUNET_SYSERR to close it (signal serious error)
1020  */
1021 int
1022 GMC_handle_create (void *cls, const struct GNUNET_PeerIdentity *peer,
1023                    const struct GNUNET_MessageHeader *message)
1024 {
1025   struct GNUNET_MESH_ConnectionCreate *msg;
1026   struct GNUNET_PeerIdentity *id;
1027   struct GNUNET_HashCode *cid;
1028   struct MeshPeerPath *path;
1029   struct MeshPeer *dest_peer;
1030   struct MeshPeer *orig_peer;
1031   struct MeshConnection *c;
1032   unsigned int own_pos;
1033   uint16_t size;
1034   uint16_t i;
1035
1036   LOG (GNUNET_ERROR_TYPE_DEBUG, "\n\n");
1037   LOG (GNUNET_ERROR_TYPE_DEBUG, "Received a connection create msg\n");
1038
1039   /* Check size */
1040   size = ntohs (message->size);
1041   if (size < sizeof (struct GNUNET_MESH_ConnectionCreate))
1042   {
1043     GNUNET_break_op (0);
1044     return GNUNET_OK;
1045   }
1046
1047   /* Calculate hops */
1048   size -= sizeof (struct GNUNET_MESH_ConnectionCreate);
1049   if (size % sizeof (struct GNUNET_PeerIdentity))
1050   {
1051     GNUNET_break_op (0);
1052     return GNUNET_OK;
1053   }
1054   size /= sizeof (struct GNUNET_PeerIdentity);
1055   if (1 > size)
1056   {
1057     GNUNET_break_op (0);
1058     return GNUNET_OK;
1059   }
1060   LOG (GNUNET_ERROR_TYPE_DEBUG, "    path has %u hops.\n", size);
1061
1062   /* Get parameters */
1063   msg = (struct GNUNET_MESH_ConnectionCreate *) message;
1064   cid = &msg->cid;
1065   id = (struct GNUNET_PeerIdentity *) &msg[1];
1066   LOG (GNUNET_ERROR_TYPE_DEBUG,
1067               "    connection %s (%s).\n",
1068               GNUNET_h2s (cid), GNUNET_i2s (id));
1069
1070   /* Create connection */
1071   c = connection_get (cid);
1072   if (NULL == c)
1073   {
1074     /* Create path */
1075     LOG (GNUNET_ERROR_TYPE_DEBUG, "  Creating path...\n");
1076     path = path_new (size);
1077     own_pos = 0;
1078     for (i = 0; i < size; i++)
1079     {
1080       LOG (GNUNET_ERROR_TYPE_DEBUG, "  ... adding %s\n",
1081                   GNUNET_i2s (&id[i]));
1082       path->peers[i] = GNUNET_PEER_intern (&id[i]);
1083       if (path->peers[i] == myid)
1084         own_pos = i;
1085     }
1086     if (own_pos == 0 && path->peers[own_pos] != myid)
1087     {
1088       /* create path: self not found in path through self */
1089       GNUNET_break_op (0);
1090       path_destroy (path);
1091       return GNUNET_OK;
1092     }
1093     LOG (GNUNET_ERROR_TYPE_DEBUG, "  Own position: %u\n", own_pos);
1094     GMP_add_path_to_all (path, GNUNET_NO);
1095         LOG (GNUNET_ERROR_TYPE_DEBUG, "  Creating connection\n");
1096     c = GMC_new (cid, NULL, path_duplicate (path), own_pos);
1097     if (NULL == c)
1098       return GNUNET_OK;
1099     connection_reset_timeout (c, GNUNET_YES);
1100   }
1101   else
1102   {
1103     path = NULL;
1104   }
1105   if (MESH_CONNECTION_NEW == c->state)
1106     connection_change_state (c, MESH_CONNECTION_SENT);
1107
1108   /* Remember peers */
1109   dest_peer = GMP_get (&id[size - 1]);
1110   orig_peer = GMP_get (&id[0]);
1111
1112   /* Is it a connection to us? */
1113   if (c->own_pos == size - 1)
1114   {
1115     LOG (GNUNET_ERROR_TYPE_DEBUG, "  It's for us!\n");
1116     GMP_add_path_to_origin (orig_peer, path, GNUNET_YES);
1117
1118     add_to_peer (c, orig_peer);
1119     if (MESH_TUNNEL3_NEW == GMT_get_state (c->t))
1120       GMT_change_state (c->t,  MESH_TUNNEL3_WAITING);
1121
1122     send_connection_ack (c, GNUNET_NO);
1123     if (MESH_CONNECTION_SENT == c->state)
1124       connection_change_state (c, MESH_CONNECTION_ACK);
1125
1126     /* Keep tunnel alive in direction dest->owner*/
1127     connection_reset_timeout (c, GNUNET_NO);
1128   }
1129   else
1130   {
1131     /* It's for somebody else! Retransmit. */
1132     LOG (GNUNET_ERROR_TYPE_DEBUG, "  Retransmitting.\n");
1133     GMP_add_path (dest_peer, path_duplicate (path), GNUNET_NO);
1134     GMP_add_path_to_origin (orig_peer, path, GNUNET_NO);
1135     GMC_send_prebuilt_message (message, c, GNUNET_YES);
1136   }
1137   return GNUNET_OK;
1138 }
1139
1140
1141 /**
1142  * Core handler for path confirmations.
1143  *
1144  * @param cls closure
1145  * @param message message
1146  * @param peer peer identity this notification is about
1147  *
1148  * @return GNUNET_OK to keep the connection open,
1149  *         GNUNET_SYSERR to close it (signal serious error)
1150  */
1151 int
1152 GMC_handle_confirm (void *cls, const struct GNUNET_PeerIdentity *peer,
1153                     const struct GNUNET_MessageHeader *message)
1154 {
1155   struct GNUNET_MESH_ConnectionACK *msg;
1156   struct MeshConnection *c;
1157   struct MeshPeerPath *p;
1158   struct MeshPeer *pi;
1159   int fwd;
1160
1161   LOG (GNUNET_ERROR_TYPE_DEBUG, "\n\n");
1162   LOG (GNUNET_ERROR_TYPE_DEBUG, "Received a connection ACK msg\n");
1163   msg = (struct GNUNET_MESH_ConnectionACK *) message;
1164   LOG (GNUNET_ERROR_TYPE_DEBUG, "  on connection %s\n",
1165               GNUNET_h2s (&msg->cid));
1166   c = connection_get (&msg->cid);
1167   if (NULL == c)
1168   {
1169     GNUNET_STATISTICS_update (stats, "# control on unknown connection",
1170                               1, GNUNET_NO);
1171     LOG (GNUNET_ERROR_TYPE_DEBUG, "  don't know the connection!\n");
1172     return GNUNET_OK;
1173   }
1174
1175
1176   LOG (GNUNET_ERROR_TYPE_DEBUG, "  via peer %s\n",
1177               GNUNET_i2s (peer));
1178   pi = GMP_get (peer);
1179   if (get_next_hop (c) == pi)
1180   {
1181     LOG (GNUNET_ERROR_TYPE_DEBUG, "  SYNACK\n");
1182     fwd = GNUNET_NO;
1183     if (MESH_CONNECTION_SENT == c->state)
1184       connection_change_state (c, MESH_CONNECTION_ACK);
1185   }
1186   else if (get_prev_hop (c) == pi)
1187   {
1188     LOG (GNUNET_ERROR_TYPE_DEBUG, "  ACK\n");
1189     fwd = GNUNET_YES;
1190     connection_change_state (c, MESH_CONNECTION_READY);
1191   }
1192   else
1193   {
1194     GNUNET_break_op (0);
1195     return GNUNET_OK;
1196   }
1197   connection_reset_timeout (c, fwd);
1198
1199   /* Add path to peers? */
1200   p = c->path;
1201   if (NULL != p)
1202   {
1203     GMP_add_path_to_all (p, GNUNET_YES);
1204   }
1205   else
1206   {
1207     GNUNET_break (0);
1208   }
1209
1210   /* Message for us as creator? */
1211   if (GMC_is_origin (c, GNUNET_YES))
1212   {
1213     LOG (GNUNET_ERROR_TYPE_DEBUG, "  Connection (SYN)ACK for us!\n");
1214     connection_change_state (c, MESH_CONNECTION_READY);
1215     GMT_change_state (c->t, MESH_TUNNEL3_READY);
1216     send_connection_ack (c, GNUNET_YES);
1217     GMT_send_queued_data (c->t, GNUNET_YES);
1218     return GNUNET_OK;
1219   }
1220
1221   /* Message for us as destination? */
1222   if (GMC_is_terminal (c, GNUNET_YES))
1223   {
1224     LOG (GNUNET_ERROR_TYPE_DEBUG, "  Connection ACK for us!\n");
1225     connection_change_state (c, MESH_CONNECTION_READY);
1226     GMT_change_state (c->t, MESH_TUNNEL3_READY);
1227     GMT_send_queued_data (c->t, GNUNET_NO);
1228     return GNUNET_OK;
1229   }
1230
1231   LOG (GNUNET_ERROR_TYPE_DEBUG, "  not for us, retransmitting...\n");
1232   GMC_send_prebuilt_message (message, c, fwd);
1233   return GNUNET_OK;
1234 }
1235
1236
1237 /**
1238  * Core handler for notifications of broken paths
1239  *
1240  * @param cls Closure (unused).
1241  * @param id Peer identity of sending neighbor.
1242  * @param message Message.
1243  *
1244  * @return GNUNET_OK to keep the connection open,
1245  *         GNUNET_SYSERR to close it (signal serious error)
1246  */
1247 int
1248 GMC_handle_broken (void* cls,
1249                    const struct GNUNET_PeerIdentity* id,
1250                    const struct GNUNET_MessageHeader* message)
1251 {
1252   struct GNUNET_MESH_ConnectionBroken *msg;
1253   struct MeshConnection *c;
1254   int fwd;
1255
1256   LOG (GNUNET_ERROR_TYPE_DEBUG,
1257               "Received a CONNECTION BROKEN msg from %s\n", GNUNET_i2s (id));
1258   msg = (struct GNUNET_MESH_ConnectionBroken *) message;
1259   LOG (GNUNET_ERROR_TYPE_DEBUG, "  regarding %s\n",
1260               GNUNET_i2s (&msg->peer1));
1261   LOG (GNUNET_ERROR_TYPE_DEBUG, "  regarding %s\n",
1262               GNUNET_i2s (&msg->peer2));
1263   c = connection_get (&msg->cid);
1264   if (NULL == c)
1265   {
1266     GNUNET_break_op (0);
1267     return GNUNET_OK;
1268   }
1269
1270   fwd = is_fwd (c, id);
1271   connection_cancel_queues (c, !fwd);
1272   if (GMC_is_terminal (c, fwd))
1273   {
1274     if (0 < c->pending_messages)
1275       c->destroy = GNUNET_YES;
1276     else
1277       GMC_destroy (c);
1278   }
1279   else
1280   {
1281     GMC_send_prebuilt_message (message, c, fwd);
1282     c->destroy = GNUNET_YES;
1283   }
1284
1285   return GNUNET_OK;
1286
1287 }
1288
1289
1290 /**
1291  * Core handler for tunnel destruction
1292  *
1293  * @param cls Closure (unused).
1294  * @param peer Peer identity of sending neighbor.
1295  * @param message Message.
1296  *
1297  * @return GNUNET_OK to keep the connection open,
1298  *         GNUNET_SYSERR to close it (signal serious error)
1299  */
1300 int
1301 GMC_handle_destroy (void *cls, const struct GNUNET_PeerIdentity *peer,
1302                     const struct GNUNET_MessageHeader *message)
1303 {
1304   struct GNUNET_MESH_ConnectionDestroy *msg;
1305   struct MeshConnection *c;
1306   int fwd;
1307
1308   msg = (struct GNUNET_MESH_ConnectionDestroy *) message;
1309   LOG (GNUNET_ERROR_TYPE_DEBUG,
1310               "Got a CONNECTION DESTROY message from %s\n",
1311               GNUNET_i2s (peer));
1312   LOG (GNUNET_ERROR_TYPE_DEBUG,
1313               "  for connection %s\n",
1314               GNUNET_h2s (&msg->cid));
1315   c = connection_get (&msg->cid);
1316   if (NULL == c)
1317   {
1318     /* Probably already got the message from another path,
1319      * destroyed the tunnel and retransmitted to children.
1320      * Safe to ignore.
1321      */
1322     GNUNET_STATISTICS_update (stats, "# control on unknown tunnel",
1323                               1, GNUNET_NO);
1324     return GNUNET_OK;
1325   }
1326   fwd = is_fwd (c, peer);
1327   if (GNUNET_SYSERR == fwd)
1328   {
1329     GNUNET_break_op (0);
1330     return GNUNET_OK;
1331   }
1332   GMC_send_prebuilt_message (message, c, fwd);
1333   c->destroy = GNUNET_YES;
1334
1335   return GNUNET_OK;
1336 }
1337
1338 /**
1339  * Generic handler for mesh network encrypted traffic.
1340  *
1341  * @param peer Peer identity this notification is about.
1342  * @param msg Encrypted message.
1343  *
1344  * @return GNUNET_OK to keep the connection open,
1345  *         GNUNET_SYSERR to close it (signal serious error)
1346  */
1347 static int
1348 handle_mesh_encrypted (const struct GNUNET_PeerIdentity *peer,
1349                        const struct GNUNET_MESH_Encrypted *msg)
1350 {
1351   struct MeshConnection *c;
1352   struct MeshPeer *neighbor;
1353   struct MeshFlowControl *fc;
1354   GNUNET_PEER_Id peer_id;
1355   uint32_t pid;
1356   uint32_t ttl;
1357   uint16_t type;
1358   size_t size;
1359   int fwd;
1360
1361   /* Check size */
1362   size = ntohs (msg->header.size);
1363   if (size <
1364       sizeof (struct GNUNET_MESH_Encrypted) +
1365       sizeof (struct GNUNET_MessageHeader))
1366   {
1367     GNUNET_break_op (0);
1368     return GNUNET_OK;
1369   }
1370   type = ntohs (msg->header.type);
1371   LOG (GNUNET_ERROR_TYPE_DEBUG, "\n\n");
1372   LOG (GNUNET_ERROR_TYPE_DEBUG, "got a %s message from %s\n",
1373               GNUNET_MESH_DEBUG_M2S (type), GNUNET_i2s (peer));
1374
1375   /* Check connection */
1376   c = connection_get (&msg->cid);
1377   if (NULL == c)
1378   {
1379     GNUNET_STATISTICS_update (stats, "# unknown connection", 1, GNUNET_NO);
1380     LOG (GNUNET_ERROR_TYPE_DEBUG, "WARNING connection unknown\n");
1381     return GNUNET_OK;
1382   }
1383
1384   /* Check if origin is as expected */
1385   neighbor = get_prev_hop (c);
1386   peer_id = GNUNET_PEER_search (peer);
1387   if (peer_id == GMP_get_short_id (neighbor))
1388   {
1389     fwd = GNUNET_YES;
1390   }
1391   else
1392   {
1393     neighbor = get_next_hop (c);
1394     if (peer_id == GMP_get_short_id (neighbor))
1395     {
1396       fwd = GNUNET_NO;
1397     }
1398     else
1399     {
1400       /* Unexpected peer sending traffic on a connection. */
1401       GNUNET_break_op (0);
1402       return GNUNET_OK;
1403     }
1404   }
1405
1406   /* Check PID */
1407   fc = fwd ? &c->bck_fc : &c->fwd_fc;
1408   pid = ntohl (msg->pid);
1409   if (GMC_is_pid_bigger (pid, fc->last_ack_sent))
1410   {
1411     GNUNET_STATISTICS_update (stats, "# unsolicited message", 1, GNUNET_NO);
1412     LOG (GNUNET_ERROR_TYPE_DEBUG,
1413                 "WARNING Received PID %u, (prev %u), ACK %u\n",
1414                 pid, fc->last_pid_recv, fc->last_ack_sent);
1415     return GNUNET_OK;
1416   }
1417   if (GNUNET_NO == GMC_is_pid_bigger (pid, fc->last_pid_recv))
1418   {
1419     GNUNET_STATISTICS_update (stats, "# duplicate PID", 1, GNUNET_NO);
1420     LOG (GNUNET_ERROR_TYPE_DEBUG,
1421                 " Pid %u not expected (%u+), dropping!\n",
1422                 pid, fc->last_pid_recv + 1);
1423     return GNUNET_OK;
1424   }
1425   if (MESH_CONNECTION_SENT == c->state || MESH_CONNECTION_ACK == c->state)
1426     connection_change_state (c, MESH_CONNECTION_READY);
1427   connection_reset_timeout (c, fwd);
1428   fc->last_pid_recv = pid;
1429
1430   /* Is this message for us? */
1431   if (GMC_is_terminal (c, fwd))
1432   {
1433     /* TODO signature verification */
1434     LOG (GNUNET_ERROR_TYPE_DEBUG, "  message for us!\n");
1435     GNUNET_STATISTICS_update (stats, "# messages received", 1, GNUNET_NO);
1436
1437     if (NULL == c->t)
1438     {
1439       GNUNET_break (0);
1440       return GNUNET_OK;
1441     }
1442     fc->last_pid_recv = pid;
1443     GMT_handle_encrypted (c->t, msg, fwd);
1444     GMC_send_ack (c, fwd);
1445     return GNUNET_OK;
1446   }
1447
1448   /* Message not for us: forward to next hop */
1449   LOG (GNUNET_ERROR_TYPE_DEBUG, "  not for us, retransmitting...\n");
1450   ttl = ntohl (msg->ttl);
1451   LOG (GNUNET_ERROR_TYPE_DEBUG, "   ttl: %u\n", ttl);
1452   if (ttl == 0)
1453   {
1454     GNUNET_STATISTICS_update (stats, "# TTL drops", 1, GNUNET_NO);
1455     LOG (GNUNET_ERROR_TYPE_WARNING, " TTL is 0, DROPPING!\n");
1456     GMC_send_ack (c, fwd);
1457     return GNUNET_OK;
1458   }
1459   GNUNET_STATISTICS_update (stats, "# messages forwarded", 1, GNUNET_NO);
1460
1461   GMC_send_prebuilt_message (&msg->header, c, fwd);
1462
1463   return GNUNET_OK;
1464 }
1465
1466 /**
1467  * Generic handler for mesh network encrypted traffic.
1468  *
1469  * @param peer Peer identity this notification is about.
1470  * @param msg Encrypted message.
1471  *
1472  * @return GNUNET_OK to keep the connection open,
1473  *         GNUNET_SYSERR to close it (signal serious error)
1474  */
1475 static int
1476 handle_mesh_kx (const struct GNUNET_PeerIdentity *peer,
1477                 const struct GNUNET_MESH_KX *msg)
1478 {
1479   struct MeshConnection *c;
1480   struct MeshPeer *neighbor;
1481   GNUNET_PEER_Id peer_id;
1482   size_t size;
1483   uint16_t type;
1484   int fwd;
1485
1486   /* Check size */
1487   size = ntohs (msg->header.size);
1488   if (size <
1489       sizeof (struct GNUNET_MESH_Encrypted) +
1490       sizeof (struct GNUNET_MessageHeader))
1491   {
1492     GNUNET_break_op (0);
1493     return GNUNET_OK;
1494   }
1495   type = ntohs (msg->header.type);
1496   LOG (GNUNET_ERROR_TYPE_DEBUG, "\n\n");
1497   LOG (GNUNET_ERROR_TYPE_DEBUG, "got a %s message from %s\n",
1498               GNUNET_MESH_DEBUG_M2S (type), GNUNET_i2s (peer));
1499
1500   /* Check connection */
1501   c = connection_get (&msg->cid);
1502   if (NULL == c)
1503   {
1504     GNUNET_STATISTICS_update (stats, "# unknown connection", 1, GNUNET_NO);
1505     LOG (GNUNET_ERROR_TYPE_DEBUG, "WARNING connection unknown\n");
1506     return GNUNET_OK;
1507   }
1508
1509   /* Check if origin is as expected */
1510   neighbor = get_prev_hop (c);
1511   peer_id = GNUNET_PEER_search (peer);
1512   if (peer_id == GMP_get_short_id (neighbor))
1513   {
1514     fwd = GNUNET_YES;
1515   }
1516   else
1517   {
1518     neighbor = get_next_hop (c);
1519     if (peer_id == GMP_get_short_id (neighbor))
1520     {
1521       fwd = GNUNET_NO;
1522     }
1523     else
1524     {
1525       /* Unexpected peer sending traffic on a connection. */
1526       GNUNET_break_op (0);
1527       return GNUNET_OK;
1528     }
1529   }
1530
1531   if (GMC_is_terminal (c, fwd))
1532   {
1533     LOG (GNUNET_ERROR_TYPE_DEBUG, "  message for us!\n");
1534     GNUNET_STATISTICS_update (stats, "# messages received", 1, GNUNET_NO);
1535     if (NULL == c->t)
1536     {
1537       GNUNET_break (0);
1538       return GNUNET_OK;
1539     }
1540     GMT_handle_kx (c->t, &msg[1].header);
1541     return GNUNET_OK;
1542   }
1543
1544   /* Message not for us: forward to next hop */
1545   LOG (GNUNET_ERROR_TYPE_DEBUG, "  not for us, retransmitting...\n");
1546   GNUNET_STATISTICS_update (stats, "# messages forwarded", 1, GNUNET_NO);
1547
1548   GMC_send_prebuilt_message (&msg->header, c, fwd);
1549
1550   return GNUNET_OK;
1551 }
1552
1553
1554 /**
1555  * Core handler for encrypted mesh network traffic (channel mgmt, data).
1556  *
1557  * @param cls Closure (unused).
1558  * @param message Message received.
1559  * @param peer Peer who sent the message.
1560  *
1561  * @return GNUNET_OK to keep the connection open,
1562  *         GNUNET_SYSERR to close it (signal serious error)
1563  */
1564 int
1565 GMC_handle_encrypted (void *cls, const struct GNUNET_PeerIdentity *peer,
1566                       const struct GNUNET_MessageHeader *message)
1567 {
1568   return handle_mesh_encrypted (peer,
1569                                 (struct GNUNET_MESH_Encrypted *)message);
1570 }
1571
1572
1573 /**
1574  * Core handler for key exchange traffic (ephemeral key, ping, pong).
1575  *
1576  * @param cls Closure (unused).
1577  * @param message Message received.
1578  * @param peer Peer who sent the message.
1579  *
1580  * @return GNUNET_OK to keep the connection open,
1581  *         GNUNET_SYSERR to close it (signal serious error)
1582  */
1583 int
1584 GMC_handle_kx (void *cls, const struct GNUNET_PeerIdentity *peer,
1585                const struct GNUNET_MessageHeader *message)
1586 {
1587   return handle_mesh_kx (peer,
1588                          (struct GNUNET_MESH_KX *) message);
1589 }
1590
1591
1592 /**
1593  * Core handler for mesh network traffic point-to-point acks.
1594  *
1595  * @param cls closure
1596  * @param message message
1597  * @param peer peer identity this notification is about
1598  *
1599  * @return GNUNET_OK to keep the connection open,
1600  *         GNUNET_SYSERR to close it (signal serious error)
1601  */
1602 int
1603 GMC_handle_ack (void *cls, const struct GNUNET_PeerIdentity *peer,
1604                 const struct GNUNET_MessageHeader *message)
1605 {
1606   struct GNUNET_MESH_ACK *msg;
1607   struct MeshConnection *c;
1608   struct MeshFlowControl *fc;
1609   GNUNET_PEER_Id id;
1610   uint32_t ack;
1611   int fwd;
1612
1613   LOG (GNUNET_ERROR_TYPE_DEBUG, "\n\n");
1614   LOG (GNUNET_ERROR_TYPE_DEBUG, "Got an ACK packet from %s!\n",
1615               GNUNET_i2s (peer));
1616   msg = (struct GNUNET_MESH_ACK *) message;
1617
1618   c = connection_get (&msg->cid);
1619
1620   if (NULL == c)
1621   {
1622     GNUNET_STATISTICS_update (stats, "# ack on unknown connection", 1,
1623                               GNUNET_NO);
1624     return GNUNET_OK;
1625   }
1626
1627   /* Is this a forward or backward ACK? */
1628   id = GNUNET_PEER_search (peer);
1629   if (GMP_get_short_id (get_next_hop (c)) == id)
1630   {
1631     LOG (GNUNET_ERROR_TYPE_DEBUG, "  FWD ACK\n");
1632     fc = &c->fwd_fc;
1633     fwd = GNUNET_YES;
1634   }
1635   else if (GMP_get_short_id (get_prev_hop (c)) == id)
1636   {
1637     LOG (GNUNET_ERROR_TYPE_DEBUG, "  BCK ACK\n");
1638     fc = &c->bck_fc;
1639     fwd = GNUNET_NO;
1640   }
1641   else
1642   {
1643     GNUNET_break_op (0);
1644     return GNUNET_OK;
1645   }
1646
1647   ack = ntohl (msg->ack);
1648   LOG (GNUNET_ERROR_TYPE_DEBUG, "  ACK %u (was %u)\n",
1649               ack, fc->last_ack_recv);
1650   if (GMC_is_pid_bigger (ack, fc->last_ack_recv))
1651     fc->last_ack_recv = ack;
1652
1653   /* Cancel polling if the ACK is big enough. */
1654   if (GNUNET_SCHEDULER_NO_TASK != fc->poll_task &&
1655       GMC_is_pid_bigger (fc->last_ack_recv, fc->last_pid_sent))
1656   {
1657     LOG (GNUNET_ERROR_TYPE_DEBUG, "  Cancel poll\n");
1658     GNUNET_SCHEDULER_cancel (fc->poll_task);
1659     fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
1660     fc->poll_time = GNUNET_TIME_UNIT_SECONDS;
1661   }
1662
1663   connection_unlock_queue (c, fwd);
1664
1665   return GNUNET_OK;
1666 }
1667
1668
1669 /**
1670  * Core handler for mesh network traffic point-to-point ack polls.
1671  *
1672  * @param cls closure
1673  * @param message message
1674  * @param peer peer identity this notification is about
1675  *
1676  * @return GNUNET_OK to keep the connection open,
1677  *         GNUNET_SYSERR to close it (signal serious error)
1678  */
1679 int
1680 GMC_handle_poll (void *cls, const struct GNUNET_PeerIdentity *peer,
1681                  const struct GNUNET_MessageHeader *message)
1682 {
1683   struct GNUNET_MESH_Poll *msg;
1684   struct MeshConnection *c;
1685   struct MeshFlowControl *fc;
1686   GNUNET_PEER_Id id;
1687   uint32_t pid;
1688   int fwd;
1689
1690   LOG (GNUNET_ERROR_TYPE_DEBUG, "\n\n");
1691   LOG (GNUNET_ERROR_TYPE_DEBUG, "Got a POLL packet from %s!\n",
1692               GNUNET_i2s (peer));
1693
1694   msg = (struct GNUNET_MESH_Poll *) message;
1695
1696   c = connection_get (&msg->cid);
1697
1698   if (NULL == c)
1699   {
1700     GNUNET_STATISTICS_update (stats, "# poll on unknown connection", 1,
1701                               GNUNET_NO);
1702     GNUNET_break_op (0);
1703     return GNUNET_OK;
1704   }
1705
1706   /* Is this a forward or backward ACK?
1707    * Note: a poll should never be needed in a loopback case,
1708    * since there is no possiblility of packet loss there, so
1709    * this way of discerining FWD/BCK should not be a problem.
1710    */
1711   id = GNUNET_PEER_search (peer);
1712   if (GMP_get_short_id (get_next_hop (c)) == id)
1713   {
1714     LOG (GNUNET_ERROR_TYPE_DEBUG, "  FWD ACK\n");
1715     fc = &c->fwd_fc;
1716   }
1717   else if (GMP_get_short_id (get_prev_hop (c)) == id)
1718   {
1719     LOG (GNUNET_ERROR_TYPE_DEBUG, "  BCK ACK\n");
1720     fc = &c->bck_fc;
1721   }
1722   else
1723   {
1724     GNUNET_break_op (0);
1725     return GNUNET_OK;
1726   }
1727
1728   pid = ntohl (msg->pid);
1729   LOG (GNUNET_ERROR_TYPE_DEBUG, "  PID %u, OLD %u\n",
1730               pid, fc->last_pid_recv);
1731   fc->last_pid_recv = pid;
1732   fwd = fc == &c->fwd_fc;
1733   GMC_send_ack (c, fwd);
1734
1735   return GNUNET_OK;
1736 }
1737
1738
1739 /**
1740  * Core handler for mesh keepalives.
1741  *
1742  * @param cls closure
1743  * @param message message
1744  * @param peer peer identity this notification is about
1745  * @return GNUNET_OK to keep the connection open,
1746  *         GNUNET_SYSERR to close it (signal serious error)
1747  *
1748  * TODO: Check who we got this from, to validate route.
1749  */
1750 int
1751 GMC_handle_keepalive (void *cls, const struct GNUNET_PeerIdentity *peer,
1752                       const struct GNUNET_MessageHeader *message)
1753 {
1754   struct GNUNET_MESH_ConnectionKeepAlive *msg;
1755   struct MeshConnection *c;
1756   struct MeshPeer *neighbor;
1757   int fwd;
1758
1759   msg = (struct GNUNET_MESH_ConnectionKeepAlive *) message;
1760   LOG (GNUNET_ERROR_TYPE_DEBUG, "got a keepalive packet from %s\n",
1761               GNUNET_i2s (peer));
1762
1763   c = connection_get (&msg->cid);
1764   if (NULL == c)
1765   {
1766     GNUNET_STATISTICS_update (stats, "# keepalive on unknown connection", 1,
1767                               GNUNET_NO);
1768     return GNUNET_OK;
1769   }
1770
1771   fwd = GNUNET_MESSAGE_TYPE_MESH_FWD_KEEPALIVE == ntohs (message->type) ?
1772         GNUNET_YES : GNUNET_NO;
1773
1774   /* Check if origin is as expected */
1775   neighbor = get_hop (c, fwd);
1776   if (GNUNET_PEER_search (peer) != GMP_get_short_id (neighbor))
1777   {
1778     GNUNET_break_op (0);
1779     return GNUNET_OK;
1780   }
1781
1782   connection_change_state (c, MESH_CONNECTION_READY);
1783   connection_reset_timeout (c, fwd);
1784
1785   if (GMC_is_terminal (c, fwd))
1786     return GNUNET_OK;
1787
1788   GNUNET_STATISTICS_update (stats, "# keepalives forwarded", 1, GNUNET_NO);
1789   GMC_send_prebuilt_message (message, c, fwd);
1790
1791   return GNUNET_OK;
1792 }
1793
1794
1795 /**
1796  * Send an ACK on the appropriate connection/channel, depending on
1797  * the direction and the position of the peer.
1798  *
1799  * @param c Which connection to send the hop-by-hop ACK.
1800  * @param fwd Is this a fwd ACK? (will go dest->root)
1801  */
1802 void
1803 GMC_send_ack (struct MeshConnection *c, int fwd)
1804 {
1805   unsigned int buffer;
1806
1807   LOG (GNUNET_ERROR_TYPE_DEBUG,
1808        "GMC send %s ACK on %s\n",
1809        fwd ? "FWD" : "BCK", GMC_2s (c));
1810
1811   if (NULL == c)
1812   {
1813     GNUNET_break (0);
1814     return;
1815   }
1816
1817   /* Get available buffer space */
1818   if (GMC_is_terminal (c, fwd))
1819   {
1820     LOG (GNUNET_ERROR_TYPE_DEBUG, "  getting from all channels\n");
1821     buffer = GMT_get_buffer (c->t, fwd);
1822   }
1823   else
1824   {
1825     LOG (GNUNET_ERROR_TYPE_DEBUG, "  getting from one connection\n");
1826     buffer = GMC_get_buffer (c, fwd);
1827   }
1828   LOG (GNUNET_ERROR_TYPE_DEBUG, "  buffer available: %u\n", buffer);
1829
1830   /* Send available buffer space */
1831   if (GMC_is_origin (c, fwd))
1832   {
1833     GNUNET_assert (NULL != c->t);
1834     LOG (GNUNET_ERROR_TYPE_DEBUG, "  sending on channels...\n");
1835     if (0 < buffer)
1836     {
1837       LOG (GNUNET_ERROR_TYPE_DEBUG, "  really sending!\n");
1838       GMT_unchoke_channels (c->t, fwd);
1839     }
1840   }
1841   else
1842   {
1843     LOG (GNUNET_ERROR_TYPE_DEBUG, "  sending on connection\n");
1844     send_ack (c, buffer, fwd);
1845   }
1846 }
1847
1848
1849 /**
1850  * Initialize the connections subsystem
1851  *
1852  * @param c Configuration handle.
1853  */
1854 void
1855 GMC_init (const struct GNUNET_CONFIGURATION_Handle *c)
1856 {
1857   LOG (GNUNET_ERROR_TYPE_DEBUG, "init\n");
1858   if (GNUNET_OK !=
1859       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_MSGS_QUEUE",
1860                                              &max_msgs_queue))
1861   {
1862     GNUNET_log_config_invalid (GNUNET_ERROR_TYPE_ERROR,
1863                                "MESH", "MAX_MSGS_QUEUE", "MISSING");
1864     GNUNET_SCHEDULER_shutdown ();
1865     return;
1866   }
1867
1868   if (GNUNET_OK !=
1869       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_CONNECTIONS",
1870                                              &max_connections))
1871   {
1872     GNUNET_log_config_invalid (GNUNET_ERROR_TYPE_ERROR,
1873                                "MESH", "MAX_CONNECTIONS", "MISSING");
1874     GNUNET_SCHEDULER_shutdown ();
1875     return;
1876   }
1877
1878   if (GNUNET_OK !=
1879       GNUNET_CONFIGURATION_get_value_time (c, "MESH", "REFRESH_CONNECTION_TIME",
1880                                            &refresh_connection_time))
1881   {
1882     GNUNET_log_config_invalid (GNUNET_ERROR_TYPE_ERROR,
1883                                "MESH", "REFRESH_CONNECTION_TIME", "MISSING");
1884     GNUNET_SCHEDULER_shutdown ();
1885     return;
1886   }
1887   connections = GNUNET_CONTAINER_multihashmap_create (1024, GNUNET_YES);
1888 }
1889
1890 /**
1891  * Shut down the connections subsystem.
1892  */
1893 void
1894 GMC_shutdown (void)
1895 {
1896   GNUNET_CONTAINER_multihashmap_destroy (connections);
1897 }
1898
1899
1900 struct MeshConnection *
1901 GMC_new (const struct GNUNET_HashCode *cid,
1902          struct MeshTunnel3 *t,
1903          struct MeshPeerPath *p,
1904          unsigned int own_pos)
1905 {
1906   struct MeshConnection *c;
1907
1908   c = GNUNET_new (struct MeshConnection);
1909   c->id = *cid;
1910   GNUNET_CONTAINER_multihashmap_put (connections, &c->id, c,
1911                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
1912   fc_init (&c->fwd_fc);
1913   fc_init (&c->bck_fc);
1914   c->fwd_fc.c = c;
1915   c->bck_fc.c = c;
1916
1917   c->t = t;
1918   if (own_pos > p->length - 1)
1919   {
1920     GNUNET_break (0);
1921     GMC_destroy (c);
1922     return NULL;
1923   }
1924   c->own_pos = own_pos;
1925   c->path = p;
1926
1927   if (0 == own_pos)
1928   {
1929     c->fwd_maintenance_task =
1930             GNUNET_SCHEDULER_add_delayed (refresh_connection_time,
1931                                           &connection_fwd_keepalive, c);
1932   }
1933   register_neighbors (c);
1934   return c;
1935 }
1936
1937
1938 void
1939 GMC_destroy (struct MeshConnection *c)
1940 {
1941   if (NULL == c)
1942     return;
1943
1944   if (2 == c->destroy) /* cancel queues -> GMP_queue_cancel -> q_destroy -> */
1945     return;            /* -> message_sent -> GMC_destroy. Don't loop. */
1946   c->destroy = 2;
1947
1948   LOG (GNUNET_ERROR_TYPE_DEBUG, "destroying connection %s\n", GMC_2s (c));
1949
1950   /* Cancel all traffic */
1951   connection_cancel_queues (c, GNUNET_YES);
1952   connection_cancel_queues (c, GNUNET_NO);
1953
1954   /* Cancel maintainance task (keepalive/timeout) */
1955   if (GNUNET_SCHEDULER_NO_TASK != c->fwd_maintenance_task)
1956     GNUNET_SCHEDULER_cancel (c->fwd_maintenance_task);
1957   if (GNUNET_SCHEDULER_NO_TASK != c->bck_maintenance_task)
1958     GNUNET_SCHEDULER_cancel (c->bck_maintenance_task);
1959
1960   /* Unregister from neighbors */
1961   unregister_neighbors (c);
1962
1963   /* Delete */
1964   GNUNET_STATISTICS_update (stats, "# connections", -1, GNUNET_NO);
1965   if (NULL != c->t)
1966     GMT_remove_connection (c->t, c);
1967
1968   if (GNUNET_NO == GMC_is_origin (c, GNUNET_YES))
1969     path_destroy (c->path);
1970
1971   GNUNET_free (c);
1972 }
1973
1974 /**
1975  * Get the connection ID.
1976  *
1977  * @param c Connection to get the ID from.
1978  *
1979  * @return ID of the connection.
1980  */
1981 const struct GNUNET_HashCode *
1982 GMC_get_id (const struct MeshConnection *c)
1983 {
1984   return &c->id;
1985 }
1986
1987
1988 /**
1989  * Get the connection path.
1990  *
1991  * @param c Connection to get the path from.
1992  *
1993  * @return path used by the connection.
1994  */
1995 const struct MeshPeerPath *
1996 GMC_get_path (const struct MeshConnection *c)
1997 {
1998   return c->path;
1999 }
2000
2001
2002 /**
2003  * Get the connection state.
2004  *
2005  * @param c Connection to get the state from.
2006  *
2007  * @return state of the connection.
2008  */
2009 enum MeshConnectionState
2010 GMC_get_state (const struct MeshConnection *c)
2011 {
2012   return c->state;
2013 }
2014
2015 /**
2016  * Get the connection tunnel.
2017  *
2018  * @param c Connection to get the tunnel from.
2019  *
2020  * @return tunnel of the connection.
2021  */
2022 struct MeshTunnel3 *
2023 GMC_get_tunnel (const struct MeshConnection *c)
2024 {
2025   return c->t;
2026 }
2027
2028
2029 /**
2030  * Get free buffer space in a connection.
2031  *
2032  * @param c Connection.
2033  * @param fwd Is query about FWD traffic?
2034  *
2035  * @return Free buffer space [0 - max_msgs_queue/max_connections]
2036  */
2037 unsigned int
2038 GMC_get_buffer (struct MeshConnection *c, int fwd)
2039 {
2040   struct MeshFlowControl *fc;
2041
2042   fc = fwd ? &c->fwd_fc : &c->bck_fc;
2043
2044   return (fc->queue_max - fc->queue_n);
2045 }
2046
2047 /**
2048  * Get how many messages have we allowed to send to us from a direction.
2049  *
2050  * @param c Connection.
2051  * @param fwd Are we asking about traffic from FWD (BCK messages)?
2052  *
2053  * @return last_ack_sent - last_pid_recv
2054  */
2055 unsigned int
2056 GMC_get_allowed (struct MeshConnection *c, int fwd)
2057 {
2058   struct MeshFlowControl *fc;
2059
2060   fc = fwd ? &c->fwd_fc : &c->bck_fc;
2061   if (GMC_is_pid_bigger(fc->last_pid_recv, fc->last_ack_sent))
2062   {
2063     return 0;
2064   }
2065   return (fc->last_ack_sent - fc->last_pid_recv);
2066 }
2067
2068 /**
2069  * Get messages queued in a connection.
2070  *
2071  * @param c Connection.
2072  * @param fwd Is query about FWD traffic?
2073  *
2074  * @return Number of messages queued.
2075  */
2076 unsigned int
2077 GMC_get_qn (struct MeshConnection *c, int fwd)
2078 {
2079   struct MeshFlowControl *fc;
2080
2081   fc = fwd ? &c->fwd_fc : &c->bck_fc;
2082
2083   return fc->queue_n;
2084 }
2085
2086
2087 /**
2088  * Allow the connection to advertise a buffer of the given size.
2089  *
2090  * The connection will send an @c fwd ACK message (so: in direction !fwd)
2091  * allowing up to last_pid_recv + buffer.
2092  *
2093  * @param c Connection.
2094  * @param buffer How many more messages the connection can accept.
2095  * @param fwd Is this about FWD traffic? (The ack will go dest->root).
2096  */
2097 void
2098 GMC_allow (struct MeshConnection *c, unsigned int buffer, int fwd)
2099 {
2100   send_ack (c, buffer, fwd);
2101 }
2102
2103
2104 /**
2105  * Notify other peers on a connection of a broken link. Mark connections
2106  * to destroy after all traffic has been sent.
2107  *
2108  * @param c Connection on which there has been a disconnection.
2109  * @param peer Peer that disconnected.
2110  */
2111 void
2112 GMC_notify_broken (struct MeshConnection *c,
2113                    struct MeshPeer *peer)
2114 {
2115   int fwd;
2116
2117   fwd = peer == get_prev_hop (c);
2118
2119   if (GNUNET_YES == GMC_is_terminal (c, fwd))
2120   {
2121     /* Local shutdown, no one to notify about this. */
2122     GMC_destroy (c);
2123     return;
2124   }
2125   if (GNUNET_NO == c->destroy)
2126     send_broken (c, &my_full_id, GMP_get_id (peer), fwd);
2127
2128   /* Connection will have at least one pending message
2129    * (the one we just scheduled), so no point in checking whether to
2130    * destroy immediately. */
2131   c->destroy = GNUNET_YES;
2132
2133   /**
2134    * Cancel all queues, if no message is left, connection will be destroyed.
2135    */
2136   connection_cancel_queues (c, !fwd);
2137
2138   return;
2139 }
2140
2141
2142 /**
2143  * Is this peer the first one on the connection?
2144  *
2145  * @param c Connection.
2146  * @param fwd Is this about fwd traffic?
2147  *
2148  * @return GNUNET_YES if origin, GNUNET_NO if relay/terminal.
2149  */
2150 int
2151 GMC_is_origin (struct MeshConnection *c, int fwd)
2152 {
2153   if (!fwd && c->path->length - 1 == c->own_pos )
2154     return GNUNET_YES;
2155   if (fwd && 0 == c->own_pos)
2156     return GNUNET_YES;
2157   return GNUNET_NO;
2158 }
2159
2160
2161 /**
2162  * Is this peer the last one on the connection?
2163  *
2164  * @param c Connection.
2165  * @param fwd Is this about fwd traffic?
2166  *            Note that the ROOT is the terminal for BCK traffic!
2167  *
2168  * @return GNUNET_YES if terminal, GNUNET_NO if relay/origin.
2169  */
2170 int
2171 GMC_is_terminal (struct MeshConnection *c, int fwd)
2172 {
2173   return GMC_is_origin (c, !fwd);
2174 }
2175
2176
2177 /**
2178  * See if we are allowed to send by the next hop in the given direction.
2179  *
2180  * @param c Connection.
2181  * @param fwd Is this about fwd traffic?
2182  *
2183  * @return GNUNET_YES in case it's OK.
2184  */
2185 int
2186 GMC_is_sendable (struct MeshConnection *c, int fwd)
2187 {
2188   struct MeshFlowControl *fc;
2189
2190   fc = fwd ? &c->fwd_fc : &c->bck_fc;
2191   if (GMC_is_pid_bigger (fc->last_ack_recv, fc->last_pid_sent))
2192     return GNUNET_YES;
2193   return GNUNET_NO;
2194 }
2195
2196 /**
2197  * Sends an already built message on a connection, properly registering
2198  * all used resources.
2199  *
2200  * @param message Message to send. Function makes a copy of it.
2201  *                If message is not hop-by-hop, decrements TTL of copy.
2202  * @param c Connection on which this message is transmitted.
2203  * @param fwd Is this a fwd message?
2204  */
2205 void
2206 GMC_send_prebuilt_message (const struct GNUNET_MessageHeader *message,
2207                            struct MeshConnection *c,
2208                            int fwd)
2209 {
2210   struct MeshFlowControl *fc;
2211   void *data;
2212   size_t size;
2213   uint16_t type;
2214   int droppable;
2215
2216   size = ntohs (message->size);
2217   data = GNUNET_malloc (size);
2218   memcpy (data, message, size);
2219   type = ntohs (message->type);
2220   LOG (GNUNET_ERROR_TYPE_DEBUG, "Send %s (%u) on connection %s\n",
2221               GNUNET_MESH_DEBUG_M2S (type), size, GMC_2s (c));
2222
2223   fc = fwd ? &c->fwd_fc : &c->bck_fc;
2224   droppable = GNUNET_YES;
2225   switch (type)
2226   {
2227     struct GNUNET_MESH_Encrypted *emsg;
2228     struct GNUNET_MESH_ACK       *amsg;
2229     struct GNUNET_MESH_Poll      *pmsg;
2230     struct GNUNET_MESH_ConnectionDestroy *dmsg;
2231     struct GNUNET_MESH_ConnectionBroken  *bmsg;
2232     uint32_t ttl;
2233
2234     case GNUNET_MESSAGE_TYPE_MESH_ENCRYPTED:
2235       emsg = (struct GNUNET_MESH_Encrypted *) data;
2236       ttl = ntohl (emsg->ttl);
2237       if (0 == ttl)
2238       {
2239         GNUNET_break_op (0);
2240         return;
2241       }
2242       emsg->cid = c->id;
2243       emsg->ttl = htonl (ttl - 1);
2244       emsg->pid = htonl (fwd ? c->fwd_fc.next_pid++ : c->bck_fc.next_pid++);
2245       LOG (GNUNET_ERROR_TYPE_DEBUG, "  Q_N+ %p %u\n", fc, fc->queue_n);
2246       fc->queue_n++;
2247       LOG (GNUNET_ERROR_TYPE_DEBUG, "pid %u\n", ntohl (emsg->pid));
2248       LOG (GNUNET_ERROR_TYPE_DEBUG, "last pid %u\n", fc->last_pid_sent);
2249       LOG (GNUNET_ERROR_TYPE_DEBUG, "     ack %u\n", fc->last_ack_recv);
2250       if (GMC_is_pid_bigger (fc->last_pid_sent + 1, fc->last_ack_recv))
2251       {
2252         GMC_start_poll (c, fwd);
2253       }
2254       break;
2255
2256     case GNUNET_MESSAGE_TYPE_MESH_ACK:
2257       amsg = (struct GNUNET_MESH_ACK *) data;
2258       amsg->cid = c->id;
2259       LOG (GNUNET_ERROR_TYPE_DEBUG, " ack %u\n", ntohl (amsg->ack));
2260       droppable = GNUNET_NO;
2261       break;
2262
2263     case GNUNET_MESSAGE_TYPE_MESH_POLL:
2264       pmsg = (struct GNUNET_MESH_Poll *) data;
2265       pmsg->cid = c->id;
2266       pmsg->pid = htonl (fwd ? c->fwd_fc.last_pid_sent : c->bck_fc.last_pid_sent);
2267       LOG (GNUNET_ERROR_TYPE_DEBUG, " poll %u\n", ntohl (pmsg->pid));
2268       droppable = GNUNET_NO;
2269       break;
2270
2271     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_DESTROY:
2272       dmsg = (struct GNUNET_MESH_ConnectionDestroy *) data;
2273       dmsg->cid = c->id;
2274       dmsg->reserved = 0;
2275       break;
2276
2277     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_BROKEN:
2278       bmsg = (struct GNUNET_MESH_ConnectionBroken *) data;
2279       bmsg->cid = c->id;
2280       bmsg->reserved = 0;
2281       break;
2282
2283     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE:
2284     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK:
2285       break;
2286
2287     default:
2288       GNUNET_break (0);
2289   }
2290
2291   if (fc->queue_n > fc->queue_max && droppable)
2292   {
2293     GNUNET_STATISTICS_update (stats, "# messages dropped (buffer full)",
2294                               1, GNUNET_NO);
2295     GNUNET_break (0);
2296     LOG (GNUNET_ERROR_TYPE_DEBUG,
2297                 "queue full: %u/%u\n",
2298                 fc->queue_n, fc->queue_max);
2299     if (GNUNET_MESSAGE_TYPE_MESH_ENCRYPTED == type)
2300       fc->queue_n--;
2301     return; /* Drop this message */
2302   }
2303
2304   LOG (GNUNET_ERROR_TYPE_DEBUG, "  C_P+ %p %u\n", c, c->pending_messages);
2305   c->pending_messages++;
2306
2307   GMP_queue_add (get_hop (c, fwd), data, type, size, c, fwd,
2308                  &message_sent, NULL);
2309 }
2310
2311
2312 /**
2313  * Sends a CREATE CONNECTION message for a path to a peer.
2314  * Changes the connection and tunnel states if necessary.
2315  *
2316  * @param connection Connection to create.
2317  */
2318 void
2319 GMC_send_create (struct MeshConnection *connection)
2320 {
2321   enum MeshTunnel3State state;
2322   size_t size;
2323
2324   size = sizeof (struct GNUNET_MESH_ConnectionCreate);
2325   size += connection->path->length * sizeof (struct GNUNET_PeerIdentity);
2326   LOG (GNUNET_ERROR_TYPE_DEBUG, "Send connection create\n");
2327   GMP_queue_add (get_next_hop (connection), NULL,
2328                  GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE,
2329                  size, connection, GNUNET_YES, &message_sent, NULL);
2330   LOG (GNUNET_ERROR_TYPE_DEBUG, "  C_P+ %p %u (create)\n",
2331        connection, connection->pending_messages);
2332   connection->pending_messages++;
2333   state = GMT_get_state (connection->t);
2334   if (MESH_TUNNEL3_SEARCHING == state || MESH_TUNNEL3_NEW == state)
2335     GMT_change_state (connection->t, MESH_TUNNEL3_WAITING);
2336   if (MESH_CONNECTION_NEW == connection->state)
2337     connection_change_state (connection, MESH_CONNECTION_SENT);
2338 }
2339
2340
2341 /**
2342  * Send a message to all peers in this connection that the connection
2343  * is no longer valid.
2344  *
2345  * If some peer should not receive the message, it should be zero'ed out
2346  * before calling this function.
2347  *
2348  * @param c The connection whose peers to notify.
2349  */
2350 void
2351 GMC_send_destroy (struct MeshConnection *c)
2352 {
2353   struct GNUNET_MESH_ConnectionDestroy msg;
2354
2355   if (GNUNET_YES == c->destroy)
2356     return;
2357
2358   msg.header.size = htons (sizeof (msg));
2359   msg.header.type = htons (GNUNET_MESSAGE_TYPE_MESH_CONNECTION_DESTROY);;
2360   msg.cid = c->id;
2361   LOG (GNUNET_ERROR_TYPE_DEBUG,
2362               "  sending connection destroy for connection %s\n",
2363               GMC_2s (c));
2364
2365   if (GNUNET_NO == GMC_is_terminal (c, GNUNET_YES))
2366     GMC_send_prebuilt_message (&msg.header, c, GNUNET_YES);
2367   if (GNUNET_NO == GMC_is_terminal (c, GNUNET_NO))
2368     GMC_send_prebuilt_message (&msg.header, c, GNUNET_NO);
2369   c->destroy = GNUNET_YES;
2370 }
2371
2372
2373 /**
2374  * @brief Start a polling timer for the connection.
2375  *
2376  * When a neighbor does not accept more traffic on the connection it could be
2377  * caused by a simple congestion or by a lost ACK. Polling enables to check
2378  * for the lastest ACK status for a connection.
2379  *
2380  * @param c Connection.
2381  * @param fwd Should we poll in the FWD direction?
2382  */
2383 void
2384 GMC_start_poll (struct MeshConnection *c, int fwd)
2385 {
2386   struct MeshFlowControl *fc;
2387
2388   fc = fwd ? &c->fwd_fc : &c->bck_fc;
2389   if (GNUNET_SCHEDULER_NO_TASK != fc->poll_task)
2390   {
2391     return;
2392   }
2393   fc->poll_task = GNUNET_SCHEDULER_add_delayed (fc->poll_time,
2394                                                 &connection_poll,
2395                                                 fc);
2396 }
2397
2398
2399 /**
2400  * @brief Stop polling a connection for ACKs.
2401  *
2402  * Once we have enough ACKs for future traffic, polls are no longer necessary.
2403  *
2404  * @param c Connection.
2405  * @param fwd Should we stop the poll in the FWD direction?
2406  */
2407 void
2408 GMC_stop_poll (struct MeshConnection *c, int fwd)
2409 {
2410   struct MeshFlowControl *fc;
2411
2412   fc = fwd ? &c->fwd_fc : &c->bck_fc;
2413   if (GNUNET_SCHEDULER_NO_TASK != fc->poll_task)
2414   {
2415     GNUNET_SCHEDULER_cancel (fc->poll_task);
2416     fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
2417   }
2418 }
2419
2420 /**
2421  * Get a (static) string for a connection.
2422  *
2423  * @param c Connection.
2424  */
2425 const char *
2426 GMC_2s (struct MeshConnection *c)
2427 {
2428   if (NULL != c->t)
2429   {
2430     static char buf[128];
2431
2432     sprintf (buf, "%s (->%s)", GNUNET_h2s (&c->id), GMT_2s (c->t));
2433     return buf;
2434   }
2435   return GNUNET_h2s (&c->id);
2436 }