- change queueing API, adapt connections
[oweals/gnunet.git] / src / mesh / gnunet-service-mesh_peer.c
1 /*
2      This file is part of GNUnet.
3      (C) 2013 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21
22 #include "platform.h"
23 #include "gnunet_util_lib.h"
24
25 #include "gnunet_core_service.h"
26 #include "gnunet_statistics_service.h"
27
28 #include "mesh_protocol_enc.h"
29
30 #include "gnunet-service-mesh_peer.h"
31 #include "gnunet-service-mesh_dht.h"
32 #include "gnunet-service-mesh_connection.h"
33 #include "gnunet-service-mesh_local.h"
34 #include "gnunet-service-mesh_tunnel.h"
35 #include "mesh_path.h"
36
37 #define LOG(level, ...) GNUNET_log_from (level,"mesh-p2p",__VA_ARGS__)
38
39 /******************************************************************************/
40 /********************************   STRUCTS  **********************************/
41 /******************************************************************************/
42
43 /**
44  * Struct containing info about a queued transmission to this peer
45  */
46 struct MeshPeerQueue
47 {
48     /**
49       * DLL next
50       */
51   struct MeshPeerQueue *next;
52
53     /**
54       * DLL previous
55       */
56   struct MeshPeerQueue *prev;
57
58     /**
59      * Peer this transmission is directed to.
60      */
61   struct MeshPeer *peer;
62
63     /**
64      * Connection this message belongs to.
65      */
66   struct MeshConnection *c;
67
68     /**
69      * Is FWD in c?
70      */
71   int fwd;
72
73     /**
74      * Channel this message belongs to, if known.
75      */
76   struct MeshChannel *ch;
77
78     /**
79      * Pointer to info stucture used as cls.
80      */
81   void *cls;
82
83     /**
84      * Type of message
85      */
86   uint16_t type;
87
88     /**
89      * Size of the message
90      */
91   size_t size;
92
93     /**
94      * Set when this message starts waiting for CORE.
95      */
96   struct GNUNET_TIME_Absolute start_waiting;
97
98     /**
99      * Function to call on sending.
100      */
101   GMP_sent callback;
102
103     /**
104      * Closure for callback.
105      */
106   void *callback_cls;
107 };
108
109 /**
110  * Struct containing all information regarding a given peer
111  */
112 struct MeshPeer
113 {
114     /**
115      * ID of the peer
116      */
117   GNUNET_PEER_Id id;
118
119     /**
120      * Last time we heard from this peer
121      */
122   struct GNUNET_TIME_Absolute last_contact;
123
124     /**
125      * Paths to reach the peer, ordered by ascending hop count
126      */
127   struct MeshPeerPath *path_head;
128
129     /**
130      * Paths to reach the peer, ordered by ascending hop count
131      */
132   struct MeshPeerPath *path_tail;
133
134     /**
135      * Handle to stop the DHT search for paths to this peer
136      */
137   struct GMD_search_handle *search_h;
138
139     /**
140      * Tunnel to this peer, if any.
141      */
142   struct MeshTunnel3 *tunnel;
143
144     /**
145      * Connections that go through this peer, indexed by tid;
146      */
147   struct GNUNET_CONTAINER_MultiHashMap *connections;
148
149     /**
150      * Handle for queued transmissions
151      */
152   struct GNUNET_CORE_TransmitHandle *core_transmit;
153
154   /**
155    * Transmission queue to core DLL head
156    */
157   struct MeshPeerQueue *queue_head;
158
159   /**
160    * Transmission queue to core DLL tail
161    */
162   struct MeshPeerQueue *queue_tail;
163
164   /**
165    * How many messages are in the queue to this peer.
166    */
167   unsigned int queue_n;
168 };
169
170
171 /******************************************************************************/
172 /*******************************   GLOBALS  ***********************************/
173 /******************************************************************************/
174
175 /**
176  * Global handle to the statistics service.
177  */
178 extern struct GNUNET_STATISTICS_Handle *stats;
179
180 /**
181  * Local peer own ID (full value).
182  */
183 extern struct GNUNET_PeerIdentity my_full_id;
184
185 /**
186  * Local peer own ID (short)
187  */
188 extern GNUNET_PEER_Id myid;
189
190 /**
191  * Peers known, indexed by PeerIdentity (MeshPeer).
192  */
193 static struct GNUNET_CONTAINER_MultiPeerMap *peers;
194
195 /**
196  * How many peers do we want to remember?
197  */
198 static unsigned long long max_peers;
199
200 /**
201  * Percentage of messages that will be dropped (for test purposes only).
202  */
203 static unsigned long long drop_percent;
204
205 /**
206  * Handle to communicate with core.
207  */
208 static struct GNUNET_CORE_Handle *core_handle;
209
210
211 /******************************************************************************/
212 /***************************** CORE CALLBACKS *********************************/
213 /******************************************************************************/
214
215
216 /**
217  * Iterator to notify all connections of a broken link. Mark connections
218  * to destroy after all traffic has been sent.
219  *
220  * @param cls Closure (peer disconnected).
221  * @param key Current key code (peer id).
222  * @param value Value in the hash map (connection).
223  *
224  * @return GNUNET_YES if we should continue to iterate,
225  *         GNUNET_NO if not.
226  */
227 static int
228 notify_broken (void *cls,
229                const struct GNUNET_HashCode *key,
230                void *value)
231 {
232   struct MeshPeer *peer = cls;
233   struct MeshConnection *c = value;
234
235   GMC_notify_broken (c, peer, &my_full_id);
236
237   return GNUNET_YES;
238 }
239
240
241 /**
242  * Method called whenever a given peer connects.
243  *
244  * @param cls closure
245  * @param peer peer identity this notification is about
246  */
247 static void
248 core_connect (void *cls, const struct GNUNET_PeerIdentity *peer)
249 {
250   struct MeshPeer *pi;
251   struct MeshPeerPath *path;
252
253   LOG ("Peer connected\n");
254   LOG ("     %s\n", GNUNET_i2s (&my_full_id));
255   pi = GMP_get (peer);
256   if (myid == pi->id)
257   {
258     LOG ("     (self)\n");
259     path = path_new (1);
260   }
261   else
262   {
263     LOG ("     %s\n", GNUNET_i2s (peer));
264     path = path_new (2);
265     path->peers[1] = pi->id;
266     GNUNET_PEER_change_rc (pi->id, 1);
267     GNUNET_STATISTICS_update (stats, "# peers", 1, GNUNET_NO);
268   }
269   path->peers[0] = myid;
270   GNUNET_PEER_change_rc (myid, 1);
271   peer_add_path (pi, path, GNUNET_YES);
272
273   pi->connections = GNUNET_CONTAINER_multihashmap_create (32, GNUNET_YES);
274   return;
275 }
276
277
278 /**
279  * Method called whenever a peer disconnects.
280  *
281  * @param cls closure
282  * @param peer peer identity this notification is about
283  */
284 static void
285 core_disconnect (void *cls, const struct GNUNET_PeerIdentity *peer)
286 {
287   struct MeshPeer *pi;
288
289   LOG ("Peer disconnected\n");
290   pi = GNUNET_CONTAINER_multipeermap_get (peers, peer);
291   if (NULL == pi)
292   {
293     GNUNET_break (0);
294     return;
295   }
296
297   GNUNET_CONTAINER_multihashmap_iterate (pi->connections, &notify_broken, pi);
298   GNUNET_CONTAINER_multihashmap_destroy (pi->connections);
299   pi->connections = NULL;
300   if (NULL != pi->core_transmit)
301     {
302       GNUNET_CORE_notify_transmit_ready_cancel (pi->core_transmit);
303       pi->core_transmit = NULL;
304     }
305   if (myid == pi->id)
306   {
307     LOG ("     (self)\n");
308   }
309   GNUNET_STATISTICS_update (stats, "# peers", -1, GNUNET_NO);
310
311   return;
312 }
313
314
315 /**
316  * Functions to handle messages from core
317  */
318 static struct GNUNET_CORE_MessageHandler core_handlers[] = {
319   {&GMC_handle_create, GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE,
320     0},
321   {&GMC_handle_confirm, GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK,
322     sizeof (struct GNUNET_MESH_ConnectionACK)},
323   {&GMC_handle_broken, GNUNET_MESSAGE_TYPE_MESH_CONNECTION_BROKEN,
324     sizeof (struct GNUNET_MESH_ConnectionBroken)},
325   {&GMC_handle_destroy, GNUNET_MESSAGE_TYPE_MESH_CONNECTION_DESTROY,
326     sizeof (struct GNUNET_MESH_ConnectionDestroy)},
327   {&GMC_handle_keepalive, GNUNET_MESSAGE_TYPE_MESH_FWD_KEEPALIVE,
328     sizeof (struct GNUNET_MESH_ConnectionKeepAlive)},
329   {&GMC_handle_keepalive, GNUNET_MESSAGE_TYPE_MESH_BCK_KEEPALIVE,
330     sizeof (struct GNUNET_MESH_ConnectionKeepAlive)},
331   {&GMC_handle_ack, GNUNET_MESSAGE_TYPE_MESH_ACK,
332     sizeof (struct GNUNET_MESH_ACK)},
333   {&GMC_handle_poll, GNUNET_MESSAGE_TYPE_MESH_POLL,
334     sizeof (struct GNUNET_MESH_Poll)},
335   {&GMC_handle_fwd, GNUNET_MESSAGE_TYPE_MESH_FWD, 0},
336   {&GMC_handle_bck, GNUNET_MESSAGE_TYPE_MESH_BCK, 0},
337   {NULL, 0, 0}
338 };
339
340
341 /**
342  * To be called on core init/fail.
343  *
344  * @param cls Closure (config)
345  * @param identity the public identity of this peer
346  */
347 static void
348 core_init (void *cls,
349            const struct GNUNET_PeerIdentity *identity)
350 {
351   const struct GNUNET_CONFIGURATION_Handle *c = cls;
352   static int i = 0;
353
354   LOG (GNUNET_ERROR_TYPE_DEBUG, "Core init\n");
355   if (0 != memcmp (identity, &my_full_id, sizeof (my_full_id)))
356   {
357     LOG (GNUNET_ERROR_TYPE_ERROR, _("Wrong CORE service\n"));
358     LOG (GNUNET_ERROR_TYPE_ERROR, " core id %s\n", GNUNET_i2s (identity));
359     LOG (GNUNET_ERROR_TYPE_ERROR, " my id %s\n", GNUNET_i2s (&my_full_id));
360     GNUNET_CORE_disconnect (core_handle);
361     core_handle = GNUNET_CORE_connect (c, /* Main configuration */
362                                        NULL,      /* Closure passed to MESH functions */
363                                        &core_init,        /* Call core_init once connected */
364                                        &core_connect,     /* Handle connects */
365                                        &core_disconnect,  /* remove peers on disconnects */
366                                        NULL,      /* Don't notify about all incoming messages */
367                                        GNUNET_NO, /* For header only in notification */
368                                        NULL,      /* Don't notify about all outbound messages */
369                                        GNUNET_NO, /* For header-only out notification */
370                                        core_handlers);    /* Register these handlers */
371     if (10 < i++)
372       GNUNET_abort();
373   }
374   GML_start ();
375   return;
376 }
377
378 /**
379   * Core callback to write a pre-constructed data packet to core buffer
380   *
381   * @param cls Closure (MeshTransmissionDescriptor with data in "data" member).
382   * @param size Number of bytes available in buf.
383   * @param buf Where the to write the message.
384   *
385   * @return number of bytes written to buf
386   */
387 static size_t
388 send_core_data_raw (void *cls, size_t size, void *buf)
389 {
390   struct GNUNET_MessageHeader *msg = cls;
391   size_t total_size;
392
393   GNUNET_assert (NULL != msg);
394   total_size = ntohs (msg->size);
395
396   if (total_size > size)
397   {
398     GNUNET_break (0);
399     return 0;
400   }
401   memcpy (buf, msg, total_size);
402   GNUNET_free (cls);
403   return total_size;
404 }
405
406
407 /**
408  * Function to send a create connection message to a peer.
409  *
410  * @param c Connection to create.
411  * @param size number of bytes available in buf
412  * @param buf where the callee should write the message
413  * @return number of bytes written to buf
414  */
415 static size_t
416 send_core_connection_create (struct MeshConnection *c, size_t size, void *buf)
417 {
418   struct GNUNET_MESH_ConnectionCreate *msg;
419   struct GNUNET_PeerIdentity *peer_ptr;
420   struct MeshPeerPath *p = c->path;
421   size_t size_needed;
422   int i;
423
424   LOG (GNUNET_ERROR_TYPE_DEBUG, "Sending CONNECTION CREATE...\n");
425   size_needed =
426       sizeof (struct GNUNET_MESH_ConnectionCreate) +
427       p->length * sizeof (struct GNUNET_PeerIdentity);
428
429   if (size < size_needed || NULL == buf)
430   {
431     GNUNET_break (0);
432     return 0;
433   }
434   msg = (struct GNUNET_MESH_ConnectionCreate *) buf;
435   msg->header.size = htons (size_needed);
436   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE);
437   msg->cid = c->id;
438
439   peer_ptr = (struct GNUNET_PeerIdentity *) &msg[1];
440   for (i = 0; i < p->length; i++)
441   {
442     GNUNET_PEER_resolve (p->peers[i], peer_ptr++);
443   }
444
445   LOG (GNUNET_ERROR_TYPE_DEBUG,
446               "CONNECTION CREATE (%u bytes long) sent!\n", size_needed);
447   return size_needed;
448 }
449
450
451 /**
452  * Creates a path ack message in buf and frees all unused resources.
453  *
454  * @param c Connection to send an ACK on.
455  * @param size number of bytes available in buf
456  * @param buf where the callee should write the message
457  *
458  * @return number of bytes written to buf
459  */
460 static size_t
461 send_core_connection_ack (struct MeshConnection *c, size_t size, void *buf)
462 {
463   struct GNUNET_MESH_ConnectionACK *msg = buf;
464   struct MeshTunnel3 *t = c->t;
465
466   LOG (GNUNET_ERROR_TYPE_DEBUG, "Sending CONNECTION ACK...\n");
467   GNUNET_assert (NULL != t);
468   if (sizeof (struct GNUNET_MESH_ConnectionACK) > size)
469   {
470     GNUNET_break (0);
471     return 0;
472   }
473   msg->header.size = htons (sizeof (struct GNUNET_MESH_ConnectionACK));
474   msg->header.type = htons (GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK);
475   msg->cid = c->id;
476   msg->reserved = 0;
477
478   /* TODO add signature */
479
480   LOG (GNUNET_ERROR_TYPE_DEBUG, "CONNECTION ACK sent!\n");
481   return sizeof (struct GNUNET_MESH_ConnectionACK);
482 }
483
484
485 /******************************************************************************/
486 /********************************   STATIC  ***********************************/
487 /******************************************************************************/
488
489 /**
490  * Iterator over tunnel hash map entries to destroy the tunnel during shutdown.
491  *
492  * @param cls closure
493  * @param key current key code
494  * @param value value in the hash map
495  * @return #GNUNET_YES if we should continue to iterate,
496  *         #GNUNET_NO if not.
497  */
498 static int
499 shutdown_tunnel (void *cls,
500                  const struct GNUNET_PeerIdentity *key,
501                  void *value)
502 {
503   struct MeshPeer *p = value;
504   struct MeshTunnel3 *t = p->tunnel;
505
506   if (NULL != t)
507     GMT_destroy (t);
508   return GNUNET_YES;
509 }
510
511
512
513 /**
514  * Destroy the peer_info and free any allocated resources linked to it
515  *
516  * @param peer The peer_info to destroy.
517  *
518  * @return GNUNET_OK on success
519  */
520 static int
521 peer_destroy (struct MeshPeer *peer)
522 {
523   struct GNUNET_PeerIdentity id;
524   struct MeshPeerPath *p;
525   struct MeshPeerPath *nextp;
526
527   GNUNET_PEER_resolve (peer->id, &id);
528   GNUNET_PEER_change_rc (peer->id, -1);
529
530   if (GNUNET_YES !=
531     GNUNET_CONTAINER_multipeermap_remove (peers, &id, peer))
532   {
533     GNUNET_break (0);
534     LOG (GNUNET_ERROR_TYPE_WARNING,
535                 "removing peer %s, not in peermap\n", GNUNET_i2s (&id));
536   }
537     if (NULL != peer->search_h)
538     {
539       GMD_search_stop (peer->search_h);
540     }
541       p = peer->path_head;
542       while (NULL != p)
543       {
544         nextp = p->next;
545         GNUNET_CONTAINER_DLL_remove (peer->path_head, peer->path_tail, p);
546         path_destroy (p);
547         p = nextp;
548       }
549         tunnel_destroy_empty (peer->tunnel);
550         GNUNET_free (peer);
551         return GNUNET_OK;
552 }
553
554
555 /**
556  * Returns if peer is used (has a tunnel, is neighbor).
557  *
558  * @peer Peer to check.
559  *
560  * @return GNUNET_YES if peer is in use.
561  */
562 static int
563 peer_is_used (struct MeshPeer *peer)
564 {
565   struct MeshPeerPath *p;
566
567   if (NULL != peer->tunnel)
568     return GNUNET_YES;
569
570   for (p = peer->path_head; NULL != p; p = p->next)
571   {
572     if (p->length < 3)
573       return GNUNET_YES;
574   }
575     return GNUNET_NO;
576 }
577
578
579 /**
580  * Iterator over all the peers to get the oldest timestamp.
581  *
582  * @param cls Closure (unsued).
583  * @param key ID of the peer.
584  * @param value Peer_Info of the peer.
585  */
586 static int
587 peer_get_oldest (void *cls,
588                  const struct GNUNET_PeerIdentity *key,
589                  void *value)
590 {
591   struct MeshPeer *p = value;
592   struct GNUNET_TIME_Absolute *abs = cls;
593
594   /* Don't count active peers */
595   if (GNUNET_YES == peer_is_used (p))
596     return GNUNET_YES;
597
598   if (abs->abs_value_us < p->last_contact.abs_value_us)
599     abs->abs_value_us = p->last_contact.abs_value_us;
600
601   return GNUNET_YES;
602 }
603
604
605 /**
606  * Iterator over all the peers to remove the oldest entry.
607  *
608  * @param cls Closure (unsued).
609  * @param key ID of the peer.
610  * @param value Peer_Info of the peer.
611  */
612 static int
613 peer_timeout (void *cls,
614               const struct GNUNET_PeerIdentity *key,
615               void *value)
616 {
617   struct MeshPeer *p = value;
618   struct GNUNET_TIME_Absolute *abs = cls;
619
620   if (p->last_contact.abs_value_us == abs->abs_value_us &&
621     GNUNET_NO == peer_is_used (p))
622   {
623     peer_destroy (p);
624     return GNUNET_NO;
625   }
626     return GNUNET_YES;
627 }
628
629
630 /**
631  * Delete oldest unused peer.
632  */
633 static void
634 peer_delete_oldest (void)
635 {
636   struct GNUNET_TIME_Absolute abs;
637
638   abs = GNUNET_TIME_UNIT_FOREVER_ABS;
639
640   GNUNET_CONTAINER_multipeermap_iterate (peers,
641                                          &peer_get_oldest,
642                                          &abs);
643   GNUNET_CONTAINER_multipeermap_iterate (peers,
644                                          &peer_timeout,
645                                          &abs);
646 }
647
648
649 /**
650  * Get a cost of a path for a peer considering existing tunnel connections.
651  *
652  * @param peer Peer towards which the path is considered.
653  * @param path Candidate path.
654  *
655  * @return Cost of the path (path length + number of overlapping nodes)
656  */
657 static unsigned int
658 peer_get_path_cost (const struct MeshPeer *peer,
659                     const struct MeshPeerPath *path)
660 {
661   struct MeshConnection *c;
662   unsigned int overlap;
663   unsigned int i;
664   unsigned int j;
665
666   if (NULL == path)
667     return 0;
668
669   overlap = 0;
670   GNUNET_assert (NULL != peer->tunnel);
671
672   for (i = 0; i < path->length; i++)
673   {
674     for (c = peer->tunnel->connection_head; NULL != c; c = c->next)
675     {
676       for (j = 0; j < c->path->length; j++)
677       {
678         if (path->peers[i] == c->path->peers[j])
679         {
680           overlap++;
681           break;
682         }
683       }
684     }
685   }
686   return (path->length + overlap) * (path->score * -1);
687 }
688
689
690 /**
691  * Choose the best path towards a peer considering the tunnel properties.
692  *
693  * @param peer The destination peer.
694  *
695  * @return Best current known path towards the peer, if any.
696  */
697 static struct MeshPeerPath *
698 peer_get_best_path (const struct MeshPeer *peer)
699 {
700   struct MeshPeerPath *best_p;
701   struct MeshPeerPath *p;
702   struct MeshConnection *c;
703   unsigned int best_cost;
704   unsigned int cost;
705
706   best_cost = UINT_MAX;
707   best_p = NULL;
708   for (p = peer->path_head; NULL != p; p = p->next)
709   {
710     for (c = peer->tunnel->connection_head; NULL != c; c = c->next)
711       if (c->path == p)
712         break;
713       if (NULL != c)
714         continue; /* If path is in use in a connection, skip it. */
715
716             if ((cost = peer_get_path_cost (peer, p)) < best_cost)
717             {
718               best_cost = cost;
719               best_p = p;
720             }
721   }
722     return best_p;
723 }
724
725
726 /**
727  * Function to process paths received for a new peer addition. The recorded
728  * paths form the initial tunnel, which can be optimized later.
729  * Called on each result obtained for the DHT search.
730  *
731  * @param cls closure
732  * @param path
733  */
734 static void
735 search_handler (void *cls, const struct MeshPeerPath *path)
736 {
737   struct MeshPeer *peer = cls;
738   unsigned int connection_count;
739
740   path_add_to_peers (path, GNUNET_NO);
741
742   /* Count connections */
743   connection_count = GMC_count (peer->tunnel->connection_head);
744
745   /* If we already have 3 (or more (?!)) connections, it's enough */
746   if (3 <= connection_count)
747     return;
748
749   if (peer->tunnel->state == MESH_TUNNEL3_SEARCHING)
750   {
751     LOG (GNUNET_ERROR_TYPE_DEBUG, " ... connect!\n");
752     GMP_connect (peer);
753   }
754   return;
755 }
756
757
758 /**
759  * Core callback to write a queued packet to core buffer
760  *
761  * @param cls Closure (peer info).
762  * @param size Number of bytes available in buf.
763  * @param buf Where the to write the message.
764  *
765  * @return number of bytes written to buf
766  */
767 static size_t
768 queue_send (void *cls, size_t size, void *buf)
769 {
770   struct MeshPeer *peer = cls;
771   struct MeshFlowControl *fc;
772   struct MeshConnection *c;
773   struct GNUNET_MessageHeader *msg;
774   struct MeshPeerQueue *queue;
775   struct MeshTunnel3 *t;
776   struct MeshChannel *ch;
777   const struct GNUNET_PeerIdentity *dst_id;
778   size_t data_size;
779   uint32_t pid;
780   uint16_t type;
781   int fwd;
782
783   peer->core_transmit = NULL;
784   LOG (GNUNET_ERROR_TYPE_DEBUG, "* Queue send (max %u)\n", size);
785
786   if (NULL == buf || 0 == size)
787   {
788     LOG (GNUNET_ERROR_TYPE_DEBUG, "* Buffer size 0.\n");
789     return 0;
790   }
791
792   /* Initialize */
793   queue = peer_get_first_message (peer);
794   if (NULL == queue)
795   {
796     GNUNET_break (0); /* Core tmt_rdy should've been canceled */
797     return 0;
798   }
799   c = queue->c;
800   fwd = queue->fwd;
801   fc = fwd ? &c->fwd_fc : &c->bck_fc;
802
803   dst_id = GNUNET_PEER_resolve2 (peer->id);
804   LOG (GNUNET_ERROR_TYPE_DEBUG, "*   towards %s\n", GNUNET_i2s (dst_id));
805   /* Check if buffer size is enough for the message */
806   if (queue->size > size)
807   {
808       LOG (GNUNET_ERROR_TYPE_DEBUG, "*   not enough room, reissue\n");
809       peer->core_transmit =
810           GNUNET_CORE_notify_transmit_ready (core_handle,
811                                              GNUNET_NO,
812                                              0,
813                                              GNUNET_TIME_UNIT_FOREVER_REL,
814                                              dst_id,
815                                              queue->size,
816                                              &queue_send,
817                                              peer);
818       return 0;
819   }
820   LOG (GNUNET_ERROR_TYPE_DEBUG, "*   size %u ok\n", queue->size);
821
822   t = (NULL != c) ? c->t : NULL;
823   type = 0;
824
825   /* Fill buf */
826   switch (queue->type)
827   {
828     case GNUNET_MESSAGE_TYPE_MESH_TUNNEL3_DESTROY:
829     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_DESTROY:
830     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_BROKEN:
831     case GNUNET_MESSAGE_TYPE_MESH_FWD:
832     case GNUNET_MESSAGE_TYPE_MESH_BCK:
833     case GNUNET_MESSAGE_TYPE_MESH_ACK:
834     case GNUNET_MESSAGE_TYPE_MESH_POLL:
835       LOG (GNUNET_ERROR_TYPE_DEBUG,
836                   "*   raw: %s\n",
837                   GNUNET_MESH_DEBUG_M2S (queue->type));
838       data_size = send_core_data_raw (queue->cls, size, buf);
839       msg = (struct GNUNET_MessageHeader *) buf;
840       type = ntohs (msg->type);
841       break;
842     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE:
843       LOG (GNUNET_ERROR_TYPE_DEBUG, "*   path create\n");
844       if (GMC_is_origin (c, GNUNET_YES))
845         data_size = send_core_connection_create (queue->c, size, buf);
846       else
847         data_size = send_core_data_raw (queue->cls, size, buf);
848       break;
849     case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK:
850       LOG (GNUNET_ERROR_TYPE_DEBUG, "*   path ack\n");
851       if (GMC_is_origin (c, GNUNET_NO) ||
852           GMC_is_origin (c, GNUNET_YES))
853         data_size = send_core_connection_ack (queue->c, size, buf);
854       else
855         data_size = send_core_data_raw (queue->cls, size, buf);
856       break;
857     case GNUNET_MESSAGE_TYPE_MESH_DATA:
858     case GNUNET_MESSAGE_TYPE_MESH_CHANNEL_CREATE:
859     case GNUNET_MESSAGE_TYPE_MESH_CHANNEL_DESTROY:
860       /* This should be encapsulted */
861       GNUNET_break (0);
862       data_size = 0;
863       break;
864     default:
865       GNUNET_break (0);
866       LOG (GNUNET_ERROR_TYPE_WARNING, "*   type unknown: %u\n",
867                   queue->type);
868       data_size = 0;
869   }
870
871   if (0 < drop_percent &&
872       GNUNET_CRYPTO_random_u32 (GNUNET_CRYPTO_QUALITY_WEAK, 101) < drop_percent)
873   {
874     LOG (GNUNET_ERROR_TYPE_WARNING,
875                 "Dropping message of type %s\n",
876                 GNUNET_MESH_DEBUG_M2S (queue->type));
877     data_size = 0;
878   }
879
880   if (NULL != queue->callback)
881   {
882     LOG (GNUNET_ERROR_TYPE_DEBUG, "*   Calling callback\n");
883     queue->callback (queue->callback_cls,
884                     queue->c,
885                     GNUNET_TIME_absolute_get_duration (queue->start_waiting));
886   }
887
888   /* Free queue, but cls was freed by send_core_* */
889   ch = queue->ch;
890   GMP_queue_destroy (queue, GNUNET_NO);
891
892   /* Send ACK if needed, after accounting for sent ID in fc->queue_n */
893   switch (type)
894   {
895     case GNUNET_MESSAGE_TYPE_MESH_FWD:
896     case GNUNET_MESSAGE_TYPE_MESH_BCK:
897       pid = ntohl ( ((struct GNUNET_MESH_Encrypted *) buf)->pid );
898       LOG (GNUNET_ERROR_TYPE_DEBUG, "*   accounting pid %u\n", pid);
899       fc->last_pid_sent = pid;
900       send_ack (c, ch, fwd);
901       break;
902     default:
903       break;
904   }
905
906   /* If more data in queue, send next */
907   queue = peer_get_first_message (peer);
908   if (NULL != queue)
909   {
910     LOG (GNUNET_ERROR_TYPE_DEBUG, "*   more data!\n");
911     if (NULL == peer->core_transmit) {
912       peer->core_transmit =
913           GNUNET_CORE_notify_transmit_ready(core_handle,
914                                             0,
915                                             0,
916                                             GNUNET_TIME_UNIT_FOREVER_REL,
917                                             dst_id,
918                                             queue->size,
919                                             &queue_send,
920                                             peer);
921       queue->start_waiting = GNUNET_TIME_absolute_get ();
922     }
923     else
924     {
925       LOG (GNUNET_ERROR_TYPE_DEBUG,
926                   "*   tmt rdy called somewhere else\n");
927     }
928     if (GNUNET_SCHEDULER_NO_TASK == fc->poll_task)
929     {
930       LOG (GNUNET_ERROR_TYPE_DEBUG, "*   starting poll timeout\n");
931       fc->poll_task =
932           GNUNET_SCHEDULER_add_delayed (fc->poll_time, &connection_poll, fc);
933     }
934   }
935   else
936   {
937     if (GNUNET_SCHEDULER_NO_TASK != fc->poll_task)
938     {
939       GNUNET_SCHEDULER_cancel (fc->poll_task);
940       fc->poll_task = GNUNET_SCHEDULER_NO_TASK;
941     }
942   }
943   if (NULL != c)
944   {
945     c->pending_messages--;
946     if (GNUNET_YES == c->destroy && 0 == c->pending_messages)
947     {
948       LOG (GNUNET_ERROR_TYPE_DEBUG, "*  destroying connection!\n");
949       GMC_destroy (c);
950     }
951   }
952
953   if (NULL != t)
954   {
955     t->pending_messages--;
956     if (GNUNET_YES == t->destroy && 0 == t->pending_messages)
957     {
958 //       LOG (GNUNET_ERROR_TYPE_DEBUG, "*  destroying tunnel!\n");
959       GMT_destroy (t);
960     }
961   }
962   LOG (GNUNET_ERROR_TYPE_DEBUG, "*  Return %d\n", data_size);
963   return data_size;
964 }
965
966
967 static int
968 queue_is_sendable (struct MeshPeerQueue *q)
969 {
970   /* Is PID-independent? */
971   switch (q->type)
972   {
973     case GNUNET_MESSAGE_TYPE_MESH_ACK:
974     case GNUNET_MESSAGE_TYPE_MESH_POLL:
975       return GNUNET_YES;
976   }
977
978   if (GMC_is_sendable (q->c, q->fwd))
979     return GNUNET_YES;
980
981   return GNUNET_NO;
982 }
983
984 /**
985  * Get first sendable message.
986  *
987  * @param peer The destination peer.
988  *
989  * @return Best current known path towards the peer, if any.
990  */
991 static struct MeshPeerQueue *
992 peer_get_first_message (const struct MeshPeer *peer)
993 {
994   struct MeshPeerQueue *q;
995
996   for (q = peer->queue_head; NULL != q; q = q->next)
997   {
998     if (queue_is_sendable (q))
999       return q;
1000   }
1001
1002   return NULL;
1003 }
1004
1005
1006
1007
1008 /******************************************************************************/
1009 /********************************    API    ***********************************/
1010 /******************************************************************************/
1011
1012
1013 /**
1014  * Free a transmission that was already queued with all resources
1015  * associated to the request.
1016  *
1017  * @param queue Queue handler to cancel.
1018  * @param clear_cls Is it necessary to free associated cls?
1019  */
1020 void
1021 GMP_queue_destroy (struct MeshPeerQueue *queue, int clear_cls)
1022 {
1023   struct MeshPeer *peer;
1024   struct MeshFlowControl *fc;
1025   int fwd;
1026
1027   fwd = queue->fwd;
1028   peer = queue->peer;
1029   GNUNET_assert (NULL != queue->c);
1030   fc = fwd ? &queue->c->fwd_fc : &queue->c->bck_fc;
1031
1032   if (GNUNET_YES == clear_cls)
1033   {
1034     LOG (GNUNET_ERROR_TYPE_DEBUG, "   queue destroy type %s\n",
1035                 GNUNET_MESH_DEBUG_M2S (queue->type));
1036     switch (queue->type)
1037     {
1038       case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_DESTROY:
1039       case GNUNET_MESSAGE_TYPE_MESH_TUNNEL3_DESTROY:
1040         LOG (GNUNET_ERROR_TYPE_INFO, "destroying a DESTROY message\n");
1041         GNUNET_break (GNUNET_YES == queue->c->destroy);
1042         /* fall through */
1043       case GNUNET_MESSAGE_TYPE_MESH_FWD:
1044       case GNUNET_MESSAGE_TYPE_MESH_BCK:
1045       case GNUNET_MESSAGE_TYPE_MESH_ACK:
1046       case GNUNET_MESSAGE_TYPE_MESH_POLL:
1047       case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_ACK:
1048       case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_CREATE:
1049       case GNUNET_MESSAGE_TYPE_MESH_CONNECTION_BROKEN:
1050         LOG (GNUNET_ERROR_TYPE_DEBUG, "   prebuilt message\n");;
1051         GNUNET_free_non_null (queue->cls);
1052         break;
1053
1054       default:
1055         GNUNET_break (0);
1056         LOG (GNUNET_ERROR_TYPE_ERROR, "   type %s unknown!\n",
1057                     GNUNET_MESH_DEBUG_M2S (queue->type));
1058     }
1059
1060   }
1061   GNUNET_CONTAINER_DLL_remove (peer->queue_head, peer->queue_tail, queue);
1062
1063   if (queue->type != GNUNET_MESSAGE_TYPE_MESH_ACK &&
1064       queue->type != GNUNET_MESSAGE_TYPE_MESH_POLL)
1065   {
1066     LOG (GNUNET_ERROR_TYPE_DEBUG, "  Q_N- %p %u\n", fc, fc->queue_n);
1067     fc->queue_n--;
1068     peer->queue_n--;
1069   }
1070   if (NULL != queue->c)
1071   {
1072     queue->c->pending_messages--;
1073     if (NULL != queue->c->t)
1074     {
1075       queue->c->t->pending_messages--;
1076     }
1077   }
1078
1079   GNUNET_free (queue);
1080 }
1081
1082
1083 /**
1084  * @brief Queue and pass message to core when possible.
1085  *
1086  * @param peer Peer towards which to queue the message.
1087  * @param cls Closure (@c type dependant). It will be used by queue_send to
1088  *            build the message to be sent if not already prebuilt.
1089  * @param type Type of the message, 0 for a raw message.
1090  * @param size Size of the message.
1091  * @param c Connection this message belongs to (cannot be NULL).
1092  * @param ch Channel this message belongs to, if applicable (otherwise NULL).
1093  * @param fwd Is this a message going root->dest? (FWD ACK are NOT FWD!)
1094  * @param cont Continuation to be called once CORE has taken the message.
1095  * @param cont_cls Closure for @c cont.
1096  */
1097 void
1098 GMP_queue_add (struct MeshPeer *peer, void *cls, uint16_t type, size_t size,
1099                struct MeshConnection *c, struct MeshChannel *ch, int fwd,
1100                GMP_sent cont, void *cont_cls)
1101 {
1102   struct MeshPeerQueue *queue;
1103   int priority;
1104   int call_core;
1105
1106   LOG (GNUNET_ERROR_TYPE_DEBUG,
1107               "queue add %s %s (%u) on c %p, ch %p\n",
1108               fwd ? "FWD" : "BCK",  GNUNET_MESH_DEBUG_M2S (type), size, c, ch);
1109   GNUNET_assert (NULL != c);
1110
1111   if (NULL == peer->connections)
1112   {
1113     /* We are not connected to this peer, ignore request. */
1114     GNUNET_break_op (0);
1115     return;
1116   }
1117
1118   priority = 0;
1119
1120   if (GNUNET_MESSAGE_TYPE_MESH_POLL == type ||
1121       GNUNET_MESSAGE_TYPE_MESH_ACK == type)
1122   {
1123     priority = 100;
1124   }
1125
1126   LOG (GNUNET_ERROR_TYPE_DEBUG, "priority %d\n", priority);
1127   LOG (GNUNET_ERROR_TYPE_DEBUG, "fc %p\n", fc);
1128   if (fc->queue_n >= fc->queue_max && 0 == priority)
1129   {
1130     GNUNET_STATISTICS_update (stats, "# messages dropped (buffer full)",
1131                               1, GNUNET_NO);
1132     GNUNET_break (0);
1133     LOG (GNUNET_ERROR_TYPE_DEBUG,
1134                 "queue full: %u/%u\n",
1135                 fc->queue_n, fc->queue_max);
1136     return; /* Drop this message */
1137   }
1138
1139   LOG (GNUNET_ERROR_TYPE_DEBUG, "last pid %u\n", fc->last_pid_sent);
1140   LOG (GNUNET_ERROR_TYPE_DEBUG, "     ack %u\n", fc->last_ack_recv);
1141   if (GMC_is_pid_bigger (fc->last_pid_sent + 1, fc->last_ack_recv))
1142   {
1143     call_core = GNUNET_NO;
1144     if (GNUNET_SCHEDULER_NO_TASK == fc->poll_task &&
1145         GNUNET_MESSAGE_TYPE_MESH_POLL != type)
1146     {
1147       LOG (GNUNET_ERROR_TYPE_DEBUG,
1148                   "no buffer space (%u > %u): starting poll\n",
1149                   fc->last_pid_sent + 1, fc->last_ack_recv);
1150       GMC_start_poll (c, fwd);
1151     }
1152   }
1153   else
1154     call_core = GNUNET_YES;
1155   queue = GNUNET_malloc (sizeof (struct MeshPeerQueue));
1156   queue->cls = cls;
1157   queue->type = type;
1158   queue->size = size;
1159   queue->peer = peer;
1160   queue->c = c;
1161   queue->ch = ch;
1162   queue->fwd = fwd;
1163   queue->callback = cont;
1164   queue->callback_cls = cont_cls;
1165   if (100 <= priority)
1166   {
1167     struct MeshPeerQueue *copy;
1168     struct MeshPeerQueue *next;
1169
1170     for (copy = peer->queue_head; NULL != copy; copy = next)
1171     {
1172       next = copy->next;
1173       if (copy->type == type && copy->c == c && copy->fwd == fwd)
1174       {
1175         /* Example: also a FWD ACK for connection XYZ */
1176         GMP_queue_destroy (copy, GNUNET_YES);
1177       }
1178     }
1179     GNUNET_CONTAINER_DLL_insert (peer->queue_head, peer->queue_tail, queue);
1180   }
1181   else
1182   {
1183     GNUNET_CONTAINER_DLL_insert_tail (peer->queue_head, peer->queue_tail, queue);
1184     LOG (GNUNET_ERROR_TYPE_DEBUG, "  Q_N+ %p %u\n", fc, fc->queue_n);
1185     fc->queue_n++;
1186     peer->queue_n++;
1187   }
1188
1189   if (NULL == peer->core_transmit && GNUNET_YES == call_core)
1190   {
1191     LOG (GNUNET_ERROR_TYPE_DEBUG,
1192                 "calling core tmt rdy towards %s for %u bytes\n",
1193                 peer2s (peer), size);
1194     peer->core_transmit =
1195         GNUNET_CORE_notify_transmit_ready (core_handle,
1196                                            0,
1197                                            0,
1198                                            GNUNET_TIME_UNIT_FOREVER_REL,
1199                                            GNUNET_PEER_resolve2 (peer->id),
1200                                            size,
1201                                            &queue_send,
1202                                            peer);
1203     queue->start_waiting = GNUNET_TIME_absolute_get ();
1204   }
1205   else
1206   {
1207     LOG (GNUNET_ERROR_TYPE_DEBUG,
1208                 "core tmt rdy towards %s already called\n",
1209                 peer2s (peer));
1210
1211   }
1212   c->pending_messages++;
1213   if (NULL != c->t)
1214     c->t->pending_messages++;
1215 }
1216
1217
1218 /**
1219  * Cancel all queued messages to a peer that belong to a certain connection.
1220  *
1221  * @param peer Peer towards whom to cancel.
1222  * @param c Connection whose queued messages to cancel.
1223  */
1224 void
1225 GMP_queue_cancel (struct MeshPeer *peer, struct MeshConnection *c)
1226 {
1227   struct MeshPeerQueue *q;
1228   struct MeshPeerQueue *next;
1229
1230   for (q = peer->queue_head; NULL != q; q = next)
1231   {
1232     next = q->next;
1233     if (q->c == c)
1234     {
1235       LOG (GNUNET_ERROR_TYPE_DEBUG,
1236                   "connection_cancel_queue %s\n",
1237                   GNUNET_MESH_DEBUG_M2S (q->type));
1238       GMP_queue_destroy (q, GNUNET_YES);
1239     }
1240   }
1241   if (NULL == peer->queue_head)
1242   {
1243     if (NULL != peer->core_transmit)
1244     {
1245       GNUNET_CORE_notify_transmit_ready_cancel (peer->core_transmit);
1246       peer->core_transmit = NULL;
1247     }
1248   }
1249 }
1250
1251
1252 /**
1253  * Get the first transmittable message for a connection.
1254  *
1255  * @param peer Neighboring peer.
1256  * @param c Connection.
1257  *
1258  * @return First transmittable message.
1259  */
1260 static struct MeshPeerQueue *
1261 connection_get_first_message (struct MeshPeer *peer, struct MeshConnection *c)
1262 {
1263   struct MeshPeerQueue *q;
1264
1265   for (q = peer->queue_head; NULL != q; q = q->next)
1266   {
1267     if (q->c != c)
1268       continue;
1269     if (queue_is_sendable (q))
1270       return q;
1271   }
1272
1273   return NULL;
1274 }
1275
1276 void
1277 GMP_queue_unlock (struct MeshPeer *peer, struct MeshConnection *c)
1278 {
1279   struct MeshPeerQueue *q;
1280   size_t size;
1281
1282   if (NULL != peer->core_transmit)
1283   {
1284     LOG (GNUNET_ERROR_TYPE_DEBUG, "  already unlocked!\n");
1285     return; /* Already unlocked */
1286   }
1287
1288   q = connection_get_first_message (peer, c);
1289   if (NULL == q)
1290   {
1291     LOG (GNUNET_ERROR_TYPE_DEBUG, "  queue empty!\n");
1292     return; /* Nothing to transmit */
1293   }
1294
1295   size = q->size;
1296   peer->core_transmit =
1297       GNUNET_CORE_notify_transmit_ready (core_handle,
1298                                          GNUNET_NO,
1299                                          0,
1300                                          GNUNET_TIME_UNIT_FOREVER_REL,
1301                                          GNUNET_PEER_resolve2 (peer->id),
1302                                          size,
1303                                          &queue_send,
1304                                          peer);
1305 }
1306
1307
1308 /**
1309  * Initialize the peer subsystem.
1310  *
1311  * @param c Configuration.
1312  * @param id Peer identity
1313  */
1314 void
1315 GMP_init (const struct GNUNET_CONFIGURATION_Handle *c)
1316 {
1317   peers = GNUNET_CONTAINER_multipeermap_create (128, GNUNET_NO);
1318   if (GNUNET_OK !=
1319       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "MAX_PEERS",
1320                                              &max_peers))
1321   {
1322     GNUNET_log_config_invalid (GNUNET_ERROR_TYPE_WARNING,
1323                                "MESH", "MAX_PEERS", "USING DEFAULT");
1324     max_peers = 1000;
1325   }
1326
1327   if (GNUNET_OK !=
1328       GNUNET_CONFIGURATION_get_value_number (c, "MESH", "DROP_PERCENT",
1329                                              &drop_percent))
1330   {
1331     drop_percent = 0;
1332   }
1333   else
1334   {
1335     LOG (GNUNET_ERROR_TYPE_WARNING,
1336                 "\n***************************************\n"
1337                 "Mesh is running with drop mode enabled.\n"
1338                 "This is NOT a good idea!\n"
1339                 "Remove the DROP_PERCENT option from your configuration.\n"
1340                 "***************************************\n");
1341   }
1342
1343   core_handle = GNUNET_CORE_connect (c, /* Main configuration */
1344                                      NULL,      /* Closure passed to MESH functions */
1345                                      &core_init,        /* Call core_init once connected */
1346                                      &core_connect,     /* Handle connects */
1347                                      &core_disconnect,  /* remove peers on disconnects */
1348                                      NULL,      /* Don't notify about all incoming messages */
1349                                      GNUNET_NO, /* For header only in notification */
1350                                      NULL,      /* Don't notify about all outbound messages */
1351                                      GNUNET_NO, /* For header-only out notification */
1352                                      core_handlers);    /* Register these handlers */
1353   if (NULL == core_handle)
1354   {
1355     GNUNET_break (0);
1356     GNUNET_SCHEDULER_shutdown ();
1357     return;
1358   }
1359 }
1360
1361 /**
1362  * Shut down the peer subsystem.
1363  */
1364 void
1365 GMP_shutdown (void)
1366 {
1367   GNUNET_CONTAINER_multipeermap_iterate (peers, &shutdown_tunnel, NULL);
1368
1369   if (core_handle != NULL)
1370   {
1371     GNUNET_CORE_disconnect (core_handle);
1372     core_handle = NULL;
1373   }
1374   GNUNET_PEER_change_rc (myid, -1);
1375 }
1376
1377 /**
1378  * Retrieve the MeshPeer stucture associated with the peer, create one
1379  * and insert it in the appropriate structures if the peer is not known yet.
1380  *
1381  * @param peer Full identity of the peer.
1382  *
1383  * @return Existing or newly created peer structure.
1384  */
1385 struct MeshPeer *
1386 GMP_get (const struct GNUNET_PeerIdentity *peer_id)
1387 {
1388   struct MeshPeer *peer;
1389
1390   peer = GNUNET_CONTAINER_multipeermap_get (peers, peer_id);
1391   if (NULL == peer)
1392   {
1393     peer = GNUNET_new (struct MeshPeer);
1394     if (GNUNET_CONTAINER_multipeermap_size (peers) > max_peers)
1395     {
1396       peer_delete_oldest ();
1397     }
1398         GNUNET_CONTAINER_multipeermap_put (peers, peer_id, peer,
1399                                            GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
1400         peer->id = GNUNET_PEER_intern (peer_id);
1401   }
1402     peer->last_contact = GNUNET_TIME_absolute_get();
1403
1404     return peer;
1405 }
1406
1407
1408 /**
1409  * Retrieve the MeshPeer stucture associated with the peer, create one
1410  * and insert it in the appropriate structures if the peer is not known yet.
1411  *
1412  * @param peer Short identity of the peer.
1413  *
1414  * @return Existing or newly created peer structure.
1415  */
1416 struct MeshPeer *
1417 GMP_get_short (const GNUNET_PEER_Id peer)
1418 {
1419   return GMP_get (GNUNET_PEER_resolve2 (peer));
1420 }
1421
1422
1423 /**
1424  * Try to establish a new connection to this peer (in its tunnel).
1425  * If the peer doesn't have any path to it yet, try to get one.
1426  * If the peer already has some path, send a CREATE CONNECTION towards it.
1427  *
1428  * @param peer Peer to connect to.
1429  */
1430 void
1431 GMP_connect (struct MeshPeer *peer)
1432 {
1433   struct MeshTunnel3 *t;
1434   struct MeshPeerPath *p;
1435   struct MeshConnection *c;
1436   int rerun_search;
1437
1438   LOG (GNUNET_ERROR_TYPE_DEBUG,
1439               "peer_connect towards %s\n",
1440               peer2s (peer));
1441   t = peer->tunnel;
1442   c = NULL;
1443   rerun_search = GNUNET_NO;
1444
1445   if (NULL != peer->path_head)
1446   {
1447     LOG (GNUNET_ERROR_TYPE_DEBUG, "path exists\n");
1448     p = peer_get_best_path (peer);
1449     if (NULL != p)
1450     {
1451       LOG (GNUNET_ERROR_TYPE_DEBUG, "  %u hops\n", p->length);
1452       c = GMT_use_path (t, p);
1453       if (NULL == c)
1454       {
1455         /* This case can happen when the path includes a first hop that is
1456          * not yet known to be connected.
1457          *
1458          * This happens quite often during testing when running mesh
1459          * under valgrind: core connect notifications come very late and the
1460          * DHT result has already come and created a valid path.
1461          * In this case, the peer->connections hashmap will be NULL and
1462          * tunnel_use_path will not be able to create a connection from that
1463          * path.
1464          *
1465          * Re-running the DHT GET should give core time to callback.
1466          */
1467         GNUNET_break(0);
1468                 rerun_search = GNUNET_YES;
1469       }
1470       else
1471       {
1472         GMC_send_create (c);
1473         return;
1474       }
1475     }
1476   }
1477
1478   if (NULL != peer->search_h && GNUNET_YES == rerun_search)
1479   {
1480     GMD_search_stop (peer->search_h);
1481     peer->search_h = NULL;
1482     LOG (GNUNET_ERROR_TYPE_DEBUG, 
1483          "  Stopping DHT GET for peer %s\n",
1484          GMP_2s (peer));
1485   }
1486
1487   if (NULL == peer->search_h)
1488   {
1489     const struct GNUNET_PeerIdentity *id;
1490
1491     id = GNUNET_PEER_resolve2 (peer->id);
1492     LOG (GNUNET_ERROR_TYPE_DEBUG,
1493                 "  Starting DHT GET for peer %s\n", peer2s (peer));
1494     peer->search_h = GMD_search (id, &search_handler, peer);
1495     if (MESH_TUNNEL3_NEW == GMT_get_state (t))
1496       GMT_change_state (t, MESH_TUNNEL3_SEARCHING);
1497   }
1498 }
1499
1500
1501 /**
1502  * Set tunnel.
1503  *
1504  * @param peer Peer.
1505  * @param t Tunnel.
1506  */
1507 void
1508 GMP_set_tunnel (struct MeshPeer *peer, struct MeshTunnel3 *t)
1509 {
1510   peer->tunnel = t;
1511 }
1512
1513
1514 /**
1515  * Chech whether there is a direct (core level)  connection to peer.
1516  *
1517  * @param peer Peer to check.
1518  *
1519  * @return GNUNET_YES if there is a direct connection.
1520  */
1521 int
1522 GMP_is_neighbor (const struct MeshPeer *peer)
1523 {
1524   struct MeshPeerPath *path;
1525
1526   if (NULL == peer->connections)
1527     return GNUNET_NO;
1528
1529   for (path = peer->path_head; NULL != path; path = path->next)
1530   {
1531     if (3 > path->length)
1532       return GNUNET_YES;
1533   }
1534
1535   GNUNET_break (0); /* Is not a neighbor but connections is not NULL */
1536   return GNUNET_NO;
1537 }
1538
1539
1540 /**
1541  * Create and initialize a new tunnel towards a peer, in case it has none.
1542  *
1543  * Does not generate any traffic, just creates the local data structures.
1544  *
1545  * @param peer Peer towards which to create the tunnel.
1546  */
1547 void
1548 GMP_add_tunnel (struct MeshPeer *peer)
1549 {
1550   if (NULL != peer->tunnel)
1551     return;
1552   peer->tunnel = GMT_new (peer);
1553 }
1554
1555
1556 /**
1557  * Add a connection to a neighboring peer.
1558  *
1559  * Store that the peer is the first hop of the connection in one
1560  * direction and that on peer disconnect the connection must be
1561  * notified and destroyed, for it will no longer be valid.
1562  *
1563  * @param peer Peer to add connection to.
1564  * @param c Connection to add.
1565  *
1566  * @return GNUNET_OK on success.
1567  */
1568 int
1569 GMP_add_connection (struct MeshPeer *peer,
1570                     struct MeshConnection *c)
1571 {
1572   if (NULL == peer->connections)
1573   {
1574     GNUNET_break (0);
1575     return GNUNET_SYSERR;
1576   }
1577   return GNUNET_CONTAINER_multihashmap_put (peer->connections,
1578                                             GMC_get_id (c),
1579                                             c,
1580                                             GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_FAST);
1581 }
1582
1583
1584 /**
1585  * Add the path to the peer and update the path used to reach it in case this
1586  * is the shortest.
1587  *
1588  * @param peer_info Destination peer to add the path to.
1589  * @param path New path to add. Last peer must be the peer in arg 1.
1590  *             Path will be either used of freed if already known.
1591  * @param trusted Do we trust that this path is real?
1592  */
1593 void
1594 GMP_add_path (struct MeshPeer *peer_info, struct MeshPeerPath *path,
1595               int trusted)
1596 {
1597   struct MeshPeerPath *aux;
1598   unsigned int l;
1599   unsigned int l2;
1600
1601   if ((NULL == peer_info) || (NULL == path))
1602   {
1603     GNUNET_break (0);
1604     path_destroy (path);
1605     return;
1606   }
1607   if (path->peers[path->length - 1] != peer_info->id)
1608   {
1609     GNUNET_break (0);
1610     path_destroy (path);
1611     return;
1612   }
1613   if (2 >= path->length && GNUNET_NO == trusted)
1614   {
1615     /* Only allow CORE to tell us about direct paths */
1616     path_destroy (path);
1617     return;
1618   }
1619   for (l = 1; l < path->length; l++)
1620   {
1621     if (path->peers[l] == myid)
1622     {
1623       LOG (GNUNET_ERROR_TYPE_DEBUG, "shortening path by %u\n", l);
1624       for (l2 = 0; l2 < path->length - l; l2++)
1625       {
1626         path->peers[l2] = path->peers[l + l2];
1627       }
1628             path->length -= l;
1629             l = 1;
1630             path->peers =
1631                       GNUNET_realloc (path->peers, path->length * sizeof (GNUNET_PEER_Id));
1632     }
1633   }
1634
1635   LOG (GNUNET_ERROR_TYPE_DEBUG, "adding path [%u] to peer %s\n",
1636               path->length, peer2s (peer_info));
1637
1638   l = path_get_length (path);
1639   if (0 == l)
1640   {
1641     path_destroy (path);
1642     return;
1643   }
1644
1645   GNUNET_assert (peer_info->id == path->peers[path->length - 1]);
1646   for (aux = peer_info->path_head; aux != NULL; aux = aux->next)
1647   {
1648     l2 = path_get_length (aux);
1649     if (l2 > l)
1650     {
1651       GNUNET_CONTAINER_DLL_insert_before (peer_info->path_head,
1652                                           peer_info->path_tail, aux, path);
1653       return;
1654     }
1655         else
1656         {
1657           if (l2 == l && memcmp (path->peers, aux->peers, l) == 0)
1658           {
1659             path_destroy (path);
1660             return;
1661           }
1662         }
1663   }
1664   GNUNET_CONTAINER_DLL_insert_tail (peer_info->path_head, peer_info->path_tail,
1665                                     path);
1666   return;
1667 }
1668
1669
1670 /**
1671  * Add the path to the origin peer and update the path used to reach it in case
1672  * this is the shortest.
1673  * The path is given in peer_info -> destination, therefore we turn the path
1674  * upside down first.
1675  *
1676  * @param peer_info Peer to add the path to, being the origin of the path.
1677  * @param path New path to add after being inversed.
1678  *             Path will be either used or freed.
1679  * @param trusted Do we trust that this path is real?
1680  */
1681 void
1682 GMP_add_path_to_origin (struct MeshPeer *peer,
1683                         struct MeshPeerPath *path,
1684                         int trusted)
1685 {
1686   if (NULL == path)
1687     return;
1688   path_invert (path);
1689   GMP_add_path (peer, path, trusted);
1690 }
1691
1692
1693 /**
1694  * Adds a path to the info of all the peers in the path
1695  *
1696  * @param p Path to process.
1697  * @param confirmed Whether we know if the path works or not.
1698  */
1699 void
1700 GMP_add_path_to_all (struct MeshPeerPath *p, int confirmed)
1701 {
1702   unsigned int i;
1703
1704   /* TODO: invert and add */
1705   for (i = 0; i < p->length && p->peers[i] != myid; i++) /* skip'em */ ;
1706   for (i++; i < p->length; i++)
1707   {
1708     struct MeshPeer *aux;
1709     struct MeshPeerPath *copy;
1710
1711     aux = GMP_get_short (p->peers[i]);
1712     copy = path_duplicate (p);
1713     copy->length = i + 1;
1714     GMP_add_path (aux, copy, p->length < 3 ? GNUNET_NO : confirmed);
1715   }
1716 }
1717
1718
1719 /**
1720  * Remove a connection from a neighboring peer.
1721  *
1722  * @param peer Peer to remove connection from.
1723  * @param c Connection to remove.
1724  *
1725  * @return GNUNET_OK on success.
1726  */
1727 int
1728 GMP_remove_connection (struct MeshPeer *peer,
1729                        const struct MeshConnection *c)
1730 {
1731   if (NULL == peer || NULL == peer->connections)
1732   {
1733     GNUNET_break (0);
1734     return GNUNET_SYSERR;
1735   }
1736   return GNUNET_CONTAINER_multihashmap_remove (peer->connections,
1737                                                GMC_get_id (c),
1738                                                c);
1739 }
1740
1741 /**
1742  * Get the Full ID of a peer.
1743  *
1744  * @param peer Peer to get from.
1745  *
1746  * @return Full ID of peer.
1747  */
1748 const struct GNUNET_PeerIdentity *
1749 GMP_get_id (const struct MeshPeer *peer)
1750 {
1751   return GNUNET_PEER_resolve2 (peer->id);
1752 }
1753
1754
1755 /**
1756  * Get the Short ID of a peer.
1757  *
1758  * @param peer Peer to get from.
1759  *
1760  * @return Short ID of peer.
1761  */
1762 GNUNET_PEER_Id
1763 GMP_get_short_id (const struct MeshPeer *peer)
1764 {
1765   return peer->id;
1766 }
1767
1768
1769 /**
1770  * Get the static string for a peer ID.
1771  *
1772  * @param peer Peer.
1773  *
1774  * @return Static string for it's ID.
1775  */
1776 const char *
1777 GMP_2s (const struct MeshPeer *peer)
1778 {
1779   if (NULL == peer)
1780     return "(NULL)";
1781   return GNUNET_i2s (GNUNET_PEER_resolve2 (peer->id));
1782 }