d725968d80ab270c9f9efab76729850ddd0be661
[oweals/gnunet.git] / src / peerinfo / gnunet-service-peerinfo.c
1 /*
2      This file is part of GNUnet.
3      (C) 2001, 2002, 2004, 2005, 2007, 2009, 2010, 2012 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file peerinfo/gnunet-service-peerinfo.c
23  * @brief maintains list of known peers
24  *
25  * Code to maintain the list of currently known hosts (in memory
26  * structure of data/hosts/).
27  *
28  * @author Christian Grothoff
29  *
30  * TODO:
31  * - notify clients when addresses in HELLO expire (#1933)
32  */
33
34 #include "platform.h"
35 #include "gnunet_util_lib.h"
36 #include "gnunet_hello_lib.h"
37 #include "gnunet_protocols.h"
38 #include "gnunet_statistics_service.h"
39 #include "peerinfo.h"
40
41 /**
42  * How often do we scan the HOST_DIR for new entries?
43  */
44 #define DATA_HOST_FREQ GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 15)
45
46 /**
47  * How often do we discard old entries in data/hosts/?
48  */
49 #define DATA_HOST_CLEAN_FREQ GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 60)
50
51
52 /**
53  * In-memory cache of known hosts.
54  */
55 struct HostEntry
56 {
57
58   /**
59    * Identity of the peer.
60    */
61   struct GNUNET_PeerIdentity identity;
62
63   /**
64    * Hello for the peer (can be NULL)
65    */
66   struct GNUNET_HELLO_Message *hello;
67
68   /**
69    * Friend only hello for the peer (can be NULL)
70    */
71   struct GNUNET_HELLO_Message *friend_only_hello;
72
73 };
74
75 /**
76  * Transmit context for GET requests
77  */
78 struct TransmitContext
79 {
80         /**
81          * Server transmit context
82          */
83         struct GNUNET_SERVER_TransmitContext *tc;
84
85         /**
86                 * Include friend only HELLOs GNUNET_YES or _NO
87                 */
88         int friend_only;
89 };
90
91 /**
92  * Result of reading a file
93  */
94 struct ReadHostFileContext
95 {
96   /**
97    * Hello for the peer (can be NULL)
98    */
99   struct GNUNET_HELLO_Message *hello;
100
101   /**
102    * Friend only hello for the peer (can be NULL)
103    */
104   struct GNUNET_HELLO_Message *friend_only_hello;
105 };
106
107
108 /**
109  * Client notification context
110  */
111 struct NotificationContext
112 {
113         /**
114          * Next in DLL
115          */
116         struct NotificationContext *prev;
117
118         /**
119          * Previous in DLL
120          */
121         struct NotificationContext *next;
122
123         /**
124          * Server client
125          */
126         struct GNUNET_SERVER_Client *client;
127
128         /**
129          * Interested in friend only HELLO?
130          */
131         int include_friend_only;
132 };
133
134
135 /**
136  * The in-memory list of known hosts, mapping of
137  * host IDs to 'struct HostEntry*' values.
138  */
139 static struct GNUNET_CONTAINER_MultiHashMap *hostmap;
140
141 /**
142  * Clients to immediately notify about all changes.
143  */
144 static struct GNUNET_SERVER_NotificationContext *notify_list;
145
146 /**
147  * Directory where the hellos are stored in (peerinfo/)
148  */
149 static char *networkIdDirectory;
150
151 /**
152  * Handle for reporting statistics.
153  */
154 static struct GNUNET_STATISTICS_Handle *stats;
155
156 /**
157  * DLL of notification contexts: head
158  */
159 static struct NotificationContext *nc_head;
160
161 /**
162  * DLL of notification contexts: tail
163  */
164 static struct NotificationContext *nc_tail;
165
166
167 /**
168  * Notify all clients in the notify list about the
169  * given host entry changing.
170  *
171  * @param he entry of the host for which we generate a notification
172  * @return generated notification message
173  */
174 static struct InfoMessage *
175 make_info_message (const struct HostEntry *he, int include_friend_only)
176 {
177   struct InfoMessage *im;
178   struct GNUNET_HELLO_Message *src;
179   size_t hs;
180
181   if (GNUNET_YES == include_friend_only)
182         src = he->friend_only_hello;
183   else
184         src = he->hello;
185
186   hs = (NULL == src) ? 0 : GNUNET_HELLO_size (src);
187   im = GNUNET_malloc (sizeof (struct InfoMessage) + hs);
188   im->header.size = htons (hs + sizeof (struct InfoMessage));
189   im->header.type = htons (GNUNET_MESSAGE_TYPE_PEERINFO_INFO);
190   im->peer = he->identity;
191   if (NULL != src)
192     memcpy (&im[1], src, hs);
193   return im;
194 }
195
196
197 /**
198  * Address iterator that causes expired entries to be discarded.
199  *
200  * @param cls pointer to the current time
201  * @param address the address
202  * @param expiration expiration time for the address
203  * @return GNUNET_NO if expiration smaller than the current time
204  */
205 static int
206 discard_expired (void *cls, const struct GNUNET_HELLO_Address *address,
207                  struct GNUNET_TIME_Absolute expiration)
208 {
209   const struct GNUNET_TIME_Absolute *now = cls;
210
211   if (now->abs_value > expiration.abs_value)
212   {
213     GNUNET_log (GNUNET_ERROR_TYPE_INFO,
214                 _("Removing expired address of transport `%s'\n"),
215                 address->transport_name);
216     return GNUNET_NO;
217   }
218   return GNUNET_OK;
219 }
220
221
222 /**
223  * Address iterator that counts the remaining addresses.
224  *
225  * @param cls pointer to the counter
226  * @param address the address
227  * @param expiration expiration time for the address
228  * @return GNUNET_OK (always)
229  */
230 static int
231 count_addresses (void *cls, const struct GNUNET_HELLO_Address *address,
232                  struct GNUNET_TIME_Absolute expiration)
233 {
234   unsigned int *cnt = cls;
235
236   (*cnt)++;
237   return GNUNET_OK;
238 }
239
240
241 /**
242  * Get the filename under which we would store the GNUNET_HELLO_Message
243  * for the given host and protocol.
244  *
245  * @param id peer for which we need the filename for the HELLO
246  * @return filename of the form DIRECTORY/HOSTID
247  */
248 static char *
249 get_host_filename (const struct GNUNET_PeerIdentity *id)
250 {
251   struct GNUNET_CRYPTO_HashAsciiEncoded fil;
252   char *fn;
253
254   if (NULL == networkIdDirectory)
255     return NULL;
256   GNUNET_CRYPTO_hash_to_enc (&id->hashPubKey, &fil);
257   GNUNET_asprintf (&fn, "%s%s%s", networkIdDirectory, DIR_SEPARATOR_STR, &fil);
258   return fn;
259 }
260
261
262 /**
263  * Broadcast information about the given entry to all
264  * clients that care.
265  *
266  * @param entry entry to broadcast about
267  */
268 static void
269 notify_all (struct HostEntry *entry)
270 {
271   struct InfoMessage *msg_pub;
272   struct InfoMessage *msg_friend;
273   struct NotificationContext *cur;
274
275   msg_pub = make_info_message (entry, GNUNET_NO);
276   msg_friend = make_info_message (entry, GNUNET_YES);
277   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Notifying all clients about peer `%s'\n",
278                 GNUNET_i2s(&entry->identity));
279         for (cur = nc_head; NULL != cur; cur = cur->next)
280         {
281                 if (GNUNET_NO == cur->include_friend_only)
282                 {
283                         GNUNET_SERVER_notification_context_unicast (notify_list,
284                                                                                                                                                                                                         cur->client,
285                                                                                                                                                                                                         &msg_pub->header,
286                                                                                                                                                                                                         GNUNET_NO);
287                 }
288                 if (GNUNET_YES == cur->include_friend_only)
289                 {
290                         GNUNET_SERVER_notification_context_unicast (notify_list,
291                                                                                                                                                                                                         cur->client,
292                                                                                                                                                                                                         &msg_friend->header,
293                                                                                                                                                                                                         GNUNET_NO);
294                 }
295         }
296   GNUNET_free (msg_pub);
297   GNUNET_free (msg_friend);
298 }
299
300
301 /**
302  * Bind a host address (hello) to a hostId.
303  *
304  * @param peer the peer for which this is a hello
305  * @param hello the verified (!) hello message
306  */
307 static void
308 update_hello (const struct GNUNET_PeerIdentity *peer,
309               const struct GNUNET_HELLO_Message *hello);
310
311
312 /**
313  * Try to read the HELLOs in the given filename and discard expired
314  * addresses.  Removes the file if one the HELLO is mal-formed.  If all
315  * addresses are expired, the HELLO is also removed (but the HELLO
316  * with the public key is still returned if it was found and valid).
317  * 
318  * The file can contain up to two HELLO messages, a public and a friend only
319  * HELLO
320  *
321  * @param fn name of the file
322  * @param unlink_garbage if GNUNET_YES, try to remove useless files
323  */
324 static void
325 read_host_file (const char *fn, int unlink_garbage, struct ReadHostFileContext *r)
326 {
327   char buffer[GNUNET_SERVER_MAX_MESSAGE_SIZE - 1] GNUNET_ALIGN;
328
329   int size_total;
330   struct GNUNET_TIME_Absolute now;
331   unsigned int left;
332
333   const struct GNUNET_HELLO_Message *hello;
334   struct GNUNET_HELLO_Message *hello_clean;
335   unsigned read_pos;
336   int size_hello;
337
338   size_total = 0;
339   r->friend_only_hello = NULL;
340   r->hello = NULL;
341
342   if (GNUNET_YES != GNUNET_DISK_file_test (fn))
343   {
344     return;
345   }
346
347   size_total = GNUNET_DISK_fn_read (fn, buffer, sizeof (buffer));
348   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Read %u bytes from `%s'\n", size_total, fn);
349   if (size_total < sizeof (struct GNUNET_MessageHeader))
350   {
351             GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
352                                                                         _("Failed to parse HELLO in file `%s': %s\n"),
353                                                                         fn, "Fail has invalid size");
354     if ( (GNUNET_YES == unlink_garbage) && (0 != UNLINK (fn)) )
355       GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING, "unlink", fn);
356     return;
357   }
358
359   read_pos = 0;
360   while (read_pos < size_total)
361   {
362                 hello = (const struct GNUNET_HELLO_Message *) &buffer[read_pos];
363                 size_hello = GNUNET_HELLO_size (hello);
364                 if (0 == size_hello)
365                 {
366                   GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
367                                                                                 _("Failed to parse HELLO in file `%s': %s %u \n"),
368                                                                                 fn, "HELLO is invalid and has size of ", size_hello);
369                   if ((GNUNET_YES == unlink_garbage) && (0 != UNLINK (fn)))
370                         GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING, "unlink", fn);
371             return;
372                 }
373
374           now = GNUNET_TIME_absolute_get ();
375           hello_clean = GNUNET_HELLO_iterate_addresses (hello, GNUNET_YES,
376                                                                                                                                                                                                 &discard_expired, &now);
377           left = 0;
378           (void) GNUNET_HELLO_iterate_addresses (hello_clean, GNUNET_NO,
379                                                                                                                                                                  &count_addresses, &left);
380
381           if (0 == left)
382           {
383                         GNUNET_free (hello_clean);
384                         break;
385           }
386
387           if (GNUNET_NO == GNUNET_HELLO_is_friend_only (hello_clean))
388           {
389                 if (NULL == r->hello)
390                         r->hello = hello_clean;
391                 else
392                 {
393                                 GNUNET_break (0);
394                                 GNUNET_free (r->hello);
395                                 r->hello = hello_clean;
396                 }
397           }
398           else
399           {
400                 if (NULL == r->friend_only_hello)
401                         r->friend_only_hello = hello_clean;
402                 else
403                 {
404                                 GNUNET_break (0);
405                                 GNUNET_free (r->friend_only_hello);
406                                 r->friend_only_hello = hello_clean;
407                 }
408           }
409           read_pos += size_hello;
410   }
411
412   if (0 == left)
413   {
414     /* no addresses left, remove from disk */
415     if ((GNUNET_YES == unlink_garbage) && (0 != UNLINK (fn)))
416       GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING, "unlink", fn);
417   }
418
419   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Found `%s' and `%s' HELLO message in file\n",
420                 (NULL != r->hello) ? "public" : "NO public",
421                         (NULL != r->friend_only_hello) ? "friend only" : "NO friend only");
422 }
423
424
425 /**
426  * Add a host to the list and notify clients about this event
427  *
428  * @param identity the identity of the host
429  * @return the HostEntry
430  */
431 static struct HostEntry *
432 add_host_to_known_hosts (const struct GNUNET_PeerIdentity *identity)
433 {
434   struct HostEntry *entry;
435   struct ReadHostFileContext r;
436   char *fn;
437
438   entry = GNUNET_CONTAINER_multihashmap_get (hostmap, &identity->hashPubKey);
439   if (NULL == entry)
440   {
441                 GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Adding new peer `%s'\n", GNUNET_i2s (identity));
442         GNUNET_STATISTICS_update (stats, gettext_noop ("# peers known"), 1,
443                             GNUNET_NO);
444         entry = GNUNET_malloc (sizeof (struct HostEntry));
445         entry->identity = *identity;
446         GNUNET_CONTAINER_multihashmap_put (hostmap, &entry->identity.hashPubKey, entry,
447                                      GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
448     notify_all (entry);
449     fn = get_host_filename (identity);
450     if (NULL != fn)
451     {
452       read_host_file (fn, GNUNET_YES, &r);
453       if (NULL != r.hello)
454         update_hello (identity, r.hello);
455       if (NULL != r.friend_only_hello)
456         update_hello (identity, r.friend_only_hello);
457       GNUNET_free_non_null (r.hello);
458       GNUNET_free_non_null (r.friend_only_hello);
459       GNUNET_free (fn);
460     }
461   }
462   return entry;
463 }
464
465
466 /**
467  * Remove a file that should not be there.  LOG
468  * success or failure.
469  *
470  * @param fullname name of the file to remove
471  */
472 static void
473 remove_garbage (const char *fullname)
474 {
475   if (0 == UNLINK (fullname))
476     GNUNET_log (GNUNET_ERROR_TYPE_WARNING | GNUNET_ERROR_TYPE_BULK,
477                 _
478                 ("File `%s' in directory `%s' does not match naming convention. "
479                  "Removed.\n"), fullname, networkIdDirectory);
480   else
481     GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
482                               "unlink", fullname);
483 }
484
485
486 /**
487  * Closure for 'hosts_directory_scan_callback'.
488  */
489 struct DirScanContext
490 {
491   /**
492    * GNUNET_YES if we should remove files that are broken,
493    * GNUNET_NO if the directory we are iterating over should
494    * be treated as read-only by us.
495    */ 
496   int remove_files;
497
498   /**
499    * Counter for the number of (valid) entries found, incremented
500    * by one for each match.
501    */
502   unsigned int matched;
503 };
504
505
506 /**
507  * Function that is called on each HELLO file in a particular directory.
508  * Try to parse the file and add the HELLO to our list.
509  *
510  * @param cls pointer to 'unsigned int' to increment for each file, or NULL
511  *            if the file is from a read-only, read-once resource directory
512  * @param fullname name of the file to parse
513  * @return GNUNET_OK (continue iteration)
514  */
515 static int
516 hosts_directory_scan_callback (void *cls, const char *fullname)
517 {
518   struct DirScanContext *dsc = cls;
519   struct GNUNET_PeerIdentity identity;
520   struct ReadHostFileContext r;
521   const char *filename;
522   struct GNUNET_PeerIdentity id_public;
523   struct GNUNET_PeerIdentity id_friend;
524   struct GNUNET_PeerIdentity id;
525
526   if (GNUNET_YES != GNUNET_DISK_file_test (fullname))
527     return GNUNET_OK;           /* ignore non-files */
528
529   filename = strrchr (fullname, DIR_SEPARATOR);
530   if ((NULL == filename) || (1 > strlen (filename)))
531         filename = fullname;
532   else
533     filename ++;
534
535   read_host_file (fullname, dsc->remove_files, &r);
536         if ( (NULL == r.hello) && (NULL == r.friend_only_hello))
537         {
538     if (GNUNET_YES == dsc->remove_files)
539       remove_garbage (fullname);
540     return GNUNET_OK;
541         }
542
543         if (NULL != r.friend_only_hello)
544         {
545                 if (GNUNET_OK != GNUNET_HELLO_get_id (r.friend_only_hello, &id_friend))
546                         if (GNUNET_YES == dsc->remove_files)
547                         {
548                                 remove_garbage (fullname);
549                                 return GNUNET_OK;
550                         }
551                 id = id_friend;
552         }
553         if (NULL != r.hello)
554         {
555                 if (GNUNET_OK != GNUNET_HELLO_get_id (r.hello, &id_public))
556                         if (GNUNET_YES == dsc->remove_files)
557                         {
558                                 remove_garbage (fullname);
559                                 return GNUNET_OK;
560                         }
561                 id = id_public;
562         }
563
564         if ( (NULL != r.hello) && (NULL != r.friend_only_hello) &&
565                         (0 != memcmp (&id_friend, &id_public, sizeof (id_friend))) )
566         {
567                 /* HELLOs are not for the same peer */
568                 GNUNET_break (0);
569                 if (GNUNET_YES == dsc->remove_files)
570                         remove_garbage (fullname);
571                 return GNUNET_OK;
572         }
573   if (GNUNET_OK == GNUNET_CRYPTO_hash_from_string (filename, &identity.hashPubKey))
574   {
575                 if (0 != memcmp (&id, &identity, sizeof (id_friend)))
576                 {
577                         /* HELLOs are not for the same peer */
578                         GNUNET_break (0);
579                         if (GNUNET_YES == dsc->remove_files)
580                                 remove_garbage (fullname);
581                         return GNUNET_OK;
582                 }
583   }
584         /* ok, found something valid, remember HELLO */
585   add_host_to_known_hosts (&id);
586   if (NULL != r.hello)
587   {
588                         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Updating peer `%s' public HELLO \n",
589                                         GNUNET_i2s (&id));
590         update_hello (&id, r.hello);
591         GNUNET_free (r.hello);
592   }
593   if (NULL != r.friend_only_hello)
594   {
595                 GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Updating peer `%s' friend only HELLO \n",
596                                         GNUNET_i2s (&id));
597         update_hello (&id, r.friend_only_hello);
598         GNUNET_free (r.friend_only_hello);
599   }
600         dsc->matched++;
601         return GNUNET_OK;
602 }
603
604
605 /**
606  * Call this method periodically to scan data/hosts for new hosts.
607  *
608  * @param cls unused
609  * @param tc scheduler context, aborted if reason is shutdown
610  */
611 static void
612 cron_scan_directory_data_hosts (void *cls,
613                                 const struct GNUNET_SCHEDULER_TaskContext *tc)
614 {
615   static unsigned int retries;
616   struct DirScanContext dsc;
617
618   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
619     return;
620   if (GNUNET_SYSERR == GNUNET_DISK_directory_create (networkIdDirectory))
621   {
622     GNUNET_SCHEDULER_add_delayed_with_priority (DATA_HOST_FREQ,
623                                                 GNUNET_SCHEDULER_PRIORITY_IDLE,
624                                                 &cron_scan_directory_data_hosts, NULL);
625     return;
626   }
627   dsc.matched = 0;
628   dsc.remove_files = GNUNET_YES;
629   GNUNET_log (GNUNET_ERROR_TYPE_INFO | GNUNET_ERROR_TYPE_BULK,
630               _("Scanning directory `%s'\n"), networkIdDirectory);
631   GNUNET_DISK_directory_scan (networkIdDirectory,
632                               &hosts_directory_scan_callback, &dsc);
633   if ((0 == dsc.matched) && (0 == (++retries & 31)))
634     GNUNET_log (GNUNET_ERROR_TYPE_WARNING | GNUNET_ERROR_TYPE_BULK,
635                 _("Still no peers found in `%s'!\n"), networkIdDirectory);
636   GNUNET_SCHEDULER_add_delayed_with_priority (DATA_HOST_FREQ, 
637                                               GNUNET_SCHEDULER_PRIORITY_IDLE,
638                                               &cron_scan_directory_data_hosts,
639                                               NULL);
640 }
641
642
643 static struct GNUNET_HELLO_Message *
644 update_friend_hello (const struct GNUNET_HELLO_Message *hello,
645                                                                                  const struct GNUNET_HELLO_Message *friend_hello)
646 {
647         struct GNUNET_HELLO_Message * res;
648         struct GNUNET_HELLO_Message * tmp;
649         struct GNUNET_CRYPTO_EccPublicKeyBinaryEncoded pk;
650
651         if (NULL != friend_hello)
652         {
653                 res = GNUNET_HELLO_merge (hello, friend_hello);
654                 GNUNET_assert (GNUNET_YES == GNUNET_HELLO_is_friend_only (res));
655                 return res;
656         }
657
658         GNUNET_HELLO_get_key (hello, &pk);
659         tmp = GNUNET_HELLO_create (&pk, NULL, NULL, GNUNET_YES);
660         res = GNUNET_HELLO_merge (hello, tmp);
661         GNUNET_free (tmp);
662         GNUNET_assert (GNUNET_YES == GNUNET_HELLO_is_friend_only (res));
663         return res;
664 }
665
666
667
668 /**
669  * Bind a host address (hello) to a hostId.
670  *
671  * @param peer the peer for which this is a hello
672  * @param hello the verified (!) hello message
673  */
674 static void
675 update_hello (const struct GNUNET_PeerIdentity *peer,
676               const struct GNUNET_HELLO_Message *hello)
677 {
678   char *fn;
679   struct HostEntry *host;
680   struct GNUNET_HELLO_Message *mrg;
681   struct GNUNET_HELLO_Message **dest;
682   struct GNUNET_TIME_Absolute delta;
683   unsigned int cnt;
684   unsigned int size;
685   int friend_hello_type;
686   int store_hello;
687   int store_friend_hello;
688   int pos;
689   char *buffer;
690
691   host = GNUNET_CONTAINER_multihashmap_get (hostmap, &peer->hashPubKey);
692   GNUNET_assert (NULL != host);
693
694   friend_hello_type = GNUNET_HELLO_is_friend_only (hello);
695         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Updating %s HELLO for `%s'\n",
696                         (GNUNET_YES == friend_hello_type) ? "friend-only" : "public",
697                         GNUNET_i2s (peer));
698
699   dest = NULL;
700   if (GNUNET_YES == friend_hello_type)
701   {
702         dest = &host->friend_only_hello;
703   }
704   else
705   {
706         dest = &host->hello;
707   }
708
709   if (NULL == (*dest))
710   {
711         (*dest) = GNUNET_malloc (GNUNET_HELLO_size (hello));
712     memcpy ((*dest), hello, GNUNET_HELLO_size (hello));
713   }
714   else
715   {
716     mrg = GNUNET_HELLO_merge ((*dest), hello);
717     delta = GNUNET_HELLO_equals (mrg, (*dest), GNUNET_TIME_absolute_get ());
718     if (delta.abs_value == GNUNET_TIME_UNIT_FOREVER_ABS.abs_value)
719     {
720       /* no differences, just ignore the update */
721         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "No change in %s HELLO for `%s'\n",
722                         (GNUNET_YES == friend_hello_type) ? "friend-only" : "public",
723                         GNUNET_i2s (peer));
724       GNUNET_free (mrg);
725       return;
726     }
727     GNUNET_free ((*dest));
728     (*dest) = mrg;
729   }
730
731   if ((NULL != (host->hello)) && (GNUNET_NO == friend_hello_type))
732   {
733                 /* Update friend only hello */
734                 mrg = update_friend_hello (host->hello, host->friend_only_hello);
735                 if (NULL != host->friend_only_hello)
736                         GNUNET_free (host->friend_only_hello);
737                 host->friend_only_hello = mrg;
738   }
739
740   if (NULL != host->hello)
741         GNUNET_assert ((GNUNET_NO == GNUNET_HELLO_is_friend_only (host->hello)));
742   if (NULL != host->friend_only_hello)
743         GNUNET_assert ((GNUNET_YES == GNUNET_HELLO_is_friend_only(host->friend_only_hello)));
744
745   store_hello = GNUNET_NO;
746   store_friend_hello = GNUNET_NO;
747         fn = get_host_filename (peer);
748         if ( (NULL != fn) &&
749                          (GNUNET_OK == GNUNET_DISK_directory_create_for_file (fn)) )
750                 {
751
752                         store_hello = GNUNET_NO;
753                         size = 0;
754                         cnt = 0;
755                         if (NULL != host->hello)
756                                 (void) GNUNET_HELLO_iterate_addresses (host->hello,
757                                                                         GNUNET_NO, &count_addresses, &cnt);
758                         if (cnt > 0)
759                         {
760                                 store_hello = GNUNET_YES;
761                                 size += GNUNET_HELLO_size (host->hello);
762                         }
763                         cnt = 0;
764                         if (NULL != host->friend_only_hello)
765                                 (void) GNUNET_HELLO_iterate_addresses (host->friend_only_hello, GNUNET_NO,
766                                                                                 &count_addresses, &cnt);
767                         if (0 < cnt)
768                         {
769                                 store_friend_hello = GNUNET_YES;
770                                 size += GNUNET_HELLO_size (host->friend_only_hello);
771                         }
772
773                         if ((GNUNET_NO == store_hello) && (GNUNET_NO == store_friend_hello))
774                         {
775                                 /* no valid addresses, don't put HELLO on disk; in fact,
776                                          if one exists on disk, remove it */
777                                 (void) UNLINK (fn);
778                         }
779                         else
780                         {
781                                 buffer = GNUNET_malloc (size);
782                                 pos = 0;
783
784                                 if (GNUNET_YES == store_hello)
785                                 {
786                                         memcpy (buffer, host->hello, GNUNET_HELLO_size (host->hello));
787                                         pos += GNUNET_HELLO_size (host->hello);
788                                 }
789                                 if (GNUNET_YES == store_friend_hello)
790                                 {
791                                         memcpy (&buffer[pos], host->friend_only_hello, GNUNET_HELLO_size (host->friend_only_hello));
792                                         pos += GNUNET_HELLO_size (host->friend_only_hello);
793                                 }
794                                 GNUNET_assert (pos == size);
795
796                                 if (GNUNET_SYSERR == GNUNET_DISK_fn_write (fn, buffer, size,
797                                         GNUNET_DISK_PERM_USER_READ |
798                                         GNUNET_DISK_PERM_USER_WRITE |
799                                         GNUNET_DISK_PERM_GROUP_READ |
800                                         GNUNET_DISK_PERM_OTHER_READ))
801                                         GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING, "write", fn);
802                                 else
803                                         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Stored %s %s HELLO in %s  with total size %u\n",
804                                                         (GNUNET_YES == store_friend_hello) ? "friend-only": "",
805                                                         (GNUNET_YES == store_hello) ? "public": "",
806                                                         fn, size);
807                                 GNUNET_free (buffer);
808                         }
809   }
810         GNUNET_free_non_null (fn);
811   notify_all (host);
812 }
813
814
815 /**
816  * Do transmit info about peer to given host.
817  *
818  * @param cls NULL to hit all hosts, otherwise specifies a particular target
819  * @param key hostID
820  * @param value information to transmit
821  * @return GNUNET_YES (continue to iterate)
822  */
823 static int
824 add_to_tc (void *cls, const struct GNUNET_HashCode * key, void *value)
825 {
826   struct TransmitContext *tc = cls;
827   struct HostEntry *pos = value;
828   struct InfoMessage *im;
829   uint16_t hs;
830   char buf[GNUNET_SERVER_MAX_MESSAGE_SIZE - 1] GNUNET_ALIGN;
831
832   hs = 0;
833   im = (struct InfoMessage *) buf;
834
835   if ((pos->hello != NULL) && (GNUNET_NO == tc->friend_only))
836   {
837         /* Copy public HELLO */
838     hs = GNUNET_HELLO_size (pos->hello);
839     GNUNET_assert (hs < GNUNET_SERVER_MAX_MESSAGE_SIZE -
840                    sizeof (struct InfoMessage));
841     memcpy (&im[1], pos->hello, hs);
842     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Sending public HELLO with size %u for peer `%4s'\n",
843                 hs, GNUNET_h2s (key));
844   }
845   else if ((pos->friend_only_hello != NULL) && (GNUNET_YES == tc->friend_only))
846   {
847         /* Copy friend only HELLO */
848     hs = GNUNET_HELLO_size (pos->friend_only_hello);
849     GNUNET_assert (hs < GNUNET_SERVER_MAX_MESSAGE_SIZE -
850                    sizeof (struct InfoMessage));
851     memcpy (&im[1], pos->friend_only_hello, hs);
852     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Sending friend-only HELLO with size %u for peer `%4s'\n",
853                 hs, GNUNET_h2s (key));
854   }
855   else
856   {
857       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Adding no HELLO for peer `%s'\n",
858                  GNUNET_h2s (key));
859   }
860
861   im->header.type = htons (GNUNET_MESSAGE_TYPE_PEERINFO_INFO);
862   im->header.size = htons (sizeof (struct InfoMessage) + hs);
863   im->reserved = htonl (0);
864   im->peer = pos->identity;
865   GNUNET_SERVER_transmit_context_append_message (tc->tc, &im->header);
866   return GNUNET_YES;
867 }
868
869
870 /**
871  * @brief delete expired HELLO entries in directory
872  *
873  * @param cls pointer to current time (struct GNUNET_TIME_Absolute)
874  * @param fn filename to test to see if the HELLO expired
875  * @return GNUNET_OK (continue iteration)
876  */
877 static int
878 discard_hosts_helper (void *cls, const char *fn)
879 {
880   struct GNUNET_TIME_Absolute *now = cls;
881   char buffer[GNUNET_SERVER_MAX_MESSAGE_SIZE - 1] GNUNET_ALIGN;
882   const struct GNUNET_HELLO_Message *hello;
883   struct GNUNET_HELLO_Message *new_hello;
884   int read_size;
885   int cur_hello_size;
886   int new_hello_size;
887   int read_pos;
888   int write_pos;
889   unsigned int cnt;
890   char *writebuffer;
891
892
893   read_size = GNUNET_DISK_fn_read (fn, buffer, sizeof (buffer));
894   if (read_size < sizeof (struct GNUNET_MessageHeader))
895   {
896     if (0 != UNLINK (fn))
897       GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING |
898                                 GNUNET_ERROR_TYPE_BULK, "unlink", fn);
899     return GNUNET_OK;
900   }
901
902   writebuffer = GNUNET_malloc (read_size);
903   read_pos = 0;
904   write_pos = 0;
905   while (read_pos < read_size)
906   {
907                 /* Check each HELLO */
908                 hello = (const struct GNUNET_HELLO_Message *) &buffer[read_pos];
909                 cur_hello_size = GNUNET_HELLO_size (hello);
910                 new_hello_size = 0;
911                 if (0 == cur_hello_size)
912                 {
913                                 /* Invalid data, discard */
914                     if (0 != UNLINK (fn))
915                       GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING |
916                                                 GNUNET_ERROR_TYPE_BULK, "unlink", fn);
917                     return GNUNET_OK;
918                 }
919           new_hello = GNUNET_HELLO_iterate_addresses (hello, GNUNET_YES, &discard_expired, now);
920           cnt = 0;
921           if (NULL != new_hello)
922             (void) GNUNET_HELLO_iterate_addresses (hello, GNUNET_NO, &count_addresses, &cnt);
923           if ( (NULL != new_hello) && (0 < cnt) )
924           {
925                         /* Store new HELLO to write it when done */
926                         new_hello_size = GNUNET_HELLO_size(new_hello);
927                         memcpy (&writebuffer[write_pos], new_hello, new_hello_size);
928                         write_pos += new_hello_size;
929           }
930                 read_pos += cur_hello_size;
931           GNUNET_free_non_null (new_hello);
932   }
933
934   if (0 < write_pos)
935   {
936       GNUNET_DISK_fn_write (fn, writebuffer,write_pos,
937                             GNUNET_DISK_PERM_USER_READ |
938                             GNUNET_DISK_PERM_USER_WRITE |
939                             GNUNET_DISK_PERM_GROUP_READ |
940                             GNUNET_DISK_PERM_OTHER_READ);
941   }
942   else if (0 != UNLINK (fn))
943     GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING |
944                               GNUNET_ERROR_TYPE_BULK, "unlink", fn);
945
946   GNUNET_free (writebuffer);
947   return GNUNET_OK;
948 }
949
950
951 /**
952  * Call this method periodically to scan peerinfo/ for ancient
953  * HELLOs to expire.
954  *
955  * @param cls unused
956  * @param tc scheduler context, aborted if reason is shutdown
957  */
958 static void
959 cron_clean_data_hosts (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
960 {
961   struct GNUNET_TIME_Absolute now;
962
963   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
964     return;
965   now = GNUNET_TIME_absolute_get ();
966   GNUNET_log (GNUNET_ERROR_TYPE_INFO | GNUNET_ERROR_TYPE_BULK,
967               _("Cleaning up directory `%s'\n"), networkIdDirectory);
968   GNUNET_DISK_directory_scan (networkIdDirectory, &discard_hosts_helper, &now);
969   GNUNET_SCHEDULER_add_delayed (DATA_HOST_CLEAN_FREQ, &cron_clean_data_hosts,
970                                 NULL);
971 }
972
973
974 /**
975  * Handle HELLO-message.
976  *
977  * @param cls closure
978  * @param client identification of the client
979  * @param message the actual message
980  */
981 static void
982 handle_hello (void *cls, struct GNUNET_SERVER_Client *client,
983               const struct GNUNET_MessageHeader *message)
984 {
985   const struct GNUNET_HELLO_Message *hello;
986   struct GNUNET_PeerIdentity pid;
987
988   hello = (const struct GNUNET_HELLO_Message *) message;
989   if (GNUNET_OK != GNUNET_HELLO_get_id (hello, &pid))
990   {
991     GNUNET_break (0);
992     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
993     return;
994   }
995   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "`%s' message received for peer `%4s'\n",
996               "HELLO", GNUNET_i2s (&pid));
997   add_host_to_known_hosts (&pid);
998   update_hello (&pid, hello);
999   GNUNET_SERVER_receive_done (client, GNUNET_OK);
1000 }
1001
1002
1003 /**
1004  * Handle GET-message.
1005  *
1006  * @param cls closure
1007  * @param client identification of the client
1008  * @param message the actual message
1009  */
1010 static void
1011 handle_get (void *cls, struct GNUNET_SERVER_Client *client,
1012             const struct GNUNET_MessageHeader *message)
1013 {
1014   const struct ListPeerMessage *lpm;
1015   struct TransmitContext tcx;
1016
1017   lpm = (const struct ListPeerMessage *) message;
1018   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "`%s' message received for peer `%4s'\n",
1019               "GET", GNUNET_i2s (&lpm->peer));
1020   tcx.friend_only = ntohl (lpm->include_friend_only);
1021   tcx.tc = GNUNET_SERVER_transmit_context_create (client);
1022   GNUNET_CONTAINER_multihashmap_get_multiple (hostmap, &lpm->peer.hashPubKey,
1023                                               &add_to_tc, &tcx);
1024   GNUNET_SERVER_transmit_context_append_data (tcx.tc, NULL, 0,
1025                                               GNUNET_MESSAGE_TYPE_PEERINFO_INFO_END);
1026   GNUNET_SERVER_transmit_context_run (tcx.tc, GNUNET_TIME_UNIT_FOREVER_REL);
1027 }
1028
1029
1030 /**
1031  * Handle GET-ALL-message.
1032  *
1033  * @param cls closure
1034  * @param client identification of the client
1035  * @param message the actual message
1036  */
1037 static void
1038 handle_get_all (void *cls, struct GNUNET_SERVER_Client *client,
1039                 const struct GNUNET_MessageHeader *message)
1040 {
1041   const struct ListAllPeersMessage *lapm;
1042   struct TransmitContext tcx;
1043
1044   lapm = (const struct ListAllPeersMessage *) message;
1045   tcx.friend_only = ntohl (lapm->include_friend_only);
1046   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "`%s' message received\n", "GET_ALL");
1047   tcx.tc = GNUNET_SERVER_transmit_context_create (client);
1048   GNUNET_CONTAINER_multihashmap_iterate (hostmap, &add_to_tc, &tcx);
1049   GNUNET_SERVER_transmit_context_append_data (tcx.tc, NULL, 0,
1050                                               GNUNET_MESSAGE_TYPE_PEERINFO_INFO_END);
1051   GNUNET_SERVER_transmit_context_run (tcx.tc, GNUNET_TIME_UNIT_FOREVER_REL);
1052 }
1053
1054
1055
1056 /**
1057  * Pass the given client the information we have in the respective
1058  * host entry; the client is already in the notification context.
1059  *
1060  * @param cls the 'struct GNUNET_SERVER_Client' to notify
1061  * @param key key for the value (unused)
1062  * @param value the 'struct HostEntry' to notify the client about
1063  * @return GNUNET_YES (always, continue to iterate)
1064  */
1065 static int
1066 do_notify_entry (void *cls, const struct GNUNET_HashCode * key, void *value)
1067 {
1068         struct NotificationContext *nc = cls;
1069   struct HostEntry *he = value;
1070   struct InfoMessage *msg;
1071
1072         if ((NULL == he->hello) && (GNUNET_NO == nc->include_friend_only))
1073         {
1074                 /* We have no public hello  */
1075           return GNUNET_YES;
1076         }
1077
1078
1079         if ((NULL == he->friend_only_hello) && GNUNET_YES == nc->include_friend_only)
1080         {
1081                 /* We have no friend hello */
1082           return GNUNET_YES;
1083         }
1084
1085         msg = make_info_message (he, nc->include_friend_only);
1086         GNUNET_SERVER_notification_context_unicast (notify_list,
1087                         nc->client,
1088                         &msg->header,
1089                         GNUNET_NO);
1090   GNUNET_free (msg);
1091   return GNUNET_YES;
1092 }
1093
1094
1095 /**
1096  * Handle NOTIFY-message.
1097  *
1098  * @param cls closure
1099  * @param client identification of the client
1100  * @param message the actual message
1101  */
1102 static void
1103 handle_notify (void *cls, struct GNUNET_SERVER_Client *client,
1104                const struct GNUNET_MessageHeader *message)
1105 {
1106   struct NotifyMessage *nm = (struct NotifyMessage *) message;
1107   struct NotificationContext *nc;
1108
1109         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "`%s' message received\n", "NOTIFY");
1110
1111         nc = GNUNET_malloc (sizeof (struct NotificationContext));
1112         nc->client = client;
1113         nc->include_friend_only = ntohl (nm->include_friend_only);
1114
1115         GNUNET_CONTAINER_DLL_insert (nc_head, nc_tail, nc);
1116   GNUNET_SERVER_client_mark_monitor (client);
1117         GNUNET_SERVER_notification_context_add (notify_list, client);
1118   GNUNET_CONTAINER_multihashmap_iterate (hostmap, &do_notify_entry, nc);
1119   GNUNET_SERVER_receive_done (client, GNUNET_OK);
1120 }
1121
1122
1123 /**
1124  * Client disconnect callback
1125  *
1126  * @param cls unused
1127  * @param client server client
1128  */
1129 static void disconnect_cb (void *cls,struct GNUNET_SERVER_Client *client)
1130 {
1131         struct NotificationContext *cur;
1132
1133         for (cur = nc_head; NULL != cur; cur = cur->next)
1134                 if (cur->client == client)
1135                         break;
1136
1137         if (NULL == cur)
1138                 return;
1139
1140         GNUNET_CONTAINER_DLL_remove (nc_head, nc_tail, cur);
1141         GNUNET_free (cur);
1142 }
1143
1144
1145 /**
1146  * Release memory taken by a host entry.
1147  *
1148  * @param cls NULL
1149  * @param key key of the host entry
1150  * @param value the 'struct HostEntry' to free
1151  * @return GNUNET_YES (continue to iterate)
1152  */
1153 static int
1154 free_host_entry (void *cls, const struct GNUNET_HashCode * key, void *value)
1155 {
1156   struct HostEntry *he = value;
1157
1158   GNUNET_free_non_null (he->hello);
1159   GNUNET_free_non_null (he->friend_only_hello);
1160   GNUNET_free (he);
1161   return GNUNET_YES;
1162 }
1163
1164
1165 /**
1166  * Clean up our state.  Called during shutdown.
1167  *
1168  * @param cls unused
1169  * @param tc scheduler task context, unused
1170  */
1171 static void
1172 shutdown_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1173 {
1174         struct NotificationContext *cur;
1175         struct NotificationContext *next;
1176         GNUNET_SERVER_notification_context_destroy (notify_list);
1177   notify_list = NULL;
1178
1179         for (cur = nc_head; NULL != cur; cur = next)
1180         {
1181                         next = cur->next;
1182                         GNUNET_CONTAINER_DLL_remove (nc_head, nc_tail, cur);
1183                         GNUNET_free (cur);
1184         }
1185
1186   GNUNET_CONTAINER_multihashmap_iterate (hostmap, &free_host_entry, NULL);
1187   GNUNET_CONTAINER_multihashmap_destroy (hostmap);
1188   if (NULL != stats)
1189   {
1190     GNUNET_STATISTICS_destroy (stats, GNUNET_NO);
1191     stats = NULL;
1192   }
1193 }
1194
1195
1196 /**
1197  * Start up peerinfo service.
1198  *
1199  * @param cls closure
1200  * @param server the initialized server
1201  * @param cfg configuration to use
1202  */
1203 static void
1204 run (void *cls, struct GNUNET_SERVER_Handle *server,
1205      const struct GNUNET_CONFIGURATION_Handle *cfg)
1206 {
1207   static const struct GNUNET_SERVER_MessageHandler handlers[] = {
1208     {&handle_hello, NULL, GNUNET_MESSAGE_TYPE_HELLO, 0},
1209     {&handle_get, NULL, GNUNET_MESSAGE_TYPE_PEERINFO_GET,
1210      sizeof (struct ListPeerMessage)},
1211     {&handle_get_all, NULL, GNUNET_MESSAGE_TYPE_PEERINFO_GET_ALL,
1212      sizeof (struct ListAllPeersMessage)},
1213     {&handle_notify, NULL, GNUNET_MESSAGE_TYPE_PEERINFO_NOTIFY,
1214      sizeof (struct NotifyMessage)},
1215     {NULL, NULL, 0, 0}
1216   };
1217   char *peerdir;
1218   char *ip;
1219   struct DirScanContext dsc;
1220   int noio;
1221
1222   hostmap = GNUNET_CONTAINER_multihashmap_create (1024, GNUNET_YES);
1223   stats = GNUNET_STATISTICS_create ("peerinfo", cfg);
1224   notify_list = GNUNET_SERVER_notification_context_create (server, 0);
1225   noio = GNUNET_CONFIGURATION_get_value_yesno (cfg, "peerinfo", "NO_IO");
1226   if (GNUNET_YES != noio)
1227   {
1228     GNUNET_assert (GNUNET_OK ==
1229                    GNUNET_CONFIGURATION_get_value_filename (cfg, "peerinfo",
1230                                                             "HOSTS",
1231                                                             &networkIdDirectory));
1232     GNUNET_DISK_directory_create (networkIdDirectory);
1233
1234     GNUNET_SCHEDULER_add_with_priority (GNUNET_SCHEDULER_PRIORITY_IDLE,
1235                                         &cron_scan_directory_data_hosts, NULL);
1236
1237     GNUNET_SCHEDULER_add_with_priority (GNUNET_SCHEDULER_PRIORITY_IDLE,
1238                                         &cron_clean_data_hosts, NULL);
1239
1240     ip = GNUNET_OS_installation_get_path (GNUNET_OS_IPK_DATADIR);
1241     GNUNET_asprintf (&peerdir,
1242                      "%shellos",
1243                      ip);
1244     GNUNET_free (ip);
1245
1246     GNUNET_log (GNUNET_ERROR_TYPE_INFO,
1247                 _("Importing HELLOs from `%s'\n"),
1248                 peerdir);
1249     dsc.matched = 0;
1250     dsc.remove_files = GNUNET_NO;
1251
1252     GNUNET_DISK_directory_scan (peerdir,
1253                                 &hosts_directory_scan_callback, &dsc);
1254
1255     GNUNET_free (peerdir);
1256   }
1257   GNUNET_SERVER_add_handlers (server, handlers);
1258   GNUNET_SERVER_disconnect_notify (server, &disconnect_cb, NULL) ;
1259   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL, &shutdown_task,
1260                                 NULL);
1261
1262 }
1263
1264
1265 /**
1266  * The main function for the peerinfo service.
1267  *
1268  * @param argc number of arguments from the command line
1269  * @param argv command line arguments
1270  * @return 0 ok, 1 on error
1271  */
1272 int
1273 main (int argc, char *const *argv)
1274 {
1275   int ret;
1276
1277   ret =
1278       (GNUNET_OK ==
1279        GNUNET_SERVICE_run (argc, argv, "peerinfo", GNUNET_SERVICE_OPTION_NONE,
1280                            &run, NULL)) ? 0 : 1;
1281   GNUNET_free_non_null (networkIdDirectory);
1282   return ret;
1283 }
1284
1285
1286 /* end of gnunet-service-peerinfo.c */