moving to new, fixed-size encoding of public and private ECC keys everywhere, also...
[oweals/gnunet.git] / src / peerinfo / gnunet-service-peerinfo.c
1 /*
2      This file is part of GNUnet.
3      (C) 2001, 2002, 2004, 2005, 2007, 2009, 2010, 2012 Christian Grothoff (and other contributing authors)
4
5      GNUnet is free software; you can redistribute it and/or modify
6      it under the terms of the GNU General Public License as published
7      by the Free Software Foundation; either version 3, or (at your
8      option) any later version.
9
10      GNUnet is distributed in the hope that it will be useful, but
11      WITHOUT ANY WARRANTY; without even the implied warranty of
12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13      General Public License for more details.
14
15      You should have received a copy of the GNU General Public License
16      along with GNUnet; see the file COPYING.  If not, write to the
17      Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18      Boston, MA 02111-1307, USA.
19 */
20
21 /**
22  * @file peerinfo/gnunet-service-peerinfo.c
23  * @brief maintains list of known peers
24  *
25  * Code to maintain the list of currently known hosts (in memory
26  * structure of data/hosts/).
27  *
28  * @author Christian Grothoff
29  *
30  * TODO:
31  * - notify clients when addresses in HELLO expire (#1933)
32  */
33
34 #include "platform.h"
35 #include "gnunet_util_lib.h"
36 #include "gnunet_hello_lib.h"
37 #include "gnunet_protocols.h"
38 #include "gnunet_statistics_service.h"
39 #include "peerinfo.h"
40
41 /**
42  * How often do we scan the HOST_DIR for new entries?
43  */
44 #define DATA_HOST_FREQ GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 15)
45
46 /**
47  * How often do we discard old entries in data/hosts/?
48  */
49 #define DATA_HOST_CLEAN_FREQ GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 60)
50
51
52 /**
53  * In-memory cache of known hosts.
54  */
55 struct HostEntry
56 {
57
58   /**
59    * Identity of the peer.
60    */
61   struct GNUNET_PeerIdentity identity;
62
63   /**
64    * Hello for the peer (can be NULL)
65    */
66   struct GNUNET_HELLO_Message *hello;
67
68   /**
69    * Friend only hello for the peer (can be NULL)
70    */
71   struct GNUNET_HELLO_Message *friend_only_hello;
72
73 };
74
75 /**
76  * Transmit context for GET requests
77  */
78 struct TransmitContext
79 {
80   /**
81    * Server transmit context
82    */
83   struct GNUNET_SERVER_TransmitContext *tc;
84   
85   /**
86    * Include friend only HELLOs GNUNET_YES or _NO
87    */
88   int friend_only;
89 };
90
91 /**
92  * Result of reading a file
93  */
94 struct ReadHostFileContext
95 {
96   /**
97    * Hello for the peer (can be NULL)
98    */
99   struct GNUNET_HELLO_Message *hello;
100
101   /**
102    * Friend only hello for the peer (can be NULL)
103    */
104   struct GNUNET_HELLO_Message *friend_only_hello;
105 };
106
107
108 /**
109  * Client notification context
110  */
111 struct NotificationContext
112 {
113         /**
114          * Next in DLL
115          */
116         struct NotificationContext *prev;
117
118         /**
119          * Previous in DLL
120          */
121         struct NotificationContext *next;
122
123         /**
124          * Server client
125          */
126         struct GNUNET_SERVER_Client *client;
127
128         /**
129          * Interested in friend only HELLO?
130          */
131         int include_friend_only;
132 };
133
134
135 /**
136  * The in-memory list of known hosts, mapping of
137  * host IDs to 'struct HostEntry*' values.
138  */
139 static struct GNUNET_CONTAINER_MultiHashMap *hostmap;
140
141 /**
142  * Clients to immediately notify about all changes.
143  */
144 static struct GNUNET_SERVER_NotificationContext *notify_list;
145
146 /**
147  * Directory where the hellos are stored in (peerinfo/)
148  */
149 static char *networkIdDirectory;
150
151 /**
152  * Handle for reporting statistics.
153  */
154 static struct GNUNET_STATISTICS_Handle *stats;
155
156 /**
157  * DLL of notification contexts: head
158  */
159 static struct NotificationContext *nc_head;
160
161 /**
162  * DLL of notification contexts: tail
163  */
164 static struct NotificationContext *nc_tail;
165
166
167 /**
168  * Notify all clients in the notify list about the
169  * given host entry changing.
170  *
171  * @param he entry of the host for which we generate a notification
172  * @param include_friend_only create public of friend-only message
173  * @return generated notification message
174  */
175 static struct InfoMessage *
176 make_info_message (const struct HostEntry *he, int include_friend_only)
177 {
178   struct InfoMessage *im;
179   struct GNUNET_HELLO_Message *src;
180   size_t hs;
181
182   if (GNUNET_YES == include_friend_only)
183         src = he->friend_only_hello;
184   else
185         src = he->hello;
186
187   hs = (NULL == src) ? 0 : GNUNET_HELLO_size (src);
188   im = GNUNET_malloc (sizeof (struct InfoMessage) + hs);
189   im->header.size = htons (hs + sizeof (struct InfoMessage));
190   im->header.type = htons (GNUNET_MESSAGE_TYPE_PEERINFO_INFO);
191   im->peer = he->identity;
192   if (NULL != src)
193     memcpy (&im[1], src, hs);
194   return im;
195 }
196
197
198 /**
199  * Address iterator that causes expired entries to be discarded.
200  *
201  * @param cls pointer to the current time
202  * @param address the address
203  * @param expiration expiration time for the address
204  * @return GNUNET_NO if expiration smaller than the current time
205  */
206 static int
207 discard_expired (void *cls, const struct GNUNET_HELLO_Address *address,
208                  struct GNUNET_TIME_Absolute expiration)
209 {
210   const struct GNUNET_TIME_Absolute *now = cls;
211
212   if (now->abs_value > expiration.abs_value)
213   {
214     GNUNET_log (GNUNET_ERROR_TYPE_INFO,
215                 _("Removing expired address of transport `%s'\n"),
216                 address->transport_name);
217     return GNUNET_NO;
218   }
219   return GNUNET_OK;
220 }
221
222
223 /**
224  * Address iterator that counts the remaining addresses.
225  *
226  * @param cls pointer to the counter
227  * @param address the address
228  * @param expiration expiration time for the address
229  * @return GNUNET_OK (always)
230  */
231 static int
232 count_addresses (void *cls, const struct GNUNET_HELLO_Address *address,
233                  struct GNUNET_TIME_Absolute expiration)
234 {
235   unsigned int *cnt = cls;
236
237   (*cnt)++;
238   return GNUNET_OK;
239 }
240
241
242 /**
243  * Get the filename under which we would store the GNUNET_HELLO_Message
244  * for the given host and protocol.
245  *
246  * @param id peer for which we need the filename for the HELLO
247  * @return filename of the form DIRECTORY/HOSTID
248  */
249 static char *
250 get_host_filename (const struct GNUNET_PeerIdentity *id)
251 {
252   struct GNUNET_CRYPTO_HashAsciiEncoded fil;
253   char *fn;
254
255   if (NULL == networkIdDirectory)
256     return NULL;
257   GNUNET_CRYPTO_hash_to_enc (&id->hashPubKey, &fil);
258   GNUNET_asprintf (&fn, "%s%s%s", networkIdDirectory, DIR_SEPARATOR_STR, &fil);
259   return fn;
260 }
261
262
263 /**
264  * Broadcast information about the given entry to all
265  * clients that care.
266  *
267  * @param entry entry to broadcast about
268  */
269 static void
270 notify_all (struct HostEntry *entry)
271 {
272   struct InfoMessage *msg_pub;
273   struct InfoMessage *msg_friend;
274   struct NotificationContext *cur;
275
276   msg_pub = make_info_message (entry, GNUNET_NO);
277   msg_friend = make_info_message (entry, GNUNET_YES);
278   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
279               "Notifying all clients about peer `%s'\n",
280               GNUNET_i2s(&entry->identity));
281   for (cur = nc_head; NULL != cur; cur = cur->next)
282   {
283     if (GNUNET_NO == cur->include_friend_only)
284       {
285         GNUNET_SERVER_notification_context_unicast (notify_list,
286                                                     cur->client,
287                                                     &msg_pub->header,
288                                                     GNUNET_NO);
289       }
290     if (GNUNET_YES == cur->include_friend_only)
291     {
292       GNUNET_SERVER_notification_context_unicast (notify_list,
293                                                   cur->client,
294                                                   &msg_friend->header,
295                                                   GNUNET_NO);
296     }
297   }
298   GNUNET_free (msg_pub);
299   GNUNET_free (msg_friend);
300 }
301
302
303 /**
304  * Bind a host address (hello) to a hostId.
305  *
306  * @param peer the peer for which this is a hello
307  * @param hello the verified (!) hello message
308  */
309 static void
310 update_hello (const struct GNUNET_PeerIdentity *peer,
311               const struct GNUNET_HELLO_Message *hello);
312
313
314 /**
315  * Try to read the HELLOs in the given filename and discard expired
316  * addresses.  Removes the file if one the HELLO is mal-formed.  If all
317  * addresses are expired, the HELLO is also removed (but the HELLO
318  * with the public key is still returned if it was found and valid).
319  * 
320  * The file can contain multiple HELLO messages, but onlu a public and a friend only
321  * HELLO should be included
322  *
323  * @param fn name of the file
324  * @param unlink_garbage if GNUNET_YES, try to remove useless files
325  * @param r ReadHostFileContext to store the resutl
326  */
327 static void
328 read_host_file (const char *fn, int unlink_garbage, struct ReadHostFileContext *r)
329 {
330   char buffer[GNUNET_SERVER_MAX_MESSAGE_SIZE - 1] GNUNET_ALIGN;
331
332   int size_total;
333   struct GNUNET_TIME_Absolute now;
334   unsigned int left;
335
336   const struct GNUNET_HELLO_Message *hello;
337   struct GNUNET_HELLO_Message *hello_clean;
338   unsigned read_pos;
339   int size_hello;
340
341   size_total = 0;
342   r->friend_only_hello = NULL;
343   r->hello = NULL;
344
345   if (GNUNET_YES != GNUNET_DISK_file_test (fn))
346   {
347     return;
348   }
349
350   size_total = GNUNET_DISK_fn_read (fn, buffer, sizeof (buffer));
351   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Read %u bytes from `%s'\n", size_total, fn);
352   if (size_total < sizeof (struct GNUNET_MessageHeader))
353   {
354     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
355                 _("Failed to parse HELLO in file `%s': %s\n"),
356                 fn, "Fail has invalid size");
357     if ( (GNUNET_YES == unlink_garbage) && 
358          (0 != UNLINK (fn)) &&
359          (ENOENT != errno) )
360       GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING, "unlink", fn);
361     return;
362   }
363
364   read_pos = 0;
365   while (read_pos < size_total)
366   {
367     hello = (const struct GNUNET_HELLO_Message *) &buffer[read_pos];
368     size_hello = GNUNET_HELLO_size (hello);
369     if (0 == size_hello)
370       {
371         GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
372                     _("Failed to parse HELLO in file `%s': %s %u \n"),
373                     fn, "HELLO is invalid and has size of ", size_hello);
374         if ((GNUNET_YES == unlink_garbage) && 
375             (0 != UNLINK (fn)) &&
376             (ENOENT != errno) )
377           GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING, "unlink", fn);
378         return;
379       }
380     
381     now = GNUNET_TIME_absolute_get ();
382     hello_clean = GNUNET_HELLO_iterate_addresses (hello, GNUNET_YES,
383                                                   &discard_expired, &now);
384     left = 0;
385     (void) GNUNET_HELLO_iterate_addresses (hello_clean, GNUNET_NO,
386                                            &count_addresses, &left);
387     
388     if (0 == left)
389     {
390       GNUNET_free (hello_clean);
391       break;
392     }
393     
394     if (GNUNET_NO == GNUNET_HELLO_is_friend_only (hello_clean))
395     {
396       if (NULL == r->hello)
397         r->hello = hello_clean;
398       else
399       {
400         GNUNET_break (0);
401         GNUNET_free (r->hello);
402         r->hello = hello_clean;
403       }
404     }
405     else
406     {
407       if (NULL == r->friend_only_hello)
408         r->friend_only_hello = hello_clean;
409       else
410       {
411         GNUNET_break (0);
412         GNUNET_free (r->friend_only_hello);
413         r->friend_only_hello = hello_clean;
414       }
415     }
416     read_pos += size_hello;
417   }
418
419   if (0 == left)
420   {
421     /* no addresses left, remove from disk */
422     if ((GNUNET_YES == unlink_garbage) && (0 != UNLINK (fn)))
423       GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING, "unlink", fn);
424   }
425
426   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
427               "Found `%s' and `%s' HELLO message in file\n",
428               (NULL != r->hello) ? "public" : "NO public",
429               (NULL != r->friend_only_hello) ? "friend only" : "NO friend only");
430 }
431
432
433 /**
434  * Add a host to the list and notify clients about this event
435  *
436  * @param identity the identity of the host
437  * @return the HostEntry
438  */
439 static struct HostEntry *
440 add_host_to_known_hosts (const struct GNUNET_PeerIdentity *identity)
441 {
442   struct HostEntry *entry;
443   struct ReadHostFileContext r;
444   char *fn;
445
446   entry = GNUNET_CONTAINER_multihashmap_get (hostmap, &identity->hashPubKey);
447   if (NULL == entry)
448   {
449     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Adding new peer `%s'\n", GNUNET_i2s (identity));
450     GNUNET_STATISTICS_update (stats, gettext_noop ("# peers known"), 1,
451                               GNUNET_NO);
452     entry = GNUNET_malloc (sizeof (struct HostEntry));
453     entry->identity = *identity;
454     GNUNET_CONTAINER_multihashmap_put (hostmap, &entry->identity.hashPubKey, entry,
455                                        GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY);
456     notify_all (entry);
457     fn = get_host_filename (identity);
458     if (NULL != fn)
459     {
460       read_host_file (fn, GNUNET_YES, &r);
461       if (NULL != r.hello)
462         update_hello (identity, r.hello);
463       if (NULL != r.friend_only_hello)
464         update_hello (identity, r.friend_only_hello);
465       GNUNET_free_non_null (r.hello);
466       GNUNET_free_non_null (r.friend_only_hello);
467       GNUNET_free (fn);
468     }
469   }
470   return entry;
471 }
472
473
474 /**
475  * Remove a file that should not be there.  LOG
476  * success or failure.
477  *
478  * @param fullname name of the file to remove
479  */
480 static void
481 remove_garbage (const char *fullname)
482 {
483   if (0 == UNLINK (fullname))
484     GNUNET_log (GNUNET_ERROR_TYPE_WARNING | GNUNET_ERROR_TYPE_BULK,
485                 _
486                 ("File `%s' in directory `%s' does not match naming convention. "
487                  "Removed.\n"), fullname, networkIdDirectory);
488   else
489     GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_ERROR | GNUNET_ERROR_TYPE_BULK,
490                               "unlink", fullname);
491 }
492
493
494 /**
495  * Closure for 'hosts_directory_scan_callback'.
496  */
497 struct DirScanContext
498 {
499   /**
500    * GNUNET_YES if we should remove files that are broken,
501    * GNUNET_NO if the directory we are iterating over should
502    * be treated as read-only by us.
503    */ 
504   int remove_files;
505
506   /**
507    * Counter for the number of (valid) entries found, incremented
508    * by one for each match.
509    */
510   unsigned int matched;
511 };
512
513
514 /**
515  * Function that is called on each HELLO file in a particular directory.
516  * Try to parse the file and add the HELLO to our list.
517  *
518  * @param cls pointer to 'unsigned int' to increment for each file, or NULL
519  *            if the file is from a read-only, read-once resource directory
520  * @param fullname name of the file to parse
521  * @return GNUNET_OK (continue iteration)
522  */
523 static int
524 hosts_directory_scan_callback (void *cls, const char *fullname)
525 {
526   struct DirScanContext *dsc = cls;
527   struct GNUNET_PeerIdentity identity;
528   struct ReadHostFileContext r;
529   const char *filename;
530   struct GNUNET_PeerIdentity id_public;
531   struct GNUNET_PeerIdentity id_friend;
532   struct GNUNET_PeerIdentity id;
533
534   if (GNUNET_YES != GNUNET_DISK_file_test (fullname))
535     return GNUNET_OK;           /* ignore non-files */
536
537   filename = strrchr (fullname, DIR_SEPARATOR);
538   if ((NULL == filename) || (1 > strlen (filename)))
539         filename = fullname;
540   else
541     filename ++;
542
543   read_host_file (fullname, dsc->remove_files, &r);
544   if ( (NULL == r.hello) && (NULL == r.friend_only_hello))
545   {
546     if (GNUNET_YES == dsc->remove_files)
547       remove_garbage (fullname);
548     return GNUNET_OK;
549   }
550
551   if (NULL != r.friend_only_hello)
552   {
553     if (GNUNET_OK != GNUNET_HELLO_get_id (r.friend_only_hello, &id_friend))
554       if (GNUNET_YES == dsc->remove_files)
555       {
556         remove_garbage (fullname);
557         return GNUNET_OK;
558       }
559     id = id_friend;
560   }
561   if (NULL != r.hello)
562   {
563     if (GNUNET_OK != GNUNET_HELLO_get_id (r.hello, &id_public))
564       if (GNUNET_YES == dsc->remove_files)
565       {
566         remove_garbage (fullname);
567         return GNUNET_OK;
568       }
569     id = id_public;
570   }
571   
572   if ( (NULL != r.hello) && (NULL != r.friend_only_hello) &&
573        (0 != memcmp (&id_friend, &id_public, sizeof (id_friend))) )
574   {
575     /* HELLOs are not for the same peer */
576     GNUNET_break (0);
577     if (GNUNET_YES == dsc->remove_files)
578       remove_garbage (fullname);
579     return GNUNET_OK;
580   }
581   if (GNUNET_OK == GNUNET_CRYPTO_hash_from_string (filename, &identity.hashPubKey))
582   {
583     if (0 != memcmp (&id, &identity, sizeof (id_friend)))
584     {
585       /* HELLOs are not for the same peer */
586       GNUNET_break (0);
587       if (GNUNET_YES == dsc->remove_files)
588         remove_garbage (fullname);
589       return GNUNET_OK;
590     }
591   }
592
593   /* ok, found something valid, remember HELLO */
594   add_host_to_known_hosts (&id);
595   if (NULL != r.hello)
596   {
597     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Updating peer `%s' public HELLO \n",
598                 GNUNET_i2s (&id));
599     update_hello (&id, r.hello);
600     GNUNET_free (r.hello);
601   }
602   if (NULL != r.friend_only_hello)
603   {
604     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Updating peer `%s' friend only HELLO \n",
605                 GNUNET_i2s (&id));
606     update_hello (&id, r.friend_only_hello);
607     GNUNET_free (r.friend_only_hello);
608   }
609   dsc->matched++;
610   return GNUNET_OK;
611 }
612
613
614 /**
615  * Call this method periodically to scan data/hosts for new hosts.
616  *
617  * @param cls unused
618  * @param tc scheduler context, aborted if reason is shutdown
619  */
620 static void
621 cron_scan_directory_data_hosts (void *cls,
622                                 const struct GNUNET_SCHEDULER_TaskContext *tc)
623 {
624   static unsigned int retries;
625   struct DirScanContext dsc;
626
627   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
628     return;
629   if (GNUNET_SYSERR == GNUNET_DISK_directory_create (networkIdDirectory))
630   {
631     GNUNET_SCHEDULER_add_delayed_with_priority (DATA_HOST_FREQ,
632                                                 GNUNET_SCHEDULER_PRIORITY_IDLE,
633                                                 &cron_scan_directory_data_hosts, NULL);
634     return;
635   }
636   dsc.matched = 0;
637   dsc.remove_files = GNUNET_YES;
638   GNUNET_log (GNUNET_ERROR_TYPE_INFO | GNUNET_ERROR_TYPE_BULK,
639               _("Scanning directory `%s'\n"), networkIdDirectory);
640   GNUNET_DISK_directory_scan (networkIdDirectory,
641                               &hosts_directory_scan_callback, &dsc);
642   if ((0 == dsc.matched) && (0 == (++retries & 31)))
643     GNUNET_log (GNUNET_ERROR_TYPE_WARNING | GNUNET_ERROR_TYPE_BULK,
644                 _("Still no peers found in `%s'!\n"), networkIdDirectory);
645   GNUNET_SCHEDULER_add_delayed_with_priority (DATA_HOST_FREQ, 
646                                               GNUNET_SCHEDULER_PRIORITY_IDLE,
647                                               &cron_scan_directory_data_hosts,
648                                               NULL);
649 }
650
651
652 static struct GNUNET_HELLO_Message *
653 update_friend_hello (const struct GNUNET_HELLO_Message *hello,
654                      const struct GNUNET_HELLO_Message *friend_hello)
655 {
656   struct GNUNET_HELLO_Message * res;
657   struct GNUNET_HELLO_Message * tmp;
658   struct GNUNET_CRYPTO_EccPublicKey pk;
659   
660   if (NULL != friend_hello)
661   {
662     res = GNUNET_HELLO_merge (hello, friend_hello);
663     GNUNET_assert (GNUNET_YES == GNUNET_HELLO_is_friend_only (res));
664     return res;
665   }
666   
667   if (GNUNET_OK !=
668       GNUNET_HELLO_get_key (hello, &pk))
669   {
670     GNUNET_break (0);
671     return NULL;
672   }
673   tmp = GNUNET_HELLO_create (&pk, NULL, NULL, GNUNET_YES);
674   res = GNUNET_HELLO_merge (hello, tmp);
675   GNUNET_free (tmp);
676   GNUNET_assert (GNUNET_YES == GNUNET_HELLO_is_friend_only (res));
677   return res;
678 }
679
680
681 /**
682  * Bind a host address (hello) to a hostId.
683  *
684  * @param peer the peer for which this is a hello
685  * @param hello the verified (!) hello message
686  */
687 static void
688 update_hello (const struct GNUNET_PeerIdentity *peer,
689               const struct GNUNET_HELLO_Message *hello)
690 {
691   char *fn;
692   struct HostEntry *host;
693   struct GNUNET_HELLO_Message *mrg;
694   struct GNUNET_HELLO_Message **dest;
695   struct GNUNET_TIME_Absolute delta;
696   unsigned int cnt;
697   unsigned int size;
698   int friend_hello_type;
699   int store_hello;
700   int store_friend_hello;
701   int pos;
702   char *buffer;
703
704   host = GNUNET_CONTAINER_multihashmap_get (hostmap, &peer->hashPubKey);
705   GNUNET_assert (NULL != host);
706
707   friend_hello_type = GNUNET_HELLO_is_friend_only (hello);
708         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Updating %s HELLO for `%s'\n",
709                         (GNUNET_YES == friend_hello_type) ? "friend-only" : "public",
710                         GNUNET_i2s (peer));
711
712   dest = NULL;
713   if (GNUNET_YES == friend_hello_type)
714   {
715     dest = &host->friend_only_hello;
716   }
717   else
718   {
719     dest = &host->hello;
720   }
721
722   if (NULL == (*dest))
723   {
724     (*dest) = GNUNET_malloc (GNUNET_HELLO_size (hello));
725     memcpy ((*dest), hello, GNUNET_HELLO_size (hello));
726   }
727   else
728   {
729     mrg = GNUNET_HELLO_merge ((*dest), hello);
730     delta = GNUNET_HELLO_equals (mrg, (*dest), GNUNET_TIME_absolute_get ());
731     if (delta.abs_value == GNUNET_TIME_UNIT_FOREVER_ABS.abs_value)
732     {
733       /* no differences, just ignore the update */
734         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "No change in %s HELLO for `%s'\n",
735                         (GNUNET_YES == friend_hello_type) ? "friend-only" : "public",
736                         GNUNET_i2s (peer));
737       GNUNET_free (mrg);
738       return;
739     }
740     GNUNET_free ((*dest));
741     (*dest) = mrg;
742   }
743
744   if ((NULL != (host->hello)) && (GNUNET_NO == friend_hello_type))
745   {
746     /* Update friend only hello */
747     mrg = update_friend_hello (host->hello, host->friend_only_hello);
748     if (NULL != host->friend_only_hello)
749       GNUNET_free (host->friend_only_hello);
750     host->friend_only_hello = mrg;
751   }
752
753   if (NULL != host->hello)
754     GNUNET_assert ((GNUNET_NO == GNUNET_HELLO_is_friend_only (host->hello)));
755   if (NULL != host->friend_only_hello)
756     GNUNET_assert ((GNUNET_YES == GNUNET_HELLO_is_friend_only(host->friend_only_hello)));
757
758   store_hello = GNUNET_NO;
759   store_friend_hello = GNUNET_NO;
760   fn = get_host_filename (peer);
761   if ( (NULL != fn) &&
762        (GNUNET_OK == GNUNET_DISK_directory_create_for_file (fn)) )
763   {
764     store_hello = GNUNET_NO;
765     size = 0;
766     cnt = 0;
767     if (NULL != host->hello)
768       (void) GNUNET_HELLO_iterate_addresses (host->hello,
769                                              GNUNET_NO, &count_addresses, &cnt);
770     if (cnt > 0)
771     {
772       store_hello = GNUNET_YES;
773       size += GNUNET_HELLO_size (host->hello);
774     }
775     cnt = 0;
776     if (NULL != host->friend_only_hello)
777       (void) GNUNET_HELLO_iterate_addresses (host->friend_only_hello, GNUNET_NO,
778                                              &count_addresses, &cnt);
779     if (0 < cnt)
780     {
781       store_friend_hello = GNUNET_YES;
782       size += GNUNET_HELLO_size (host->friend_only_hello);
783     }
784     
785     if ((GNUNET_NO == store_hello) && (GNUNET_NO == store_friend_hello))
786     {
787       /* no valid addresses, don't put HELLO on disk; in fact,
788          if one exists on disk, remove it */
789       (void) UNLINK (fn);
790     }
791     else
792     {
793       buffer = GNUNET_malloc (size);
794       pos = 0;
795       
796       if (GNUNET_YES == store_hello)
797       {
798         memcpy (buffer, host->hello, GNUNET_HELLO_size (host->hello));
799         pos += GNUNET_HELLO_size (host->hello);
800       }
801       if (GNUNET_YES == store_friend_hello)
802       {
803         memcpy (&buffer[pos], host->friend_only_hello, GNUNET_HELLO_size (host->friend_only_hello));
804         pos += GNUNET_HELLO_size (host->friend_only_hello);
805       }
806       GNUNET_assert (pos == size);
807       
808       if (GNUNET_SYSERR == GNUNET_DISK_fn_write (fn, buffer, size,
809                                                  GNUNET_DISK_PERM_USER_READ |
810                                                  GNUNET_DISK_PERM_USER_WRITE |
811                                                  GNUNET_DISK_PERM_GROUP_READ |
812                                                  GNUNET_DISK_PERM_OTHER_READ))
813         GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING, "write", fn);
814       else
815         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Stored %s %s HELLO in %s  with total size %u\n",
816                     (GNUNET_YES == store_friend_hello) ? "friend-only": "",
817                     (GNUNET_YES == store_hello) ? "public": "",
818                     fn, size);
819       GNUNET_free (buffer);
820     }
821   }
822   GNUNET_free_non_null (fn);
823   notify_all (host);
824 }
825
826
827 /**
828  * Do transmit info about peer to given host.
829  *
830  * @param cls NULL to hit all hosts, otherwise specifies a particular target
831  * @param key hostID
832  * @param value information to transmit
833  * @return GNUNET_YES (continue to iterate)
834  */
835 static int
836 add_to_tc (void *cls, const struct GNUNET_HashCode * key, void *value)
837 {
838   struct TransmitContext *tc = cls;
839   struct HostEntry *pos = value;
840   struct InfoMessage *im;
841   uint16_t hs;
842   char buf[GNUNET_SERVER_MAX_MESSAGE_SIZE - 1] GNUNET_ALIGN;
843
844   hs = 0;
845   im = (struct InfoMessage *) buf;
846
847   if ((pos->hello != NULL) && (GNUNET_NO == tc->friend_only))
848   {
849         /* Copy public HELLO */
850     hs = GNUNET_HELLO_size (pos->hello);
851     GNUNET_assert (hs < GNUNET_SERVER_MAX_MESSAGE_SIZE -
852                    sizeof (struct InfoMessage));
853     memcpy (&im[1], pos->hello, hs);
854     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Sending public HELLO with size %u for peer `%4s'\n",
855                 hs, GNUNET_h2s (key));
856   }
857   else if ((pos->friend_only_hello != NULL) && (GNUNET_YES == tc->friend_only))
858   {
859         /* Copy friend only HELLO */
860     hs = GNUNET_HELLO_size (pos->friend_only_hello);
861     GNUNET_assert (hs < GNUNET_SERVER_MAX_MESSAGE_SIZE -
862                    sizeof (struct InfoMessage));
863     memcpy (&im[1], pos->friend_only_hello, hs);
864     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Sending friend-only HELLO with size %u for peer `%4s'\n",
865                 hs, GNUNET_h2s (key));
866   }
867   else
868   {
869       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Adding no HELLO for peer `%s'\n",
870                  GNUNET_h2s (key));
871   }
872
873   im->header.type = htons (GNUNET_MESSAGE_TYPE_PEERINFO_INFO);
874   im->header.size = htons (sizeof (struct InfoMessage) + hs);
875   im->reserved = htonl (0);
876   im->peer = pos->identity;
877   GNUNET_SERVER_transmit_context_append_message (tc->tc, &im->header);
878   return GNUNET_YES;
879 }
880
881
882 /**
883  * @brief delete expired HELLO entries in directory
884  *
885  * @param cls pointer to current time (struct GNUNET_TIME_Absolute)
886  * @param fn filename to test to see if the HELLO expired
887  * @return GNUNET_OK (continue iteration)
888  */
889 static int
890 discard_hosts_helper (void *cls, const char *fn)
891 {
892   struct GNUNET_TIME_Absolute *now = cls;
893   char buffer[GNUNET_SERVER_MAX_MESSAGE_SIZE - 1] GNUNET_ALIGN;
894   const struct GNUNET_HELLO_Message *hello;
895   struct GNUNET_HELLO_Message *new_hello;
896   int read_size;
897   int cur_hello_size;
898   int new_hello_size;
899   int read_pos;
900   int write_pos;
901   unsigned int cnt;
902   char *writebuffer;
903
904
905   read_size = GNUNET_DISK_fn_read (fn, buffer, sizeof (buffer));
906   if (read_size < sizeof (struct GNUNET_MessageHeader))
907   {
908     if (0 != UNLINK (fn))
909       GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING |
910                                 GNUNET_ERROR_TYPE_BULK, "unlink", fn);
911     return GNUNET_OK;
912   }
913
914   writebuffer = GNUNET_malloc (read_size);
915   read_pos = 0;
916   write_pos = 0;
917   while (read_pos < read_size)
918   {
919     /* Check each HELLO */
920     hello = (const struct GNUNET_HELLO_Message *) &buffer[read_pos];
921     cur_hello_size = GNUNET_HELLO_size (hello);
922     new_hello_size = 0;
923     if (0 == cur_hello_size)
924     {
925       /* Invalid data, discard */
926       if (0 != UNLINK (fn))
927         GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING |
928                                   GNUNET_ERROR_TYPE_BULK, "unlink", fn);
929       return GNUNET_OK;
930     }
931     new_hello = GNUNET_HELLO_iterate_addresses (hello, GNUNET_YES, &discard_expired, now);
932     cnt = 0;
933     if (NULL != new_hello)
934       (void) GNUNET_HELLO_iterate_addresses (hello, GNUNET_NO, &count_addresses, &cnt);
935     if ( (NULL != new_hello) && (0 < cnt) )
936     {
937       /* Store new HELLO to write it when done */
938       new_hello_size = GNUNET_HELLO_size(new_hello);
939       memcpy (&writebuffer[write_pos], new_hello, new_hello_size);
940       write_pos += new_hello_size;
941     }
942     read_pos += cur_hello_size;
943     GNUNET_free_non_null (new_hello);
944   }
945
946   if (0 < write_pos)
947   {
948       GNUNET_DISK_fn_write (fn, writebuffer,write_pos,
949                             GNUNET_DISK_PERM_USER_READ |
950                             GNUNET_DISK_PERM_USER_WRITE |
951                             GNUNET_DISK_PERM_GROUP_READ |
952                             GNUNET_DISK_PERM_OTHER_READ);
953   }
954   else if (0 != UNLINK (fn))
955     GNUNET_log_strerror_file (GNUNET_ERROR_TYPE_WARNING |
956                               GNUNET_ERROR_TYPE_BULK, "unlink", fn);
957
958   GNUNET_free (writebuffer);
959   return GNUNET_OK;
960 }
961
962
963 /**
964  * Call this method periodically to scan peerinfo/ for ancient
965  * HELLOs to expire.
966  *
967  * @param cls unused
968  * @param tc scheduler context, aborted if reason is shutdown
969  */
970 static void
971 cron_clean_data_hosts (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
972 {
973   struct GNUNET_TIME_Absolute now;
974
975   if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
976     return;
977   now = GNUNET_TIME_absolute_get ();
978   GNUNET_log (GNUNET_ERROR_TYPE_INFO | GNUNET_ERROR_TYPE_BULK,
979               _("Cleaning up directory `%s'\n"), networkIdDirectory);
980   GNUNET_DISK_directory_scan (networkIdDirectory, &discard_hosts_helper, &now);
981   GNUNET_SCHEDULER_add_delayed (DATA_HOST_CLEAN_FREQ, &cron_clean_data_hosts,
982                                 NULL);
983 }
984
985
986 /**
987  * Handle HELLO-message.
988  *
989  * @param cls closure
990  * @param client identification of the client
991  * @param message the actual message
992  */
993 static void
994 handle_hello (void *cls, struct GNUNET_SERVER_Client *client,
995               const struct GNUNET_MessageHeader *message)
996 {
997   const struct GNUNET_HELLO_Message *hello;
998   struct GNUNET_PeerIdentity pid;
999
1000   hello = (const struct GNUNET_HELLO_Message *) message;
1001   if (GNUNET_OK != GNUNET_HELLO_get_id (hello, &pid))
1002   {
1003     GNUNET_break (0);
1004     GNUNET_SERVER_receive_done (client, GNUNET_SYSERR);
1005     return;
1006   }
1007   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "`%s' message received for peer `%4s'\n",
1008               "HELLO", GNUNET_i2s (&pid));
1009   add_host_to_known_hosts (&pid);
1010   update_hello (&pid, hello);
1011   GNUNET_SERVER_receive_done (client, GNUNET_OK);
1012 }
1013
1014
1015 /**
1016  * Handle GET-message.
1017  *
1018  * @param cls closure
1019  * @param client identification of the client
1020  * @param message the actual message
1021  */
1022 static void
1023 handle_get (void *cls, struct GNUNET_SERVER_Client *client,
1024             const struct GNUNET_MessageHeader *message)
1025 {
1026   const struct ListPeerMessage *lpm;
1027   struct TransmitContext tcx;
1028
1029   lpm = (const struct ListPeerMessage *) message;
1030   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "`%s' message received for peer `%4s'\n",
1031               "GET", GNUNET_i2s (&lpm->peer));
1032   tcx.friend_only = ntohl (lpm->include_friend_only);
1033   tcx.tc = GNUNET_SERVER_transmit_context_create (client);
1034   GNUNET_CONTAINER_multihashmap_get_multiple (hostmap, &lpm->peer.hashPubKey,
1035                                               &add_to_tc, &tcx);
1036   GNUNET_SERVER_transmit_context_append_data (tcx.tc, NULL, 0,
1037                                               GNUNET_MESSAGE_TYPE_PEERINFO_INFO_END);
1038   GNUNET_SERVER_transmit_context_run (tcx.tc, GNUNET_TIME_UNIT_FOREVER_REL);
1039 }
1040
1041
1042 /**
1043  * Handle GET-ALL-message.
1044  *
1045  * @param cls closure
1046  * @param client identification of the client
1047  * @param message the actual message
1048  */
1049 static void
1050 handle_get_all (void *cls, struct GNUNET_SERVER_Client *client,
1051                 const struct GNUNET_MessageHeader *message)
1052 {
1053   const struct ListAllPeersMessage *lapm;
1054   struct TransmitContext tcx;
1055
1056   lapm = (const struct ListAllPeersMessage *) message;
1057   tcx.friend_only = ntohl (lapm->include_friend_only);
1058   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "`%s' message received\n", "GET_ALL");
1059   tcx.tc = GNUNET_SERVER_transmit_context_create (client);
1060   GNUNET_CONTAINER_multihashmap_iterate (hostmap, &add_to_tc, &tcx);
1061   GNUNET_SERVER_transmit_context_append_data (tcx.tc, NULL, 0,
1062                                               GNUNET_MESSAGE_TYPE_PEERINFO_INFO_END);
1063   GNUNET_SERVER_transmit_context_run (tcx.tc, GNUNET_TIME_UNIT_FOREVER_REL);
1064 }
1065
1066
1067
1068 /**
1069  * Pass the given client the information we have in the respective
1070  * host entry; the client is already in the notification context.
1071  *
1072  * @param cls the 'struct GNUNET_SERVER_Client' to notify
1073  * @param key key for the value (unused)
1074  * @param value the 'struct HostEntry' to notify the client about
1075  * @return GNUNET_YES (always, continue to iterate)
1076  */
1077 static int
1078 do_notify_entry (void *cls, const struct GNUNET_HashCode * key, void *value)
1079 {
1080   struct NotificationContext *nc = cls;
1081   struct HostEntry *he = value;
1082   struct InfoMessage *msg;
1083
1084   if ((NULL == he->hello) && (GNUNET_NO == nc->include_friend_only))
1085   {
1086     /* We have no public hello  */
1087     return GNUNET_YES;
1088   }
1089   
1090   if ( (NULL == he->friend_only_hello) && 
1091        (GNUNET_YES == nc->include_friend_only) )
1092   {
1093     /* We have no friend hello */
1094     return GNUNET_YES;
1095   }
1096   
1097   msg = make_info_message (he, nc->include_friend_only);
1098   GNUNET_SERVER_notification_context_unicast (notify_list,
1099                                               nc->client,
1100                                               &msg->header,
1101                                               GNUNET_NO);
1102   GNUNET_free (msg);
1103   return GNUNET_YES;
1104 }
1105
1106
1107 /**
1108  * Handle NOTIFY-message.
1109  *
1110  * @param cls closure
1111  * @param client identification of the client
1112  * @param message the actual message
1113  */
1114 static void
1115 handle_notify (void *cls, struct GNUNET_SERVER_Client *client,
1116                const struct GNUNET_MessageHeader *message)
1117 {
1118   struct NotifyMessage *nm = (struct NotifyMessage *) message;
1119   struct NotificationContext *nc;
1120
1121   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, 
1122               "`%s' message received\n", 
1123               "NOTIFY");
1124   nc = GNUNET_malloc (sizeof (struct NotificationContext));
1125   nc->client = client;
1126   nc->include_friend_only = ntohl (nm->include_friend_only);
1127   
1128   GNUNET_CONTAINER_DLL_insert (nc_head, nc_tail, nc);
1129   GNUNET_SERVER_client_mark_monitor (client);
1130         GNUNET_SERVER_notification_context_add (notify_list, client);
1131   GNUNET_CONTAINER_multihashmap_iterate (hostmap, &do_notify_entry, nc);
1132   GNUNET_SERVER_receive_done (client, GNUNET_OK);
1133 }
1134
1135
1136 /**
1137  * Client disconnect callback
1138  *
1139  * @param cls unused
1140  * @param client server client
1141  */
1142 static void 
1143 disconnect_cb (void *cls,struct GNUNET_SERVER_Client *client)
1144 {
1145   struct NotificationContext *cur;
1146
1147   for (cur = nc_head; NULL != cur; cur = cur->next)
1148     if (cur->client == client)
1149       break;
1150   if (NULL == cur)
1151     return;
1152   GNUNET_CONTAINER_DLL_remove (nc_head, nc_tail, cur);
1153   GNUNET_free (cur);
1154 }
1155
1156
1157 /**
1158  * Release memory taken by a host entry.
1159  *
1160  * @param cls NULL
1161  * @param key key of the host entry
1162  * @param value the 'struct HostEntry' to free
1163  * @return GNUNET_YES (continue to iterate)
1164  */
1165 static int
1166 free_host_entry (void *cls, const struct GNUNET_HashCode * key, void *value)
1167 {
1168   struct HostEntry *he = value;
1169
1170   GNUNET_free_non_null (he->hello);
1171   GNUNET_free_non_null (he->friend_only_hello);
1172   GNUNET_free (he);
1173   return GNUNET_YES;
1174 }
1175
1176
1177 /**
1178  * Clean up our state.  Called during shutdown.
1179  *
1180  * @param cls unused
1181  * @param tc scheduler task context, unused
1182  */
1183 static void
1184 shutdown_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
1185 {
1186   struct NotificationContext *cur;
1187   struct NotificationContext *next;
1188
1189   GNUNET_SERVER_notification_context_destroy (notify_list);
1190   notify_list = NULL;
1191
1192   for (cur = nc_head; NULL != cur; cur = next)
1193   {
1194     next = cur->next;
1195     GNUNET_CONTAINER_DLL_remove (nc_head, nc_tail, cur);
1196     GNUNET_free (cur);
1197   }
1198   GNUNET_CONTAINER_multihashmap_iterate (hostmap, &free_host_entry, NULL);
1199   GNUNET_CONTAINER_multihashmap_destroy (hostmap);
1200   if (NULL != stats)
1201   {
1202     GNUNET_STATISTICS_destroy (stats, GNUNET_NO);
1203     stats = NULL;
1204   }
1205 }
1206
1207
1208 /**
1209  * Start up peerinfo service.
1210  *
1211  * @param cls closure
1212  * @param server the initialized server
1213  * @param cfg configuration to use
1214  */
1215 static void
1216 run (void *cls, struct GNUNET_SERVER_Handle *server,
1217      const struct GNUNET_CONFIGURATION_Handle *cfg)
1218 {
1219   static const struct GNUNET_SERVER_MessageHandler handlers[] = {
1220     {&handle_hello, NULL, GNUNET_MESSAGE_TYPE_HELLO, 0},
1221     {&handle_get, NULL, GNUNET_MESSAGE_TYPE_PEERINFO_GET,
1222      sizeof (struct ListPeerMessage)},
1223     {&handle_get_all, NULL, GNUNET_MESSAGE_TYPE_PEERINFO_GET_ALL,
1224      sizeof (struct ListAllPeersMessage)},
1225     {&handle_notify, NULL, GNUNET_MESSAGE_TYPE_PEERINFO_NOTIFY,
1226      sizeof (struct NotifyMessage)},
1227     {NULL, NULL, 0, 0}
1228   };
1229   char *peerdir;
1230   char *ip;
1231   struct DirScanContext dsc;
1232   int noio;
1233   int use_included;
1234
1235   hostmap = GNUNET_CONTAINER_multihashmap_create (1024, GNUNET_YES);
1236   stats = GNUNET_STATISTICS_create ("peerinfo", cfg);
1237   notify_list = GNUNET_SERVER_notification_context_create (server, 0);
1238   noio = GNUNET_CONFIGURATION_get_value_yesno (cfg, "peerinfo", "NO_IO");
1239   use_included = GNUNET_CONFIGURATION_get_value_yesno (cfg, "peerinfo", "USE_INCLUDED_HELLOS");
1240   GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL, &shutdown_task,
1241                                 NULL);
1242   if (GNUNET_YES != noio)
1243   {
1244     GNUNET_assert (GNUNET_OK ==
1245                    GNUNET_CONFIGURATION_get_value_filename (cfg, "peerinfo",
1246                                                             "HOSTS",
1247                                                             &networkIdDirectory));
1248     if (GNUNET_OK !=
1249         GNUNET_DISK_directory_create (networkIdDirectory))
1250     {
1251       GNUNET_SCHEDULER_shutdown ();
1252       return;
1253     }
1254     
1255     GNUNET_SCHEDULER_add_with_priority (GNUNET_SCHEDULER_PRIORITY_IDLE,
1256                                         &cron_scan_directory_data_hosts, NULL);
1257
1258     GNUNET_SCHEDULER_add_with_priority (GNUNET_SCHEDULER_PRIORITY_IDLE,
1259                                         &cron_clean_data_hosts, NULL);
1260     if (GNUNET_YES == use_included)
1261     {
1262         ip = GNUNET_OS_installation_get_path (GNUNET_OS_IPK_DATADIR);
1263         GNUNET_asprintf (&peerdir,
1264                      "%shellos",
1265                      ip);
1266         GNUNET_free (ip);
1267
1268                         GNUNET_log (GNUNET_ERROR_TYPE_INFO,
1269                         _("Importing HELLOs from `%s'\n"),
1270                         peerdir);
1271                         dsc.matched = 0;
1272                         dsc.remove_files = GNUNET_NO;
1273
1274                         GNUNET_DISK_directory_scan (peerdir,
1275                                         &hosts_directory_scan_callback, &dsc);
1276
1277                         GNUNET_free (peerdir);
1278     }
1279   }
1280   GNUNET_SERVER_add_handlers (server, handlers);
1281   GNUNET_SERVER_disconnect_notify (server, &disconnect_cb, NULL) ;
1282 }
1283
1284
1285 /**
1286  * The main function for the peerinfo service.
1287  *
1288  * @param argc number of arguments from the command line
1289  * @param argv command line arguments
1290  * @return 0 ok, 1 on error
1291  */
1292 int
1293 main (int argc, char *const *argv)
1294 {
1295   int ret;
1296
1297   ret =
1298       (GNUNET_OK ==
1299        GNUNET_SERVICE_run (argc, argv, "peerinfo", GNUNET_SERVICE_OPTION_NONE,
1300                            &run, NULL)) ? 0 : 1;
1301   GNUNET_free_non_null (networkIdDirectory);
1302   return ret;
1303 }
1304
1305
1306 /* end of gnunet-service-peerinfo.c */