fixing API and clean up issues in testing
[oweals/gnunet.git] / src / topology / gnunet-daemon-topology.c
index be6f272be17fe7312357aaf743a5d37cab7e1cfd..55ee36fd2fe1b9e06091466c7bd7195c618893cd 100644 (file)
@@ -1,10 +1,10 @@
 /*
      This file is part of GNUnet.
 /*
      This file is part of GNUnet.
-     (C) 2007, 2008, 2009 Christian Grothoff (and other contributing authors)
+     (C) 2007, 2008, 2009, 2010 Christian Grothoff (and other contributing authors)
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
 
      GNUnet is free software; you can redistribute it and/or modify
      it under the terms of the GNU General Public License as published
-     by the Free Software Foundation; either version 2, or (at your
+     by the Free Software Foundation; either version 3, or (at your
      option) any later version.
 
      GNUnet is distributed in the hope that it will be useful, but
      option) any later version.
 
      GNUnet is distributed in the hope that it will be useful, but
 
 #include <stdlib.h>
 #include "platform.h"
 
 #include <stdlib.h>
 #include "platform.h"
+#include "gnunet_constants.h"
 #include "gnunet_core_service.h"
 #include "gnunet_protocols.h"
 #include "gnunet_peerinfo_service.h"
 #include "gnunet_core_service.h"
 #include "gnunet_protocols.h"
 #include "gnunet_peerinfo_service.h"
+#include "gnunet_statistics_service.h"
 #include "gnunet_transport_service.h"
 #include "gnunet_util_lib.h"
 
 #include "gnunet_transport_service.h"
 #include "gnunet_util_lib.h"
 
 #define DEBUG_TOPOLOGY GNUNET_YES
 
 /**
 #define DEBUG_TOPOLOGY GNUNET_YES
 
 /**
- * For how long do we blacklist a peer after a failed
- * connection attempt?
+ * For how long do we blacklist a peer after a failed connection
+ * attempt?
  */
  */
-#define BLACKLIST_AFTER_ATTEMPT GNUNET_TIME_UNIT_HOURS
+#define GREYLIST_AFTER_ATTEMPT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 15)
 
 /**
 
 /**
- * For how long do we blacklist a friend after a failed
- * connection attempt?
+ * For how long do we blacklist a friend after a failed connection
+ * attempt?
  */
  */
-#define BLACKLIST_AFTER_ATTEMPT_FRIEND GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 15)
+#define GREYLIST_AFTER_ATTEMPT_FRIEND GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 2)
 
 /**
 
 /**
- * How frequently are we allowed to ask PEERINFO for more
- * HELLO's to advertise (at most)?
+ * For how long do we blacklist anyone under any cirumstances after a failed connection
+ * attempt?
  */
  */
-#define MIN_HELLO_GATHER_DELAY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 27)
+#define GREYLIST_AFTER_ATTEMPT_MIN GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS, 15)
+
+/**
+ * For how long do we blacklist anyone under any cirumstances after a failed connection
+ * attempt?
+ */
+#define GREYLIST_AFTER_ATTEMPT_MAX GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_HOURS, 1)
+
+/**
+ * How often do we at most advertise any HELLO to a peer?
+ */
+#define HELLO_ADVERTISEMENT_MIN_FREQUENCY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_HOURS, 4)
 
 /**
  * How often do we at most advertise the same HELLO to the same peer?
 
 /**
  * How often do we at most advertise the same HELLO to the same peer?
- * Also used to remove HELLOs of peers that PEERINFO no longer lists
- * from our cache.
  */
  */
-#define HELLO_ADVERTISEMENT_MIN_FREQUENCY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_HOURS, 12)
+#define HELLO_ADVERTISEMENT_MIN_REPEAT_FREQUENCY GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_HOURS, 4)
 
 
 /**
 
 
 /**
- * List of neighbours, friends and blacklisted peers.
+ * Record for neighbours, friends and blacklisted peers.
  */
  */
-struct PeerList
+struct Peer
 {
 {
+  /**
+   * Which peer is this entry about?
+   */
+  struct GNUNET_PeerIdentity pid;
 
   /**
 
   /**
-   * This is a linked list.
+   * Our handle for the request to transmit HELLOs to this peer; NULL
+   * if no such request is pending.
    */
    */
-  struct PeerList *next;
+  struct GNUNET_CORE_TransmitHandle *hello_req;
 
   /**
 
   /**
-   * Is this peer listed here because he is a friend?
+   * Our handle for the request to connect to this peer; NULL if no
+   * such request is pending.
    */
    */
-  int is_friend;
+  struct GNUNET_CORE_PeerRequestHandle *connect_req;
 
   /**
 
   /**
-   * Are we connected to this peer right now?
+   * Pointer to the HELLO message of this peer; can be NULL.
    */
    */
-  int is_connected;
+  struct GNUNET_HELLO_Message *hello;
+
+  /**
+   * Bloom filter used to mark which peers already got the HELLO
+   * from this peer.
+   */
+  struct GNUNET_CONTAINER_BloomFilter *filter;
 
   /**
    * Until what time should we not try to connect again
    * to this peer?
    */
 
   /**
    * Until what time should we not try to connect again
    * to this peer?
    */
-  struct GNUNET_TIME_Absolute blacklisted_until;
+  struct GNUNET_TIME_Absolute greylisted_until;
 
   /**
 
   /**
-   * Last time we transmitted a HELLO to this peer?
+   * Next time we are allowed to transmit a HELLO to this peer?
    */
    */
-  struct GNUNET_TIME_Absolute last_hello_sent;
+  struct GNUNET_TIME_Absolute next_hello_allowed;
 
   /**
 
   /**
-   * ID of the peer.
+   * When should we reset the bloom filter of this entry?
    */
    */
-  struct GNUNET_PeerIdentity id;
+  struct GNUNET_TIME_Absolute filter_expiration;
 
 
-};
-
-
-/**
- * List of HELLOs we may consider for advertising.
- */
-struct HelloList
-{
   /**
   /**
-   * This is a linked list.
+   * ID of task we use to wait for the time to send the next HELLO
+   * to this peer.
    */
    */
-  struct HelloList *next;
+  GNUNET_SCHEDULER_TaskIdentifier hello_delay_task;
 
   /**
 
   /**
-   * Pointer to the HELLO message.  Memory allocated as part
-   * of the "struct HelloList" --- do not free!
+   * ID of task we use to clear peers from the greylist.
    */
    */
-  struct GNUNET_HELLO_Message *msg;
+  GNUNET_SCHEDULER_TaskIdentifier greylist_clean_task;
 
   /**
 
   /**
-   * Bloom filter used to mark which peers already got
-   * this HELLO.
+   * How often have we tried so far?
    */
    */
-  struct GNUNET_CONTAINER_BloomFilter *filter;
+  unsigned int connect_attempts;
 
   /**
 
   /**
-   * What peer is this HELLO for?
+   * Is this peer listed here because he is a friend?
    */
    */
-  struct GNUNET_PeerIdentity id;
+  int is_friend;
 
   /**
 
   /**
-   * When should we remove this entry from the linked list (either
-   * resetting the filter or possibly eliminating it for good because
-   * we no longer consider the peer to be participating in the
-   * network)?
+   * Are we connected to this peer right now?
    */
    */
-  struct GNUNET_TIME_Absolute expiration;
-};
+  int is_connected;
 
 
+};
 
 
-/**
- * Linked list of HELLOs for advertising.
- */
-static struct HelloList *hellos;
 
 /**
 
 /**
- * Our scheduler.
+ * Our peerinfo notification context.  We use notification
+ * to instantly learn about new peers as they are discovered.
  */
  */
-static struct GNUNET_SCHEDULER_Handle * sched;
+static struct GNUNET_PEERINFO_NotifyContext *peerinfo_notify;
 
 /**
  * Our configuration.
  */
 
 /**
  * Our configuration.
  */
-static const struct GNUNET_CONFIGURATION_Handle * cfg;
+static const struct GNUNET_CONFIGURATION_Handle *cfg;
 
 /**
  * Handle to the core API.
 
 /**
  * Handle to the core API.
@@ -169,15 +177,26 @@ static struct GNUNET_TRANSPORT_Handle *transport;
 static struct GNUNET_PeerIdentity my_identity;
 
 /**
 static struct GNUNET_PeerIdentity my_identity;
 
 /**
- * Linked list of all of our friends and all of our current
- * neighbours.
+ * All of our friends, all of our current neighbours and all peers for
+ * which we have HELLOs.  So pretty much everyone.  Maps peer identities
+ * to 'struct Peer *' values.
+ */
+static struct GNUNET_CONTAINER_MultiHashMap *peers;
+
+/**
+ * Handle for reporting statistics.
+ */
+static struct GNUNET_STATISTICS_Handle *stats;
+
+/**
+ * Blacklist (NULL if we have none).
  */
  */
-static struct PeerList *friends;
+static struct GNUNET_TRANSPORT_Blacklist *blacklist;
 
 /**
 
 /**
- * Timestamp from the last time we tried to gather HELLOs.
+ * Task scheduled to try to add peers.
  */
  */
-static struct GNUNET_TIME_Absolute last_hello_gather_time;
+static GNUNET_SCHEDULER_TaskIdentifier add_task;
 
 /**
  * Flag to disallow non-friend connections (pure F2F mode).
 
 /**
  * Flag to disallow non-friend connections (pure F2F mode).
@@ -210,327 +229,569 @@ static unsigned int friend_count;
  */
 static int autoconnect;
 
  */
 static int autoconnect;
 
+
 /**
 /**
- * Are we currently having a request pending with
- * PEERINFO asking for HELLOs for advertising?
+ * Function that decides if a connection is acceptable or not.
+ * If we have a blacklist, only friends are allowed, so the check
+ * is rather simple.
+ *
+ * @param cls closure
+ * @param pid peer to approve or disapproave
+ * @return GNUNET_OK if the connection is allowed
  */
  */
-static int hello_gathering_active;
+static int
+blacklist_check (void *cls, const struct GNUNET_PeerIdentity *pid)
+{
+  struct Peer *pos;
+
+  pos = GNUNET_CONTAINER_multihashmap_get (peers, &pid->hashPubKey);
+  if ((pos != NULL) && (pos->is_friend == GNUNET_YES))
+    return GNUNET_OK;
+  GNUNET_STATISTICS_update (stats, gettext_noop ("# peers blacklisted"), 1,
+                            GNUNET_NO);
+  return GNUNET_SYSERR;
+}
+
 
 
+/**
+ * Whitelist all peers that we blacklisted; we've passed
+ * the minimum number of friends.
+ */
+static void
+whitelist_peers ()
+{
+  if (blacklist != NULL)
+  {
+    GNUNET_TRANSPORT_blacklist_cancel (blacklist);
+    blacklist = NULL;
+  }
+}
 
 
 /**
 
 
 /**
- * Force a disconnect from the specified peer.
+ * Function called by core when our request to connect was transmitted.
+ *
+ * @param cls the 'struct Peer' for which we issued the connect request
+ * @param success was the request transmitted
  */
 static void
  */
 static void
-force_disconnect (const struct GNUNET_PeerIdentity *peer)
+connect_completed_callback (void *cls, int success)
 {
 {
-  GNUNET_CORE_peer_configure (handle,
-                             peer,
-                             GNUNET_TIME_UNIT_FOREVER_REL,
-                             0,
-                             0,
-                             0,
-                             NULL,
-                             NULL);
+  struct Peer *pos = cls;
+
+  pos->connect_req = NULL;
 }
 
 
 /**
 }
 
 
 /**
- * Function called by core when our attempt to connect
- * succeeded.  Does nothing.
+ * Check if an additional connection from the given peer is allowed.
+ *
+ * @param peer connection to check
+ * @return GNUNET_OK if the connection is allowed
  */
  */
-static size_t
-ready_callback (void *cls,
-               size_t size, void *buf)
+static int
+is_connection_allowed (struct Peer *peer)
 {
 {
+  if (0 ==
+      memcmp (&my_identity, &peer->pid, sizeof (struct GNUNET_PeerIdentity)))
+    return GNUNET_SYSERR;       /* disallow connections to self */
+  if (peer->is_friend)
+    return GNUNET_OK;
+  if (GNUNET_YES == friends_only)
+  {
+#if DEBUG_TOPOLOGY
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                "Determined that `%s' is not allowed to connect (not a friend)\n",
+                GNUNET_i2s (&peer->pid));
+#endif
+    return GNUNET_SYSERR;
+  }
+  if (friend_count >= minimum_friend_count)
+    return GNUNET_OK;
 #if DEBUG_TOPOLOGY
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 #if DEBUG_TOPOLOGY
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             (buf == NULL)
-             ? "Core told us that our attempt to connect failed.\n"
-             : "Core told us that our attempt to connect worked. Good!\n");
+              "Determined that `%s' is not allowed to connect (not enough connected friends)\n",
+              GNUNET_i2s (&peer->pid));
 #endif
 #endif
-  return 0;
+  return GNUNET_SYSERR;
 }
 
 
 }
 
 
+/**
+ * Free all resources associated with the given peer.
+ *
+ * @param cls closure (not used)
+ * @param pid identity of the peer
+ * @param value peer to free
+ * @return GNUNET_YES (always: continue to iterate)
+ */
+static int
+free_peer (void *cls, const GNUNET_HashCode * pid, void *value)
+{
+  struct Peer *pos = value;
+
+  GNUNET_break (GNUNET_OK ==
+                GNUNET_CONTAINER_multihashmap_remove (peers, pid, pos));
+  if (pos->hello_req != NULL)
+    GNUNET_CORE_notify_transmit_ready_cancel (pos->hello_req);
+  if (pos->connect_req != NULL)
+    GNUNET_CORE_peer_request_connect_cancel (pos->connect_req);
+  if (pos->hello_delay_task != GNUNET_SCHEDULER_NO_TASK)
+    GNUNET_SCHEDULER_cancel (pos->hello_delay_task);
+  if (pos->greylist_clean_task != GNUNET_SCHEDULER_NO_TASK)
+    GNUNET_SCHEDULER_cancel (pos->greylist_clean_task);
+  GNUNET_free_non_null (pos->hello);
+  if (pos->filter != NULL)
+    GNUNET_CONTAINER_bloomfilter_free (pos->filter);
+  GNUNET_free (pos);
+  return GNUNET_YES;
+}
+
+
+/**
+ * Discard peer entries for greylisted peers
+ * where the greylisting has expired.
+ *
+ * @param cls 'struct Peer' to greylist
+ * @param tc scheduler context
+ */
+static void
+remove_from_greylist (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc);
+
+
 /**
  * Try to connect to the specified peer.
  *
 /**
  * Try to connect to the specified peer.
  *
- * @param peer who we should try to connect to
- * @param pos entry in our friend list; NULL if not in friend list yet
+ * @param pos peer to connect to
  */
 static void
  */
 static void
-attempt_connect (const struct GNUNET_PeerIdentity *peer,
-                struct PeerList *pos)
+attempt_connect (struct Peer *pos)
 {
 {
-  if (pos == NULL)
-    {
-      pos = friends;
-      while (pos != NULL)
-       {
-         if (0 == memcmp (&pos->id, peer, sizeof (struct GNUNET_PeerIdentity)))
-           break;
-       }
-    }
-  if (pos == NULL)
-    {
-      pos = GNUNET_malloc (sizeof(struct PeerList));
-      pos->id = *peer;
-      pos->next = friends;
-      friends = pos;
-    }
+  struct GNUNET_TIME_Relative rem;
+
+  if ((connection_count >= target_connection_count) &&
+      (friend_count >= minimum_friend_count))
+    return;
+  if (GNUNET_YES == pos->is_connected)
+    return;
+  if (GNUNET_OK != is_connection_allowed (pos))
+    return;
+  if (GNUNET_TIME_absolute_get_remaining (pos->greylisted_until).rel_value > 0)
+    return;
   if (GNUNET_YES == pos->is_friend)
   if (GNUNET_YES == pos->is_friend)
-    pos->blacklisted_until = GNUNET_TIME_relative_to_absolute (BLACKLIST_AFTER_ATTEMPT_FRIEND);
+    rem = GREYLIST_AFTER_ATTEMPT_FRIEND;
   else
   else
-    pos->blacklisted_until = GNUNET_TIME_relative_to_absolute (BLACKLIST_AFTER_ATTEMPT);
+    rem = GREYLIST_AFTER_ATTEMPT;
+  rem = GNUNET_TIME_relative_multiply (rem, connection_count);
+  rem = GNUNET_TIME_relative_divide (rem, target_connection_count);
+  if (pos->connect_attempts > 30)
+    pos->connect_attempts = 30;
+  rem = GNUNET_TIME_relative_multiply (rem, 1 << (++pos->connect_attempts));
+  rem = GNUNET_TIME_relative_max (rem, GREYLIST_AFTER_ATTEMPT_MIN);
+  rem = GNUNET_TIME_relative_min (rem, GREYLIST_AFTER_ATTEMPT_MAX);
+  pos->greylisted_until = GNUNET_TIME_relative_to_absolute (rem);
+  if (pos->greylist_clean_task != GNUNET_SCHEDULER_NO_TASK)
+    GNUNET_SCHEDULER_cancel (pos->greylist_clean_task);
+  pos->greylist_clean_task =
+      GNUNET_SCHEDULER_add_delayed (rem, &remove_from_greylist, pos);
 #if DEBUG_TOPOLOGY
 #if DEBUG_TOPOLOGY
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Asking core to connect to `%s'\n",
-             GNUNET_i2s (peer));
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Asking  to connect to `%s'\n",
+              GNUNET_i2s (&pos->pid));
 #endif
 #endif
-  GNUNET_CORE_notify_transmit_ready (handle,
-                                    0 /* priority */,
-                                    GNUNET_TIME_UNIT_MINUTES,
-                                    peer,
-                                    sizeof(struct GNUNET_MessageHeader),
-                                    &ready_callback,
-                                    NULL);
+  GNUNET_STATISTICS_update (stats,
+                            gettext_noop ("# connect requests issued to core"),
+                            1, GNUNET_NO);
+  pos->connect_req =
+      GNUNET_CORE_peer_request_connect (handle, &pos->pid,
+                                        &connect_completed_callback, pos);
 }
 
 
 /**
 }
 
 
 /**
- * Is this peer one of our friends?
+ * Discard peer entries for greylisted peers
+ * where the greylisting has expired.
+ *
+ * @param cls 'struct Peer' to greylist
+ * @param tc scheduler context
  */
  */
-static int
-is_friend (const struct GNUNET_PeerIdentity * peer)
+static void
+remove_from_greylist (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
 {
-  struct PeerList *pos;
+  struct Peer *pos = cls;
+  struct GNUNET_TIME_Relative rem;
+
+  pos->greylist_clean_task = GNUNET_SCHEDULER_NO_TASK;
+  rem = GNUNET_TIME_absolute_get_remaining (pos->greylisted_until);
+  if (rem.rel_value == 0)
+  {
+    attempt_connect (pos);
+  }
+  else
+  {
+    pos->greylist_clean_task =
+        GNUNET_SCHEDULER_add_delayed (rem, &remove_from_greylist, pos);
+  }
+  if ((GNUNET_NO == pos->is_friend) && (GNUNET_NO == pos->is_connected) &&
+      (NULL == pos->hello))
+  {
+    free_peer (NULL, &pos->pid.hashPubKey, pos);
+    return;
+  }
+}
 
 
-  pos = friends;
-  while (pos != NULL)
-    {
-      if ( (GNUNET_YES == pos->is_friend) &&
-          (0 == memcmp (&pos->id, peer, sizeof (struct GNUNET_PeerIdentity))) )
-       {
-#if DEBUG_TOPOLOGY
-         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                     "Determined that `%s' is a friend\n",
-                     GNUNET_i2s (peer));
-#endif   
-         return GNUNET_YES;
-       }
-      pos = pos->next;
-    }
-  return GNUNET_NO;
+
+/**
+ * Create a new entry in the peer list.
+ *
+ * @param peer identity of the new entry
+ * @param hello hello message, can be NULL
+ * @param is_friend is the new entry for a friend?
+ * @return the new entry
+ */
+static struct Peer *
+make_peer (const struct GNUNET_PeerIdentity *peer,
+           const struct GNUNET_HELLO_Message *hello, int is_friend)
+{
+  struct Peer *ret;
+
+  ret = GNUNET_malloc (sizeof (struct Peer));
+  ret->pid = *peer;
+  ret->is_friend = is_friend;
+  if (hello != NULL)
+  {
+    ret->hello = GNUNET_malloc (GNUNET_HELLO_size (hello));
+    memcpy (ret->hello, hello, GNUNET_HELLO_size (hello));
+  }
+  GNUNET_break (GNUNET_OK ==
+                GNUNET_CONTAINER_multihashmap_put (peers, &peer->hashPubKey,
+                                                   ret,
+                                                   GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY));
+  return ret;
 }
 
 
 /**
 }
 
 
 /**
- * Check if an additional connection from the given peer is allowed.
+ * Setup bloom filter for the given peer entry.
+ *
+ * @param peer entry to initialize
  */
  */
-static int
-is_connection_allowed (const struct GNUNET_PeerIdentity * peer)
+static void
+setup_filter (struct Peer *peer)
 {
 {
-  if (0 == memcmp (&my_identity, peer, sizeof (struct GNUNET_PeerIdentity)))
-    return GNUNET_SYSERR;       /* disallow connections to self */
-  if (is_friend (peer))
-    return GNUNET_OK;
-  if (GNUNET_YES == friends_only)
-    {
-#if DEBUG_TOPOLOGY
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                 "Determined that `%s' is not allowed to connect (not a friend)\n",
-                 GNUNET_i2s (peer));
-#endif       
-      return GNUNET_SYSERR;
-    }
-  if (friend_count >= minimum_friend_count)
-    return GNUNET_OK;
-#if DEBUG_TOPOLOGY
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Determined that `%s' is not allowed to connect (not enough connected friends)\n",
-             GNUNET_i2s (peer));
-#endif       
-  return GNUNET_SYSERR;
+  /* 2^{-5} chance of not sending a HELLO to a peer is
+   * acceptably small (if the filter is 50% full);
+   * 64 bytes of memory are small compared to the rest
+   * of the data structure and would only really become
+   * "useless" once a HELLO has been passed on to ~100
+   * other peers, which is likely more than enough in
+   * any case; hence 64, 5 as bloomfilter parameters. */
+  peer->filter = GNUNET_CONTAINER_bloomfilter_init (NULL, 64, 5);
+  peer->filter_expiration =
+      GNUNET_TIME_relative_to_absolute
+      (HELLO_ADVERTISEMENT_MIN_REPEAT_FREQUENCY);
+  /* never send a peer its own HELLO */
+  GNUNET_CONTAINER_bloomfilter_add (peer->filter, &peer->pid.hashPubKey);
 }
 
 
 /**
 }
 
 
 /**
- * Method called whenever a peer connects.
+ * Function to fill send buffer with HELLO.
  *
  *
- * @param cls closure
- * @param peer peer identity this notification is about
+ * @param cls 'struct Peer' of the target peer
+ * @param size number of bytes available in buf
+ * @param buf where the callee should write the message
+ * @return number of bytes written to buf
  */
  */
-static void connect_notify (void *cls,
-                           const struct
-                           GNUNET_PeerIdentity * peer)
+static size_t
+hello_advertising_ready (void *cls, size_t size, void *buf);
+
+
+/**
+ * Closure for 'find_advertisable_hello'.
+ */
+struct FindAdvHelloContext
 {
 {
-  struct PeerList *pos;
 
 
-#if DEBUG_TOPOLOGY
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Core told us that we connected to `%s'\n",
-             GNUNET_i2s (peer));
-#endif       
-  connection_count++;
-  pos = friends;
-  while (pos != NULL)
-    {
-      if ( (GNUNET_YES == pos->is_friend) &&
-          (0 == memcmp (&pos->id, peer, sizeof (struct GNUNET_PeerIdentity))) )
-       {
-         GNUNET_assert (GNUNET_NO == pos->is_connected);
-         pos->is_connected = GNUNET_YES;
-         pos->blacklisted_until.value = 0; /* remove blacklisting */
-         friend_count++;
-         return;
-       }
-      pos = pos->next;
-    }
-  pos = GNUNET_malloc (sizeof(struct PeerList));
-  pos->id = *peer;
-  pos->is_connected = GNUNET_YES;
-  pos->next = friends;
-  friends = pos;
-  if (GNUNET_OK != is_connection_allowed (peer))
-    {
-#if DEBUG_TOPOLOGY
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                 "Connection to `%s' is forbidden, forcing disconnect!\n",
-                 GNUNET_i2s (peer));
-#endif       
-      force_disconnect (peer);
-    }
+  /**
+   * Peer we want to advertise to.
+   */
+  struct Peer *peer;
+
+  /**
+   * Where to store the result (peer selected for advertising).
+   */
+  struct Peer *result;
+
+  /**
+   * Maximum HELLO size we can use right now.
+   */
+  size_t max_size;
+
+  struct GNUNET_TIME_Relative next_adv;
+};
+
+
+/**
+ * Find a peer that would be reasonable for advertising.
+ *
+ * @param cls closure
+ * @param pid identity of a peer
+ * @param value 'struct Peer*' for the peer we are considering
+ * @return GNUNET_YES (continue iteration)
+ */
+static int
+find_advertisable_hello (void *cls, const GNUNET_HashCode * pid, void *value)
+{
+  struct FindAdvHelloContext *fah = cls;
+  struct Peer *pos = value;
+  struct GNUNET_TIME_Relative rst_time;
+  size_t hs;
+
+  if (pos == fah->peer)
+    return GNUNET_YES;
+  if (pos->hello == NULL)
+    return GNUNET_YES;
+  rst_time = GNUNET_TIME_absolute_get_remaining (pos->filter_expiration);
+  if (0 == rst_time.rel_value)
+  {
+    /* time to discard... */
+    GNUNET_CONTAINER_bloomfilter_free (pos->filter);
+    setup_filter (pos);
+  }
+  fah->next_adv = GNUNET_TIME_relative_min (rst_time, fah->next_adv);
+  hs = GNUNET_HELLO_size (pos->hello);
+  if (hs > fah->max_size)
+    return GNUNET_YES;
+  if (GNUNET_NO ==
+      GNUNET_CONTAINER_bloomfilter_test (pos->filter,
+                                         &fah->peer->pid.hashPubKey))
+    fah->result = pos;
+  return GNUNET_YES;
 }
 
 
 /**
 }
 
 
 /**
- * Disconnect from all non-friends (we're below quota).
+ * Calculate when we would like to send the next HELLO to this
+ * peer and ask for it.
+ *
+ * @param cls for which peer to schedule the HELLO
+ * @param tc task context
  */
 static void
  */
 static void
-drop_non_friends ()
+schedule_next_hello (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
 {
-  struct PeerList *pos;
+  struct Peer *pl = cls;
+  struct FindAdvHelloContext fah;
+  size_t next_want;
+  struct GNUNET_TIME_Relative delay;
 
 
-  pos = friends;
-  while (pos != NULL)
-    {
-      if (GNUNET_NO == pos->is_friend)
-       {
-         GNUNET_assert (GNUNET_YES == pos->is_connected);
-#if DEBUG_TOPOLOGY
-         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                     "Connection to `%s' is not from a friend, forcing disconnect!\n",
-                     GNUNET_i2s (&pos->id));
-#endif       
-         force_disconnect (&pos->id);
-       }
-      pos = pos->next;
-    }
+  pl->hello_delay_task = GNUNET_SCHEDULER_NO_TASK;
+  GNUNET_assert (GNUNET_YES == pl->is_connected);
+  if (0 != (tc->reason & GNUNET_SCHEDULER_REASON_SHUTDOWN))
+    return;                     /* we're out of here */
+  if (pl->hello_req != NULL)
+    return;                     /* did not finish sending the previous one */
+  /* find applicable HELLOs */
+  fah.peer = pl;
+  fah.result = NULL;
+  fah.max_size = GNUNET_SERVER_MAX_MESSAGE_SIZE - 1;
+  fah.next_adv = GNUNET_TIME_UNIT_FOREVER_REL;
+  GNUNET_CONTAINER_multihashmap_iterate (peers, &find_advertisable_hello, &fah);
+  pl->hello_delay_task =
+      GNUNET_SCHEDULER_add_delayed (fah.next_adv, &schedule_next_hello, pl);
+  if (fah.result == NULL)
+    return;
+  next_want = GNUNET_HELLO_size (fah.result->hello);
+  delay = GNUNET_TIME_absolute_get_remaining (pl->next_hello_allowed);
+  if (delay.rel_value == 0)
+  {
+    /* now! */
+    pl->hello_req =
+        GNUNET_CORE_notify_transmit_ready (handle, GNUNET_YES, 0,
+                                           GNUNET_CONSTANTS_SERVICE_TIMEOUT,
+                                           &pl->pid, next_want,
+                                           &hello_advertising_ready, pl);
+  }
 }
 
 
 /**
 }
 
 
 /**
- * Method called whenever a peer disconnects.
+ * Cancel existing requests for sending HELLOs to this peer
+ * and recalculate when we should send HELLOs to it based
+ * on our current state (something changed!).
+ *
+ * @param cls closure, 'struct Peer' to skip, or NULL
+ * @param pid identity of a peer
+ * @param value 'struct Peer*' for the peer
+ * @return GNUNET_YES (always)
+ */
+static int
+reschedule_hellos (void *cls, const GNUNET_HashCode * pid, void *value)
+{
+  struct Peer *peer = value;
+  struct Peer *skip = cls;
+
+  if (skip == peer)
+    return GNUNET_YES;
+  if (!peer->is_connected)
+    return GNUNET_YES;
+  if (peer->hello_req != NULL)
+  {
+    GNUNET_CORE_notify_transmit_ready_cancel (peer->hello_req);
+    peer->hello_req = NULL;
+  }
+  if (peer->hello_delay_task != GNUNET_SCHEDULER_NO_TASK)
+  {
+    GNUNET_SCHEDULER_cancel (peer->hello_delay_task);
+    peer->hello_delay_task = GNUNET_SCHEDULER_NO_TASK;
+  }
+  peer->hello_delay_task =
+      GNUNET_SCHEDULER_add_now (&schedule_next_hello, peer);
+  return GNUNET_YES;
+}
+
+
+/**
+ * Method called whenever a peer connects.
  *
  * @param cls closure
  * @param peer peer identity this notification is about
  *
  * @param cls closure
  * @param peer peer identity this notification is about
+ * @param atsi performance data
  */
  */
-static void disconnect_notify (void *cls,
-                              const struct
-                              GNUNET_PeerIdentity * peer)
+static void
+connect_notify (void *cls, const struct GNUNET_PeerIdentity *peer,
+                const struct GNUNET_TRANSPORT_ATS_Information *atsi)
 {
 {
-  struct PeerList *pos;
-  struct PeerList *prev;
+  struct Peer *pos;
+
 #if DEBUG_TOPOLOGY
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 #if DEBUG_TOPOLOGY
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Core told us that we disconnected from `%s'\n",
-             GNUNET_i2s (peer));
-#endif       
-  connection_count--;
-  pos = friends;
-  prev = NULL;
-  while (pos != NULL)
-    {
-      if (0 == memcmp (&pos->id, peer, sizeof (struct GNUNET_PeerIdentity)))
-       {
-         GNUNET_assert (GNUNET_YES == pos->is_connected);
-         pos->is_connected = GNUNET_NO;
-         if (GNUNET_YES == pos->is_friend)
-           {
-             friend_count--;
-             if (friend_count < minimum_friend_count)
-               {
-                 /* disconnect from all non-friends */
-#if DEBUG_TOPOLOGY
-                 GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                             "Not enough friendly connections, dropping all non-friend connections\n");
-#endif       
-                 drop_non_friends ();
-                 attempt_connect (peer, pos);
-               }
-           }
-         else
-           {
-             /* free entry */
-             if (prev == NULL)
-               friends = pos->next;
-             else
-               prev->next = pos->next;
-             GNUNET_free (pos);
-           }
-         return;
-       }
-      prev = pos;
-      pos = pos->next;
-    }
-  GNUNET_break (0);
+              "Core told us that we are connecting to `%s'\n",
+              GNUNET_i2s (peer));
+#endif
+  if (0 == memcmp (&my_identity, peer, sizeof (struct GNUNET_PeerIdentity)))
+    return;
+
+  connection_count++;
+  GNUNET_STATISTICS_set (stats, gettext_noop ("# peers connected"),
+                         connection_count, GNUNET_NO);
+  pos = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
+  if (pos == NULL)
+  {
+    pos = make_peer (peer, NULL, GNUNET_NO);
+    GNUNET_break (GNUNET_OK == is_connection_allowed (pos));
+  }
+  else
+  {
+    GNUNET_assert (GNUNET_NO == pos->is_connected);
+    pos->greylisted_until.abs_value = 0;        /* remove greylisting */
+  }
+  pos->is_connected = GNUNET_YES;
+  pos->connect_attempts = 0;    /* re-set back-off factor */
+  if (pos->is_friend)
+  {
+    if ((friend_count == minimum_friend_count - 1) &&
+        (GNUNET_YES != friends_only))
+      whitelist_peers ();
+    friend_count++;
+    GNUNET_STATISTICS_set (stats, gettext_noop ("# friends connected"),
+                           friend_count, GNUNET_NO);
+  }
+  reschedule_hellos (NULL, &peer->hashPubKey, pos);
 }
 
 
 /**
 }
 
 
 /**
- * Find more peers that we should connect to and ask the
- * core to establish connections.
+ * Try to add more peers to our connection set.
+ *
+ * @param cls closure, not used
+ * @param pid identity of a peer
+ * @param value 'struct Peer*' for the peer
+ * @return GNUNET_YES (continue to iterate)
+ */
+static int
+try_add_peers (void *cls, const GNUNET_HashCode * pid, void *value)
+{
+  struct Peer *pos = value;
+
+  attempt_connect (pos);
+  return GNUNET_YES;
+}
+
+
+/**
+ * Last task run during shutdown.  Disconnects us from
+ * the transport and core.
+ *
+ * @param cls unused, NULL
+ * @param tc scheduler context
  */
 static void
  */
 static void
-find_more_peers (void *cls,
-                const struct GNUNET_SCHEDULER_TaskContext *tc);
+add_peer_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
+{
+  add_task = GNUNET_SCHEDULER_NO_TASK;
 
 
+  GNUNET_CONTAINER_multihashmap_iterate (peers, &try_add_peers, NULL);
+}
 
 /**
 
 /**
- * Determine when we should try again to find more peers and
- * schedule the task.
+ * Method called whenever a peer disconnects.
+ *
+ * @param cls closure
+ * @param peer peer identity this notification is about
  */
 static void
  */
 static void
-schedule_peer_search ()
+disconnect_notify (void *cls, const struct GNUNET_PeerIdentity *peer)
 {
 {
-  struct GNUNET_TIME_Relative delay;
+  struct Peer *pos;
 
 
-  /* Typically, we try again every 15 minutes; the minimum period is
-     15s; if we are above the connection target, we reduce re-trying
-     by the square of how much we are above; so for example, with 200%
-     of the connection target we would only look for more peers once
-     every hour (after all, we're quite busy processing twice as many
-     connections as we intended to have); similarly, if we are at only
-     25% of our connectivity goal, we will try 16x as hard to connect
-     (so roughly once a minute, plus the 15s minimum delay */
-  delay = GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_SECONDS,
-                                        15 + 15 * 60 * connection_count * connection_count / target_connection_count / target_connection_count);
+  if (0 == memcmp (&my_identity, peer, sizeof (struct GNUNET_PeerIdentity)))
+    return;
 #if DEBUG_TOPOLOGY
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 #if DEBUG_TOPOLOGY
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Will try to find more peers in %llums\n",
-             (unsigned long long) delay.value);
-#endif 
-  GNUNET_SCHEDULER_add_delayed (sched,
-                               delay,
-                               &find_more_peers,
-                               NULL);
+              "Core told us that we disconnected from `%s'\n",
+              GNUNET_i2s (peer));
+#endif
+  pos = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
+  if (pos == NULL)
+  {
+    GNUNET_break (0);
+    return;
+  }
+  if (pos->is_connected != GNUNET_YES)
+  {
+    GNUNET_break (0);
+    return;
+  }
+  pos->is_connected = GNUNET_NO;
+  connection_count--;
+  if (NULL != pos->hello_req)
+  {
+    GNUNET_CORE_notify_transmit_ready_cancel (pos->hello_req);
+    pos->hello_req = NULL;
+  }
+  if (GNUNET_SCHEDULER_NO_TASK != pos->hello_delay_task)
+  {
+    GNUNET_SCHEDULER_cancel (pos->hello_delay_task);
+    pos->hello_delay_task = GNUNET_SCHEDULER_NO_TASK;
+  }
+  GNUNET_STATISTICS_set (stats, gettext_noop ("# peers connected"),
+                         connection_count, GNUNET_NO);
+  if (pos->is_friend)
+  {
+    friend_count--;
+    GNUNET_STATISTICS_set (stats, gettext_noop ("# friends connected"),
+                           friend_count, GNUNET_NO);
+  }
+  if (((connection_count < target_connection_count) ||
+       (friend_count < minimum_friend_count)) &&
+      (GNUNET_SCHEDULER_NO_TASK == add_task))
+    add_task = GNUNET_SCHEDULER_add_now (&add_peer_task, NULL);
+  if ((friend_count < minimum_friend_count) && (blacklist == NULL))
+    blacklist = GNUNET_TRANSPORT_blacklist (cfg, &blacklist_check, NULL);
 }
 
 
 }
 
 
-
-
 /**
  * Iterator called on each address.
  *
 /**
  * Iterator called on each address.
  *
@@ -542,248 +803,156 @@ schedule_peer_search ()
  * @return GNUNET_SYSERR always, to terminate iteration
  */
 static int
  * @return GNUNET_SYSERR always, to terminate iteration
  */
 static int
-address_iterator (void *cls,
-                 const char *tname,
-                 struct GNUNET_TIME_Absolute expiration,
-                 const void *addr, size_t addrlen)
+address_iterator (void *cls, const char *tname,
+                  struct GNUNET_TIME_Absolute expiration, const void *addr,
+                  uint16_t addrlen)
 {
   int *flag = cls;
 {
   int *flag = cls;
+
   *flag = GNUNET_YES;
   return GNUNET_SYSERR;
 }
 
 
 /**
   *flag = GNUNET_YES;
   return GNUNET_SYSERR;
 }
 
 
 /**
- * We've gotten a HELLO from another peer.
- * Consider it for advertising.
+ * We've gotten a HELLO from another peer.  Consider it for
+ * advertising.
+ *
+ * @param hello the HELLO we got
  */
 static void
 consider_for_advertising (const struct GNUNET_HELLO_Message *hello)
 {
   int have_address;
   struct GNUNET_PeerIdentity pid;
  */
 static void
 consider_for_advertising (const struct GNUNET_HELLO_Message *hello)
 {
   int have_address;
   struct GNUNET_PeerIdentity pid;
-  struct HelloList *pos;
+  struct GNUNET_TIME_Absolute dt;
+  struct GNUNET_HELLO_Message *nh;
+  struct Peer *peer;
   uint16_t size;
 
   uint16_t size;
 
+  if (GNUNET_OK != GNUNET_HELLO_get_id (hello, &pid))
+  {
+    GNUNET_break (0);
+    return;
+  }
+  if (0 == memcmp (&pid, &my_identity, sizeof (struct GNUNET_PeerIdentity)))
+    return;                     /* that's me! */
   have_address = GNUNET_NO;
   have_address = GNUNET_NO;
-  GNUNET_HELLO_iterate_addresses (hello,
-                                 GNUNET_NO,
-                                 &address_iterator,
-                                 &have_address);
+  GNUNET_HELLO_iterate_addresses (hello, GNUNET_NO, &address_iterator,
+                                  &have_address);
   if (GNUNET_NO == have_address)
   if (GNUNET_NO == have_address)
-    return; /* no point in advertising this one... */
-  GNUNET_break (GNUNET_OK == GNUNET_HELLO_get_id (hello, &pid));
-  pos = hellos;
-  while (pos != NULL)
-    {
-      if (0 == memcmp (&pos->id,
-                      &pid,
-                      sizeof(struct GNUNET_PeerIdentity)))
-       return; /* duplicate, at least "mostly" */
-      pos = pos->next;
-    }
+    return;                     /* no point in advertising this one... */
+  peer = GNUNET_CONTAINER_multihashmap_get (peers, &pid.hashPubKey);
+  if (peer == NULL)
+  {
+    peer = make_peer (&pid, hello, GNUNET_NO);
+  }
+  else if (peer->hello != NULL)
+  {
+    dt = GNUNET_HELLO_equals (peer->hello, hello, GNUNET_TIME_absolute_get ());
+    if (dt.abs_value == GNUNET_TIME_UNIT_FOREVER_ABS.abs_value)
+      return;                   /* nothing new here */
+  }
 #if DEBUG_TOPOLOGY
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 #if DEBUG_TOPOLOGY
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Found `%s' from peer `%s' for advertising\n",
-             "HELLO",
-             GNUNET_i2s (&pid));
-#endif 
-  size = GNUNET_HELLO_size (hello);
-  pos = GNUNET_malloc (sizeof(struct HelloList) + size);
-  pos->msg = (struct GNUNET_HELLO_Message*) &pos[1];
-  memcpy (&pos->msg, hello, size);
-  pos->id = pid;
-  pos->expiration = GNUNET_TIME_relative_to_absolute (HELLO_ADVERTISEMENT_MIN_FREQUENCY);
-  /* 2^{-5} chance of not sending a HELLO to a peer is
-     acceptably small (if the filter is 50% full);
-     64 bytes of memory are small compared to the rest
-     of the data structure and would only really become
-     "useless" once a HELLO has been passed on to ~100
-     other peers, which is likely more than enough in
-     any case; hence 64, 5 as bloomfilter parameters. */
-  pos->filter = GNUNET_CONTAINER_bloomfilter_load (NULL, 64, 5);
-  /* never send a peer its own HELLO */
-  GNUNET_CONTAINER_bloomfilter_add (pos->filter, &pos->id.hashPubKey);
-  pos->next = hellos;
-  hellos = pos;
+              "Found `%s' from peer `%s' for advertising\n", "HELLO",
+              GNUNET_i2s (&pid));
+#endif
+  if (peer->hello != NULL)
+  {
+    nh = GNUNET_HELLO_merge (peer->hello, hello);
+    GNUNET_free (peer->hello);
+    peer->hello = nh;
+  }
+  else
+  {
+    size = GNUNET_HELLO_size (hello);
+    peer->hello = GNUNET_malloc (size);
+    memcpy (peer->hello, hello, size);
+  }
+  if (peer->filter != NULL)
+    GNUNET_CONTAINER_bloomfilter_free (peer->filter);
+  setup_filter (peer);
+  /* since we have a new HELLO to pick from, re-schedule all
+   * HELLO requests that are not bound by the HELLO send rate! */
+  GNUNET_CONTAINER_multihashmap_iterate (peers, &reschedule_hellos, peer);
 }
 
 
 /**
 }
 
 
 /**
- * Peerinfo calls this function to let us know about a
- * possible peer that we might want to connect to.
+ * PEERINFO calls this function to let us know about a possible peer
+ * that we might want to connect to.
+ *
+ * @param cls closure (not used)
+ * @param peer potential peer to connect to
+ * @param hello HELLO for this peer (or NULL)
+ * @param err_msg NULL if successful, otherwise contains error message
  */
 static void
  */
 static void
-process_peer (void *cls,
-             const struct GNUNET_PeerIdentity *peer,
-             const struct GNUNET_HELLO_Message *hello,
-             uint32_t trust)
+process_peer (void *cls, const struct GNUNET_PeerIdentity *peer,
+              const struct GNUNET_HELLO_Message *hello, const char *err_msg)
 {
 {
-  struct PeerList *pos;
-
-  if (peer == NULL)
-    {
-      /* last call, schedule 'find_more_peers' again... */
-      schedule_peer_search ();
-      return;
-    }
+  struct Peer *pos;
+
+  if (err_msg != NULL)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
+                _("Error in communication with PEERINFO service: %s\n"),
+                err_msg);
+    GNUNET_PEERINFO_notify_cancel (peerinfo_notify);
+    peerinfo_notify = GNUNET_PEERINFO_notify (cfg, &process_peer, NULL);
+    return;
+  }
+  GNUNET_assert (peer != NULL);
+  if (0 == memcmp (&my_identity, peer, sizeof (struct GNUNET_PeerIdentity)))
+    return;                     /* that's me! */
   if (hello == NULL)
   if (hello == NULL)
+  {
+    /* free existing HELLO, if any */
+    pos = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
+    if (NULL != pos)
     {
     {
-      /* no HELLO known; can not connect, ignore! */
-      return;
+      GNUNET_free_non_null (pos->hello);
+      pos->hello = NULL;
+      if (pos->filter != NULL)
+      {
+        GNUNET_CONTAINER_bloomfilter_free (pos->filter);
+        pos->filter = NULL;
+      }
+      if ((!pos->is_connected) && (!pos->is_friend) &&
+          (0 ==
+           GNUNET_TIME_absolute_get_remaining (pos->
+                                               greylisted_until).rel_value))
+        free_peer (NULL, &pos->pid.hashPubKey, pos);
     }
     }
-  if (0 == memcmp (&my_identity,
-                   peer, sizeof (struct GNUNET_PeerIdentity)))
-    return;  /* that's me! */
-
+    return;
+  }
   consider_for_advertising (hello);
   consider_for_advertising (hello);
+  pos = GNUNET_CONTAINER_multihashmap_get (peers, &peer->hashPubKey);
+  if (pos == NULL)
+    pos = make_peer (peer, hello, GNUNET_NO);
+  GNUNET_assert (NULL != pos);
+  if (GNUNET_YES == pos->is_connected)
+  {
 #if DEBUG_TOPOLOGY
 #if DEBUG_TOPOLOGY
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Considering connecting to peer `%s'\n",
-             GNUNET_i2s (peer));
-#endif 
-  pos = friends;
-  while (pos != NULL)
-    {
-      if (0 == memcmp (&pos->id, peer, sizeof (struct GNUNET_PeerIdentity)))
-       {
-         if (GNUNET_YES == pos->is_connected)
-           {
-#if DEBUG_TOPOLOGY
-             GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                         "Already connected to peer `%s'\n",
-                         GNUNET_i2s (peer));
-#endif 
-             return;
-           }
-         if (GNUNET_TIME_absolute_get_remaining (pos->blacklisted_until).value > 0)
-           {
-#if DEBUG_TOPOLOGY
-             GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                         "Already tried peer `%s' recently\n",
-                         GNUNET_i2s (peer));
-#endif 
-             return; /* peer still blacklisted */
-           }
-         if (GNUNET_YES == pos->is_friend)
-           {
-             attempt_connect (peer, pos);
-             return;
-           }
-       }
-      pos = pos->next;
-    }
-  if ( (GNUNET_YES == friends_only) ||    
-       (friend_count < minimum_friend_count) )
-    {
-#if DEBUG_TOPOLOGY
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                 "Peer `%s' is not a friend, and we currently only connect to friends\n",
-                 GNUNET_i2s (peer));
-#endif 
-      return;
-    }
-  attempt_connect (peer, NULL);
-}
-
-
-/**
- * Try to add more friends to our connection set.
- */
-static void
-try_add_friends ()
-{
-  struct PeerList *pos;
-
-#if DEBUG_TOPOLOGY
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Considering all of our friends for new connections\n");
-#endif 
-  pos = friends;
-  while (pos != NULL)
-    {
-      if ( (GNUNET_TIME_absolute_get_remaining (pos->blacklisted_until).value == 0) &&
-          (GNUNET_YES == pos->is_friend) &&
-          (GNUNET_YES != pos->is_connected) )
-       attempt_connect (&pos->id, pos);
-      pos = pos->next;
-    }
-}
-
-
-/**
- * Discard peer entries for blacklisted peers
- * where the blacklisting has expired.
- */
-static void
-discard_old_blacklist_entries ()
-{
-  struct PeerList *pos;
-  struct PeerList *next;
-  struct PeerList *prev;
-
-  next = friends;
-  prev = NULL;
-  while (NULL != (pos = next))
-    {
-      next = pos->next;
-      if ( (GNUNET_NO == pos->is_friend) &&
-          (GNUNET_NO == pos->is_connected) &&
-          (0 == GNUNET_TIME_absolute_get_remaining (pos->blacklisted_until).value) )
-       {
-         /* delete 'pos' from list */
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Already connected to peer `%s'\n",
+                GNUNET_i2s (peer));
+#endif
+    return;
+  }
+  if (GNUNET_TIME_absolute_get_remaining (pos->greylisted_until).rel_value > 0)
+  {
 #if DEBUG_TOPOLOGY
 #if DEBUG_TOPOLOGY
-         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                     "Deleting peer `%s' from our list (not connected, not a friend and blacklist expired)\n",
-                     GNUNET_i2s (&pos->id));
-#endif         
-         if (prev == NULL)
-           friends = next;
-         else
-           prev->next = next;
-         GNUNET_free (pos);
-       }
-      else
-       {
-         prev = pos;
-       }
-    }
-}
-
-
-/**
- * Find more peers that we should connect to and ask the
- * core to establish connections.
- */
-static void
-find_more_peers (void *cls,
-                const struct GNUNET_SCHEDULER_TaskContext *tc)
-{
-  discard_old_blacklist_entries ();
-  if (connection_count <= target_connection_count)
-    {
-      schedule_peer_search ();
-      return;
-    }
-  if ( (GNUNET_YES == friends_only) ||
-       (friend_count < minimum_friend_count) )
-    {
-      try_add_friends ();
-      schedule_peer_search ();
-      return;
-    }
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Already tried peer `%s' recently\n",
+                GNUNET_i2s (peer));
+#endif
+    return;                     /* peer still greylisted */
+  }
 #if DEBUG_TOPOLOGY
 #if DEBUG_TOPOLOGY
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Got sufficient (%u/%u, %u friends) number of connections, won't try to create more.\n",
-             connection_count,
-             target_connection_count,
-             friend_count);
-#endif         
-  GNUNET_PEERINFO_for_all (cfg,
-                          sched,
-                          NULL,
-                          0, GNUNET_TIME_UNIT_FOREVER_REL,
-                          &process_peer, NULL);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Considering connecting to peer `%s'\n",
+              GNUNET_i2s (peer));
+#endif
+  attempt_connect (pos);
 }
 
 
 }
 
 
@@ -797,44 +966,27 @@ find_more_peers (void *cls,
  * @param publicKey public key of this peer, NULL if we failed
  */
 static void
  * @param publicKey public key of this peer, NULL if we failed
  */
 static void
-core_init (void *cls,
-          struct GNUNET_CORE_Handle * server,
-          const struct GNUNET_PeerIdentity *
-          my_id,
-          const struct
-          GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded *
-          publicKey)
+core_init (void *cls, struct GNUNET_CORE_Handle *server,
+           const struct GNUNET_PeerIdentity *my_id,
+           const struct GNUNET_CRYPTO_RsaPublicKeyBinaryEncoded *publicKey)
 {
   if (server == NULL)
 {
   if (server == NULL)
-    {
-      GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
-                 _("Failed to connect to core service, can not manage topology!\n"));
-      GNUNET_SCHEDULER_shutdown (sched);
-      return;
-    }
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _
+                ("Failed to connect to core service, can not manage topology!\n"));
+    GNUNET_SCHEDULER_shutdown ();
+    return;
+  }
   handle = server;
   my_identity = *my_id;
 #if DEBUG_TOPOLOGY
   handle = server;
   my_identity = *my_id;
 #if DEBUG_TOPOLOGY
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "I am peer `%s'",
-             GNUNET_i2s (my_id));
-#endif         
-  if (autoconnect)
-    GNUNET_SCHEDULER_add_delayed (sched,
-                                 GNUNET_TIME_UNIT_SECONDS /* give core time to tell us about existing connections */,
-                                 &find_more_peers,
-                                 NULL);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "I am peer `%s'\n", GNUNET_i2s (my_id));
+#endif
+  peerinfo_notify = GNUNET_PEERINFO_notify (cfg, &process_peer, NULL);
 }
 
 
 }
 
 
-/**
- * gnunet-daemon-topology command line options.
- */
-static struct GNUNET_GETOPT_CommandLineOption options[] = {
-  GNUNET_GETOPT_OPTION_END
-};
-
-
 /**
  * Read the friends file.
  */
 /**
  * Read the friends file.
  */
@@ -844,113 +996,125 @@ read_friends_file (const struct GNUNET_CONFIGURATION_Handle *cfg)
   char *fn;
   char *data;
   size_t pos;
   char *fn;
   char *data;
   size_t pos;
-  GNUNET_HashCode hc;
+  struct GNUNET_PeerIdentity pid;
   struct stat frstat;
   struct GNUNET_CRYPTO_HashAsciiEncoded enc;
   unsigned int entries_found;
   struct stat frstat;
   struct GNUNET_CRYPTO_HashAsciiEncoded enc;
   unsigned int entries_found;
-  struct PeerList *fl;
+  struct Peer *fl;
 
   if (GNUNET_OK !=
 
   if (GNUNET_OK !=
-      GNUNET_CONFIGURATION_get_value_filename (cfg,
-                                              "TOPOLOGY",
-                                              "FRIENDS",
-                                              &fn))
-    {
-      GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                 _("Option `%s' in section `%s' not specified!\n"),
-                 "FRIENDS",
-                 "TOPOLOGY");
-      return;
-    }
+      GNUNET_CONFIGURATION_get_value_filename (cfg, "TOPOLOGY", "FRIENDS", &fn))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                _("Option `%s' in section `%s' not specified!\n"), "FRIENDS",
+                "TOPOLOGY");
+    return;
+  }
   if (GNUNET_OK != GNUNET_DISK_file_test (fn))
   if (GNUNET_OK != GNUNET_DISK_file_test (fn))
-    GNUNET_DISK_fn_write (fn, NULL, 0, GNUNET_DISK_PERM_USER_READ
-        | GNUNET_DISK_PERM_USER_WRITE);
+    GNUNET_DISK_fn_write (fn, NULL, 0,
+                          GNUNET_DISK_PERM_USER_READ |
+                          GNUNET_DISK_PERM_USER_WRITE);
   if (0 != STAT (fn, &frstat))
   if (0 != STAT (fn, &frstat))
-    {
-      if ((friends_only) || (minimum_friend_count > 0))
-        {
-          GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
-                     _("Could not read friends list `%s'\n"), fn);
-         GNUNET_free (fn);
-          return;
-        }
-    }
+  {
+    if ((friends_only) || (minimum_friend_count > 0))
+      GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                  _("Could not read friends list `%s'\n"), fn);
+    GNUNET_free (fn);
+    return;
+  }
   if (frstat.st_size == 0)
   if (frstat.st_size == 0)
-    {
-      GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                 _("Friends file `%s' is empty.\n"),
-                 fn);
-      GNUNET_free (fn);
-      return;
-    }
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING, _("Friends file `%s' is empty.\n"),
+                fn);
+    GNUNET_free (fn);
+    return;
+  }
   data = GNUNET_malloc_large (frstat.st_size);
   data = GNUNET_malloc_large (frstat.st_size);
-  if (frstat.st_size !=
-      GNUNET_DISK_fn_read (fn, data, frstat.st_size))
-    {
-      GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
-                 _("Failed to read friends list from `%s'\n"), fn);
-      GNUNET_free (fn);
-      GNUNET_free (data);
-      return;
-    }
+  if (data == NULL)
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _("Failed to read friends list from `%s': out of memory\n"),
+                fn);
+    GNUNET_free (fn);
+    return;
+  }
+  if (frstat.st_size != GNUNET_DISK_fn_read (fn, data, frstat.st_size))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _("Failed to read friends list from `%s'\n"), fn);
+    GNUNET_free (fn);
+    GNUNET_free (data);
+    return;
+  }
   entries_found = 0;
   pos = 0;
   entries_found = 0;
   pos = 0;
-  while ((pos < frstat.st_size) && isspace (data[pos]))
+  while ((pos < frstat.st_size) && isspace ((unsigned char) data[pos]))
     pos++;
   while ((frstat.st_size >= sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded)) &&
     pos++;
   while ((frstat.st_size >= sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded)) &&
-        (pos <= frstat.st_size - sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded)))
+         (pos <=
+          frstat.st_size - sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded)))
+  {
+    memcpy (&enc, &data[pos], sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded));
+    if (!isspace
+        ((unsigned char)
+         enc.encoding[sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1]))
     {
     {
-      memcpy (&enc, &data[pos], sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded));
-      if (!isspace (enc.encoding[sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1]))
-       {
-         GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                     _("Syntax error in topology specification at offset %llu, skipping bytes.\n"),
-                     (unsigned long long) pos);
-         pos++;
-         while ((pos < frstat.st_size) && (!isspace (data[pos])))
-           pos++;
-         continue;
-       }
-      enc.encoding[sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1] = '\0';
-      if (GNUNET_OK != GNUNET_CRYPTO_hash_from_string ((char *) &enc, &hc))
-       {
-         GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                     _("Syntax error in topology specification at offset %llu, skipping bytes `%s'.\n"),
-                     (unsigned long long) pos,
-                     &enc);
-       }
-      else
-       {
-         entries_found++;
-         fl = GNUNET_malloc (sizeof(struct PeerList));
-         fl->is_friend = GNUNET_YES;
-         fl->id.hashPubKey = hc;
-         fl->next = friends;
-         friends = fl;
-#if DEBUG_TOPOLOGY
-         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                     "Found friend `%s' in configuration\n",
-                     GNUNET_i2s (&fl->id));
-#endif       
-       }
-      pos = pos + sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded);
-      while ((pos < frstat.st_size) && isspace (data[pos]))
-       pos++;
+      GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                  _
+                  ("Syntax error in topology specification at offset %llu, skipping bytes.\n"),
+                  (unsigned long long) pos);
+      pos++;
+      while ((pos < frstat.st_size) && (!isspace ((unsigned char) data[pos])))
+        pos++;
+      continue;
     }
     }
-  GNUNET_free (data);
-  GNUNET_free (fn);
-  if ( (minimum_friend_count > entries_found) &&
-       (friends_only == GNUNET_NO) )
+    enc.encoding[sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded) - 1] = '\0';
+    if (GNUNET_OK !=
+        GNUNET_CRYPTO_hash_from_string ((char *) &enc, &pid.hashPubKey))
     {
       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
     {
       GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                 _("Fewer friends specified than required by minimum friend count. Will only connect to friends.\n"));
+                  _
+                  ("Syntax error in topology specification at offset %llu, skipping bytes `%s'.\n"),
+                  (unsigned long long) pos, &enc);
     }
     }
-  if ( (minimum_friend_count > target_connection_count) &&
-       (friends_only == GNUNET_NO) )
+    else
     {
     {
-      GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
-                 _("More friendly connections required than target total number of connections.\n"));
+      if (0 != memcmp (&pid, &my_identity, sizeof (struct GNUNET_PeerIdentity)))
+      {
+        entries_found++;
+        fl = make_peer (&pid, NULL, GNUNET_YES);
+        GNUNET_log (GNUNET_ERROR_TYPE_INFO,
+                    _("Found friend `%s' in configuration\n"),
+                    GNUNET_i2s (&fl->pid));
+      }
+      else
+      {
+        GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                    _("Found myself `%s' in friend list (useless, ignored)\n"),
+                    GNUNET_i2s (&pid));
+      }
     }
     }
+    pos = pos + sizeof (struct GNUNET_CRYPTO_HashAsciiEncoded);
+    while ((pos < frstat.st_size) && isspace ((unsigned char) data[pos]))
+      pos++;
+  }
+  GNUNET_free (data);
+  GNUNET_free (fn);
+  GNUNET_STATISTICS_update (stats, gettext_noop ("# friends in configuration"),
+                            entries_found, GNUNET_NO);
+  if ((minimum_friend_count > entries_found) && (friends_only == GNUNET_NO))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                _
+                ("Fewer friends specified than required by minimum friend count. Will only connect to friends.\n"));
+  }
+  if ((minimum_friend_count > target_connection_count) &&
+      (friends_only == GNUNET_NO))
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_WARNING,
+                _
+                ("More friendly connections required than target total number of connections.\n"));
+  }
 }
 
 
 }
 
 
@@ -962,191 +1126,133 @@ read_friends_file (const struct GNUNET_CONFIGURATION_Handle *cfg)
  * @param other the other peer involved (sender or receiver, NULL
  *        for loopback messages where we are both sender and receiver)
  * @param message the actual HELLO message
  * @param other the other peer involved (sender or receiver, NULL
  *        for loopback messages where we are both sender and receiver)
  * @param message the actual HELLO message
+ * @param atsi performance data
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
  */
 static int
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
  */
 static int
-handle_encrypted_hello (void *cls,
-                       const struct GNUNET_PeerIdentity * other,
-                       const struct GNUNET_MessageHeader *
-                       message)
+handle_encrypted_hello (void *cls, const struct GNUNET_PeerIdentity *other,
+                        const struct GNUNET_MessageHeader *message,
+                        const struct GNUNET_TRANSPORT_ATS_Information *atsi)
 {
 {
+  struct Peer *peer;
+  struct GNUNET_PeerIdentity pid;
+
 #if DEBUG_TOPOLOGY
 #if DEBUG_TOPOLOGY
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Received encrypted `%s' from peer `%s'",
-             "HELLO",
-             GNUNET_i2s (other));
-#endif         
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Received encrypted `%s' from peer `%s'",
+              "HELLO", GNUNET_i2s (other));
+#endif
+  if (GNUNET_OK !=
+      GNUNET_HELLO_get_id ((const struct GNUNET_HELLO_Message *) message, &pid))
+  {
+    GNUNET_break_op (0);
+    return GNUNET_SYSERR;
+  }
+  GNUNET_STATISTICS_update (stats, gettext_noop ("# HELLO messages received"),
+                            1, GNUNET_NO);
+  peer = GNUNET_CONTAINER_multihashmap_get (peers, &pid.hashPubKey);
+  if (peer == NULL)
+  {
+    if ((GNUNET_YES == friends_only) || (friend_count < minimum_friend_count))
+      return GNUNET_OK;
+  }
+  else
+  {
+    if ((GNUNET_YES != peer->is_friend) && (GNUNET_YES == friends_only))
+      return GNUNET_OK;
+    if ((GNUNET_YES != peer->is_friend) &&
+        (friend_count < minimum_friend_count))
+      return GNUNET_OK;
+  }
   if (transport != NULL)
   if (transport != NULL)
-    GNUNET_TRANSPORT_offer_hello (transport,
-                                 message);
+    GNUNET_TRANSPORT_offer_hello (transport, message, NULL, NULL);
   return GNUNET_OK;
 }
 
 
   return GNUNET_OK;
 }
 
 
-/**
- * Peerinfo calls this function to let us know about a
- * possible peer that we might want to connect to.
- *
- * @param cls unused
- * @param peer NULL for the end of the list, otherwise a peer identity
- * @param hello a HELLO for a peer, or NULL
- * @param trust how much do we trust the given peer?
- */
-static void
-gather_hello_callback (void *cls,
-                      const struct GNUNET_PeerIdentity *peer,
-                      const struct GNUNET_HELLO_Message *hello,
-                      uint32_t trust)
-{
-  if (peer == NULL)
-    {
-      hello_gathering_active = GNUNET_NO;
-      return;
-    }
-#if DEBUG_TOPOLOGY
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Received `%s' for peer `%s'",
-             "HELLO",
-             GNUNET_i2s (peer));
-#endif         
-  if (hello != NULL)
-    consider_for_advertising (hello);
-}
-
-
 /**
  * Function to fill send buffer with HELLO.
  *
 /**
  * Function to fill send buffer with HELLO.
  *
- * @param cls unused
- * @param receiver the receiver of the message
- * @param position is the reference to the
- *        first unused position in the buffer where GNUnet is building
- *        the message
- * @param padding is the number of bytes left in that buffer.
- * @return the number of bytes written to
- *   that buffer (must be a positive number).
+ * @param cls 'struct Peer' of the target peer
+ * @param size number of bytes available in buf
+ * @param buf where the callee should write the message
+ * @return number of bytes written to buf
  */
  */
-static unsigned int
-hello_advertising (void *cls,
-                  const struct GNUNET_PeerIdentity *
-                  receiver,
-                  void *position, 
-                  size_t padding)
+static size_t
+hello_advertising_ready (void *cls, size_t size, void *buf)
 {
 {
-  struct PeerList *pl;
-  struct HelloList *pos;
-  struct HelloList *prev;
-  struct HelloList *next;
-  uint16_t size;
+  struct Peer *pl = cls;
+  struct FindAdvHelloContext fah;
+  size_t want;
 
 
-#if DEBUG_TOPOLOGY
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Data solicited for `%s', considering sending `%s's",
-             GNUNET_i2s (receiver),
-             "HELLO");
-#endif         
-  pl = friends;
-  while (pl != NULL)
-    {
-      if (0 == memcmp (&pl->id, receiver, sizeof (struct GNUNET_PeerIdentity)))
-       break;
-      pl = pl->next;
-    }
-  if (pl == NULL)
-    {
-      GNUNET_break (0);
-      return 0;
-    }
+  pl->hello_req = NULL;
+  GNUNET_assert (GNUNET_YES == pl->is_connected);
   /* find applicable HELLOs */
   /* find applicable HELLOs */
-  prev = NULL;
-  next = hellos;
-  while (NULL != (pos = next))
-    {
-      next = pos->next;
-      if (GNUNET_NO ==
-         GNUNET_CONTAINER_bloomfilter_test (pos->filter,
-                                            &receiver->hashPubKey))
-       break;
-      if (0 == GNUNET_TIME_absolute_get_remaining (pos->expiration).value)
-       {
-         /* time to discard... */
-         if (prev != NULL)
-           prev->next = next;
-         else
-           hellos = next;
-         GNUNET_CONTAINER_bloomfilter_free (pos->filter);
-         GNUNET_free (pos);
-       }
-      else
-       {
-         prev = pos;
-       }
-    }
-  if (pos != NULL)
-    {
-      size = GNUNET_HELLO_size (pos->msg);
-      if (size < padding)
-       {
-         memcpy (position, pos->msg, size);
-         GNUNET_CONTAINER_bloomfilter_add (pos->filter,
-                                           &receiver->hashPubKey);
-       }
-      else
-       {
-         size = 0;
-       }
-#if DEBUG_TOPOLOGY
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                 "Sending %u bytes of  `%s's",
-                 (unsigned int) size,
-                 "HELLO");
-#endif         
-      return size;
-    }
-  if ( (GNUNET_NO == hello_gathering_active) &&
-       (GNUNET_TIME_absolute_get_duration (last_hello_gather_time).value >
-       MIN_HELLO_GATHER_DELAY.value) )
-    {
+  fah.peer = pl;
+  fah.result = NULL;
+  fah.max_size = size;
+  fah.next_adv = GNUNET_TIME_UNIT_FOREVER_REL;
+  GNUNET_CONTAINER_multihashmap_iterate (peers, &find_advertisable_hello, &fah);
+  want = 0;
+  if (fah.result != NULL)
+  {
+    want = GNUNET_HELLO_size (fah.result->hello);
+    GNUNET_assert (want <= size);
+    memcpy (buf, fah.result->hello, want);
+    GNUNET_CONTAINER_bloomfilter_add (fah.result->filter, &pl->pid.hashPubKey);
 #if DEBUG_TOPOLOGY
 #if DEBUG_TOPOLOGY
-      GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-                 "Have no `%s's, trying to get some from `%s' for next time",
-                 "HELLO",
-                 "PEERINFO");
-#endif         
-      hello_gathering_active = GNUNET_YES;
-      last_hello_gather_time = GNUNET_TIME_absolute_get();
-      GNUNET_PEERINFO_for_all (cfg,
-                              sched,
-                              NULL,
-                              0, GNUNET_TIME_UNIT_FOREVER_REL,
-                              &gather_hello_callback, NULL);
-    }
-  return 0;
+    GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Sending `%s' with %u bytes", "HELLO",
+                (unsigned int) want);
+#endif
+    GNUNET_STATISTICS_update (stats,
+                              gettext_noop ("# HELLO messages gossipped"), 1,
+                              GNUNET_NO);
+  }
+
+  if (pl->hello_delay_task != GNUNET_SCHEDULER_NO_TASK)
+    GNUNET_SCHEDULER_cancel (pl->hello_delay_task);
+  pl->next_hello_allowed =
+      GNUNET_TIME_relative_to_absolute (HELLO_ADVERTISEMENT_MIN_FREQUENCY);
+  pl->hello_delay_task = GNUNET_SCHEDULER_add_now (&schedule_next_hello, pl);
+  return want;
 }
 
 
 /**
  * Last task run during shutdown.  Disconnects us from
  * the transport and core.
 }
 
 
 /**
  * Last task run during shutdown.  Disconnects us from
  * the transport and core.
+ *
+ * @param cls unused, NULL
+ * @param tc scheduler context
  */
 static void
 cleaning_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
  */
 static void
 cleaning_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 {
-  struct PeerList *pl;
-
+  if (NULL != peerinfo_notify)
+  {
+    GNUNET_PEERINFO_notify_cancel (peerinfo_notify);
+    peerinfo_notify = NULL;
+  }
+  if (GNUNET_SCHEDULER_NO_TASK != add_task)
+  {
+    GNUNET_SCHEDULER_cancel (add_task);
+    add_task = GNUNET_SCHEDULER_NO_TASK;
+  }
   GNUNET_TRANSPORT_disconnect (transport);
   transport = NULL;
   GNUNET_TRANSPORT_disconnect (transport);
   transport = NULL;
+  GNUNET_CONTAINER_multihashmap_iterate (peers, &free_peer, NULL);
+  GNUNET_CONTAINER_multihashmap_destroy (peers);
   if (handle != NULL)
   if (handle != NULL)
-    {
-      GNUNET_CORE_disconnect (handle);
-      handle = NULL;
-    }
-  while (NULL != (pl = friends))
-    {
-      friends = pl->next;
-      GNUNET_free (pl);
-    }
+  {
+    GNUNET_CORE_disconnect (handle);
+    handle = NULL;
+  }
+  whitelist_peers ();
+  if (stats != NULL)
+  {
+    GNUNET_STATISTICS_destroy (stats, GNUNET_NO);
+    stats = NULL;
+  }
 }
 
 
 }
 
 
@@ -1154,94 +1260,69 @@ cleaning_task (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
  * Main function that will be run.
  *
  * @param cls closure
  * Main function that will be run.
  *
  * @param cls closure
- * @param s the scheduler to use
  * @param args remaining command-line arguments
  * @param cfgfile name of the configuration file used (for saving, can be NULL!)
  * @param c configuration
  */
 static void
  * @param args remaining command-line arguments
  * @param cfgfile name of the configuration file used (for saving, can be NULL!)
  * @param c configuration
  */
 static void
-run (void *cls,
-     struct GNUNET_SCHEDULER_Handle * s,
-     char *const *args,
-     const char *cfgfile,
-     const struct GNUNET_CONFIGURATION_Handle * c)
+run (void *cls, char *const *args, const char *cfgfile,
+     const struct GNUNET_CONFIGURATION_Handle *c)
 {
 {
-  struct GNUNET_CORE_MessageHandler handlers[] =
-    {
-      { &handle_encrypted_hello, GNUNET_MESSAGE_TYPE_HELLO, 0},
-      { NULL, 0, 0 }
-    };
+  static struct GNUNET_CORE_MessageHandler handlers[] = {
+    {&handle_encrypted_hello, GNUNET_MESSAGE_TYPE_HELLO, 0},
+    {NULL, 0, 0}
+  };
   unsigned long long opt;
 
   unsigned long long opt;
 
-  sched = s;
   cfg = c;
   cfg = c;
-  autoconnect = GNUNET_CONFIGURATION_get_value_yesno (cfg,
-                                                     "TOPOLOGY",
-                                                     "AUTOCONNECT");
-  friends_only = GNUNET_CONFIGURATION_get_value_yesno (cfg,
-                                                      "TOPOLOGY",
-                                                      "FRIENDS-ONLY");
+  stats = GNUNET_STATISTICS_create ("topology", cfg);
+  autoconnect =
+      GNUNET_CONFIGURATION_get_value_yesno (cfg, "TOPOLOGY", "AUTOCONNECT");
+  friends_only =
+      GNUNET_CONFIGURATION_get_value_yesno (cfg, "TOPOLOGY", "FRIENDS-ONLY");
   if (GNUNET_OK !=
   if (GNUNET_OK !=
-      GNUNET_CONFIGURATION_get_value_number (cfg,
-                                            "TOPOLOGY",
-                                            "MINIMUM-FRIENDS",
-                                            &opt))
+      GNUNET_CONFIGURATION_get_value_number (cfg, "TOPOLOGY", "MINIMUM-FRIENDS",
+                                             &opt))
     opt = 0;
   minimum_friend_count = (unsigned int) opt;
   if (GNUNET_OK !=
     opt = 0;
   minimum_friend_count = (unsigned int) opt;
   if (GNUNET_OK !=
-      GNUNET_CONFIGURATION_get_value_number (cfg,
-                                            "TOPOLOGY",
-                                            "TARGET-CONNECTION-COUNT",
-                                            &opt))
+      GNUNET_CONFIGURATION_get_value_number (cfg, "TOPOLOGY",
+                                             "TARGET-CONNECTION-COUNT", &opt))
     opt = 16;
   target_connection_count = (unsigned int) opt;
     opt = 16;
   target_connection_count = (unsigned int) opt;
+  peers = GNUNET_CONTAINER_multihashmap_create (target_connection_count * 2);
 
 
-  if ( (friends_only == GNUNET_YES) ||
-       (minimum_friend_count > 0) )
+  if ((friends_only == GNUNET_YES) || (minimum_friend_count > 0))
     read_friends_file (cfg);
 #if DEBUG_TOPOLOGY
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
     read_friends_file (cfg);
 #if DEBUG_TOPOLOGY
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
-             "Topology would like %u connections with at least %u friends (%s)\n",
-             target_connection_count,
-             minimum_friend_count,
-             autoconnect ? "autoconnect enabled" : "autoconnect disabled");
-#endif       
-  transport = GNUNET_TRANSPORT_connect (sched,
-                                       cfg,
-                                       NULL,
-                                       NULL,
-                                       NULL,
-                                       NULL);
-  handle = GNUNET_CORE_connect (sched,
-                               cfg,
-                               GNUNET_TIME_UNIT_FOREVER_REL,
-                               NULL,
-                               &core_init,
-                               &connect_notify,
-                               &disconnect_notify,
-                               &hello_advertising,
-                               NULL, GNUNET_NO,
-                               NULL, GNUNET_NO,
-                               handlers);
-  GNUNET_SCHEDULER_add_delayed (sched,
-                                GNUNET_TIME_UNIT_FOREVER_REL,
-                                &cleaning_task, NULL);
+              "Topology would like %u connections with at least %u friends (%s)\n",
+              target_connection_count, minimum_friend_count,
+              autoconnect ? "autoconnect enabled" : "autoconnect disabled");
+#endif
+  if ((friend_count < minimum_friend_count) && (blacklist == NULL))
+    blacklist = GNUNET_TRANSPORT_blacklist (cfg, &blacklist_check, NULL);
+  transport = GNUNET_TRANSPORT_connect (cfg, NULL, NULL, NULL, NULL, NULL);
+  handle =
+      GNUNET_CORE_connect (cfg, 1, NULL, &core_init, &connect_notify,
+                           &disconnect_notify, NULL, NULL, GNUNET_NO, NULL,
+                           GNUNET_NO, handlers);
+  GNUNET_SCHEDULER_add_delayed (GNUNET_TIME_UNIT_FOREVER_REL, &cleaning_task,
+                                NULL);
   if (NULL == transport)
   if (NULL == transport)
-    {
-      GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
-                 _("Failed to connect to `%s' service.\n"),
-                 "transport");
-      GNUNET_SCHEDULER_shutdown (sched);
-      return;
-    }
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _("Failed to connect to `%s' service.\n"), "transport");
+    GNUNET_SCHEDULER_shutdown ();
+    return;
+  }
   if (NULL == handle)
   if (NULL == handle)
-    {
-      GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
-                 _("Failed to connect to `%s' service.\n"),
-                 "core");
-      GNUNET_SCHEDULER_shutdown (sched);
-      return;
-    }
+  {
+    GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
+                _("Failed to connect to `%s' service.\n"), "core");
+    GNUNET_SCHEDULER_shutdown ();
+    return;
+  }
 }
 
 
 }
 
 
@@ -1255,15 +1336,17 @@ run (void *cls,
 int
 main (int argc, char *const *argv)
 {
 int
 main (int argc, char *const *argv)
 {
+  static const struct GNUNET_GETOPT_CommandLineOption options[] = {
+    GNUNET_GETOPT_OPTION_END
+  };
   int ret;
 
   int ret;
 
-  ret = (GNUNET_OK ==
-         GNUNET_PROGRAM_run (argc,
-                             argv,
-                             "topology",
-                            _("GNUnet topology control (maintaining P2P mesh and F2F constraints)"),
-                            options,
-                            &run, NULL)) ? 0 : 1;
+  ret =
+      (GNUNET_OK ==
+       GNUNET_PROGRAM_run (argc, argv, "gnunet-daemon-topology",
+                           _
+                           ("GNUnet topology control (maintaining P2P mesh and F2F constraints)"),
+                           options, &run, NULL)) ? 0 : 1;
   return ret;
 }
 
   return ret;
 }