-fixing #3034
[oweals/gnunet.git] / src / fs / gnunet-service-fs_cp.c
index 3de45ff4839179a2c556a078bf88c6051183ab74..f5b5213bc16ac899c7d19e1a490649202c4c2696 100644 (file)
@@ -25,7 +25,6 @@
  */
 #include "platform.h"
 #include "gnunet_load_lib.h"
-#include "gnunet_ats_service.h"
 #include "gnunet-service-fs.h"
 #include "gnunet-service-fs_cp.h"
 #include "gnunet-service-fs_pe.h"
  */
 #define REPLY_TIMEOUT GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MINUTES, 2)
 
+/**
+ * Collect an instane number of statistics?  May cause excessive IPC.
+ */
+#define INSANE_STATISTICS GNUNET_NO
+
 
 /**
  * Handle to cancel a transmission request.
@@ -310,10 +314,6 @@ static struct GNUNET_CONTAINER_MultiHashMap *cp_map;
  */
 static char *respectDirectory;
 
-/**
- * Handle to ATS service.
- */
-static struct GNUNET_ATS_PerformanceHandle *ats;
 
 /**
  * Get the filename under which we would store respect
@@ -335,39 +335,20 @@ get_respect_filename (const struct GNUNET_PeerIdentity *id)
 
 
 /**
- * Find latency information in 'atsi'.
- *
- * @param atsi performance data
- * @param atsi_count number of records in 'atsi'
- * @return connection latency
- */
-static struct GNUNET_TIME_Relative
-get_latency (const struct GNUNET_ATS_Information *atsi, unsigned int atsi_count)
-{
-  unsigned int i;
-
-  for (i = 0; i < atsi_count; i++)
-    if (ntohl (atsi->type) == GNUNET_ATS_QUALITY_NET_DELAY)
-      return GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MILLISECONDS,
-                                            ntohl (atsi->value));
-  return GNUNET_TIME_UNIT_SECONDS;
-}
-
-
-/**
- * Update the performance information kept for the given peer.
+ * Update the latency information kept for the given peer.
  *
- * @param cp peer record to update
- * @param atsi transport performance data
- * @param atsi_count number of records in 'atsi'
+ * @param id peer record to update
+ * @param latency current latency value
  */
-static void
-update_atsi (struct GSF_ConnectedPeer *cp,
-             const struct GNUNET_ATS_Information *atsi, unsigned int atsi_count)
+void
+GSF_update_peer_latency_ (const struct GNUNET_PeerIdentity *id,
+                         struct GNUNET_TIME_Relative latency)
 {
-  struct GNUNET_TIME_Relative latency;
+  struct GSF_ConnectedPeer *cp;
 
-  latency = get_latency (atsi, atsi_count);
+  cp = GSF_peer_get_ (id);
+  if (NULL == cp)
+    return; /* we're not yet connected at the core level, ignore */
   GNUNET_LOAD_value_set_decline (cp->ppd.transmission_delay, latency);
   /* LATER: merge atsi into cp's performance data (if we ever care...) */
 }
@@ -433,7 +414,7 @@ schedule_transmission (struct GSF_PeerTransmitHandle *pth)
 
   if (0 != cp->inc_preference)
   {
-    GNUNET_ATS_change_preference (ats, &target, GNUNET_ATS_PREFERENCE_BANDWIDTH,
+    GNUNET_ATS_performance_change_preference (GSF_ats, &target, GNUNET_ATS_PREFERENCE_BANDWIDTH,
                                   (double) cp->inc_preference,
                                   GNUNET_ATS_PREFERENCE_END);
     cp->inc_preference = 0;
@@ -448,7 +429,7 @@ schedule_transmission (struct GSF_PeerTransmitHandle *pth)
     /* reservation already done! */
     pth->was_reserved = GNUNET_YES;
     cp->rc =
-        GNUNET_ATS_reserve_bandwidth (ats, &target, DBLOCK_SIZE,
+        GNUNET_ATS_reserve_bandwidth (GSF_ats, &target, DBLOCK_SIZE,
                                       &ats_reserve_callback, cp);
     return;
   }
@@ -507,7 +488,7 @@ peer_transmit_ready_cb (void *cls, size_t size, void *buf)
   }
   GNUNET_LOAD_update (cp->ppd.transmission_delay,
                       GNUNET_TIME_absolute_get_duration
-                      (pth->transmission_request_start_time).rel_value);
+                      (pth->transmission_request_start_time).rel_value_us);
   ret = pth->gmc (pth->gmc_cls, size, buf);
   if (NULL != (pos = cp->pth_head))
   {
@@ -534,8 +515,8 @@ retry_reservation (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
   GNUNET_PEER_resolve (cp->ppd.pid, &target);
   cp->rc_delay_task = GNUNET_SCHEDULER_NO_TASK;
   cp->rc =
-      GNUNET_ATS_reserve_bandwidth (ats, &target, DBLOCK_SIZE,
-                                    &ats_reserve_callback, cp);
+    GNUNET_ATS_reserve_bandwidth (GSF_ats, &target, DBLOCK_SIZE,
+                                 &ats_reserve_callback, cp);
 }
 
 
@@ -589,14 +570,10 @@ ats_reserve_callback (void *cls, const struct GNUNET_PeerIdentity *peer,
  * records.
  *
  * @param peer identity of peer that connected
- * @param atsi performance data for the connection
- * @param atsi_count number of records in 'atsi'
  * @return handle to connected peer entry
  */
 struct GSF_ConnectedPeer *
-GSF_peer_connect_handler_ (const struct GNUNET_PeerIdentity *peer,
-                           const struct GNUNET_ATS_Information *atsi,
-                           unsigned int atsi_count)
+GSF_peer_connect_handler_ (const struct GNUNET_PeerIdentity *peer)
 {
   struct GSF_ConnectedPeer *cp;
   char *fn;
@@ -604,11 +581,11 @@ GSF_peer_connect_handler_ (const struct GNUNET_PeerIdentity *peer,
 
   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Connected to peer %s\n",
               GNUNET_i2s (peer));
-  cp = GNUNET_malloc (sizeof (struct GSF_ConnectedPeer));
+  cp = GNUNET_new (struct GSF_ConnectedPeer);
   cp->ppd.pid = GNUNET_PEER_intern (peer);
   cp->ppd.transmission_delay = GNUNET_LOAD_value_init (GNUNET_TIME_UNIT_ZERO);
   cp->rc =
-      GNUNET_ATS_reserve_bandwidth (ats, peer, DBLOCK_SIZE,
+      GNUNET_ATS_reserve_bandwidth (GSF_ats, peer, DBLOCK_SIZE,
                                     &ats_reserve_callback, cp);
   fn = get_respect_filename (peer);
   if ((GNUNET_YES == GNUNET_DISK_file_test (fn)) &&
@@ -617,13 +594,13 @@ GSF_peer_connect_handler_ (const struct GNUNET_PeerIdentity *peer,
   GNUNET_free (fn);
   cp->request_map = GNUNET_CONTAINER_multihashmap_create (128, GNUNET_NO);
   GNUNET_break (GNUNET_OK ==
-                GNUNET_CONTAINER_multihashmap_put (cp_map, &peer->hashPubKey,
+                GNUNET_CONTAINER_multihashmap_put (cp_map, 
+                                                  &GSF_connected_peer_get_identity2_ (cp)->hashPubKey,
                                                    cp,
                                                    GNUNET_CONTAINER_MULTIHASHMAPOPTION_UNIQUE_ONLY));
   GNUNET_STATISTICS_set (GSF_stats, gettext_noop ("# peers connected"),
                          GNUNET_CONTAINER_multihashmap_size (cp_map),
                          GNUNET_NO);
-  update_atsi (cp, atsi, atsi_count);
   GSF_push_start_ (cp);
   return cp;
 }
@@ -644,7 +621,7 @@ revive_migration (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 
   cp->mig_revive_task = GNUNET_SCHEDULER_NO_TASK;
   bt = GNUNET_TIME_absolute_get_remaining (cp->ppd.migration_blocked_until);
-  if (0 != bt.rel_value)
+  if (0 != bt.rel_value_us)
   {
     /* still time left... */
     cp->mig_revive_task =
@@ -677,17 +654,13 @@ GSF_peer_get_ (const struct GNUNET_PeerIdentity *peer)
  * @param other the other peer involved (sender or receiver, NULL
  *        for loopback messages where we are both sender and receiver)
  * @param message the actual message
- * @param atsi performance information
- * @param atsi_count number of records in 'atsi'
  * @return GNUNET_OK to keep the connection open,
  *         GNUNET_SYSERR to close it (signal serious error)
  */
 int
 GSF_handle_p2p_migration_stop_ (void *cls,
                                 const struct GNUNET_PeerIdentity *other,
-                                const struct GNUNET_MessageHeader *message,
-                                const struct GNUNET_ATS_Information *atsi,
-                                unsigned int atsi_count)
+                                const struct GNUNET_MessageHeader *message)
 {
   struct GSF_ConnectedPeer *cp;
   const struct MigrationStopMessage *msm;
@@ -715,7 +688,6 @@ GSF_handle_p2p_migration_stop_ (void *cls,
     cp->mig_revive_task =
         GNUNET_SCHEDULER_add_delayed (bt, &revive_migration, cp);
   }
-  update_atsi (cp, atsi, atsi_count);
   return GNUNET_OK;
 }
 
@@ -861,12 +833,13 @@ get_randomized_delay ()
       GNUNET_TIME_relative_multiply (GNUNET_TIME_UNIT_MILLISECONDS,
                                      GNUNET_CRYPTO_random_u32
                                      (GNUNET_CRYPTO_QUALITY_WEAK,
-                                      2 * GSF_avg_latency.rel_value + 1));
+                                      2 * GSF_avg_latency.rel_value_us + 1));
+#if INSANE_STATISTICS
   GNUNET_STATISTICS_update (GSF_stats,
                             gettext_noop
                             ("# artificial delays introduced (ms)"),
-                            ret.rel_value, GNUNET_NO);
-
+                            ret.rel_value_us / 1000LL, GNUNET_NO);
+#endif
   return ret;
 }
 
@@ -957,7 +930,7 @@ handle_p2p_reply (void *cls, enum GNUNET_BLOCK_EvaluationResult eval,
   {
     struct GSF_DelayedHandle *dh;
 
-    dh = GNUNET_malloc (sizeof (struct GSF_DelayedHandle));
+    dh = GNUNET_new (struct GSF_DelayedHandle);
     dh->cp = cp;
     dh->pm = pm;
     dh->msize = msize;
@@ -1042,10 +1015,12 @@ bound_priority (uint32_t prio_in, struct GSF_ConnectedPeer *cp)
   ld = GSF_test_get_load_too_high_ (0);
   if (GNUNET_SYSERR == ld)
   {
+#if INSANE_STATISTICS
     GNUNET_STATISTICS_update (GSF_stats,
                               gettext_noop
                               ("# requests done for free (low load)"), 1,
                               GNUNET_NO);
+#endif
     return 0;                   /* excess resources */
   }
   if (prio_in > INT32_MAX)
@@ -1133,7 +1108,6 @@ GSF_handle_p2p_query_ (const struct GNUNET_PeerIdentity *other,
   struct GSF_PendingRequestData *prd;
   struct GSF_ConnectedPeer *cp;
   struct GSF_ConnectedPeer *cps;
-  const struct GNUNET_HashCode *namespace;
   const struct GNUNET_PeerIdentity *target;
   enum GSF_PendingRequestOptions options;
   uint16_t msize;
@@ -1211,10 +1185,12 @@ GSF_handle_p2p_query_ (const struct GNUNET_PeerIdentity *other,
       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                   "Failed to find peer `%4s' in connection set. Dropping query.\n",
                   GNUNET_i2s (other));
+#if INSANE_STATISTICS
     GNUNET_STATISTICS_update (GSF_stats,
                               gettext_noop
                               ("# requests dropped due to missing reverse route"),
                               1, GNUNET_NO);
+#endif
     return NULL;
   }
   /* note that we can really only check load here since otherwise
@@ -1232,17 +1208,6 @@ GSF_handle_p2p_query_ (const struct GNUNET_PeerIdentity *other,
               "Received request for `%s' of type %u from peer `%4s' with flags %u\n",
               GNUNET_h2s (&gm->query), (unsigned int) type, GNUNET_i2s (other),
               (unsigned int) bm);
-  namespace = (0 != (bm & GET_MESSAGE_BIT_SKS_NAMESPACE)) ? &opt[bits++] : NULL;
-  if ((GNUNET_BLOCK_TYPE_FS_SBLOCK == type) && (NULL == namespace))
-  {
-    GNUNET_break_op (0);
-    return NULL;
-  }
-  if ((GNUNET_BLOCK_TYPE_FS_SBLOCK != type) && (NULL != namespace))
-  {
-    GNUNET_break_op (0);
-    return NULL;
-  }
   target =
       (0 !=
        (bm & GET_MESSAGE_BIT_TRANSMIT_TO)) ? ((const struct GNUNET_PeerIdentity
@@ -1251,7 +1216,7 @@ GSF_handle_p2p_query_ (const struct GNUNET_PeerIdentity *other,
   spid = 0;
   if ((GNUNET_LOAD_get_load (cp->ppd.transmission_delay) > 3 * (1 + priority))
       || (GNUNET_LOAD_get_average (cp->ppd.transmission_delay) >
-          GNUNET_CONSTANTS_MAX_CORK_DELAY.rel_value * 2 +
+          GNUNET_CONSTANTS_MAX_CORK_DELAY.rel_value_us * 2 +
           GNUNET_LOAD_get_average (GSF_rt_entry_lifetime)))
   {
     /* don't have BW to send to peer, or would likely take longer than we have for it,
@@ -1286,11 +1251,9 @@ GSF_handle_p2p_query_ (const struct GNUNET_PeerIdentity *other,
   {
     pr = peerreq->pr;
     prd = GSF_pending_request_get_data_ (pr);
-    if ((prd->type == type) &&
-        ((type != GNUNET_BLOCK_TYPE_FS_SBLOCK) ||
-         (0 == memcmp (&prd->namespace, namespace, sizeof (struct GNUNET_HashCode)))))
+    if (prd->type == type) 
     {
-      if (prd->ttl.abs_value >= GNUNET_TIME_absolute_get ().abs_value + ttl)
+      if (prd->ttl.abs_value_us >= GNUNET_TIME_absolute_get ().abs_value_us + ttl * 1000LL)
       {
         /* existing request has higher TTL, drop new one! */
         prd->priority += priority;
@@ -1310,9 +1273,9 @@ GSF_handle_p2p_query_ (const struct GNUNET_PeerIdentity *other,
     }
   }
 
-  peerreq = GNUNET_malloc (sizeof (struct PeerRequest));
+  peerreq = GNUNET_new (struct PeerRequest);
   peerreq->cp = cp;
-  pr = GSF_pending_request_create_ (options, type, &gm->query, namespace,
+  pr = GSF_pending_request_create_ (options, type, &gm->query, 
                                     target,
                                     (bfsize >
                                      0) ? (const char *) &opt[bits] : NULL,
@@ -1373,15 +1336,15 @@ peer_transmit_timeout (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 /**
  * Transmit a message to the given peer as soon as possible.
  * If the peer disconnects before the transmission can happen,
- * the callback is invoked with a 'NULL' buffer.
+ * the callback is invoked with a `NULL` @a buffer.
  *
  * @param cp target peer
- * @param is_query is this a query (GNUNET_YES) or content (GNUNET_NO) or neither (GNUNET_SYSERR)
+ * @param is_query is this a query (#GNUNET_YES) or content (#GNUNET_NO) or neither (#GNUNET_SYSERR)
  * @param priority how important is this request?
  * @param timeout when does this request timeout (call gmc with error)
  * @param size number of bytes we would like to send to the peer
  * @param gmc function to call to get the message
- * @param gmc_cls closure for gmc
+ * @param gmc_cls closure for @a gmc
  * @return handle to cancel request
  */
 struct GSF_PeerTransmitHandle *
@@ -1393,7 +1356,7 @@ GSF_peer_transmit_ (struct GSF_ConnectedPeer *cp, int is_query,
   struct GSF_PeerTransmitHandle *pos;
   struct GSF_PeerTransmitHandle *prev;
 
-  pth = GNUNET_malloc (sizeof (struct GSF_PeerTransmitHandle));
+  pth = GNUNET_new (struct GSF_PeerTransmitHandle);
   pth->transmission_request_start_time = GNUNET_TIME_absolute_get ();
   pth->timeout = GNUNET_TIME_relative_to_absolute (timeout);
   pth->gmc = gmc;
@@ -1462,9 +1425,9 @@ GSF_peer_update_performance_ (struct GSF_ConnectedPeer *cp,
   struct GNUNET_TIME_Relative delay;
 
   delay = GNUNET_TIME_absolute_get_duration (request_time);
-  cp->ppd.avg_reply_delay.rel_value =
-      (cp->ppd.avg_reply_delay.rel_value * (RUNAVG_DELAY_N - 1) +
-       delay.rel_value) / RUNAVG_DELAY_N;
+  cp->ppd.avg_reply_delay.rel_value_us =
+      (cp->ppd.avg_reply_delay.rel_value_us * (RUNAVG_DELAY_N - 1) +
+       delay.rel_value_us) / RUNAVG_DELAY_N;
   cp->ppd.avg_priority =
       (cp->ppd.avg_priority * (RUNAVG_DELAY_N - 1) +
        request_priority) / RUNAVG_DELAY_N;
@@ -1610,10 +1573,10 @@ struct IterationContext
 /**
  * Function that calls the callback for each peer.
  *
- * @param cls the 'struct IterationContext*'
+ * @param cls the `struct IterationContext *`
  * @param key identity of the peer
- * @param value the 'struct GSF_ConnectedPeer*'
- * @return GNUNET_YES to continue iteration
+ * @param value the `struct GSF_ConnectedPeer *`
+ * @return #GNUNET_YES to continue iteration
  */
 static int
 call_iterator (void *cls, const struct GNUNET_HashCode * key, void *value)
@@ -1630,7 +1593,7 @@ call_iterator (void *cls, const struct GNUNET_HashCode * key, void *value)
  * Iterate over all connected peers.
  *
  * @param it function to call for each peer
- * @param it_cls closure for it
+ * @param it_cls closure for @a it
  */
 void
 GSF_iterate_connected_peers_ (GSF_ConnectedPeerIterator it, void *it_cls)
@@ -1646,7 +1609,7 @@ GSF_iterate_connected_peers_ (GSF_ConnectedPeerIterator it, void *it_cls)
 /**
  * Obtain the identity of a connected peer.
  *
- * @param cp peer to reserve bandwidth from
+ * @param cp peer to get identity of
  * @param id identity to set (written to)
  */
 void
@@ -1658,6 +1621,20 @@ GSF_connected_peer_get_identity_ (const struct GSF_ConnectedPeer *cp,
 }
 
 
+/**
+ * Obtain the identity of a connected peer.
+ *
+ * @param cp peer to get identity of
+ * @return reference to peer identity, valid until peer disconnects (!)
+ */
+const struct GNUNET_PeerIdentity *
+GSF_connected_peer_get_identity2_ (const struct GSF_ConnectedPeer *cp)
+{
+  GNUNET_assert (0 != cp->ppd.pid);
+  return GNUNET_PEER_resolve2 (cp->ppd.pid);
+}
+
+
 /**
  * Assemble a migration stop message for transmission.
  *
@@ -1701,7 +1678,7 @@ void
 GSF_block_peer_migration_ (struct GSF_ConnectedPeer *cp,
                            struct GNUNET_TIME_Absolute block_time)
 {
-  if (cp->last_migration_block.abs_value > block_time.abs_value)
+  if (cp->last_migration_block.abs_value_us > block_time.abs_value_us)
   {
     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
                 "Migration already blocked for another %s\n",
@@ -1709,8 +1686,9 @@ GSF_block_peer_migration_ (struct GSF_ConnectedPeer *cp,
                                                        (cp->last_migration_block), GNUNET_YES));
     return;                     /* already blocked */
   }
-  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Asking to stop migration for %llu ms\n",
-              (unsigned long long) GNUNET_TIME_absolute_get_remaining (block_time).rel_value);
+  GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Asking to stop migration for %s\n",
+              GNUNET_STRINGS_relative_time_to_string (GNUNET_TIME_absolute_get_remaining (block_time),
+                                                     GNUNET_YES));
   cp->last_migration_block = block_time;
   if (NULL != cp->migration_pth)
     GSF_peer_transmit_cancel_ (cp->migration_pth);
@@ -1811,13 +1789,12 @@ cron_flush_respect (void *cls, const struct GNUNET_SCHEDULER_TaskContext *tc)
 void
 GSF_connected_peer_init_ ()
 {
-  cp_map = GNUNET_CONTAINER_multihashmap_create (128, GNUNET_NO);
-  ats = GNUNET_ATS_performance_init (GSF_cfg, NULL, NULL);
+  cp_map = GNUNET_CONTAINER_multihashmap_create (128, GNUNET_YES);
   GNUNET_assert (GNUNET_OK ==
                  GNUNET_CONFIGURATION_get_value_filename (GSF_cfg, "fs",
                                                           "RESPECT",
                                                           &respectDirectory));
-  GNUNET_DISK_directory_create (respectDirectory);
+  GNUNET_break (GNUNET_OK == GNUNET_DISK_directory_create (respectDirectory));
   GNUNET_SCHEDULER_add_with_priority (GNUNET_SCHEDULER_PRIORITY_HIGH,
                                       &cron_flush_respect, NULL);
 }
@@ -1829,7 +1806,7 @@ GSF_connected_peer_init_ ()
  * @param cls closure, unused
  * @param key current key code
  * @param value value in the hash map (peer entry)
- * @return GNUNET_YES (we should continue to iterate)
+ * @return #GNUNET_YES (we should continue to iterate)
  */
 static int
 clean_peer (void *cls, const struct GNUNET_HashCode * key, void *value)
@@ -1851,8 +1828,6 @@ GSF_connected_peer_done_ ()
   cp_map = NULL;
   GNUNET_free (respectDirectory);
   respectDirectory = NULL;
-  GNUNET_ATS_performance_done (ats);
-  ats = NULL;
 }
 
 
@@ -1862,7 +1837,7 @@ GSF_connected_peer_done_ ()
  * @param cls the 'struct GSF_LocalClient*' to look for
  * @param key current key code
  * @param value value in the hash map (peer entry)
- * @return GNUNET_YES (we should continue to iterate)
+ * @return #GNUNET_YES (we should continue to iterate)
  */
 static int
 clean_local_client (void *cls, const struct GNUNET_HashCode * key, void *value)