reduce number of peers
[oweals/gnunet.git] / TODO
diff --git a/TODO b/TODO
index 7699174abbf90ceeae2b0e3e3dc543c1ce558d23..a4393324c747d020281d7fcd056364d5e1152e37 100644 (file)
--- a/TODO
+++ b/TODO
@@ -1,55 +1,10 @@
 0.9.0pre1:
-* PEERINFO:
-  - trust: need *fast* way to check/update trust in peers
-           (async peerinfo would not be right; certainly not with the current API)
-* STATISTICS:
-  - does not seem to work with timeouts (especially if service is not running)
-* UTIL:
-  - only connect() sockets that are ready (select()) [Nils]
-    [On W32, we need to select after calling socket before
-     doing connect etc.]
-* TOPOLOGY:
-  - needs more testing (especially F2F topology)
-  - needs to re-try connecting after disconnect (currently, it
-    initially triggers a connection request, but if that connection
-    fails / goes down, it does not retry in a timely fashion;
-    cause seems to be the 'blacklist_after_attempt' being set to 1h,
-    which is rather long -- and should probably be adjusted based on
-    the number of connections / known peers)
-  - If the topology daemon crashes, peers that were put on the
-    blacklist with transport will never be removed from it (until
-    transport service dies); we should use the blacklist notification
-    API to learn about the exact set of blacklisted peers at all times
-    (FIXME: the transport_api implementation of blacklisting
-     also does not work nicely for this since it won't let us know about
-     disconnect-reconnect events and the implicit whitelisting
-     that might happen here; that's not so bad since we will
-     re-blacklist on pre-connect attempts anyway, so this is 
-     a minor issue; OTOH, we might want to be more explicit about
-     allowing/forbidding connects on pre-connect to avoid 
-     entering connect attempts to just be blacklisted shortly afterwards).
-  - the code uses the term 'blacklist' for both peers that are forbidden
-    to connect (i.e. F2F mode) as well as peers that we currently
-    won't try to actively connect to ourselves (since we just tried);
-    This is confusing.  We need two distinct terms (greylist?).
-  - move code to use hash table instead of linked list
-  - instead of periodically discarding blacklisted entries,
-    simply add task that is triggered at the right time (earlier free,
-    more balanced load)
-  - check if new HELLO learned is different from old HELLO
-    before resetting entire state!
-* DATASTORE:
-  - API lacks cancellation methods (needed? or is disconnect enough?); 
-    may also want to integrate request queuing here instead of gnunet-service-fs_drq.c 
 * FS: [CG]
-  - support recursive download even if filename is NULL and we hence
-    do not generate files on disk (use temp_filename)
   - bound parallelism (# fs downloads)
   - distinguish in performance tracking and event signalling between
     downloads that are actually running and those that are merely in the queue
   - persistence support (publish, unindex, search, download)
-  - active migration support (in fs or in datastore or new daemon?)
-  - gnunet-service-fs (hot-path routing, load-based routing, nitpicks)
+  - gnunet-service-fs (hot-path routing, load-based routing, nitpicks)  
   - [gnunet-service-fs.c:208]: member 'LocalGetContext::results_bf_size' is never used
   - [gnunet-service-fs.c:501]: member 'PendingRequest::used_pids_size' is never used
   - [gnunet-service-fs.c:654]: member 'ConnectedPeer::last_client_replies' is never used
   - [gnunet-service-fs.c:700]: member 'ConnectedPeer::last_client_replies_woff' is never used
   - GAP improvements:
     + active reply route caching design & implementation of service; gap extension!
+* MIGRATION [CG]
+  - on-demand encoding => move logic to block-library!?
+  - peer selection => how to consider latency/bw/etc?
+  - content transmission => how often the same block?
+  - how to select delay before next migration? 
+  - migration to us
+  - testing
+  - integrate with FS or not? (peer list, index/on-demand encoding, block code,
+    inbound priority assignment; all would be easier with tight integration!)
 * TBENCH: [MW]
   - good to have for transport/DV evaluation! 
 * DV: [Nate]
   - implement DV library (looks done)
   - implement DV transport plugin
   - implement testcases 
-  - implement performance tests
+  - implement performance tests (needs tbench)
+* TOPOLOGY:
+  - needs more testing (especially F2F topology) & transport blacklisting
+* UTIL:
+  - only connect() sockets that are ready (select()) [Nils]
+    [On W32, we need to select after calling socket before doing connect etc.]
 * GNUNET-GTK:
   - use g_main_context_set_poll_func to integrate GTK with GNUnet Scheduler!? (YUCK!)
   - OR: add scheduler API to enable integration with GTK main loop instead of doing our own select
     + download
     + search
     + unindex
+* MIGRATION:
+  - improved content selection (not just 'get_random')
 
 0.9.0pre3:
 * Determine RC bugs and fix those!
 * MYSQL database backends: [CG]
   - datacache
   - datastore
+* FS:
+  - reconstruct IBLOCKS from DBLOCKS if possible (during download; see FIXME in fs_download)
+
 
 0.9.0:
 * new webpage:
 Optimizations:
 * TCP:
   - should use hash map to look up sessions
-* PEERINFO:
-  - api creates many, many short-lived TCP connections; either some
-    clients should use the API differently or we need to change the
-    API to enable re-use of connections to the service
 * STATISTICS:
   - should use BIO instead of mmap
 * TRANSPORT:
   - need to periodically probe latency/transport cost changes & possibly switch transport
-  - instantly filter addresses from *other* peers that 
-    are *equal* to our own address + port (i.e., localhost:2086).  We 
-    no longer filter those for outgoing (helps with loopback testing
-    and keeps the code clean), but we should filter strictly *impossible*
-    incoming addresses!  This is for efficiency, not correctness.
-  - should use hash map to look up Neighbours
+  - should use hash map to look up Neighbours (service AND plugins!)
 * HOSTLIST:
   - 'server' uses 'GNUNET_PEERINFO_iterate', should probably switch to notification API
-    (for more instant / up-to-date hostlists at lower cost) [OPTIMIZATION]
+    (for more instant / up-to-date hostlists at lower cost)
 * DATASTORE (?):
   - check for duplicates on insertion (currently, same content is frequently
     stored again [seen with KBLOCKS and SBLOCKS]!)
+* PEERINFO:
+  - merge multiple HELLOs of the same peer in the transmission queue
+    (theoretically reduces overhead; bounds message queue size)
+  - merge multiple iteration requests over "all" peers in the queue
+    (theoretically reduces overhead; bounds messgae queue size)
 
 Minor features:
 * TCP:
@@ -222,4 +192,5 @@ Minor features:
   - add stats (# bytes available, # bytes used, # PUTs, # GETs, # GETs satisfied)
 * FS:
   - support inline data in directories for recursive file downloads (fs_download)
-
+* BLOCKS:
+  - testcase would be nice...