only for ksk
[oweals/gnunet.git] / TODO
diff --git a/TODO b/TODO
index 5f031772ac6552f5d1811e620c80c9ce30442964..6b7dee43ed8c3e98c2d027a6520213e7467b6641 100644 (file)
--- a/TODO
+++ b/TODO
@@ -8,95 +8,55 @@ away), in order in which they will likely be done:
 * TRACEKIT
 * FRAGMENTATION [Ji Lu]
 * HTTP transport
-* MySQL / Postgres plugins (datastore, datacache) [Radhika]
+* MySQL / Postgres plugins (datastore, datacache)
 * UPNP [Milan]
-
-Urgent items (before announcing ng.gnunet.org):
-* CORE:
-  - test currently fails spectacularly
-  - request disconnect not implemented (needs better transport API)
-* topology
-  - (forced) disconnect does not work (also CORE API issue)
-  - needs testing (not sure the current testcase does much...)
-* hostlist
-  - test fails (looks like it works, but that's because of a bad
-    connectivity notification; somehow core is unable to send
-    messages successfully via transport)
-* FS (basic anonymous FS only)
-  - implement FS service (P2P operations)
-    + how to send queries (soliciting is not there in core; do we
-      also want to do pushing sometimes?)
-    + need to bound queueing of replies for other peers    
-  - test multi-peer search/download
-* new webpage
-  - run peer => have a 0.9.x hostlist
-  - improve basic documentation (configure, dependencies, what works, etc.)
-  - write minimal welcome/introduction to 0.9.x-development/webpage/status
-=> Deploy(able) development network
-
+* ARM [Safey]
+* FS [Christian]
 
 0.9.0pre0:
-* UTIL:
-  - load: need way to determine network load (up/down)
-  - trust: need *fast* way to check/update trust in peers
-           (async peerinfo would not be right)
-  - OS: existing waitpid call is not nice (not integratable with scheduler! fix this!)
-* STATISTICS:
-  - synchronous/asynchronous API (& implementation) is not nice
-  - does not seem to work with timeouts (especially if service is not running)
-* ARM:
-  - need to get rid of synchronous API for service starts (cause all kinds of problems)
-    [=> eliminate for need to tell ARM about service starts most of the time!]
-* HELLO:
-  - need function to test "equivalency" of HELLOs; use in topology!
 * CORE:
-  - outbound message monitoring not supported
-* Module features to implement:
+  - SET_KEY is triggered every 2.5 minutes (after session is up); should
+    just do PING (not SET_KEY + PING)
+  - "Forcing disconnect of XXX due to inactivity" -- can happen every few MS!?
+    (disconnect does not really succeed, or what?)
+    Also, core does not seem to actually decrement the number of active
+    sessions even if no connections exist for a while! (likely related...)
+  - transport reports bw quota violations on big-endian systems (core or
+    transport issue?)
+* FS:
+  - gnunet-publish cannot be aborted using CTRL-C
+  - on some systems, keyword search does not find locally published content
+    (need testcase of command-line tools!)
+  - 2-peer download is still too slow (why?)
   - advanced FS API parts
-    + namespaces: fundamental namespace API
-    + search: SBlocks, KSBlocks, probes, notify FS-service of known results
-    + collection
+    + search: SBlocks, NBlocks, probes, notify FS-service of known results
     + location URIs (publish, search, download)
-    + persistence support (publish, unindex, search, download)
     + indexing: index-failure-cleanup
-    + download: management/bounding of parallel downloads (for recursive dl.)
-    + datastore reservation (publishing)
     + gnunet-publish (URI args)
     + gnunet-download (directory)
     + gnunet-search (options, incl. namespace search)
     + gnunet-download (many options)
     + gnunet-directory (man page, options)
     + gnunet-pseudonym (all of it)
-    + gnunet-service-fs (remove failing on-demand blocks, many other nitpicks/features/optimizations)
-    + datastore: do active migration support here?
+    + gnunet-service-fs (remove failing on-demand blocks, hot-path routing, load-based routing, nitpicks)
   - implement adv. FS testcases 
     + getopt API
     + insert: sblocks, loc uris
     + download: loc uris
-    + search: sblocks, skblocks, loc uris
+    + search: sblocks, nblocks, loc uris
     + namespaces
-    + collection
-  - implement FS performance tests (needs TESTING)
-    + insert
-    + download
-    + search
-    + unindex
-  - non-anonymous FS service (needs DHT)
-    + basic DHT integration
-    + CS-DHT-functions (DHT-put of LOC)
-    + P2P-functions (DHT-get)
-  - setup (RC-pre0)
-    + default generation
-    + need to settle basic design; do we want to keep guile?
-  - testing (RC-pre0)
-    + modify configuration to allow controlling connections for non-local starts
-    + testbed creation with topology (needs working F2F topology) [Nate]
-    + testbed with churn [Nate]
-    + implement library for distributed testing [Nate]
-    + implement testcases for distributed testing [Nate]
-    + test basic peer re-configure [Nate]
-    + test topology creation [Nate]
-    + test churn generation [Nate]
+  - [./fs/gnunet-service-fs.c:208]: (style) struct or union member 'LocalGetContext::results_bf_size' is never used
+  - [./fs/gnunet-service-fs.c:501]: (style) struct or union member 'PendingRequest::used_pids_size' is never used
+  - [./fs/gnunet-service-fs.c:654]: (style) struct or union member 'ConnectedPeer::last_client_replies' is never used
+  - [./fs/gnunet-service-fs.c:669]: (style) struct or union member 'ConnectedPeer::avg_delay' is never used
+  - [./fs/gnunet-service-fs.c:675]: (style) struct or union member 'ConnectedPeer::avg_priority' is never used
+  - [./fs/gnunet-service-fs.c:688]: (style) struct or union member 'ConnectedPeer::pending_requests' is never used
+  - [./fs/gnunet-service-fs.c:694]: (style) struct or union member 'ConnectedPeer::last_p2p_replies_woff' is never used
+  - [./fs/gnunet-service-fs.c:700]: (style) struct or union member 'ConnectedPeer::last_client_replies_woff' is never used
+
+* WWW:
+  - Get IPv6 hooked up
+  - change DNS
 
 0.9.0pre1:
 * Module features to implement:
@@ -109,9 +69,62 @@ Urgent items (before announcing ng.gnunet.org):
     + implement DV transport plugin [Nate & CG]
     + implement testcases [Nate]
     + implement performance tests [Nate]
+* SETUP:
+  - design & implement new setup tool
 * GUIs to implement:
   - gtk (RC-pre1)
     + how to integrate scheduler with GTK event loop!
+* STATISTICS:
+  - does not seem to work with timeouts (especially if service is not running)
+* UTIL:
+  - trust: need *fast* way to check/update trust in peers
+           (async peerinfo would not be right)
+  - scheduler should change OS process priority based on task priority;   
+    should make better use of task priorities in general
+  - only connect() sockets that are ready (select()) [Nils]
+    [On W32, we need to select after calling socket before
+     doing connect etc.]
+* FS:
+  - datastore reservation (publishing)
+  - persistence support (publish, unindex, search, download)
+  - download: management/bounding of parallel downloads (for recursive dl.)
+  - non-anonymous FS service (needs DHT)
+    + basic DHT integration
+    + CS-DHT-functions (DHT-put of LOC)
+    + P2P-functions (DHT-get)
+  - active migration support (in fs or in datastore or new daemon?)
+  - GAP improvements:
+    + active reply route caching design & implementation of service; gap extension!
+* TOPOLOGY:
+  - needs more testing (especially F2F topology)
+  - needs to re-try connecting after disconnect (currently, it
+    initially triggers a connection request, but if that connection
+    fails / goes down, it does not retry in a timely fashion;
+    cause seems to be the 'blacklist_after_attempt' being set to 1h,
+    which is rather long -- and should probably be adjusted based on
+    the number of connections / known peers)
+  - If the topology daemon crashes, peers that were put on the
+    blacklist with transport will never be removed from it (until
+    transport service dies); we should use the blacklist notification
+    API to learn about the exact set of blacklisted peers at all times
+    (FIXME: the transport_api implementation of blacklisting
+     also does not work nicely for this since it won't let us know about
+     disconnect-reconnect events and the implicit whitelisting
+     that might happen here; that's not so bad since we will
+     re-blacklist on pre-connect attempts anyway, so this is 
+     a minor issue).
+  - the code uses the term 'blacklist' for both peers that are forbidden
+    to connect (i.e. F2F mode) as well as peers that we currently
+    won't try to actively connect to ourselves (since we just tried);
+    This is confusing.  We need two distinct terms.
+  - move code to use hash table instead of linked list
+  - instead of periodically discarding blacklisted entries,
+    simply add task that is triggered at the right time (earlier free,
+    more balanced load)
+  - check if new HELLO learned is different from old HELLO
+    before resetting entire state!
+* HELLO:
+  - need function to test "equivalency" of HELLOs (or integrate with "merge"?); use in PEERINFO
 
 0.9.0pre2:
 * Module features to implement:
@@ -129,12 +142,40 @@ Urgent items (before announcing ng.gnunet.org):
     + Fragmentation library 
     + actual plugin
   - HTTP backend (RC-pre2)
+* ARM:
+  - need to get rid of synchronous API for service starts (cause all kinds of problems)
+    [=> eliminate for need to tell ARM about service starts most of the time!] [Safey]
+  - better tracking of which config changes actually need to cause process restarts by ARM.
+  - listen for requests to discover dependencies between services (and avoid
+    having to explicitly program start requests)
+  - better crash management (attach debugging support, capture and analyze
+    debug output, detect random vs. deterministic crashes)
+  - shutdown sequence?
+* FS:
+  - collection API & tests
+  - implement FS performance tests
+    + insert
+    + download
+    + search
+    + unindex
+
 
 0.9.0pre3:
 * GUIs to implement:
   - qt (RC-pre3)
     + see discussions @ FISL about integration with event loop!
 * Determine RC bugs and fix those!
+* TESTING:
+  - modify configuration to allow controlling connections for non-local starts
+  - testbed creation with topology (needs working F2F topology) [Nate]
+  - testbed with churn [Nate]
+  - implement testcases for distributed testing [Nate]
+  - test basic peer re-configure [Nate]
+  - test topology creation [Nate]
+  - test churn generation [Nate]
+  - consider changing API for peer-group termination to 
+    call continuation when done
+
 
 0.9.0:
 * Documentation
@@ -162,13 +203,68 @@ Urgent items (before announcing ng.gnunet.org):
 
 
 0.9.x:
-* Plugins to implement:
+* TRANSPORT:
   - SMTP transport backend
   - HTTPS transport backend
     + improved HTTPS support in MHD
     + actual plugin
-* Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
-* Allow checking of presence of search results and/or content via command-line tools
-  (add options to gnunet-search / gnunet-download to limit search to local peer)
+  - Implement method of learning our external addresses from
+    other peers; need some kind of threshold-based
+    scheme, limiting both the total number of addresses that we accept 
+    this way as well as requiring multiple confirmations; also, we
+    should possibly try to confirm that the given address works for
+    us ourselves (loopback-style) before adding it to the list
+    + we may be able to simplify WELCOME messages (no need to add 
+      addresses there anymore, but may help to learn them there anyway...).
+    + we probably want some kind of voting/counting for learning IP addresses
+      (maybe including IP addresses in ads proportional to how often others
+       report them? we at least need some protection against >64k HELLOs!),
+    + provide a way to give the user a list of "learned" IP addresses and
+      a way to easily "veto" addresses off the list!
+      => If MiM attacker uses vetoed address, blacklist the specific IP for
+         the presumed neighbour!
+  - implement gnunet-transport (transport configurator / tester)
+  - UPnP-based IP detection
+    (Note: build library always, build service when libxml2/etc. are available)
+* FS:
+  - Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
+  - Allow checking of presence of search results and/or content via command-line tools
+    (add options to gnunet-search / gnunet-download to limit search to local peer)
+* PEERINFO:
+  - expire 'ancient' HELLOs (those without valid addresses AND that 
+    we have not 'used' (for their public keys) in a while; need a way
+    to track actual 'use')
+  - make sue we also trigger notifications whenever HELLOs expire
+
+
+
+Optimizations:
+* TCP:
+  - should use hash map to look up sessions
+* PEERINFO:
+  - api creates many, many short-lived TCP connections; either some
+    clients should use the API differently or we need to change the
+    API to enable re-use of connections to the service
 * STATISTICS:
   - should use BIO instead of mmap
+* TRANSPORT:
+  - need to periodically probe latency/transport cost changes & possibly switch transport
+  - instantly filter addresses from *other* peers that 
+    are *equal* to our own address + port (i.e., localhost:2086).  We 
+    no longer filter those for outgoing (helps with loopback testing
+    and keeps the code clean), but we should filter strictly *impossible*
+    incoming addresses!  This is for efficiency, not correctness.
+  - should use hash map to look up Neighbours
+* HOSTLIST:
+  - 'server' uses 'GNUNET_PEERINFO_iterate', should probably switch to notification API
+    (for more instant / up-to-date hostlists at lower cost) [OPTIMIZATION]
+
+Minor features:
+* TCP:
+  - repeatedly resolve hostname and look up interfaces to determine our own IP
+  - [./transport/plugin_transport_tcp.c:391]: (style) struct or union member 'Plugin::address_update_task' is never used (related to issue above)
+* TRANSPORT:
+  - [./transport/gnunet-service-transport.c:173]: (style) struct or union member 'TransportPlugin::rebuild' is never used (related to TCP not refreshing external addresses?)
+* DATACACHE:
+  - add stats (# bytes available, # bytes used, # PUTs, # GETs, # GETs satisfied)
+