fix for 32-bit size_t negation
[oweals/gnunet.git] / TODO
diff --git a/TODO b/TODO
index 992f61f8070563cd1cfa7feb0e574371776b548a..a0a86789c05820be2d8c3c21b08d5c050cd3cb25 100644 (file)
--- a/TODO
+++ b/TODO
@@ -8,80 +8,52 @@ away), in order in which they will likely be done:
 * TRACEKIT
 * FRAGMENTATION [Ji Lu]
 * HTTP transport
-* MySQL / Postgres plugins (datastore, datacache) [Radhika]
+* MySQL / Postgres plugins (datastore, datacache)
 * UPNP [Milan]
+* ARM [Safey]
+* FS [Christian]
 
-Urgent items (before announcing ng.gnunet.org):
-* UTIL:
-  - provide higher-level convenience API for servers/services that
-    need to send a stream of notifications to clients; instead
-    of having each service queue messages and "send when ready", 
-    simply have a way to add a client to the notification set
-    and to 'notify client' or 'notify all clients'
-    (useful for peerinfo (new hellos), transport (our hello; blacklist), 
-     core (misc monitoring features), statistics (change notifications)
-     and likely others)
-  - server/service API change for ARM inetd'ing
-    (listen as well as support for start with multiple, already
-     bound & listening sockets!)
+0.9.0pre0:
 * TRANSPORT:
-  - main service not implemented [Nate]
-  - blacklist not implemented [Christian]
-  - testcases crash & burn (no surprise)
+  - TCP not used bi-directionally (especially important also for PONG!)
+    Need a way for plugin to tell to service that it can *reliably* transmit
+    PONGs.  Need *good* way to ensure only one (plugin) session is active at 
+    any given point in time; need systematic way to periodically probe latency/
+    transport cost changes
+  - disconnect notifications from TCP not always as nice as we might want
+    them to be (but how can we do this cleanly given that UDP is connectionless?)
+  - implement transport API to pretty-print transport address 
+    + resolve cyclic dependency (gnunet-peerinfo -> transport_api -> peerinfo!)
+    + gnunet-transport-service crashes when asked to resolve address (!)
+    + asynchronous transport lookup and non-CPS iterator in peerinfo require
+      some work to ensure printing in the proper order...
+  - instantly filter addresses from *other* peers that 
+    are *equal* to our own address + port (i.e., localhost:2086).  We 
+    no longer filter those for outgoing (helps with loopback testing
+    and keeps the code clean), but we should filter strictly *impossible*
+    incoming addresses!  This is for efficiency, not correctness.
+  - [./transport/gnunet-service-transport.c:173]: (style) struct or union member 'TransportPlugin::rebuild' is never used
+  - [./transport/plugin_transport_tcp.c:391]: (style) struct or union member 'Plugin::address_update_task' is never used
 * CORE:
-  - request disconnect not implemented [Christian]
-  - various notification options not implemented [Christian]
-  - test currently fails spectacularly [segv of transport service]
-    => need transport to work first!
-  - request connect not working [Christian, need transport first]
-* PEERINFO:
-  - make sue we also trigger notifications whenever HELLOs expire
-* TOPOLOGY:
-  - needs testing [need transport first]
-* TESTING:
-  - check that 'GNUNET_TRANSPORT_get_hello' is associated with
-    a cancel request wherever appropriate (other testcases
-    in particular!) [Christian]
-* HOSTLIST:
-  - test fails (looks like it works, but that's because of a bad
-    connectivity notification; somehow core is unable to send
-    messages successfully via transport) [need transport first]
-* FS (basic anonymous FS only)
-  - implement FS service (P2P operations)
-    + how to send queries (soliciting is not there in core; do we
-      also want to do pushing sometimes?)
-    + need to bound queueing of replies for other peers    
-  - test multi-peer search/download
-* new webpage
-  - run peer => have a 0.9.x hostlist
-  - improve basic documentation (configure, dependencies, what works, etc.)
-  - write minimal welcome/introduction to 0.9.x-development/webpage/status
-=> Deploy(able) development network
-
-
-0.9.0pre0:
-* UTIL:
-  - load: need way to determine network load (up/down)
-  - trust: need *fast* way to check/update trust in peers
-           (async peerinfo would not be right)
-  - OS: existing waitpid call is not nice (not integratable with scheduler! fix this!)
-* STATISTICS:
-  - synchronous/asynchronous API (& implementation) is not nice
-  - does not seem to work with timeouts (especially if service is not running)
-* ARM:
-  - need to get rid of synchronous API for service starts (cause all kinds of problems)
-    [=> eliminate for need to tell ARM about service starts most of the time!]
+  - SET_KEY is triggered every 2.5 minutes (after session is up); should
+    just do PING (not SET_KEY + PING)
+  - "Forcing disconnect of XXX due to inactivity" -- can happen every few MS!?
+    (disconnect does not really succeed, or what?)
 * HELLO:
   - need function to test "equivalency" of HELLOs; use in topology!
-* CORE:
-  - outbound message monitoring not supported
-* Module features to implement:
+* FS:
+  - GAP improvements:
+    + active reply route caching design & implementation of service,
+      gap extension!
+  - gnunet-publish cannot be aborted using CTRL-C
+  - on some systems, keyword search does not find locally published content
+    (need testcase of command-line tools!)
+  - 2-peer download is still too slow (why?)
   - advanced FS API parts
     + namespaces: fundamental namespace API
     + search: SBlocks, KSBlocks, probes, notify FS-service of known results
     + collection
     + location URIs (publish, search, download)
-    + persistence support (publish, unindex, search, download)
     + indexing: index-failure-cleanup
     + download: management/bounding of parallel downloads (for recursive dl.)
     + datastore reservation (publishing)
@@ -91,8 +63,7 @@ Urgent items (before announcing ng.gnunet.org):
     + gnunet-download (many options)
     + gnunet-directory (man page, options)
     + gnunet-pseudonym (all of it)
-    + gnunet-service-fs (remove failing on-demand blocks, many other nitpicks/features/optimizations)
-    + datastore: do active migration support here?
+    + gnunet-service-fs (remove failing on-demand blocks, hot-path routing, load-based routing, nitpicks)
   - implement adv. FS testcases 
     + getopt API
     + insert: sblocks, loc uris
@@ -100,27 +71,23 @@ Urgent items (before announcing ng.gnunet.org):
     + search: sblocks, skblocks, loc uris
     + namespaces
     + collection
-  - implement FS performance tests (needs TESTING)
+  - implement FS performance tests
     + insert
     + download
     + search
     + unindex
-  - non-anonymous FS service (needs DHT)
-    + basic DHT integration
-    + CS-DHT-functions (DHT-put of LOC)
-    + P2P-functions (DHT-get)
-  - setup (RC-pre0)
-    + default generation
-    + need to settle basic design; do we want to keep guile?
-  - testing (RC-pre0)
-    + modify configuration to allow controlling connections for non-local starts
-    + testbed creation with topology (needs working F2F topology) [Nate]
-    + testbed with churn [Nate]
-    + implement library for distributed testing [Nate]
-    + implement testcases for distributed testing [Nate]
-    + test basic peer re-configure [Nate]
-    + test topology creation [Nate]
-    + test churn generation [Nate]
+  - [./fs/gnunet-service-fs.c:208]: (style) struct or union member 'LocalGetContext::results_bf_size' is never used
+  - [./fs/gnunet-service-fs.c:501]: (style) struct or union member 'PendingRequest::used_pids_size' is never used
+  - [./fs/gnunet-service-fs.c:654]: (style) struct or union member 'ConnectedPeer::last_client_replies' is never used
+  - [./fs/gnunet-service-fs.c:669]: (style) struct or union member 'ConnectedPeer::avg_delay' is never used
+  - [./fs/gnunet-service-fs.c:675]: (style) struct or union member 'ConnectedPeer::avg_priority' is never used
+  - [./fs/gnunet-service-fs.c:688]: (style) struct or union member 'ConnectedPeer::pending_requests' is never used
+  - [./fs/gnunet-service-fs.c:694]: (style) struct or union member 'ConnectedPeer::last_p2p_replies_woff' is never used
+  - [./fs/gnunet-service-fs.c:700]: (style) struct or union member 'ConnectedPeer::last_client_replies_woff' is never used
+
+* WWW:
+  - Get IPv6 hooked up
+  - change DNS
 
 0.9.0pre1:
 * Module features to implement:
@@ -133,9 +100,61 @@ Urgent items (before announcing ng.gnunet.org):
     + implement DV transport plugin [Nate & CG]
     + implement testcases [Nate]
     + implement performance tests [Nate]
+* SETUP:
+  - design & implement new setup tool
 * GUIs to implement:
   - gtk (RC-pre1)
     + how to integrate scheduler with GTK event loop!
+* HOSTLIST:
+  - 'server' uses 'GNUNET_PEERINFO_iterate', should probably switch to notification API
+    (for more instant / up-to-date hostlists at lower cost) [OPTIMIZATION]
+* STATISTICS:
+  - does not seem to work with timeouts (especially if service is not running)
+* UTIL:
+  - trust: need *fast* way to check/update trust in peers
+           (async peerinfo would not be right)
+  - scheduler should change OS process priority based on task priority;   
+    should make better use of task priorities in general
+  - only connect() sockets that are ready (select()) [Nils]
+    [On W32, we need to select after calling socket before
+     doing connect etc.]
+* DATACACHE:
+  - add stats (# bytes available, # bytes used, # PUTs, # GETs, # GETs satisfied)
+* FS:
+  - persistence support (publish, unindex, search, download)
+  - non-anonymous FS service (needs DHT)
+    + basic DHT integration
+    + CS-DHT-functions (DHT-put of LOC)
+    + P2P-functions (DHT-get)
+  - active migration support (in fs or in datastore?)
+* TOPOLOGY:
+  - needs more testing (especially F2F topology)
+  - needs to re-try connecting after disconnect (currently, it
+    initially triggers a connection request, but if that connection
+    fails / goes down, it does not retry in a timely fashion;
+    cause seems to be the 'blacklist_after_attempt' being set to 1h,
+    which is rather long -- and should probably be adjusted based on
+    the number of connections / known peers)
+  - If the topology daemon crashes, peers that were put on the
+    blacklist with transport will never be removed from it (until
+    transport service dies); we should use the blacklist notification
+    API to learn about the exact set of blacklisted peers at all times
+    (FIXME: the transport_api implementation of blacklisting
+     also does not work nicely for this since it won't let us know about
+     disconnect-reconnect events and the implicit whitelisting
+     that might happen here; that's not so bad since we will
+     re-blacklist on pre-connect attempts anyway, so this is 
+     a minor issue).
+  - the code uses the term 'blacklist' for both peers that are forbidden
+    to connect (i.e. F2F mode) as well as peers that we currently
+    won't try to actively connect to ourselves (since we just tried);
+    This is confusing.  We need two distinct terms.
+  - move code to use hash table instead of linked list
+  - instead of periodically discarding blacklisted entries,
+    simply add task that is triggered at the right time (earlier free,
+    more balanced load)
+  - check if new HELLO learned is different from old HELLO
+    before resetting entire state!
 
 0.9.0pre2:
 * Module features to implement:
@@ -153,12 +172,33 @@ Urgent items (before announcing ng.gnunet.org):
     + Fragmentation library 
     + actual plugin
   - HTTP backend (RC-pre2)
+* ARM:
+  - need to get rid of synchronous API for service starts (cause all kinds of problems)
+    [=> eliminate for need to tell ARM about service starts most of the time!] [Safey]
+  - better tracking of which config changes actually need to cause process restarts by ARM.
+  - listen for requests to discover dependencies between services (and avoid
+    having to explicitly program start requests)
+  - better crash management (attach debugging support, capture and analyze
+    debug output, detect random vs. deterministic crashes)
+  - shutdown sequence?
+
 
 0.9.0pre3:
 * GUIs to implement:
   - qt (RC-pre3)
     + see discussions @ FISL about integration with event loop!
 * Determine RC bugs and fix those!
+* TESTING:
+  - modify configuration to allow controlling connections for non-local starts
+  - testbed creation with topology (needs working F2F topology) [Nate]
+  - testbed with churn [Nate]
+  - implement testcases for distributed testing [Nate]
+  - test basic peer re-configure [Nate]
+  - test topology creation [Nate]
+  - test churn generation [Nate]
+  - consider changing API for peer-group termination to 
+    call continuation when done
+
 
 0.9.0:
 * Documentation
@@ -186,13 +226,37 @@ Urgent items (before announcing ng.gnunet.org):
 
 
 0.9.x:
-* Plugins to implement:
+* TRANSPORT:
   - SMTP transport backend
   - HTTPS transport backend
     + improved HTTPS support in MHD
     + actual plugin
-* Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
-* Allow checking of presence of search results and/or content via command-line tools
-  (add options to gnunet-search / gnunet-download to limit search to local peer)
+  - Implement method of learning our external addresses from
+    other peers; need some kind of threshold-based
+    scheme, limiting both the total number of addresses that we accept 
+    this way as well as requiring multiple confirmations; also, we
+    should possibly try to confirm that the given address works for
+    us ourselves (loopback-style) before adding it to the list
+    + we may be able to simplify WELCOME messages (no need to add 
+      addresses there anymore, but may help to learn them there anyway...).
+    + we probably want some kind of voting/counting for learning IP addresses
+      (maybe including IP addresses in ads proportional to how often others
+       report them? we at least need some protection against >64k HELLOs!),
+    + provide a way to give the user a list of "learned" IP addresses and
+      a way to easily "veto" addresses off the list!
+      => If MiM attacker uses vetoed address, blacklist the specific IP for
+         the presumed neighbour!
+  - implement gnunet-transport (transport configurator / tester)
+  - UPnP-based IP detection
+    (Note: build library always, build service when libxml2/etc. are available)
+* FS:
+  - Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
+  - Allow checking of presence of search results and/or content via command-line tools
+    (add options to gnunet-search / gnunet-download to limit search to local peer)
 * STATISTICS:
   - should use BIO instead of mmap
+* PEERINFO:
+  - expire 'ancient' HELLOs (those without valid addresses AND that 
+    we have not 'used' (for their public keys) in a while; need a way
+    to track actual 'use')
+  - make sue we also trigger notifications whenever HELLOs expire