verb
[oweals/gnunet.git] / TODO
diff --git a/TODO b/TODO
index 6b7dee43ed8c3e98c2d027a6520213e7467b6641..dba536657838a7cbfa51a1c354e697e8ef3e0aa7 100644 (file)
--- a/TODO
+++ b/TODO
-Implementable right now (but not necessarily important), with caveats
-(unavailable components that will limit what can be implemented right
-away), in order in which they will likely be done:
-* TESTING-TESTBED [Nate]
-* SETUP
-* DV [Nate]
-* TBENCH
-* TRACEKIT
-* FRAGMENTATION [Ji Lu]
-* HTTP transport
-* MySQL / Postgres plugins (datastore, datacache)
-* UPNP [Milan]
-* ARM [Safey]
-* FS [Christian]
-
-0.9.0pre0:
-* CORE:
-  - SET_KEY is triggered every 2.5 minutes (after session is up); should
-    just do PING (not SET_KEY + PING)
+0.9.0pre0 [April]:
+* CORE: [CG]
   - "Forcing disconnect of XXX due to inactivity" -- can happen every few MS!?
     (disconnect does not really succeed, or what?)
     Also, core does not seem to actually decrement the number of active
     sessions even if no connections exist for a while! (likely related...)
-  - transport reports bw quota violations on big-endian systems (core or
-    transport issue?)
-* FS:
-  - gnunet-publish cannot be aborted using CTRL-C
-  - on some systems, keyword search does not find locally published content
-    (need testcase of command-line tools!)
-  - 2-peer download is still too slow (why?)
-  - advanced FS API parts
-    + search: SBlocks, NBlocks, probes, notify FS-service of known results
-    + location URIs (publish, search, download)
-    + indexing: index-failure-cleanup
-    + gnunet-publish (URI args)
-    + gnunet-download (directory)
-    + gnunet-search (options, incl. namespace search)
-    + gnunet-download (many options)
-    + gnunet-directory (man page, options)
-    + gnunet-pseudonym (all of it)
-    + gnunet-service-fs (remove failing on-demand blocks, hot-path routing, load-based routing, nitpicks)
-  - implement adv. FS testcases 
-    + getopt API
-    + insert: sblocks, loc uris
-    + download: loc uris
-    + search: sblocks, nblocks, loc uris
-    + namespaces
-  - [./fs/gnunet-service-fs.c:208]: (style) struct or union member 'LocalGetContext::results_bf_size' is never used
-  - [./fs/gnunet-service-fs.c:501]: (style) struct or union member 'PendingRequest::used_pids_size' is never used
-  - [./fs/gnunet-service-fs.c:654]: (style) struct or union member 'ConnectedPeer::last_client_replies' is never used
-  - [./fs/gnunet-service-fs.c:669]: (style) struct or union member 'ConnectedPeer::avg_delay' is never used
-  - [./fs/gnunet-service-fs.c:675]: (style) struct or union member 'ConnectedPeer::avg_priority' is never used
-  - [./fs/gnunet-service-fs.c:688]: (style) struct or union member 'ConnectedPeer::pending_requests' is never used
-  - [./fs/gnunet-service-fs.c:694]: (style) struct or union member 'ConnectedPeer::last_p2p_replies_woff' is never used
-  - [./fs/gnunet-service-fs.c:700]: (style) struct or union member 'ConnectedPeer::last_client_replies_woff' is never used
-
+  - transport reports bw quota violations on slow systems (core or
+    transport issue? tracking issue or actual violation?)
+* FS: [CG]
+  - Need more work on testcase of command-line tools!
+  - 2-peer download is still too slow (why? testcases fail on slow systems!)
 * WWW:
-  - Get IPv6 hooked up
-  - change DNS
+  - Get IPv6 hooked up [AK, after April 12th]
+  - change DNS [CG, need DNS]
 
 0.9.0pre1:
-* Module features to implement:
-  - tbench (RC-pre1)
-    + good to have for DV evaluation!
-  - DV (RC-pre1)
-    + write DV API 
-    + implement DV service [Nate & CG]
-    + implement DV library [Nate]
-    + implement DV transport plugin [Nate & CG]
-    + implement testcases [Nate]
-    + implement performance tests [Nate]
-* SETUP:
-  - design & implement new setup tool
-* GUIs to implement:
-  - gtk (RC-pre1)
-    + how to integrate scheduler with GTK event loop!
-* STATISTICS:
-  - does not seem to work with timeouts (especially if service is not running)
-* UTIL:
+* PEERINFO:
   - trust: need *fast* way to check/update trust in peers
-           (async peerinfo would not be right)
+           (async peerinfo would not be right; certainly not with the
+            current API)
+* UTIL:
   - scheduler should change OS process priority based on task priority;   
     should make better use of task priorities in general
   - only connect() sockets that are ready (select()) [Nils]
     [On W32, we need to select after calling socket before
      doing connect etc.]
-* FS:
-  - datastore reservation (publishing)
-  - persistence support (publish, unindex, search, download)
-  - download: management/bounding of parallel downloads (for recursive dl.)
-  - non-anonymous FS service (needs DHT)
-    + basic DHT integration
-    + CS-DHT-functions (DHT-put of LOC)
-    + P2P-functions (DHT-get)
-  - active migration support (in fs or in datastore or new daemon?)
-  - GAP improvements:
-    + active reply route caching design & implementation of service; gap extension!
+* HELLO: [CG]
+  - need function to test "equivalency" of HELLOs (or integrate with "merge"?); use in PEERINFO
+* SETUP:
+  - design & implement new setup tool
+* TBENCH: [MW]
+  - good to have for transport/DV evaluation! 
+* DV: [Nate]
+  - write DV API (need to move declarations from dv_api.c to gnunet_dv_service.h!)
+  - implement DV service 
+  - implement DV library (looks done)
+  - implement DV transport plugin
+  - implement testcases 
+  - implement performance tests
+* STATISTICS:
+  - does not seem to work with timeouts (especially if service is not running)
 * TOPOLOGY:
   - needs more testing (especially F2F topology)
   - needs to re-try connecting after disconnect (currently, it
@@ -112,37 +56,55 @@ away), in order in which they will likely be done:
      disconnect-reconnect events and the implicit whitelisting
      that might happen here; that's not so bad since we will
      re-blacklist on pre-connect attempts anyway, so this is 
-     a minor issue).
+     a minor issue; OTOH, we might want to be more explicit about
+     allowing/forbidding connects on pre-connect to avoid 
+     entering connect attempts to just be blacklisted shortly afterwards).
   - the code uses the term 'blacklist' for both peers that are forbidden
     to connect (i.e. F2F mode) as well as peers that we currently
     won't try to actively connect to ourselves (since we just tried);
-    This is confusing.  We need two distinct terms.
+    This is confusing.  We need two distinct terms (greylist?).
   - move code to use hash table instead of linked list
   - instead of periodically discarding blacklisted entries,
     simply add task that is triggered at the right time (earlier free,
     more balanced load)
   - check if new HELLO learned is different from old HELLO
     before resetting entire state!
-* HELLO:
-  - need function to test "equivalency" of HELLOs (or integrate with "merge"?); use in PEERINFO
+* FS: [CG]
+  - support recursive download even if filename is NULL and we hence
+    do not generate files on disk (use temp_filename)
+  - bound parallelism (# fs downloads)
+  - distinguish in performance tracking and event signalling between
+    downloads that are actually running and those that are merely in the queue
+  - persistence support (publish, unindex, search, download)
+  - active migration support (in fs or in datastore or new daemon?)
+  - gnunet-service-fs (hot-path routing, load-based routing, nitpicks)
+  - [gnunet-service-fs.c:208]: member 'LocalGetContext::results_bf_size' is never used
+  - [gnunet-service-fs.c:501]: member 'PendingRequest::used_pids_size' is never used
+  - [gnunet-service-fs.c:654]: member 'ConnectedPeer::last_client_replies' is never used
+  - [gnunet-service-fs.c:669]: member 'ConnectedPeer::avg_delay' is never used
+  - [gnunet-service-fs.c:675]: member 'ConnectedPeer::avg_priority' is never used
+  - [gnunet-service-fs.c:688]: member 'ConnectedPeer::pending_requests' is never used
+  - [gnunet-service-fs.c:694]: member 'ConnectedPeer::last_p2p_replies_woff' is never used
+  - [gnunet-service-fs.c:700]: member 'ConnectedPeer::last_client_replies_woff' is never used
+  - GAP improvements:
+    + active reply route caching design & implementation of service; gap extension!
+* DATASTORE:
+  - API lacks cancellation methods (needed? or is disconnect enough?); 
+    may also want to integrate request queuing here instead of gnunet-service-fs_drq.c 
+* GNUNET-GTK:
+  - how to integrate scheduler with GTK event loop!?
 
 0.9.0pre2:
-* Module features to implement:
-  - tracekit (RC-pre2)
-    + good to have for DV/DHT evaluation!
-  - DHT (RC-pre2)
-    + implement DHT service (needs DV, DATACACHE)
-    + implement DHT library
-    + implement testcases
-    + implement performance tests
-* GUIs to implement:
-  - fuse (RC-pre2)
-* Plugins to implement:
-  - UDP backend (RC-pre2)
-    + Fragmentation library 
-    + actual plugin
-  - HTTP backend (RC-pre2)
-* ARM:
+* TRACEKIT: [MW]
+  - good to have for DV/DHT evaluation!
+* DHT: [Nate]
+  - implement DHT service 
+  - implement DHT library
+  - implement testcases
+  - implement performance tests
+* TRANSPORT:
+  - HTTP backend [MW]
+* ARM: [Safey]
   - need to get rid of synchronous API for service starts (cause all kinds of problems)
     [=> eliminate for need to tell ARM about service starts most of the time!] [Safey]
   - better tracking of which config changes actually need to cause process restarts by ARM.
@@ -151,36 +113,44 @@ away), in order in which they will likely be done:
   - better crash management (attach debugging support, capture and analyze
     debug output, detect random vs. deterministic crashes)
   - shutdown sequence?
-* FS:
+* FS: [CG]
+  - datastore reservation (publishing)
+  - search: availability probes
+  - location URIs (publish, search, download)
+  - non-anonymous FS service (needs DHT)
+    + DHT integration for search
+    + CS-DHT-functions (DHT-put of LOC)
+    + P2P-functions (DHT-get)
   - collection API & tests
+    + gnunet-pseudonym (collection support)
   - implement FS performance tests
     + insert
     + download
     + search
     + unindex
 
-
 0.9.0pre3:
-* GUIs to implement:
-  - qt (RC-pre3)
-    + see discussions @ FISL about integration with event loop!
 * Determine RC bugs and fix those!
-* TESTING:
+* TESTING: [Nate]
   - modify configuration to allow controlling connections for non-local starts
-  - testbed creation with topology (needs working F2F topology) [Nate]
-  - testbed with churn [Nate]
-  - implement testcases for distributed testing [Nate]
-  - test basic peer re-configure [Nate]
-  - test topology creation [Nate]
-  - test churn generation [Nate]
+  - testbed creation with topology (needs working F2F topology) 
+  - testbed with churn 
+  - implement testcases for distributed testing
+  - test basic peer re-configure 
+  - test topology creation 
+  - test churn generation 
   - consider changing API for peer-group termination to 
     call continuation when done
-
+* NAT/UPNP: [MW]
+  - finalize API design
+  - code clean up
+  - testing
+  - integration with transport service
+* MYSQL database backends: [CG]
+  - datacache
+  - datastore
 
 0.9.0:
-* Documentation
-  - update man pages
-  - update webpage documentation
 * new webpage:
   - expand bibliography
   - convert documentation pages to books
@@ -190,20 +160,13 @@ away), in order in which they will likely be done:
     enable developers to publish TGZs nicely
   - port "contact" page
   - add content type for "todo" items?
-  - DNS activation
-* Plugins to implement:
-  - MySQL database backends
-    + datacache
-    + datastore
-  - Postgres database backends
-    + datacache
-    + datastore
-  - vpn
+* POSTGRES database backends: [CG]
+  - datacache
+  - datastore
 * Determine RC bugs and fix those!
 
-
 0.9.x:
-* TRANSPORT:
+* TRANSPORT: [MW]
   - SMTP transport backend
   - HTTPS transport backend
     + improved HTTPS support in MHD
@@ -226,15 +189,16 @@ away), in order in which they will likely be done:
   - implement gnunet-transport (transport configurator / tester)
   - UPnP-based IP detection
     (Note: build library always, build service when libxml2/etc. are available)
-* FS:
+* FS: [CG]
   - Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
   - Allow checking of presence of search results and/or content via command-line tools
     (add options to gnunet-search / gnunet-download to limit search to local peer)
-* PEERINFO:
+* PEERINFO: [CG]
   - expire 'ancient' HELLOs (those without valid addresses AND that 
     we have not 'used' (for their public keys) in a while; need a way
     to track actual 'use')
   - make sue we also trigger notifications whenever HELLOs expire
+* VPN
 
 
 
@@ -258,6 +222,9 @@ Optimizations:
 * HOSTLIST:
   - 'server' uses 'GNUNET_PEERINFO_iterate', should probably switch to notification API
     (for more instant / up-to-date hostlists at lower cost) [OPTIMIZATION]
+* DATASTORE (?):
+  - check for duplicates on insertion (currently, same content is frequently
+    stored again [seen with KBLOCKS and SBLOCKS]!)
 
 Minor features:
 * TCP:
@@ -267,4 +234,6 @@ Minor features:
   - [./transport/gnunet-service-transport.c:173]: (style) struct or union member 'TransportPlugin::rebuild' is never used (related to TCP not refreshing external addresses?)
 * DATACACHE:
   - add stats (# bytes available, # bytes used, # PUTs, # GETs, # GETs satisfied)
+* FS:
+  - support inline data in directories for recursive file downloads (fs_download)