TODO

   1 Implementable right now (but not necessarily important), with caveats
   2 (unavailable components that will limit what can be implemented right
   3 away), in order in which they will likely be done:
   4 * TESTING-TESTBED [Nate]
   5 * SETUP
   6 * DV [Nate]
   7 * TBENCH
   8 * TRACEKIT
   9 * FRAGMENTATION [Ji Lu]
  10 * HTTP transport
  11 * MySQL / Postgres plugins (datastore, datacache)
  12 * UPNP [Milan]
  13 * ARM [Safey]
  14 * FS [Christian]
  15
  16 0.9.0pre0:
  17 * TRANSPORT:
  18   - TCP not used bi-directionally (especially important also for PONG!)
  19     Need a way for plugin to tell to service that it can *reliably* transmit
  20     PONGs.  Need *good* way to ensure only one (plugin) session is active at
  21     any given point in time; need systematic way to periodically probe latency/
  22     transport cost changes
  23   - disconnect notifications from TCP not always as nice as we might want
  24     them to be (but how can we do this cleanly given that UDP is connectionless?)
  25   - hostlist testcase shows that (randomly) we jump to an address that
  26     seems to be a plugin function *after* the plugin has been unloaded
  27     (directly from scheduler); check that *all* plugin tasks are cancelled
  28     after plugin is unloaded! (need better testcases for that...)
  29   - implement transport API to pretty-print transport address
  30     + transport_api extension (API extension!)
  31     + service-transport extension (protocol extension)
  32   - implement gnunet-transport (transport configurator / tester)
  33   - instantly filter addresses from *other* peers that
  34     are *equal* to our own address + port (i.e., localhost:2086).  We
  35     no longer filter those for outgoing (helps with loopback testing
  36     and keeps the code clean), but we should filter strictly *impossible*
  37     incoming addresses!  This is for efficiency, not correctness.
  38   - UPnP-based IP detection
  39     (Note: build library always, build service when libxml2/etc. are available)
  40   - We currently are happy to take any address told to us in a WELCOME
  41     to our set of addresses; we should have some minimal threshold-based
  42     scheme, limiting both the total number of addresses that we accept
  43     this way as well as requiring multiple confirmations; also, we
  44     should possibly try to confirm that the given address works for
  45     us ourselves (loopback-style) before adding it to the list
  46     [SECURITY issue]
  47     + we may be able to simplify WELCOME messages (no need to add
  48       addresses there anymore, but may help to learn them there anyway...).
  49     + we probably want some kind of voting/counting for learning IP addresses
  50       (maybe including IP addresses in ads proportional to how often others
  51        report them? we at least need some protection against >64k HELLOs!),
  52     + provide a way to give the user a list of "learned" IP addresses and
  53       a way to easily "veto" addresses off the list!
  54       => If MiM attacker uses vetoed address, blacklist the specific IP for
  55          the presumed neighbour!
  56   - [./transport/gnunet-service-transport.c:173]: (style) struct or union member 'TransportPlugin::rebuild' is never used
  57   - [./transport/plugin_transport_tcp.c:391]: (style) struct or union member 'Plugin::address_update_task' is never used
  58 * FS:
  59   - [./fs/gnunet-service-fs.c:208]: (style) struct or union member 'LocalGetContext::results_bf_size' is never used
  60   - [./fs/gnunet-service-fs.c:501]: (style) struct or union member 'PendingRequest::used_pids_size' is never used
  61   - [./fs/gnunet-service-fs.c:654]: (style) struct or union member 'ConnectedPeer::last_client_replies' is never used
  62   - [./fs/gnunet-service-fs.c:669]: (style) struct or union member 'ConnectedPeer::avg_delay' is never used
  63   - [./fs/gnunet-service-fs.c:675]: (style) struct or union member 'ConnectedPeer::avg_priority' is never used
  64   - [./fs/gnunet-service-fs.c:688]: (style) struct or union member 'ConnectedPeer::pending_requests' is never used
  65   - [./fs/gnunet-service-fs.c:694]: (style) struct or union member 'ConnectedPeer::last_p2p_replies_woff' is never used
  66   - [./fs/gnunet-service-fs.c:700]: (style) struct or union member 'ConnectedPeer::last_client_replies_woff' is never used
  67 * CORE:
  68   - SET_KEY is triggered every 2.5 minutes (after session is up); should
  69     just do PING (not SET_KEY + PING)
  70   - "Forcing disconnect of XXX due to inactivity" -- can happen every few MS!?
  71     (disconnect does not really succeed, or what?)
  72 * TOPOLOGY:
  73   - needs more testing (especially F2F topology)
  74   - needs to re-try connecting after disconnect (currently, it
  75     initially triggers a connection request, but if that connection
  76     fails / goes down, it does not retry in a timely fashion;
  77     cause seems to be the 'blacklist_after_attempt' being set to 1h,
  78     which is rather long -- and should probably be adjusted based on
  79     the number of connections / known peers)
  80   - If the topology daemon crashes, peers that were put on the
  81     blacklist with transport will never be removed from it (until
  82     transport service dies); we should use the blacklist notification
  83     API to learn about the exact set of blacklisted peers at all times
  84     (FIXME: the transport_api implementation of blacklisting
  85      also does not work nicely for this since it won't let us know about
  86      disconnect-reconnect events and the implicit whitelisting
  87      that might happen here; that's not so bad since we will
  88      re-blacklist on pre-connect attempts anyway, so this is
  89      a minor issue).
  90   - the code uses the term 'blacklist' for both peers that are forbidden
  91     to connect (i.e. F2F mode) as well as peers that we currently
  92     won't try to actively connect to ourselves (since we just tried);
  93     This is confusing.  We need two distinct terms.
  94   - move code to use hash table instead of linked list
  95   - instead of periodically discarding blacklisted entries,
  96     simply add task that is triggered at the right time (earlier free,
  97     more balanced load)
  98   - check if new HELLO learned is different from old HELLO
  99     before resetting entire state!
 100 * UTIL:
 101   - trust: need *fast* way to check/update trust in peers
 102            (async peerinfo would not be right)
 103   - scheduler should change OS process priority based on task priority;
 104     should make better use of task priorities in general
 105   - only connect() sockets that are ready (select()) [Nils]
 106     [On W32, we need to select after calling socket before
 107      doing connect etc.]
 108 * STATISTICS:
 109   - synchronous/asynchronous API (& implementation) is not nice;
 110     => provide notification-based API
 111   - does not seem to work with timeouts (especially if service is not running)
 112 * DATACACHE:
 113   - add stats (# bytes available, # bytes used, # PUTs, # GETs, # GETs satisfied)
 114 * ARM:
 115   - need to get rid of synchronous API for service starts (cause all kinds of problems)
 116     [=> eliminate for need to tell ARM about service starts most of the time!] [Safey]
 117   - better tracking of which config changes actually need to cause process restarts by ARM.
 118   - listen for requests to discover dependencies between services (and avoid
 119     having to explicitly program start requests)
 120   - better crash management (attach debugging support, capture and analyze
 121     debug output, detect random vs. deterministic crashes)
 122   - shutdown sequence?
 123 * HELLO:
 124   - need function to test "equivalency" of HELLOs; use in topology!
 125 * FS:
 126   - GAP improvements:
 127     + active reply route caching design & implementation of service,
 128       gap extension!
 129   - gnunet-publish cannot be aborted using CTRL-C
 130   - gnunet-publish segfaults if file does not exist
 131   - on some systems, keyword search does not find locally published content
 132     (need testcase of command-line tools!)
 133   - 2-peer download is still too slow (why?)
 134 * Module features to implement:
 135   - advanced FS API parts
 136     + namespaces: fundamental namespace API
 137     + search: SBlocks, KSBlocks, probes, notify FS-service of known results
 138     + collection
 139     + location URIs (publish, search, download)
 140     + persistence support (publish, unindex, search, download)
 141     + indexing: index-failure-cleanup
 142     + download: management/bounding of parallel downloads (for recursive dl.)
 143     + datastore reservation (publishing)
 144     + gnunet-publish (URI args)
 145     + gnunet-download (directory)
 146     + gnunet-search (options, incl. namespace search)
 147     + gnunet-download (many options)
 148     + gnunet-directory (man page, options)
 149     + gnunet-pseudonym (all of it)
 150     + gnunet-service-fs (remove failing on-demand blocks, stats, hot-path routing, load-based routing, nitpicks)
 151     + datastore: do active migration support here?
 152   - implement adv. FS testcases
 153     + getopt API
 154     + insert: sblocks, loc uris
 155     + download: loc uris
 156     + search: sblocks, skblocks, loc uris
 157     + namespaces
 158     + collection
 159   - implement FS performance tests (needs TESTING)
 160     + insert
 161     + download
 162     + search
 163     + unindex
 164   - non-anonymous FS service (needs DHT)
 165     + basic DHT integration
 166     + CS-DHT-functions (DHT-put of LOC)
 167     + P2P-functions (DHT-get)
 168   - setup (RC-pre0)
 169     + default generation
 170     + need to settle basic design; do we want to keep guile?
 171   - testing (RC-pre0)
 172     + modify configuration to allow controlling connections for non-local starts
 173     + testbed creation with topology (needs working F2F topology) [Nate]
 174     + testbed with churn [Nate]
 175     + implement library for distributed testing [Nate]
 176     + implement testcases for distributed testing [Nate]
 177     + test basic peer re-configure [Nate]
 178     + test topology creation [Nate]
 179     + test churn generation [Nate]
 180 * TESTING:
 181   - consider changing API for peer-group termination to
 182     call continuation when done
 183 * WWW:
 184   - Get IPv6 hooked up
 185   - change DNS
 186
 187 0.9.0pre1:
 188 * Module features to implement:
 189   - tbench (RC-pre1)
 190     + good to have for DV evaluation!
 191   - DV (RC-pre1)
 192     + write DV API
 193     + implement DV service [Nate & CG]
 194     + implement DV library [Nate]
 195     + implement DV transport plugin [Nate & CG]
 196     + implement testcases [Nate]
 197     + implement performance tests [Nate]
 198 * SETUP:
 199   - design & implement new setup tool
 200 * GUIs to implement:
 201   - gtk (RC-pre1)
 202     + how to integrate scheduler with GTK event loop!
 203 * HOSTLIST:
 204   - 'server' uses 'GNUNET_PEERINFO_iterate', should probably switch to notification API
 205     (for more instant / up-to-date hostlists at lower cost) [OPTIMIZATION]
 206
 207 0.9.0pre2:
 208 * Module features to implement:
 209   - tracekit (RC-pre2)
 210     + good to have for DV/DHT evaluation!
 211   - DHT (RC-pre2)
 212     + implement DHT service (needs DV, DATACACHE)
 213     + implement DHT library
 214     + implement testcases
 215     + implement performance tests
 216 * GUIs to implement:
 217   - fuse (RC-pre2)
 218 * Plugins to implement:
 219   - UDP backend (RC-pre2)
 220     + Fragmentation library
 221     + actual plugin
 222   - HTTP backend (RC-pre2)
 223
 224 0.9.0pre3:
 225 * GUIs to implement:
 226   - qt (RC-pre3)
 227     + see discussions @ FISL about integration with event loop!
 228 * Determine RC bugs and fix those!
 229
 230 0.9.0:
 231 * Documentation
 232   - update man pages
 233   - update webpage documentation
 234 * new webpage:
 235   - expand bibliography
 236   - convert documentation pages to books
 237   - update books (especially for developers)
 238   - create good Drupal theme for GNUnet
 239   - make a NICE download page and figure out how to
 240     enable developers to publish TGZs nicely
 241   - port "contact" page
 242   - add content type for "todo" items?
 243   - DNS activation
 244 * Plugins to implement:
 245   - MySQL database backends
 246     + datacache
 247     + datastore
 248   - Postgres database backends
 249     + datacache
 250     + datastore
 251   - vpn
 252 * Determine RC bugs and fix those!
 253
 254
 255 0.9.x:
 256 * Plugins to implement:
 257   - SMTP transport backend
 258   - HTTPS transport backend
 259     + improved HTTPS support in MHD
 260     + actual plugin
 261 * Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
 262 * Allow checking of presence of search results and/or content via command-line tools
 263   (add options to gnunet-search / gnunet-download to limit search to local peer)
 264 * STATISTICS:
 265   - should use BIO instead of mmap
 266 * PEERINFO:
 267   - expire 'ancient' HELLOs (those without valid addresses AND that
 268     we have not 'used' (for their public keys) in a while; need a way
 269     to track actual 'use')
 270   - make sue we also trigger notifications whenever HELLOs expire