TODO

   1 Implementable right now (but not necessarily important), with caveats
   2 (unavailable components that will limit what can be implemented right
   3 away), in order in which they will likely be done:
   4 * TESTING [Nate]
   5 * DV [Nate]
   6 * DHT [Nate]
   7 * TBENCH [MW]
   8 * TRACEKIT [MW]
   9 * FRAGMENTATION [Ji Lu]
  10 * HTTP transport [Matthias]
  11 * UPNP [Milan]
  12 * ARM [Safey]
  13 * FS [CG]
  14 * SETUP
  15 * MySQL / Postgres plugins (datastore, datacache)
  16
  17 0.9.0pre0 [April]:
  18 * CORE: [CG]
  19   - "Forcing disconnect of XXX due to inactivity" -- can happen every few MS!?
  20     (disconnect does not really succeed, or what?)
  21     Also, core does not seem to actually decrement the number of active
  22     sessions even if no connections exist for a while! (likely related...)
  23   - transport reports bw quota violations on slow systems (core or
  24     transport issue?)
  25 * DATASTORE: [CG]
  26   - utilization can (easily, restart?) go out of control (very large), causing
  27     content expiration job to go crazy and delete everything!
  28 * FS: [CG]
  29   T gnunet-publish cannot be aborted using CTRL-C
  30   - on some systems, keyword search does not find locally published content
  31     (need testcase of command-line tools! - also good to cover getopt API!)
  32     [could be related to datastore issue above!]
  33   - 2-peer download is still too slow (why?)
  34   - advanced FS API parts
  35     T gnunet-download (directory-file download [easy])
  36     T fs_download (recursive download; bounded parallelism)
  37     T indexing: index-failure-cleanup [easy]
  38     + gnunet-service-fs (remove failing on-demand blocks, hot-path routing,
  39       load-based routing, nitpicks)
  40   - [gnunet-service-fs.c:208]: member 'LocalGetContext::results_bf_size' is never used
  41   - [gnunet-service-fs.c:501]: member 'PendingRequest::used_pids_size' is never used
  42   - [gnunet-service-fs.c:654]: member 'ConnectedPeer::last_client_replies' is never used
  43   - [gnunet-service-fs.c:669]: member 'ConnectedPeer::avg_delay' is never used
  44   - [gnunet-service-fs.c:675]: member 'ConnectedPeer::avg_priority' is never used
  45   - [gnunet-service-fs.c:688]: member 'ConnectedPeer::pending_requests' is never used
  46   - [gnunet-service-fs.c:694]: member 'ConnectedPeer::last_p2p_replies_woff' is never used
  47   - [gnunet-service-fs.c:700]: member 'ConnectedPeer::last_client_replies_woff' is never used
  48 * WWW:
  49   - Get IPv6 hooked up
  50   - change DNS
  51
  52 0.9.0pre1:
  53 * PEERINFO:
  54   - trust: need *fast* way to check/update trust in peers
  55            (async peerinfo would not be right; certainly not with the
  56             current API)
  57 * UTIL:
  58   - scheduler should change OS process priority based on task priority;
  59     should make better use of task priorities in general
  60   - only connect() sockets that are ready (select()) [Nils]
  61     [On W32, we need to select after calling socket before
  62      doing connect etc.]
  63 * HELLO: [CG]
  64   - need function to test "equivalency" of HELLOs (or integrate with "merge"?); use in PEERINFO
  65 * SETUP:
  66   - design & implement new setup tool
  67 * TBENCH: [MW]
  68   - good to have for transport/DV evaluation!
  69 * DV: [Nate]
  70   - write DV API
  71   - implement DV service
  72   - implement DV library
  73   - implement DV transport plugin
  74   - implement testcases
  75   - implement performance tests
  76 * STATISTICS:
  77   - does not seem to work with timeouts (especially if service is not running)
  78 * TOPOLOGY:
  79   - needs more testing (especially F2F topology)
  80   - needs to re-try connecting after disconnect (currently, it
  81     initially triggers a connection request, but if that connection
  82     fails / goes down, it does not retry in a timely fashion;
  83     cause seems to be the 'blacklist_after_attempt' being set to 1h,
  84     which is rather long -- and should probably be adjusted based on
  85     the number of connections / known peers)
  86   - If the topology daemon crashes, peers that were put on the
  87     blacklist with transport will never be removed from it (until
  88     transport service dies); we should use the blacklist notification
  89     API to learn about the exact set of blacklisted peers at all times
  90     (FIXME: the transport_api implementation of blacklisting
  91      also does not work nicely for this since it won't let us know about
  92      disconnect-reconnect events and the implicit whitelisting
  93      that might happen here; that's not so bad since we will
  94      re-blacklist on pre-connect attempts anyway, so this is
  95      a minor issue; OTOH, we might want to be more explicit about
  96      allowing/forbidding connects on pre-connect to avoid
  97      entering connect attempts to just be blacklisted shortly afterwards).
  98   - the code uses the term 'blacklist' for both peers that are forbidden
  99     to connect (i.e. F2F mode) as well as peers that we currently
 100     won't try to actively connect to ourselves (since we just tried);
 101     This is confusing.  We need two distinct terms (greylist?).
 102   - move code to use hash table instead of linked list
 103   - instead of periodically discarding blacklisted entries,
 104     simply add task that is triggered at the right time (earlier free,
 105     more balanced load)
 106   - check if new HELLO learned is different from old HELLO
 107     before resetting entire state!
 108 * FS: [CG]
 109   - datastore reservation (publishing)
 110   - search: availability probes
 111   - persistence support (publish, unindex, search, download)
 112   - active migration support (in fs or in datastore or new daemon?)
 113   - GAP improvements:
 114     + active reply route caching design & implementation of service; gap extension!
 115 * GNUNET-GTK:
 116   - how to integrate scheduler with GTK event loop!?
 117
 118 0.9.0pre2:
 119 * TRACEKIT: [MW]
 120   - good to have for DV/DHT evaluation!
 121 * DHT: [Nate]
 122   - implement DHT service (needs DV, DATACACHE)
 123   - implement DHT library
 124   - implement testcases
 125   - implement performance tests
 126 * TRANSPORT:
 127   - HTTP backend [MW]
 128 * ARM: [Safey]
 129   - need to get rid of synchronous API for service starts (cause all kinds of problems)
 130     [=> eliminate for need to tell ARM about service starts most of the time!] [Safey]
 131   - better tracking of which config changes actually need to cause process restarts by ARM.
 132   - listen for requests to discover dependencies between services (and avoid
 133     having to explicitly program start requests)
 134   - better crash management (attach debugging support, capture and analyze
 135     debug output, detect random vs. deterministic crashes)
 136   - shutdown sequence?
 137 * FS: [CG]
 138   - location URIs (publish, search, download)
 139   - non-anonymous FS service (needs DHT)
 140     + DHT integration for search
 141     + CS-DHT-functions (DHT-put of LOC)
 142     + P2P-functions (DHT-get)
 143   - collection API & tests
 144     + gnunet-pseudonym (collection support)
 145   - implement FS performance tests
 146     + insert
 147     + download
 148     + search
 149     + unindex
 150
 151 0.9.0pre3:
 152 * Determine RC bugs and fix those!
 153 * TESTING: [Nate]
 154   - modify configuration to allow controlling connections for non-local starts
 155   - testbed creation with topology (needs working F2F topology)
 156   - testbed with churn
 157   - implement testcases for distributed testing
 158   - test basic peer re-configure
 159   - test topology creation
 160   - test churn generation
 161   - consider changing API for peer-group termination to
 162     call continuation when done
 163
 164 0.9.0:
 165 * new webpage:
 166   - expand bibliography
 167   - convert documentation pages to books
 168   - update books (especially for developers)
 169   - create good Drupal theme for GNUnet
 170   - make a NICE download page and figure out how to
 171     enable developers to publish TGZs nicely
 172   - port "contact" page
 173   - add content type for "todo" items?
 174 * Plugins to implement: [CG]
 175   - MySQL database backends
 176     + datacache
 177     + datastore
 178   - Postgres database backends
 179     + datacache
 180     + datastore
 181 * VPN
 182 * Determine RC bugs and fix those!
 183
 184 0.9.x:
 185 * TRANSPORT: [MW]
 186   - SMTP transport backend
 187   - HTTPS transport backend
 188     + improved HTTPS support in MHD
 189     + actual plugin
 190   - Implement method of learning our external addresses from
 191     other peers; need some kind of threshold-based
 192     scheme, limiting both the total number of addresses that we accept
 193     this way as well as requiring multiple confirmations; also, we
 194     should possibly try to confirm that the given address works for
 195     us ourselves (loopback-style) before adding it to the list
 196     + we may be able to simplify WELCOME messages (no need to add
 197       addresses there anymore, but may help to learn them there anyway...).
 198     + we probably want some kind of voting/counting for learning IP addresses
 199       (maybe including IP addresses in ads proportional to how often others
 200        report them? we at least need some protection against >64k HELLOs!),
 201     + provide a way to give the user a list of "learned" IP addresses and
 202       a way to easily "veto" addresses off the list!
 203       => If MiM attacker uses vetoed address, blacklist the specific IP for
 204          the presumed neighbour!
 205   - implement gnunet-transport (transport configurator / tester)
 206   - UPnP-based IP detection
 207     (Note: build library always, build service when libxml2/etc. are available)
 208 * FS: [CG]
 209   - Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
 210   - Allow checking of presence of search results and/or content via command-line tools
 211     (add options to gnunet-search / gnunet-download to limit search to local peer)
 212 * PEERINFO: [CG]
 213   - expire 'ancient' HELLOs (those without valid addresses AND that
 214     we have not 'used' (for their public keys) in a while; need a way
 215     to track actual 'use')
 216   - make sue we also trigger notifications whenever HELLOs expire
 217
 218
 219
 220 Optimizations:
 221 * TCP:
 222   - should use hash map to look up sessions
 223 * PEERINFO:
 224   - api creates many, many short-lived TCP connections; either some
 225     clients should use the API differently or we need to change the
 226     API to enable re-use of connections to the service
 227 * STATISTICS:
 228   - should use BIO instead of mmap
 229 * TRANSPORT:
 230   - need to periodically probe latency/transport cost changes & possibly switch transport
 231   - instantly filter addresses from *other* peers that
 232     are *equal* to our own address + port (i.e., localhost:2086).  We
 233     no longer filter those for outgoing (helps with loopback testing
 234     and keeps the code clean), but we should filter strictly *impossible*
 235     incoming addresses!  This is for efficiency, not correctness.
 236   - should use hash map to look up Neighbours
 237 * HOSTLIST:
 238   - 'server' uses 'GNUNET_PEERINFO_iterate', should probably switch to notification API
 239     (for more instant / up-to-date hostlists at lower cost) [OPTIMIZATION]
 240
 241 Minor features:
 242 * TCP:
 243   - repeatedly resolve hostname and look up interfaces to determine our own IP
 244   - [./transport/plugin_transport_tcp.c:391]: (style) struct or union member 'Plugin::address_update_task' is never used (related to issue above)
 245 * TRANSPORT:
 246   - [./transport/gnunet-service-transport.c:173]: (style) struct or union member 'TransportPlugin::rebuild' is never used (related to TCP not refreshing external addresses?)
 247 * DATACACHE:
 248   - add stats (# bytes available, # bytes used, # PUTs, # GETs, # GETs satisfied)
 249