TODO

   1 Implementable right now (but not necessarily important), with caveats
   2 (unavailable components that will limit what can be implemented right
   3 away), in order in which they will likely be done:
   4 * TESTING-TESTBED [Nate]
   5 * SETUP
   6 * DV [Nate]
   7 * TBENCH
   8 * TRACEKIT
   9 * FRAGMENTATION [Ji Lu]
  10 * HTTP transport
  11 * MySQL / Postgres plugins (datastore, datacache)
  12 * UPNP [Milan]
  13 * ARM [Safey]
  14 * FS [Christian]
  15
  16 0.9.0pre0:
  17 * CORE:
  18   - "Forcing disconnect of XXX due to inactivity" -- can happen every few MS!?
  19     (disconnect does not really succeed, or what?)
  20     Also, core does not seem to actually decrement the number of active
  21     sessions even if no connections exist for a while! (likely related...)
  22   - transport reports bw quota violations on big-endian systems (core or
  23     transport issue?)
  24 * DATASTORE:
  25   - utilization can (easily, restart?) go out of control (very large), causing
  26     content expiration job to go crazy and delete everything!
  27 * FS:
  28   - gnunet-publish cannot be aborted using CTRL-C
  29   - on some systems, keyword search does not find locally published content
  30     (need testcase of command-line tools! - also good to cover getopt API!)
  31     [could be related to datastore issue above!]
  32   - 2-peer download is still too slow (why?)
  33   - advanced FS API parts
  34     + search: SBlocks, NBlocks, probes, notify FS-service of known results
  35     + gnunet-publish (URI args)
  36     + gnunet-download (directory)
  37     + gnunet-search (options, incl. namespace search)
  38     + gnunet-download (many options)
  39     + gnunet-directory (man page, options)
  40     + gnunet-pseudonym (listing of namespaces, advertisement uris, testing)
  41     + gnunet-service-fs (remove failing on-demand blocks, hot-path routing,
  42       load-based routing, nitpicks)
  43     + indexing: index-failure-cleanup
  44   - implement adv. FS testcases
  45   - [./fs/gnunet-service-fs.c:208]: (style) struct or union member 'LocalGetContext::results_bf_size' is never used
  46   - [./fs/gnunet-service-fs.c:501]: (style) struct or union member 'PendingRequest::used_pids_size' is never used
  47   - [./fs/gnunet-service-fs.c:654]: (style) struct or union member 'ConnectedPeer::last_client_replies' is never used
  48   - [./fs/gnunet-service-fs.c:669]: (style) struct or union member 'ConnectedPeer::avg_delay' is never used
  49   - [./fs/gnunet-service-fs.c:675]: (style) struct or union member 'ConnectedPeer::avg_priority' is never used
  50   - [./fs/gnunet-service-fs.c:688]: (style) struct or union member 'ConnectedPeer::pending_requests' is never used
  51   - [./fs/gnunet-service-fs.c:694]: (style) struct or union member 'ConnectedPeer::last_p2p_replies_woff' is never used
  52   - [./fs/gnunet-service-fs.c:700]: (style) struct or union member 'ConnectedPeer::last_client_replies_woff' is never used
  53 * WWW:
  54   - Get IPv6 hooked up
  55   - change DNS
  56
  57 0.9.0pre1:
  58 * Module features to implement:
  59   - tbench (RC-pre1)
  60     + good to have for DV evaluation! [MW]
  61   - DV (RC-pre1)
  62     + write DV API
  63     + implement DV service [Nate & CG]
  64     + implement DV library [Nate]
  65     + implement DV transport plugin [Nate & CG]
  66     + implement testcases [Nate]
  67     + implement performance tests [Nate]
  68 * SETUP:
  69   - design & implement new setup tool
  70 * GUIs to implement:
  71   - gtk (RC-pre1)
  72     + how to integrate scheduler with GTK event loop!
  73 * STATISTICS:
  74   - does not seem to work with timeouts (especially if service is not running)
  75 * PEERINFO:
  76   - trust: need *fast* way to check/update trust in peers
  77            (async peerinfo would not be right; certainly not with the
  78             current API)
  79 * UTIL:
  80   - scheduler should change OS process priority based on task priority;
  81     should make better use of task priorities in general
  82   - only connect() sockets that are ready (select()) [Nils]
  83     [On W32, we need to select after calling socket before
  84      doing connect etc.]
  85 * FS:
  86   - datastore reservation (publishing)
  87   - persistence support (publish, unindex, search, download)
  88   - download: management/bounding of parallel downloads (for recursive dl.)
  89   - non-anonymous FS service (needs DHT)
  90     + basic DHT integration
  91     + CS-DHT-functions (DHT-put of LOC)
  92     + P2P-functions (DHT-get)
  93   - active migration support (in fs or in datastore or new daemon?)
  94   - GAP improvements:
  95     + active reply route caching design & implementation of service; gap extension!
  96 * TOPOLOGY:
  97   - needs more testing (especially F2F topology)
  98   - needs to re-try connecting after disconnect (currently, it
  99     initially triggers a connection request, but if that connection
 100     fails / goes down, it does not retry in a timely fashion;
 101     cause seems to be the 'blacklist_after_attempt' being set to 1h,
 102     which is rather long -- and should probably be adjusted based on
 103     the number of connections / known peers)
 104   - If the topology daemon crashes, peers that were put on the
 105     blacklist with transport will never be removed from it (until
 106     transport service dies); we should use the blacklist notification
 107     API to learn about the exact set of blacklisted peers at all times
 108     (FIXME: the transport_api implementation of blacklisting
 109      also does not work nicely for this since it won't let us know about
 110      disconnect-reconnect events and the implicit whitelisting
 111      that might happen here; that's not so bad since we will
 112      re-blacklist on pre-connect attempts anyway, so this is
 113      a minor issue).
 114   - the code uses the term 'blacklist' for both peers that are forbidden
 115     to connect (i.e. F2F mode) as well as peers that we currently
 116     won't try to actively connect to ourselves (since we just tried);
 117     This is confusing.  We need two distinct terms.
 118   - move code to use hash table instead of linked list
 119   - instead of periodically discarding blacklisted entries,
 120     simply add task that is triggered at the right time (earlier free,
 121     more balanced load)
 122   - check if new HELLO learned is different from old HELLO
 123     before resetting entire state!
 124 * HELLO:
 125   - need function to test "equivalency" of HELLOs (or integrate with "merge"?); use in PEERINFO
 126
 127 0.9.0pre2:
 128 * Module features to implement:
 129   - tracekit (RC-pre2)
 130     + good to have for DV/DHT evaluation!
 131   - DHT (RC-pre2)
 132     + implement DHT service (needs DV, DATACACHE)
 133     + implement DHT library
 134     + implement testcases
 135     + implement performance tests
 136 * GUIs to implement:
 137   - fuse (RC-pre2)
 138 * Plugins to implement:
 139   - UDP backend (RC-pre2)
 140     + Fragmentation library
 141     + actual plugin
 142   - HTTP backend (RC-pre2)
 143 * ARM:
 144   - need to get rid of synchronous API for service starts (cause all kinds of problems)
 145     [=> eliminate for need to tell ARM about service starts most of the time!] [Safey]
 146   - better tracking of which config changes actually need to cause process restarts by ARM.
 147   - listen for requests to discover dependencies between services (and avoid
 148     having to explicitly program start requests)
 149   - better crash management (attach debugging support, capture and analyze
 150     debug output, detect random vs. deterministic crashes)
 151   - shutdown sequence?
 152 * FS:
 153   - location URIs (publish, search, download)
 154   - collection API & tests
 155     + gnunet-pseudonym (collection support)
 156   - implement FS performance tests
 157     + insert
 158     + download
 159     + search
 160     + unindex
 161
 162
 163 0.9.0pre3:
 164 * GUIs to implement:
 165   - qt (RC-pre3)
 166     + see discussions @ FISL about integration with event loop!
 167 * Determine RC bugs and fix those!
 168 * TESTING:
 169   - modify configuration to allow controlling connections for non-local starts
 170   - testbed creation with topology (needs working F2F topology) [Nate]
 171   - testbed with churn [Nate]
 172   - implement testcases for distributed testing [Nate]
 173   - test basic peer re-configure [Nate]
 174   - test topology creation [Nate]
 175   - test churn generation [Nate]
 176   - consider changing API for peer-group termination to
 177     call continuation when done
 178
 179
 180 0.9.0:
 181 * Documentation
 182   - update man pages
 183   - update webpage documentation
 184 * new webpage:
 185   - expand bibliography
 186   - convert documentation pages to books
 187   - update books (especially for developers)
 188   - create good Drupal theme for GNUnet
 189   - make a NICE download page and figure out how to
 190     enable developers to publish TGZs nicely
 191   - port "contact" page
 192   - add content type for "todo" items?
 193   - DNS activation
 194 * Plugins to implement:
 195   - MySQL database backends
 196     + datacache
 197     + datastore
 198   - Postgres database backends
 199     + datacache
 200     + datastore
 201   - vpn
 202 * Determine RC bugs and fix those!
 203
 204
 205 0.9.x:
 206 * TRANSPORT:
 207   - SMTP transport backend
 208   - HTTPS transport backend
 209     + improved HTTPS support in MHD
 210     + actual plugin
 211   - Implement method of learning our external addresses from
 212     other peers; need some kind of threshold-based
 213     scheme, limiting both the total number of addresses that we accept
 214     this way as well as requiring multiple confirmations; also, we
 215     should possibly try to confirm that the given address works for
 216     us ourselves (loopback-style) before adding it to the list
 217     + we may be able to simplify WELCOME messages (no need to add
 218       addresses there anymore, but may help to learn them there anyway...).
 219     + we probably want some kind of voting/counting for learning IP addresses
 220       (maybe including IP addresses in ads proportional to how often others
 221        report them? we at least need some protection against >64k HELLOs!),
 222     + provide a way to give the user a list of "learned" IP addresses and
 223       a way to easily "veto" addresses off the list!
 224       => If MiM attacker uses vetoed address, blacklist the specific IP for
 225          the presumed neighbour!
 226   - implement gnunet-transport (transport configurator / tester)
 227   - UPnP-based IP detection
 228     (Note: build library always, build service when libxml2/etc. are available)
 229 * FS:
 230   - Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
 231   - Allow checking of presence of search results and/or content via command-line tools
 232     (add options to gnunet-search / gnunet-download to limit search to local peer)
 233 * PEERINFO:
 234   - expire 'ancient' HELLOs (those without valid addresses AND that
 235     we have not 'used' (for their public keys) in a while; need a way
 236     to track actual 'use')
 237   - make sue we also trigger notifications whenever HELLOs expire
 238
 239
 240
 241 Optimizations:
 242 * TCP:
 243   - should use hash map to look up sessions
 244 * PEERINFO:
 245   - api creates many, many short-lived TCP connections; either some
 246     clients should use the API differently or we need to change the
 247     API to enable re-use of connections to the service
 248 * STATISTICS:
 249   - should use BIO instead of mmap
 250 * TRANSPORT:
 251   - need to periodically probe latency/transport cost changes & possibly switch transport
 252   - instantly filter addresses from *other* peers that
 253     are *equal* to our own address + port (i.e., localhost:2086).  We
 254     no longer filter those for outgoing (helps with loopback testing
 255     and keeps the code clean), but we should filter strictly *impossible*
 256     incoming addresses!  This is for efficiency, not correctness.
 257   - should use hash map to look up Neighbours
 258 * HOSTLIST:
 259   - 'server' uses 'GNUNET_PEERINFO_iterate', should probably switch to notification API
 260     (for more instant / up-to-date hostlists at lower cost) [OPTIMIZATION]
 261
 262 Minor features:
 263 * TCP:
 264   - repeatedly resolve hostname and look up interfaces to determine our own IP
 265   - [./transport/plugin_transport_tcp.c:391]: (style) struct or union member 'Plugin::address_update_task' is never used (related to issue above)
 266 * TRANSPORT:
 267   - [./transport/gnunet-service-transport.c:173]: (style) struct or union member 'TransportPlugin::rebuild' is never used (related to TCP not refreshing external addresses?)
 268 * DATACACHE:
 269   - add stats (# bytes available, # bytes used, # PUTs, # GETs, # GETs satisfied)
 270