TODO

   1 Implementable right now (but not necessarily important), with caveats
   2 (unavailable components that will limit what can be implemented right
   3 away), in order in which they will likely be done:
   4 * TESTING-TESTBED [Nate]
   5 * SETUP
   6 * DV [Nate]
   7 * TBENCH
   8 * TRACEKIT
   9 * FRAGMENTATION [Ji Lu]
  10 * HTTP transport
  11 * MySQL / Postgres plugins (datastore, datacache)
  12 * UPNP [Milan]
  13 * ARM [Safey]
  14 * FS [Christian]
  15
  16 0.9.0pre0:
  17 * TRANSPORT:
  18   - TCP not used bi-directionally (especially important also for PONG!)
  19     Need a way for plugin to tell to service that it can *reliably* transmit
  20     PONGs.  Need *good* way to ensure only one (plugin) session is active at
  21     any given point in time; need systematic way to periodically probe latency/
  22     transport cost changes
  23   - disconnect notifications from TCP not always as nice as we might want
  24     them to be (but how can we do this cleanly given that UDP is connectionless?)
  25   - implement transport API to pretty-print transport address
  26     + resolve cyclic dependency (gnunet-peerinfo -> transport_api -> peerinfo!)
  27     + gnunet-transport-service crashes when asked to resolve address (!)
  28     + asynchronous transport lookup and non-CPS iterator in peerinfo require
  29       some work to ensure printing in the proper order...
  30   - instantly filter addresses from *other* peers that
  31     are *equal* to our own address + port (i.e., localhost:2086).  We
  32     no longer filter those for outgoing (helps with loopback testing
  33     and keeps the code clean), but we should filter strictly *impossible*
  34     incoming addresses!  This is for efficiency, not correctness.
  35   - [./transport/gnunet-service-transport.c:173]: (style) struct or union member 'TransportPlugin::rebuild' is never used
  36   - [./transport/plugin_transport_tcp.c:391]: (style) struct or union member 'Plugin::address_update_task' is never used
  37 * CORE:
  38   - SET_KEY is triggered every 2.5 minutes (after session is up); should
  39     just do PING (not SET_KEY + PING)
  40   - "Forcing disconnect of XXX due to inactivity" -- can happen every few MS!?
  41     (disconnect does not really succeed, or what?)
  42 * HELLO:
  43   - need function to test "equivalency" of HELLOs; use in topology!
  44 * FS:
  45   - GAP improvements:
  46     + active reply route caching design & implementation of service,
  47       gap extension!
  48   - gnunet-publish cannot be aborted using CTRL-C
  49   - on some systems, keyword search does not find locally published content
  50     (need testcase of command-line tools!)
  51   - 2-peer download is still too slow (why?)
  52   - advanced FS API parts
  53     + namespaces: fundamental namespace API
  54     + search: SBlocks, KSBlocks, probes, notify FS-service of known results
  55     + collection
  56     + location URIs (publish, search, download)
  57     + indexing: index-failure-cleanup
  58     + download: management/bounding of parallel downloads (for recursive dl.)
  59     + datastore reservation (publishing)
  60     + gnunet-publish (URI args)
  61     + gnunet-download (directory)
  62     + gnunet-search (options, incl. namespace search)
  63     + gnunet-download (many options)
  64     + gnunet-directory (man page, options)
  65     + gnunet-pseudonym (all of it)
  66     + gnunet-service-fs (remove failing on-demand blocks, hot-path routing, load-based routing, nitpicks)
  67   - implement adv. FS testcases
  68     + getopt API
  69     + insert: sblocks, loc uris
  70     + download: loc uris
  71     + search: sblocks, skblocks, loc uris
  72     + namespaces
  73     + collection
  74   - implement FS performance tests
  75     + insert
  76     + download
  77     + search
  78     + unindex
  79   - [./fs/gnunet-service-fs.c:208]: (style) struct or union member 'LocalGetContext::results_bf_size' is never used
  80   - [./fs/gnunet-service-fs.c:501]: (style) struct or union member 'PendingRequest::used_pids_size' is never used
  81   - [./fs/gnunet-service-fs.c:654]: (style) struct or union member 'ConnectedPeer::last_client_replies' is never used
  82   - [./fs/gnunet-service-fs.c:669]: (style) struct or union member 'ConnectedPeer::avg_delay' is never used
  83   - [./fs/gnunet-service-fs.c:675]: (style) struct or union member 'ConnectedPeer::avg_priority' is never used
  84   - [./fs/gnunet-service-fs.c:688]: (style) struct or union member 'ConnectedPeer::pending_requests' is never used
  85   - [./fs/gnunet-service-fs.c:694]: (style) struct or union member 'ConnectedPeer::last_p2p_replies_woff' is never used
  86   - [./fs/gnunet-service-fs.c:700]: (style) struct or union member 'ConnectedPeer::last_client_replies_woff' is never used
  87
  88 * WWW:
  89   - Get IPv6 hooked up
  90   - change DNS
  91
  92 0.9.0pre1:
  93 * Module features to implement:
  94   - tbench (RC-pre1)
  95     + good to have for DV evaluation!
  96   - DV (RC-pre1)
  97     + write DV API
  98     + implement DV service [Nate & CG]
  99     + implement DV library [Nate]
 100     + implement DV transport plugin [Nate & CG]
 101     + implement testcases [Nate]
 102     + implement performance tests [Nate]
 103 * SETUP:
 104   - design & implement new setup tool
 105 * GUIs to implement:
 106   - gtk (RC-pre1)
 107     + how to integrate scheduler with GTK event loop!
 108 * HOSTLIST:
 109   - 'server' uses 'GNUNET_PEERINFO_iterate', should probably switch to notification API
 110     (for more instant / up-to-date hostlists at lower cost) [OPTIMIZATION]
 111 * STATISTICS:
 112   - does not seem to work with timeouts (especially if service is not running)
 113 * UTIL:
 114   - trust: need *fast* way to check/update trust in peers
 115            (async peerinfo would not be right)
 116   - scheduler should change OS process priority based on task priority;
 117     should make better use of task priorities in general
 118   - only connect() sockets that are ready (select()) [Nils]
 119     [On W32, we need to select after calling socket before
 120      doing connect etc.]
 121 * DATACACHE:
 122   - add stats (# bytes available, # bytes used, # PUTs, # GETs, # GETs satisfied)
 123 * FS:
 124   - persistence support (publish, unindex, search, download)
 125   - non-anonymous FS service (needs DHT)
 126     + basic DHT integration
 127     + CS-DHT-functions (DHT-put of LOC)
 128     + P2P-functions (DHT-get)
 129   - active migration support (in fs or in datastore?)
 130 * TOPOLOGY:
 131   - needs more testing (especially F2F topology)
 132   - needs to re-try connecting after disconnect (currently, it
 133     initially triggers a connection request, but if that connection
 134     fails / goes down, it does not retry in a timely fashion;
 135     cause seems to be the 'blacklist_after_attempt' being set to 1h,
 136     which is rather long -- and should probably be adjusted based on
 137     the number of connections / known peers)
 138   - If the topology daemon crashes, peers that were put on the
 139     blacklist with transport will never be removed from it (until
 140     transport service dies); we should use the blacklist notification
 141     API to learn about the exact set of blacklisted peers at all times
 142     (FIXME: the transport_api implementation of blacklisting
 143      also does not work nicely for this since it won't let us know about
 144      disconnect-reconnect events and the implicit whitelisting
 145      that might happen here; that's not so bad since we will
 146      re-blacklist on pre-connect attempts anyway, so this is
 147      a minor issue).
 148   - the code uses the term 'blacklist' for both peers that are forbidden
 149     to connect (i.e. F2F mode) as well as peers that we currently
 150     won't try to actively connect to ourselves (since we just tried);
 151     This is confusing.  We need two distinct terms.
 152   - move code to use hash table instead of linked list
 153   - instead of periodically discarding blacklisted entries,
 154     simply add task that is triggered at the right time (earlier free,
 155     more balanced load)
 156   - check if new HELLO learned is different from old HELLO
 157     before resetting entire state!
 158
 159 0.9.0pre2:
 160 * Module features to implement:
 161   - tracekit (RC-pre2)
 162     + good to have for DV/DHT evaluation!
 163   - DHT (RC-pre2)
 164     + implement DHT service (needs DV, DATACACHE)
 165     + implement DHT library
 166     + implement testcases
 167     + implement performance tests
 168 * GUIs to implement:
 169   - fuse (RC-pre2)
 170 * Plugins to implement:
 171   - UDP backend (RC-pre2)
 172     + Fragmentation library
 173     + actual plugin
 174   - HTTP backend (RC-pre2)
 175 * ARM:
 176   - need to get rid of synchronous API for service starts (cause all kinds of problems)
 177     [=> eliminate for need to tell ARM about service starts most of the time!] [Safey]
 178   - better tracking of which config changes actually need to cause process restarts by ARM.
 179   - listen for requests to discover dependencies between services (and avoid
 180     having to explicitly program start requests)
 181   - better crash management (attach debugging support, capture and analyze
 182     debug output, detect random vs. deterministic crashes)
 183   - shutdown sequence?
 184
 185
 186 0.9.0pre3:
 187 * GUIs to implement:
 188   - qt (RC-pre3)
 189     + see discussions @ FISL about integration with event loop!
 190 * Determine RC bugs and fix those!
 191 * TESTING:
 192   - modify configuration to allow controlling connections for non-local starts
 193   - testbed creation with topology (needs working F2F topology) [Nate]
 194   - testbed with churn [Nate]
 195   - implement testcases for distributed testing [Nate]
 196   - test basic peer re-configure [Nate]
 197   - test topology creation [Nate]
 198   - test churn generation [Nate]
 199   - consider changing API for peer-group termination to
 200     call continuation when done
 201
 202
 203 0.9.0:
 204 * Documentation
 205   - update man pages
 206   - update webpage documentation
 207 * new webpage:
 208   - expand bibliography
 209   - convert documentation pages to books
 210   - update books (especially for developers)
 211   - create good Drupal theme for GNUnet
 212   - make a NICE download page and figure out how to
 213     enable developers to publish TGZs nicely
 214   - port "contact" page
 215   - add content type for "todo" items?
 216   - DNS activation
 217 * Plugins to implement:
 218   - MySQL database backends
 219     + datacache
 220     + datastore
 221   - Postgres database backends
 222     + datacache
 223     + datastore
 224   - vpn
 225 * Determine RC bugs and fix those!
 226
 227
 228 0.9.x:
 229 * TRANSPORT:
 230   - SMTP transport backend
 231   - HTTPS transport backend
 232     + improved HTTPS support in MHD
 233     + actual plugin
 234   - Implement method of learning our external addresses from
 235     other peers; need some kind of threshold-based
 236     scheme, limiting both the total number of addresses that we accept
 237     this way as well as requiring multiple confirmations; also, we
 238     should possibly try to confirm that the given address works for
 239     us ourselves (loopback-style) before adding it to the list
 240     + we may be able to simplify WELCOME messages (no need to add
 241       addresses there anymore, but may help to learn them there anyway...).
 242     + we probably want some kind of voting/counting for learning IP addresses
 243       (maybe including IP addresses in ads proportional to how often others
 244        report them? we at least need some protection against >64k HELLOs!),
 245     + provide a way to give the user a list of "learned" IP addresses and
 246       a way to easily "veto" addresses off the list!
 247       => If MiM attacker uses vetoed address, blacklist the specific IP for
 248          the presumed neighbour!
 249   - implement gnunet-transport (transport configurator / tester)
 250   - UPnP-based IP detection
 251     (Note: build library always, build service when libxml2/etc. are available)
 252 * FS:
 253   - Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
 254   - Allow checking of presence of search results and/or content via command-line tools
 255     (add options to gnunet-search / gnunet-download to limit search to local peer)
 256 * STATISTICS:
 257   - should use BIO instead of mmap
 258 * PEERINFO:
 259   - expire 'ancient' HELLOs (those without valid addresses AND that
 260     we have not 'used' (for their public keys) in a while; need a way
 261     to track actual 'use')
 262   - make sue we also trigger notifications whenever HELLOs expire