TODO

   1 0.9.0pre1:
   2 * PEERINFO:
   3   - trust: need *fast* way to check/update trust in peers
   4            (async peerinfo would not be right; certainly not with the current API)
   5 * TOPOLOGY:
   6   - move code to use hash table instead of linked list
   7   - check if new HELLO learned is different from old HELLO
   8     before resetting entire state!
   9   - the code uses the term 'blacklist' for both peers that are forbidden
  10     to connect (i.e. F2F mode) as well as peers that we currently
  11     won't try to actively connect to ourselves (since we just tried);
  12     This is confusing.  We need two distinct terms (greylist?).
  13   - instead of periodically discarding blacklisted entries,
  14     simply add task that is triggered at the right time (earlier free,
  15     more balanced load)
  16
  17   - needs more testing (especially F2F topology)
  18   - needs to re-try connecting after disconnect (currently, it
  19     initially triggers a connection request, but if that connection
  20     fails / goes down, it does not retry in a timely fashion;
  21     cause seems to be the 'blacklist_after_attempt' being set to 1h,
  22     which is rather long -- and should probably be adjusted based on
  23     the number of connections / known peers)
  24   - If the topology daemon crashes, peers that were put on the
  25     blacklist with transport will never be removed from it (until
  26     transport service dies); we should use the blacklist notification
  27     API to learn about the exact set of blacklisted peers at all times
  28     (FIXME: the transport_api implementation of blacklisting
  29      also does not work nicely for this since it won't let us know about
  30      disconnect-reconnect events and the implicit whitelisting
  31      that might happen here; that's not so bad since we will
  32      re-blacklist on pre-connect attempts anyway, so this is
  33      a minor issue; OTOH, we might want to be more explicit about
  34      allowing/forbidding connects on pre-connect to avoid
  35      entering connect attempts to just be blacklisted shortly afterwards).
  36 * DATASTORE:
  37   - API lacks cancellation methods (needed? or is disconnect enough?)
  38   - may also want to integrate request queuing here instead of gnunet-service-fs_drq.c
  39 * FS: [CG]
  40   - support recursive download even if filename is NULL and we hence
  41     do not generate files on disk (use temp_filename)
  42   - bound parallelism (# fs downloads)
  43   - distinguish in performance tracking and event signalling between
  44     downloads that are actually running and those that are merely in the queue
  45   - persistence support (publish, unindex, search, download)
  46   - active migration support (in fs or in datastore or new daemon?)
  47   - gnunet-service-fs (hot-path routing, load-based routing, nitpicks)
  48   - [gnunet-service-fs.c:208]: member 'LocalGetContext::results_bf_size' is never used
  49   - [gnunet-service-fs.c:501]: member 'PendingRequest::used_pids_size' is never used
  50   - [gnunet-service-fs.c:654]: member 'ConnectedPeer::last_client_replies' is never used
  51   - [gnunet-service-fs.c:669]: member 'ConnectedPeer::avg_delay' is never used
  52   - [gnunet-service-fs.c:675]: member 'ConnectedPeer::avg_priority' is never used
  53   - [gnunet-service-fs.c:688]: member 'ConnectedPeer::pending_requests' is never used
  54   - [gnunet-service-fs.c:694]: member 'ConnectedPeer::last_p2p_replies_woff' is never used
  55   - [gnunet-service-fs.c:700]: member 'ConnectedPeer::last_client_replies_woff' is never used
  56   - GAP improvements:
  57     + active reply route caching design & implementation of service; gap extension!
  58 * TBENCH: [MW]
  59   - good to have for transport/DV evaluation!
  60 * DV: [Nate]
  61   - write DV API (need to move declarations from dv_api.c to gnunet_dv_service.h!)
  62   - implement DV service
  63   - implement DV library (looks done)
  64   - implement DV transport plugin
  65   - implement testcases
  66   - implement performance tests
  67 * UTIL:
  68   - only connect() sockets that are ready (select()) [Nils]
  69     [On W32, we need to select after calling socket before doing connect etc.]
  70 * GNUNET-GTK:
  71   - use g_main_context_set_poll_func to integrate GTK with GNUnet Scheduler!? (YUCK!)
  72   - OR: add scheduler API to enable integration with GTK main loop instead of doing our own select
  73   - use g_main_context_pending, g_main_context_query / g_main_context_check / g_main_context_dispatch
  74     and NEVER g_main_loop_run (can this be done? might be the clean way to do this! But how
  75     to integrate this with "gtk_main"?  Docu says:
  76     "It's OK to use the GLib main loop directly instead of gtk_main(), though it involves
  77      slightly more typing. See GMainLoop in the GLib documentation."
  78     => so maybe it "just works"?
  79 * SETUP:
  80   - design & implement new setup tool
  81
  82 0.9.0pre2:
  83 * TRACEKIT: [MW]
  84   - good to have for DV/DHT evaluation!
  85 * DHT: [Nate]
  86   - implement DHT service
  87   - implement testcases
  88   - implement performance tests
  89 * TRANSPORT:
  90   - HTTP backend [MW]
  91 * ARM: [Safey]
  92   - need to get rid of synchronous API for service starts (cause all kinds of problems)
  93     [=> eliminate for need to tell ARM about service starts most of the time!] [Safey]
  94   - better tracking of which config changes actually need to cause process restarts by ARM.
  95   - listen for requests to discover dependencies between services (and avoid
  96     having to explicitly program start requests)
  97   - better crash management (attach debugging support, capture and analyze
  98     debug output, detect random vs. deterministic crashes)
  99   - shutdown sequence?
 100 * FS: [CG]
 101   - datastore reservation (publishing)
 102   - search: availability probes
 103   - location URIs (publish, search, download)
 104   - non-anonymous FS service (needs DHT)
 105     + DHT integration for search
 106     + CS-DHT-functions (DHT-put of LOC)
 107     + P2P-functions (DHT-get)
 108   - collection API & tests
 109     + gnunet-pseudonym (collection support)
 110   - implement FS performance tests
 111     + insert
 112     + download
 113     + search
 114     + unindex
 115
 116 0.9.0pre3:
 117 * Determine RC bugs and fix those!
 118 * TESTING: [Nate]
 119   - modify configuration to allow controlling connections for non-local starts
 120   - testbed creation with topology (needs working F2F topology)
 121   - testbed with churn
 122   - implement testcases for distributed testing
 123   - test basic peer re-configure
 124   - test topology creation
 125   - test churn generation
 126   - consider changing API for peer-group termination to
 127     call continuation when done
 128 * NAT/UPNP: [MW]
 129   - finalize API design
 130   - code clean up
 131   - testing
 132   - integration with transport service
 133 * MYSQL database backends: [CG]
 134   - datacache
 135   - datastore
 136
 137 0.9.0:
 138 * new webpage:
 139   - expand bibliography
 140   - convert documentation pages to books
 141   - update books (especially for developers)
 142   - create good Drupal theme for GNUnet
 143   - make a NICE download page and figure out how to
 144     enable developers to publish TGZs nicely
 145   - port "contact" page
 146   - add content type for "todo" items?
 147 * POSTGRES database backends: [CG]
 148   - datacache
 149   - datastore
 150 * Determine RC bugs and fix those!
 151
 152 0.9.x:
 153 * TRANSPORT: [MW]
 154   - SMTP transport backend
 155   - HTTPS transport backend
 156     + improved HTTPS support in MHD
 157     + actual plugin
 158   - Implement method of learning our external addresses from
 159     other peers; need some kind of threshold-based
 160     scheme, limiting both the total number of addresses that we accept
 161     this way as well as requiring multiple confirmations; also, we
 162     should possibly try to confirm that the given address works for
 163     us ourselves (loopback-style) before adding it to the list
 164     + we may be able to simplify WELCOME messages (no need to add
 165       addresses there anymore, but may help to learn them there anyway...).
 166     + we probably want some kind of voting/counting for learning IP addresses
 167       (maybe including IP addresses in ads proportional to how often others
 168        report them? we at least need some protection against >64k HELLOs!),
 169     + provide a way to give the user a list of "learned" IP addresses and
 170       a way to easily "veto" addresses off the list!
 171       => If MiM attacker uses vetoed address, blacklist the specific IP for
 172          the presumed neighbour!
 173   - implement gnunet-transport (transport configurator / tester)
 174   - UPnP-based IP detection
 175     (Note: build library always, build service when libxml2/etc. are available)
 176 * FS: [CG]
 177   - Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
 178   - Allow checking of presence of search results and/or content via command-line tools
 179     (add options to gnunet-search / gnunet-download to limit search to local peer)
 180 * PEERINFO: [CG]
 181   - expire 'ancient' HELLOs (those without valid addresses AND that
 182     we have not 'used' (for their public keys) in a while; need a way
 183     to track actual 'use')
 184   - make sue we also trigger notifications whenever HELLOs expire
 185 * VPN
 186
 187
 188
 189 Optimizations:
 190 * TCP:
 191   - should use hash map to look up sessions
 192 * PEERINFO:
 193   - api creates many, many short-lived TCP connections; either some
 194     clients should use the API differently or we need to change the
 195     API to enable re-use of connections to the service
 196 * STATISTICS:
 197   - should use BIO instead of mmap
 198 * TRANSPORT:
 199   - need to periodically probe latency/transport cost changes & possibly switch transport
 200   - instantly filter addresses from *other* peers that
 201     are *equal* to our own address + port (i.e., localhost:2086).  We
 202     no longer filter those for outgoing (helps with loopback testing
 203     and keeps the code clean), but we should filter strictly *impossible*
 204     incoming addresses!  This is for efficiency, not correctness.
 205   - should use hash map to look up Neighbours
 206 * HOSTLIST:
 207   - 'server' uses 'GNUNET_PEERINFO_iterate', should probably switch to notification API
 208     (for more instant / up-to-date hostlists at lower cost) [OPTIMIZATION]
 209 * DATASTORE (?):
 210   - check for duplicates on insertion (currently, same content is frequently
 211     stored again [seen with KBLOCKS and SBLOCKS]!)
 212
 213 Minor features:
 214 * TCP:
 215   - repeatedly resolve hostname and look up interfaces to determine our own IP
 216   - [./transport/plugin_transport_tcp.c:391]: (style) struct or union member 'Plugin::address_update_task' is never used (related to issue above)
 217 * TRANSPORT:
 218   - [./transport/gnunet-service-transport.c:173]: (style) struct or union member 'TransportPlugin::rebuild' is never used (related to TCP not refreshing external addresses?)
 219 * DATACACHE:
 220   - add stats (# bytes available, # bytes used, # PUTs, # GETs, # GETs satisfied)
 221 * FS:
 222   - support inline data in directories for recursive file downloads (fs_download)
 223