TODO

   1 PHASE #1: (Goal: settle key design questions)
   2
   3 Util:
   4 * Windows: use events instead of pipes to signal select()s [Nils]
   5 * only connect() sockets that are ready (select()) [Nils]
   6   [On W32, we need to select after calling socket before
   7    doing connect etc.]
   8
   9 PHASE #2: (Goal: recover basic file-sharing functionality)
  10
  11
  12 TESTCASES WANTED:
  13
  14 For these functions, it would be nice if we had testcases ("make check")
  15 that would cause them to be executed and check that they are working:
  16 * gnunet-service-peerinfo:
  17   - change_host_trust / flush_trust
  18   - remove_garbage /
  19   - discard_hosts_helper / cron_clean_data_hosts
  20 * gnunet-service-transport:
  21   - try_unvalidated_addresses
  22   - lookup_address_callback
  23   - lookup_hello_callback
  24   - plugin_env_lookup_address
  25   - notify_clients_disconnect
  26   - list_validated_addresses
  27   - cleanup_validation
  28   - disconnect_neighbour
  29   - handle_set_quota
  30 * plugin_transport_tcp.c:
  31   - tcp_plugin_cancel
  32   - tcp_plugin_address_pretty_printer / append_port
  33   - tcp_plugin_set_receive_quota
  34   - delayed_done
  35 * transport_api:
  36   - GNUNET_TRANSPORT_set_qutoa / send_set_quota
  37   - hello_wait_timeout
  38   - transmit_ready
  39   - transmit_timeout
  40   - remove_from_any_list / remove_neighbour
  41   - GNUNET_TRANSPORT_notify_transmit_ready_cancel
  42   - Testcases for set_quota, timeouts, disconnects, transmit_ready_cancel
  43   - gnunet-service-transport HELLO validation (how good is our coverage?)
  44   - direct test of plugins compliance to plugin API
  45 * core_api:
  46   - timeout_request
  47   - solicit_traffic / copy_and_free
  48   - GNUNET_CORE_peer_configure / produce_configure_message
  49 * gnunet-service-core:
  50   - update_window
  51   - find_client
  52   - handle_client_request_configure
  53   - set_key_retry_task
  54   - align_and_deliver
  55   - handle_transport_notify_disconnect
  56 * hostlist (everything)
  57 * topology (everything)
  58
  59
  60 Module features to implement:
  61 * Dstore (needed for DHT)
  62   - design DSTORE API
  63   - design network structs
  64   - design plugin API
  65   - implement sqlite-based dstore plugin
  66   - implement dstore service
  67   - implement dstore API
  68   - implement testcases for dstore API
  69   - implement testcases for dstore plugin
  70   - implement performance tests
  71 * TESTING (needed for DV, DHT, Topology)
  72   - review TESTING API
  73   - implement library for local testing
  74   - implement testcases for library
  75   - implement library for distributed testing
  76   - implement testcases for distributed testing
  77 * TOPOLOGY:
  78   - implement testcases (needs TESTING)
  79 * HOSTLIST:
  80   - implement testcases
  81 * DV (needed for DHT)
  82   - write DV API
  83   - implement DV service
  84   - implement DV library
  85   - implement DV transport plugin
  86   - implement testcases
  87   - implement performance tests
  88 * DHT (needed for FS)
  89   - review DHT API
  90   - implement DHT service (needs DV, DSTORE)
  91   - implement DHT library
  92   - implement testcases
  93   - implement performance tests
  94 * FS
  95   - review FS API
  96   - design network structs (CS)
  97   - implement FS library
  98     + URI API
  99     + getopt API
 100     + persistence mechanism
 101     + sharing API
 102       ~ file-information
 103       ~ insert
 104       ~ download
 105       ~ search
 106       ~ unindex
 107       ~ namespaces
 108       ~ collection
 109     + directory API
 110   - design network structs (P2P)
 111   - datastore request queueing mechanism
 112   - implement FS service (needs DHT)
 113     + insert
 114     + download
 115     + search
 116     + unindex
 117   - implement testcases
 118     + URI API
 119     + getopt API
 120     + sharing API (needs TESTING)
 121       ~ file-information
 122       ~ insert
 123       ~ download
 124       ~ search
 125       ~ unindex
 126       ~ namespaces
 127       ~ collection
 128     + directory API
 129   - implement performance tests (needs TESTING)
 130     + insert
 131     + download
 132     + search
 133     + unindex
 134
 135
 136
 137 PHASE #3: (Goal: ready for pre-release) [completion-goal: end of 2009]
 138
 139 Module features to implement:
 140 * setup
 141   - default generation
 142   - need to settle basic design; do we want to keep guile?
 143 * tbench
 144   - good to have for DV evaluation!
 145 * tracekit
 146   - good to have for DV/DHT evaluation!
 147 * vpn
 148
 149
 150 GUIs to implement:
 151 * gtk
 152 * qt
 153 * fuse
 154
 155
 156 Plugins to implement:
 157 * UDP backend (need LIBRARY to support (de)fragmentation!)
 158 * HTTP backend
 159
 160
 161
 162
 163
 164 Minor TODO items / known bugs:
 165 * UTIL:
 166   - crypto_hash: use libgcrypt (supports SHA-512 since 2003)
 167   - container_bloomfilter: improve efficiency (see FIXME)
 168 * SERVER:
 169   - inefficient memmove
 170 * TRANSPORT:
 171   - transport_api: support forcing disconnects through low quotas!
 172     (required for working F2F support!)
 173   - API: consider having core provide deadline information for each message
 174     (likely important for DV plugin which wants to loop back!)
 175   - implement transport API to pretty-print transport address
 176     + transport_api extension (API extension!)
 177     + service-transport extension (protocol extension)
 178   - add calls to statistics in various places
 179   - implement gnunet-transport (transport configurator / tester)
 180   - UPnP-based IP detection
 181     (Note: build library always, build service when libxml2/etc. are available)
 182   - instantly filter addresses from *other* peers that
 183     are *equal* to our own address + port (i.e., localhost:2086).  We
 184     no longer filter those for outgoing (helps with loopback testing
 185     and keeps the code clean), but we should filter strictly *impossible*
 186     incoming addresses!  This is for efficiency, not correctness.
 187   - We currently are happy to take any address told to us in a WELCOME
 188     to our set of addresses; we should have some minimal threshold-based
 189     scheme, limiting both the total number of addresses that we accept
 190     this way as well as requiring multiple confirmations; also, we
 191     should possibly try to confirm that the given address works for
 192     us ourselves (loopback-style) before adding it to the list
 193     [SECURITY issue]
 194     + we may be able to simplify WELCOME messages (no need to add
 195       addresses there anymore, but may help to learn them there anyway...).
 196     + we probably want some kind of voting/counting for learning IP addresses
 197       (maybe including IP addresses in ads proportional to how often others
 198        report them? we at least need some protection against >64k HELLOs!),
 199     + provide a way to give the user a list of "learned" IP addresses and
 200       a way to easily "veto" addresses off the list!
 201       => If MiM attacker uses vetoed address, blacklist the specific IP for
 202          the presumed neighbour!
 203   - not sure current way of doing ACKs works well-enough
 204     with unreliable transports where the ACK maybe lost;
 205     the "is_new" check would then possibly prevent future
 206     ACKs to be delivered, all while we're happily
 207     receiving messages from that peer!  Worse, the other
 208     peer won't generate another ACK since it thinks we're
 209     connected just fine...
 210     Key questions:
 211     + How necessary is ACKing in the first place? (alternatives?)
 212     + Should we transmit ACKs in response to every HELLO? (would that
 213       fully address the problem?)
 214   - latency measurements implemented in the transport
 215     plugins makes it only work for bi-di transports
 216     and results in code replication
 217   - should latency be included in the ReceiveCallback and
 218     NotifyConnect or passed on request?
 219   - FIXME's with latency being simply set to 0 in a few places
 220   - Memory leak (running valgrind --trace-children=yes on test_transport_api:
 221     ==28393== 16 bytes in 1 blocks are indirectly lost in loss record 1 of 5
 222     ==28393==    at 0x4C2260E: malloc (vg_replace_malloc.c:207)
 223     ==28393==    by 0x52343E3: GNUNET_xmalloc_unchecked_ (common_allocation.c:62)
 224     ==28393==    by 0x5234389: GNUNET_xmalloc_ (common_allocation.c:53)
 225     ==28393==    by 0x524458A: GNUNET_NETWORK_socket_create_from_accept (network.c:289)
 226     ==28393==    by 0x524B2DA: ??? (server.c:332)
 227     ==28393==    by 0x524A4C7: ??? (scheduler.c:425)
 228     ==28393==    by 0x524A73D: GNUNET_SCHEDULER_run (scheduler.c:510)
 229     ==28393==    by 0x524FF8C: GNUNET_SERVICE_run (service.c:1326)
 230     ==28393==    by 0x405500: main (gnunet-service-transport.c:2645)
 231     And also:
 232     ==28393== 65,744 (65,728 direct, 16 indirect) bytes in 1 blocks are definitely lost in loss record 5 of 5
 233     ==28393==    at 0x4C2260E: malloc (vg_replace_malloc.c:207)
 234     ==28393==    by 0x52343E3: GNUNET_xmalloc_unchecked_ (common_allocation.c:62)
 235     ==28393==    by 0x5234389: GNUNET_xmalloc_ (common_allocation.c:53)
 236     ==28393==    by 0x524473E: GNUNET_NETWORK_socket_create_from_accept (network.c:323)
 237     (rest of trace identical)
 238
 239 * DATASTORE:
 240   - mysql backend
 241   - postgres backend
 242 * SETUP:
 243   - auto-generate "defaults.conf" using gnunet-setup from "config.scm"
 244   - integrate all options into "config.scm"
 245   - change config-file writing to exclude options set to default values
 246 * ARM:
 247   - implement exponential back-off for service restarts
 248   - better tracking of which config changes actually need to cause process restarts by ARM.
 249   - have way to specify dependencies between services (to manage ARM restarts better)
 250   - client-API is inefficient since it opens a TCP connection per service that is started
 251     (instead of re-using connections).
 252 * CORE:
 253   - code currently notifies clients about "encrypted" connections being up well before
 254     we get the encrypted PONG; sometimes this may be OK (for topology killing
 255     unwanted connnections), but of course not in general.  I suspect we want
 256     to signal on PONG and have topology hook directly into transport to
 257     kill plaintext connections before they have a chance to become encrypted
 258     (may require minor hack in transport API)
 259 * PEERINFO:
 260   - have gnunet-peerinfo print actual host addresses again
 261   - add option to gnunet-peerinfo to modify trust value
 262 * POSTGRES-DB:
 263   - finish postgres implementation; simplify other SQLs using new stats
 264 * HTTPS transport
 265   - PolariSSL for MHD?
 266   - https integration
 267 * GAP improvements:
 268   - active reply route caching design & implementation of service,
 269     gap extension!
 270 * HOSTLIST:
 271   - implement advertising of hostlist URL
 272   - implement learning of hostlist URLs
 273
 274
 275
 276 => PRE-RELEASE
 277
 278 PHASE #4: [completion-goal: mid 2010]
 279 * Documentation
 280   - Doxygen generation
 281   - lcov generation
 282   - update man pages
 283   - update webpage documentation
 284 * new webpage:
 285   - expand bibliography
 286   - convert documentation pages to books
 287   - update books (especially for developers)
 288   - add content type for links and view
 289   - create good Drupal theme for GNUnet
 290   - make a NICE download page and figure out how to
 291     enable developers to publish TGZs nicely
 292   - port "contact" page; add impressum
 293   - add content type for "todo" items?
 294   - DNS activation
 295
 296
 297 Stuff to remember:
 298 * Features eliminated from util:
 299   - threading (goal: good riddance!)
 300   - complex logging features [ectx-passing, target-kinds] (goal: good riddance!)
 301   - complex configuration features [defaults, notifications] (goal: good riddance!)
 302   - network traffic monitors (goal: eliminate)
 303   - IPC semaphores (goal: d-bus? / eliminate?)
 304   - second timers
 305   - DNS lookup (goal: have async service; issue: still need synchronous resolution in places, current code may not be portable)
 306   => code shrunk from 61 files to 34, 22k LOC to 15k LOC, 470k to 330k (with symbols)
 307 * New features in util:
 308   - scheduler
 309   - service and program boot-strap code
 310 * Major changes in util:
 311   - more expressive server (replaces selector)
 312 * Open questions:
 313   - how to integrate scheduler with GTK event loop!
 314
 315
 316
 317 Test coverage:
 318 * UTIL      : 78.7%
 319 * HELLO     : 93.7%
 320 * ARM       : 69.9%
 321 * RESOLVER  : 60.4%
 322 * STATISTICS: 82.8%
 323 * PEERINFO  : 71.5%
 324 * TRANSPORT : 70.9%
 325 * CORE      : 65.8%
 326 ===================
 327 * TOTAL     : 74.9%
 328
 329 Not yet tested:
 330 * HOSTLIST  :  0.0%
 331 * TOPOLOGY  :  0.0%