bca489b2506bb78c8b1d14cb64c9d45ea3565df3
[oweals/gnunet.git] / TODO
1 0.9.0pre1:
2 * PEERINFO: [CG]
3   - trust: need *fast* way to check/update trust in peers
4            (async peerinfo would not be right; certainly not with the current API)
5 * TOPOLOGY: [CG]
6   - needs to re-try connecting after disconnect (currently, it
7     initially triggers a connection request, but if that connection
8     fails / goes down, it does not retry in a timely fashion;
9     cause seems to be the 'greylist_after_attempt' being set to 1h,
10     which is rather long -- and should probably be adjusted based on
11     the number of connections / known peers & use some form of back-off)
12   - If the topology daemon crashes, peers that were put on the
13     blacklist with transport will never be removed from it (until
14     transport service dies); we should use the blacklist notification
15     API to learn about the exact set of blacklisted peers at all times
16     (FIXME: the transport_api implementation of blacklisting
17      also does not work nicely for this since it won't let us know about
18      disconnect-reconnect events and the implicit whitelisting
19      that might happen here; that's not so bad since we will
20      re-blacklist on pre-connect attempts anyway, so this is 
21      a minor issue; OTOH, we might want to be more explicit about
22      allowing/forbidding connects on pre-connect to avoid 
23      entering connect attempts to just be blacklisted shortly afterwards).
24   - needs more testing (especially F2F topology)
25 * FS: [CG]
26   - support recursive download even if filename is NULL and we hence
27     do not generate files on disk (use temp_filename)
28   - bound parallelism (# fs downloads)
29   - distinguish in performance tracking and event signalling between
30     downloads that are actually running and those that are merely in the queue
31   - persistence support (publish, unindex, search, download)
32   - active migration support (in fs or in datastore or new daemon?)
33   - gnunet-service-fs (hot-path routing, load-based routing, nitpicks)
34   - [gnunet-service-fs.c:208]: member 'LocalGetContext::results_bf_size' is never used
35   - [gnunet-service-fs.c:501]: member 'PendingRequest::used_pids_size' is never used
36   - [gnunet-service-fs.c:654]: member 'ConnectedPeer::last_client_replies' is never used
37   - [gnunet-service-fs.c:669]: member 'ConnectedPeer::avg_delay' is never used
38   - [gnunet-service-fs.c:675]: member 'ConnectedPeer::avg_priority' is never used
39   - [gnunet-service-fs.c:688]: member 'ConnectedPeer::pending_requests' is never used
40   - [gnunet-service-fs.c:694]: member 'ConnectedPeer::last_p2p_replies_woff' is never used
41   - [gnunet-service-fs.c:700]: member 'ConnectedPeer::last_client_replies_woff' is never used
42   - GAP improvements:
43     + active reply route caching design & implementation of service; gap extension!
44 * TBENCH: [MW]
45   - good to have for transport/DV evaluation! 
46 * DV: [Nate]
47   - write DV API (need to move declarations from dv_api.c to gnunet_dv_service.h!)
48   - implement DV service 
49   - implement DV library (looks done)
50   - implement DV transport plugin
51   - implement testcases 
52   - implement performance tests
53 * UTIL:
54   - only connect() sockets that are ready (select()) [Nils]
55     [On W32, we need to select after calling socket before doing connect etc.]
56 * GNUNET-GTK:
57   - use g_main_context_set_poll_func to integrate GTK with GNUnet Scheduler!? (YUCK!)
58   - OR: add scheduler API to enable integration with GTK main loop instead of doing our own select
59   - use g_main_context_pending, g_main_context_query / g_main_context_check / g_main_context_dispatch
60     and NEVER g_main_loop_run (can this be done? might be the clean way to do this! But how
61     to integrate this with "gtk_main"?  Docu says:
62     "It's OK to use the GLib main loop directly instead of gtk_main(), though it involves 
63      slightly more typing. See GMainLoop in the GLib documentation."
64     => so maybe it "just works"?
65 * SETUP:
66   - design & implement new setup tool
67
68 0.9.0pre2:
69 * TRACEKIT: [MW]
70   - good to have for DV/DHT evaluation!
71 * DHT: [Nate]
72   - implement DHT service 
73   - implement testcases
74   - implement performance tests
75 * TRANSPORT:
76   - HTTP backend [MW]
77 * ARM: [Safey]
78   - need to get rid of synchronous API for service starts (cause all kinds of problems)
79     [=> eliminate for need to tell ARM about service starts most of the time!] [Safey]
80   - better tracking of which config changes actually need to cause process restarts by ARM.
81   - listen for requests to discover dependencies between services (and avoid
82     having to explicitly program start requests)
83   - better crash management (attach debugging support, capture and analyze
84     debug output, detect random vs. deterministic crashes)
85   - shutdown sequence?
86 * FS: [CG]
87   - datastore reservation (publishing)
88   - search: availability probes
89   - location URIs (publish, search, download)
90   - non-anonymous FS service (needs DHT)
91     + DHT integration for search
92     + CS-DHT-functions (DHT-put of LOC)
93     + P2P-functions (DHT-get)
94   - collection API & tests
95     + gnunet-pseudonym (collection support)
96   - implement FS performance tests
97     + insert
98     + download
99     + search
100     + unindex
101
102 0.9.0pre3:
103 * Determine RC bugs and fix those!
104 * TESTING: [Nate]
105   - modify configuration to allow controlling connections for non-local starts
106   - testbed creation with topology (needs working F2F topology) 
107   - testbed with churn 
108   - implement testcases for distributed testing
109   - test basic peer re-configure 
110   - test topology creation 
111   - test churn generation 
112   - consider changing API for peer-group termination to 
113     call continuation when done
114 * NAT/UPNP: [MW]
115   - finalize API design
116   - code clean up
117   - testing
118   - integration with transport service
119 * MYSQL database backends: [CG]
120   - datacache
121   - datastore
122
123 0.9.0:
124 * new webpage:
125   - expand bibliography
126   - convert documentation pages to books
127   - update books (especially for developers)
128   - create good Drupal theme for GNUnet
129   - make a NICE download page and figure out how to 
130     enable developers to publish TGZs nicely
131   - port "contact" page
132   - add content type for "todo" items?
133 * POSTGRES database backends: [CG]
134   - datacache
135   - datastore
136 * Determine RC bugs and fix those!
137
138 0.9.x:
139 * TRANSPORT: [MW]
140   - SMTP transport backend
141   - HTTPS transport backend
142     + improved HTTPS support in MHD
143     + actual plugin
144   - Implement method of learning our external addresses from
145     other peers; need some kind of threshold-based
146     scheme, limiting both the total number of addresses that we accept 
147     this way as well as requiring multiple confirmations; also, we
148     should possibly try to confirm that the given address works for
149     us ourselves (loopback-style) before adding it to the list
150     + we may be able to simplify WELCOME messages (no need to add 
151       addresses there anymore, but may help to learn them there anyway...).
152     + we probably want some kind of voting/counting for learning IP addresses
153       (maybe including IP addresses in ads proportional to how often others
154        report them? we at least need some protection against >64k HELLOs!),
155     + provide a way to give the user a list of "learned" IP addresses and
156       a way to easily "veto" addresses off the list!
157       => If MiM attacker uses vetoed address, blacklist the specific IP for
158          the presumed neighbour!
159   - implement gnunet-transport (transport configurator / tester)
160   - UPnP-based IP detection
161     (Note: build library always, build service when libxml2/etc. are available)
162 * FS: [CG]
163   - Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
164   - Allow checking of presence of search results and/or content via command-line tools
165     (add options to gnunet-search / gnunet-download to limit search to local peer)
166 * PEERINFO: [CG]
167   - expire 'ancient' HELLOs (those without valid addresses AND that 
168     we have not 'used' (for their public keys) in a while; need a way
169     to track actual 'use')
170   - make sue we also trigger notifications whenever HELLOs expire
171 * VPN
172
173
174
175 Optimizations:
176 * TCP:
177   - should use hash map to look up sessions
178 * STATISTICS:
179   - should use BIO instead of mmap
180 * TRANSPORT:
181   - need to periodically probe latency/transport cost changes & possibly switch transport
182   - instantly filter addresses from *other* peers that 
183     are *equal* to our own address + port (i.e., localhost:2086).  We 
184     no longer filter those for outgoing (helps with loopback testing
185     and keeps the code clean), but we should filter strictly *impossible*
186     incoming addresses!  This is for efficiency, not correctness.
187   - should use hash map to look up Neighbours
188 * HOSTLIST:
189   - 'server' uses 'GNUNET_PEERINFO_iterate', should probably switch to notification API
190     (for more instant / up-to-date hostlists at lower cost)
191 * DATASTORE (?):
192   - check for duplicates on insertion (currently, same content is frequently
193     stored again [seen with KBLOCKS and SBLOCKS]!)
194
195 Minor features:
196 * TCP:
197   - repeatedly resolve hostname and look up interfaces to determine our own IP
198   - [./transport/plugin_transport_tcp.c:391]: (style) struct or union member 'Plugin::address_update_task' is never used (related to issue above)
199 * TRANSPORT:
200   - [./transport/gnunet-service-transport.c:173]: (style) struct or union member 'TransportPlugin::rebuild' is never used (related to TCP not refreshing external addresses?)
201 * DATACACHE:
202   - add stats (# bytes available, # bytes used, # PUTs, # GETs, # GETs satisfied)
203 * FS:
204   - support inline data in directories for recursive file downloads (fs_download)
205