c9ad21fbaff4638af4ab761192eed1b2261145c1
[oweals/gnunet.git] / TODO
1 Implementable right now (but not necessarily important), with caveats
2 (unavailable components that will limit what can be implemented right
3 away), in order in which they will likely be done:
4 * TESTING-TESTBED [Nate]
5 * SETUP
6 * DV [Nate]
7 * TBENCH
8 * TRACEKIT
9 * FRAGMENTATION [Ji Lu]
10 * HTTP transport
11 * MySQL / Postgres plugins (datastore, datacache) [Radhika]
12 * UPNP [Milan]
13
14 Urgent items (before announcing ng.gnunet.org):
15 * topology
16   - needs testing
17 * hostlist
18   - test fails (peers don't connect quickly, could be topology issue)
19   - crashes:
20 (gdb) print pos
21 $1 = (struct GNUNET_TRANSPORT_TransmitHandle *) 0x21
22 (gdb) print h
23 $2 = (struct GNUNET_TRANSPORT_Handle *) 0x21775d0
24 (gdb) print *h
25 $3 = {cls = 0x454d414e54534f48, rec = 0x7f66983d7e00 <_IO_stdfile_0_lock>, nc_cb = 0x4010d8 <notify_connect+128>, nd_cb = 0x21, my_hello = 0x736f686c61636f6c, client = 0x7f66983d0074, network_handle = 0x0, connect_wait_head = 0x21, connect_ready_head = 0x21775b0,
26   hwl_head = 0x2177630, sched = 0x2177650, cfg = 0x21, neighbours = 0x54524f5050545448, reconnect_task = 140078617558528, reconnect_delay = {value = 1000}, transmission_scheduled = 33}
27 (gdb) ba
28 #0  0x00007f6698a2143c in add_neighbour (h=0x21775d0, quota_out=1, latency=..., pid=0x7fff2d320bd0) at transport_api.c:1383
29 #1  0x00007f6698a21d70 in demultiplexer (cls=0x21775d0, msg=0x7fff2d320bc0) at transport_api.c:1645
30 #2  0x00007f66985ed452 in receive_task (cls=0x2177470, tc=0x7fff2d320ca0) at client.c:491
31 #3  0x00007f6698609caa in run_ready (sched=0x7fff2d320d10) at scheduler.c:482
32 #4  0x00007f669860a0ba in GNUNET_SCHEDULER_run (task=0x7f66986069a8 <program_main>, task_cls=0x7fff2d320f20) at scheduler.c:609
33 #5  0x00007f6698606ffc in GNUNET_PROGRAM_run (argc=5, argv=0x7fff2d321000, binaryName=0x401b3f "st-gnunetd-hostlist-peer-2", binaryHelp=0x401b86 "", options=0x7fff2d320fc0, task=0x401638 <run+128>, task_cls=0x602360) at program.c:223
34
35 * CORE:
36   - soliciting traffic for clients that registered for it is not implemented
37     (in the service, client API supports GNUNET_MESSAGE_TYPE_CORE_SOLICIT_TRAFFIC
38      but never receives any such messages); how to avoid busy-waiting here
39      is a good question (solicit => nothing, when to solicit again???)
40   - crashes:
41 #0  0x00007ffff7072f55 in *__GI_raise (sig=<value optimized out>)
42     at ../nptl/sysdeps/unix/sysv/linux/raise.c:64
43 #1  0x00007ffff7075d90 in *__GI_abort () at abort.c:88
44 #2  0x00007ffff7bdfc68 in produce_configure_message (cls=0x61c480, size=65536, 
45     buf=0x65a008) at core_api.c:932
46 #3  0x00007ffff7bde53c in request_start (cls=0x6213c0, size=65536, 
47     buf=0x65a008) at core_api.c:336
48 #4  0x00007ffff75a6c90 in client_notify (cls=0x634110, size=65536, 
49     buf=0x65a008) at client.c:822
50 #5  0x00007ffff75ac3f8 in process_notify (sock=0x659f30) at connection.c:1218
51 #6  0x00007ffff75ac7f3 in transmit_ready (cls=0x659f30, tc=0x7fffffffdbe0)
52     at connection.c:1358
53 #7  0x00007ffff75c2caa in run_ready (sched=0x7fffffffdc50) at scheduler.c:482
54 #8  0x00007ffff75c30ba in GNUNET_SCHEDULER_run (
55     task=0x7ffff75bf9a8 <program_main>, task_cls=0x7fffffffde60)
56     at scheduler.c:609
57 #9  0x00007ffff75bfffc in GNUNET_PROGRAM_run (argc=5, argv=0x7fffffffe018, 
58     binaryName=0x403fbb "topology", 
59     binaryHelp=0x403f78 "GNUnet topology control (maintaining P2P mesh and F2F constraints)", options=0x6048c0, task=0x4031fd <run>, task_cls=0x0)
60     at program.c:223
61 #10 0x000000000040353c in main (argc=5, argv=0x7fffffffe018)
62     at gnunet-daemon-topology.c:1303
63 * TRANSPORT:
64   - crashes:
65 (gdb) ba
66 #0  0x00007ffff5d0d3d4 in disconnect_session (session=0x656700)
67     at plugin_transport_tcp.c:797
68 #1  0x00007ffff5d0d74c in session_try_connect (cls=0x656700, peer=0x0, 
69     hello=0x0, trust=0) at plugin_transport_tcp.c:990
70 #2  0x00007ffff7bdf26e in info_handler (cls=0x6306e0, msg=0x7fffffffda60)
71     at peerinfo_api.c:180
72 #3  0x00007ffff79b0452 in receive_task (cls=0x69ec40, tc=0x7fffffffdb00)
73     at client.c:491
74 #4  0x00007ffff79cccaa in run_ready (sched=0x7fffffffdb70) at scheduler.c:482
75 #5  0x00007ffff79cd0ba in GNUNET_SCHEDULER_run (
76     task=0x7ffff79d1898 <service_task>, task_cls=0x7fffffffde10)
77     at scheduler.c:609
78 #6  0x00007ffff79d27e1 in GNUNET_SERVICE_run (argc=3, argv=0x7fffffffe028, 
79     serviceName=0x405e6b "transport", opt=GNUNET_SERVICE_OPTION_NONE, 
80     task=0x4055c9 <run>, task_cls=0x0) at service.c:1345
81 #7  0x0000000000405870 in main (argc=3, argv=0x7fffffffe028)
82     at gnunet-service-transport.c:2784
83
84
85 * FS (basic anonymous FS only)
86   - implement FS service (P2P operations)
87     + how to send queries (soliciting is not there in core; do we
88       also want to do pushing sometimes?)
89     + need to bound queueing of replies for other peers    
90   - test multi-peer search/download
91 * new webpage
92   - run peer => have a 0.9.x hostlist
93   - improve basic documentation (configure, dependencies, what works, etc.)
94   - write minimal welcome/introduction to 0.9.x-development/webpage/status
95 => Deploy(able) development network
96
97
98 0.9.0pre0:
99 * UTIL:
100   - load: need way to determine network load (up/down)
101   - trust: need *fast* way to check/update trust in peers
102            (async peerinfo would not be right)
103   - OS: existing waitpid call is not nice (not integratable with scheduler! fix this!)
104 * STATISTICS:
105   - synchronous/asynchronous API (& implementation) is not nice
106   - does not seem to work with timeouts (especially if service is not running)
107 * ARM:
108   - need to get rid of synchronous API for service starts (cause all kinds of problems)
109     [=> eliminate for need to tell ARM about service starts most of the time!]
110 * Module features to implement:
111   - advanced FS API parts
112     + namespaces: fundamental namespace API
113     + search: SBlocks, KSBlocks, probes, notify FS-service of known results
114     + collection
115     + location URIs (publish, search, download)
116     + persistence support (publish, unindex, search, download)
117     + indexing: index-failure-cleanup
118     + download: management/bounding of parallel downloads (for recursive dl.)
119     + datastore reservation (publishing)
120     + gnunet-publish (URI args)
121     + gnunet-download (directory)
122     + gnunet-search (options, incl. namespace search)
123     + gnunet-download (many options)
124     + gnunet-directory (man page, options)
125     + gnunet-pseudonym (all of it)
126     + gnunet-service-fs (remove failing on-demand blocks, many other nitpicks/features/optimizations)
127     + datastore: do active migration support here?
128   - implement adv. FS testcases 
129     + getopt API
130     + insert: sblocks, loc uris
131     + download: loc uris
132     + search: sblocks, skblocks, loc uris
133     + namespaces
134     + collection
135   - implement FS performance tests (needs TESTING)
136     + insert
137     + download
138     + search
139     + unindex
140   - non-anonymous FS service (needs DHT)
141     + basic DHT integration
142     + CS-DHT-functions (DHT-put of LOC)
143     + P2P-functions (DHT-get)
144   - setup (RC-pre0)
145     + default generation
146     + need to settle basic design; do we want to keep guile?
147   - testing (RC-pre0)
148     + modify configuration to allow controlling connections for non-local starts
149     + testbed creation with topology (needs working F2F topology) [Nate]
150     + testbed with churn [Nate]
151     + implement library for distributed testing [Nate]
152     + implement testcases for distributed testing [Nate]
153     + test basic peer re-configure [Nate]
154     + test topology creation [Nate]
155     + test churn generation [Nate]
156
157 0.9.0pre1:
158 * Module features to implement:
159   - tbench (RC-pre1)
160     + good to have for DV evaluation!
161   - DV (RC-pre1)
162     + write DV API 
163     + implement DV service [Nate & CG]
164     + implement DV library [Nate]
165     + implement DV transport plugin [Nate & CG]
166     + implement testcases [Nate]
167     + implement performance tests [Nate]
168 * GUIs to implement:
169   - gtk (RC-pre1)
170     + how to integrate scheduler with GTK event loop!
171
172 0.9.0pre2:
173 * Module features to implement:
174   - tracekit (RC-pre2)
175     + good to have for DV/DHT evaluation!
176   - DHT (RC-pre2)
177     + implement DHT service (needs DV, DATACACHE)
178     + implement DHT library
179     + implement testcases
180     + implement performance tests
181 * GUIs to implement:
182   - fuse (RC-pre2)
183 * Plugins to implement:
184   - UDP backend (RC-pre2)
185     + Fragmentation library 
186     + actual plugin
187   - HTTP backend (RC-pre2)
188
189 0.9.0pre3:
190 * GUIs to implement:
191   - qt (RC-pre3)
192     + see discussions @ FISL about integration with event loop!
193 * Determine RC bugs and fix those!
194
195 0.9.0:
196 * Documentation
197   - update man pages
198   - update webpage documentation
199 * new webpage:
200   - expand bibliography
201   - convert documentation pages to books
202   - update books (especially for developers)
203   - create good Drupal theme for GNUnet
204   - make a NICE download page and figure out how to 
205     enable developers to publish TGZs nicely
206   - port "contact" page
207   - add content type for "todo" items?
208   - DNS activation
209 * Plugins to implement:
210   - MySQL database backends
211     + datacache
212     + datastore
213   - Postgres database backends
214     + datacache
215     + datastore
216   - vpn
217 * Determine RC bugs and fix those!
218
219
220 0.9.x:
221 * Plugins to implement:
222   - SMTP transport backend
223   - HTTPS transport backend
224     + improved HTTPS support in MHD
225     + actual plugin
226 * Remove KBlocks in gnunet-unindex (see discussion with Kenneth Almquist on gnunet-devs in 9/2009)
227 * Allow checking of presence of search results and/or content via command-line tools
228   (add options to gnunet-search / gnunet-download to limit search to local peer)
229 * STATISTICS:
230   - should use BIO instead of mmap