document more changes

document changes for upcoming 0.7.5 release

use a_store to set cancel flag in pthread_cancel, to ensure a barrier

simplify pthread_key_delete

calling this function on an uninitialized key value is UB, so there is
no need to check that the table pointer was initialized.

greatly simplify pthread_key_create (~20% size reduction)

add some missing prototypes for nonstandard functions (strsep, clearenv)

avoid all malloc/free in timer creation/destruction

instead of allocating a userspace structure for signal-based timers,
simply use the kernel timer id. we use the fact that thread pointers
will always be zero in the low bit (actually more) to encode integer
timerid values as pointers.

also, this change ensures that the timer_destroy syscall has completed
before the library timer_destroy function returns, in case it matters.

optimize timer creation and possibly protect against some minor races

the major idea of this patch is not to depend on having the timer
pointer delivered to the signal handler, and instead use the thread
pointer to get the callback function address and argument. this way,
the parent thread can make the timer_create syscall while the child
thread is starting, and it should never have to block waiting for the
barrier.

avoid crash on stupid but allowable usage of pthread_mutex_unlock

unlocking an unlocked mutex is not UB for robust or error-checking
mutexes, so we must avoid calling __pthread_self (which might crash
due to lack of thread-register initialization) until after checking
that the mutex is locked.

rename __simple_malloc.c to lite_malloc.c - yes this affects behavior!

why does this affect behavior? well, the linker seems to traverse
archive files starting from its current position when resolving
symbols. since calloc.c comes alphabetically (and thus in sequence in
the archive file) between __simple_malloc.c and malloc.c, attempts to
resolve the "malloc" symbol for use by calloc.c were pulling in the
full malloc.c implementation rather than the __simple_malloc.c
implementation.

as of now, lite_malloc.c and malloc.c are adjacent in the archive and
in the correct order, so malloc.c should never be used to resolve
"malloc" unless it's already needed to resolve another symbol ("free"
or "realloc").

streamline mutex unlock to remove a useless branch, use a_store to unlock

this roughly halves the cost of pthread_mutex_unlock, at least for
non-robust, normal-type mutexes.

the a_store change is in preparation for future support of archs which
require a memory barrier or special atomic store operation, and also
should prevent the possibility of the compiler misordering writes.

cheap special-case optimization for normal mutexes

cycle-level benchmark on atom cpu showed typical pthread_mutex_lock
call dropping from ~120 cycles to ~90 cycles with this change. benefit
may vary with compiler options and version, but this optimization is
very cheap to make and should always help some.

reorder timer initialization so that timer_create does not depend on free

this allows small programs which only create times, but never delete
them, to use simple_malloc instead of the full malloc.

missing prototype for wcscoll (stub)

revert mutex "optimization" that turned out to be worse

implement POSIX timers

this implementation is superior to the glibc/nptl implementation, in
that it gives true realtime behavior. there is no risk of timer
expiration events being lost due to failed thread creation or failed
malloc, because the thread is created as time creation time, and
reused until the timer is deleted.

major improvements to cancellation handling

- there is no longer any risk of spoofing cancellation requests, since
  the cancel flag is set in pthread_cancel rather than in the signal
  handler.

- cancellation signal is no longer unblocked when running the
  cancellation handlers. instead, pthread_create will cause any new
  threads created from a cancellation handler to unblock their own
  cancellation signal.

- various tweaks in preparation for POSIX timer support.

some preliminaries for adding POSIX timers

fix tempnam name generation, and a small bug in tmpnam on retry limit

make tmpfile fail after exceeding max tries.

fix tmpnam to generate better names, not depend on non-ISO-C symbols

fix messed-up errno if remove fails for a non-EISDIR reason

learned something new - remove is supposed to support directories on POSIX

revert some more spin optimizations that turned out to be pessimizations

fix bug from syscall overhaul: extra __syscall_ret call for 0-arg syscalls

this mainly just caused bloat, but could corrupt errno if a 0-arg
syscall ever failed.

fix broken spinlock due to miscompilation

actually this trick also seems to have made the uncontended case slower.

prototype for getpass

remove useless field in pthread struct (wasted a good bit of space)

fix getc - the classic error of trying to store EOF+0-255 in a char type..

major stdio overhaul, using readv/writev, plus other changes

the biggest change in this commit is that stdio now uses readv to fill
the caller's buffer and the FILE buffer with a single syscall, and
likewise writev to flush the FILE buffer and write out the caller's
buffer in a single syscall.

making this change required fundamental architectural changes to
stdio, so i also made a number of other improvements in the process:

- the implementation no longer assumes that further io will fail
  following errors, and no longer blocks io when the error flag is set
  (though the latter could easily be changed back if desired)

- unbuffered mode is no longer implemented as a one-byte buffer. as a
  consequence, scanf unreading has to use ungetc, to the unget buffer
  has been enlarged to hold at least 2 wide characters.

- the FILE structure has been rearranged to maintain the locations of
  the fields that might be used in glibc getc/putc type macros, while
  shrinking the structure to save some space.

- error cases for fflush, fseek, etc. should be more correct.

- library-internal macros are used for getc_unlocked and putc_unlocked
  now, eliminating some ugly code duplication. __uflow and __overflow
  are no longer used anywhere but these macros. switch to read or
  write mode is also separated so the code can be better shared, e.g.
  with ungetc.

- lots of other small things.

match glibc/lsb cancellation abi on i386

glibc made the ridiculous choice to use pass-by-register calling
convention for these functions, which is impossible to duplicate
directly on non-gcc compilers. instead, we use ugly asm to wrap and
convert the calling convention. presumably this works with every
compiler anyone could potentially want to use.

remove -Wno-pointer-sign example from dist/config.mak

fix all implicit conversion between signed/unsigned pointers

sadly the C language does not specify any such implicit conversion, so
this is not a matter of just fixing warnings (as gcc treats it) but
actual errors. i would like to revisit a number of these changes and
possibly revise the types used to reduce the number of casts required.

simplify and optimize FILE lock handling

prepare pthread_spin_unlock for archs that need memory barriers

optimize contended case for pthread_spin_trylock

optimize spinlock spin

fix non-atomicity of puts

overhaul cancellation to fix resource leaks and dangerous behavior with signals

this commit addresses two issues:

1. a race condition, whereby a cancellation request occurring after a
syscall returned from kernelspace but before the subsequent
CANCELPT_END would cause cancellable resource-allocating syscalls
(like open) to leak resources.

2. signal handlers invoked while the thread was blocked at a
cancellation point behaved as if asynchronous cancellation mode wer in
effect, resulting in potentially dangerous state corruption if a
cancellation request occurs.

the glibc/nptl implementation of threads shares both of these issues.

with this commit, both are fixed. however, cancellation points
encountered in a signal handler will not be acted upon if the signal
was received while the thread was already at a cancellation point.
they will of course be acted upon after the signal handler returns, so
in real-world usage where signal handlers quickly return, it should
not be a problem. it's possible to solve this problem too by having
sigaction() wrap all signal handlers with a function that uses a
pthread_cleanup handler to catch cancellation, patch up the saved
context, and return into the cancellable function that will catch and
act upon the cancellation. however that would be a lot of complexity
for minimal if any benefit...

very cheap double-free checks in malloc

global cleanup to use the new syscall interface

if returning errno value directly from a syscall, we need to negate it.

honor namespace for i386 syscall.h, even though it's not a standard header

fix typo in x86_64 part of syscall overhaul

syscall overhaul part two - unify public and internal syscall interface

with this patch, the syscallN() functions are no longer needed; a
variadic syscall() macro allows syscalls with anywhere from 0 to 6
arguments to be made with a single macro name. also, manually casting
each non-integer argument with (long) is no longer necessary; the
casts are hidden in the macros.

some source files which depended on being able to define the old macro
SYSCALL_RETURNS_ERRNO have been modified to directly use __syscall()
instead of syscall(). references to SYSCALL_SIGSET_SIZE and SYSCALL_LL
have also been changed.

x86_64 has not been tested, and may need a follow-up commit to fix any
minor bugs/oversights.

remove comment cruft that got left behind in x86_64 syscall.s

add some ioctl stuff to sys/mount.h

overhaul syscall interface

this commit shuffles around the location of syscall definitions so
that we can make a syscall() library function with both SYS_* and
__NR_* style syscall names available to user applications, provides
the syscall() library function, and optimizes the code that performs
the actual inline syscalls in the library itself.

previously on i386 when built as PIC (shared library), syscalls were
incurring bus lock (lock prefix) overhead at entry and exit, due to
the way the ebx register was being loaded (xchg instruction with a
memory operand). now the xchg takes place between two registers.

further cleanup to arch/$(ARCH)/syscall.h is planned.

some linux headers useful from user apps.

i'm still not sure whether it's a good idea to include or use any of
these, but i'll add them for now. it may make more sense to just add
official kernel headers to the include path for compiling programs
that need them.

various legacy and linux-specific stuff

this commit is part of an effort to make more of busybox work
out-of-the-box.

document changes for 0.7.1

implement [v]swprintf

implement wprintf family of functions

this implementation is extremely ugly and inefficient, but it avoids a
good deal of code duplication and bloat. it may be cleaned up later to
eliminate the remaining code duplication and some of the warts, but i
don't really care about its performance.

note that swprintf is not yet implemented.

fix broken wmemchr (unbounded search)

implement robust mutexes

some of this code should be cleaned up, e.g. using macros for some of
the bit flags, masks, etc. nonetheless, the code is believed to be
working and correct at this point.

avoid function call to pthread_self in mutex unlock

if the mutex was previously locked, we can assume pthread_self was
already called at the time of locking, and thus that the thread
pointer is initialized.

reorder mutex struct fields to make room for pointers (upcoming robust mutexes)

the layout has been chosen so that pointer slots 3 and 4 fit between
the integer slots on 32-bit archs, and come after the integer slots on
64-bit archs.

unify lock and owner fields of mutex structure

this change is necessary to free up one slot in the mutex structure so
that we can use doubly-linked lists in the implementation of robust
mutexes.

optimize contended normal mutex case; add int compare-and-swap atomic

simplify logic, slightly optimize contended case for non-default mutex types

correct error returns for error-checking mutexes

cut out a syscall on thread creation in the case where guard size is 0

don't expose EAGAIN, etc. from timed futex wait to caller

optimize file locking: avoid cache-polluting writes to global storage

partially-written draft of fmemopen, still in #if 0

remove some old cruft from sys/types.h

misplaced & in times() made it fail to work, and clobber the stack

implement flockfile api, rework stdio locking

pthread.h needs clockid_t

actually it gets this from time.h if _POSIX_C_SOURCE or any other
feature test macros are defined, but it breaks if they're not.

document some additional important changes

update whatsnew file for release of 0.7.0

match dimensions so we can use all slots without invoking OOB-array-access

implement dummy pthread_attr_[gs]etschedparam functions

for some reason these functions are not shaded by the PS/TPS option in
POSIX, so presumably they are mandatory, even though the functionality
they offer is optional. for now, provide them in case any programs
depend on their existence, but disallow any priority except the
default.

fix pthread_attr_* implementations to match corrected prototypes

fix missing ENOTSUP error code

missing const in some pthread_attr_* prototypes

formatting whatsnew file

list major changes in preparation for release

fix failure behavior of sem_open when sem does not exist

fix some semaphore wait semantics (race condition deadlock and error checking)

fix sem_open and sem_close to obey posix semantics

multiple opens of the same named semaphore must return the same
pointer, and only the last close can unmap it. thus the ugly global
state keeping track of mappings. the maximum number of distinct named
semaphores that can be opened is limited sufficiently small that the
linear searches take trivial time, especially compared to the syscall
overhead of these functions.

optimize pthread termination in the non-detached case

we can avoid blocking signals by simply using a flag to mark that the
thread has exited and prevent it from getting counted in the rsyscall
signal-pingpong. this restores the original pthread create/join
throughput from before the sigprocmask call was added.

fix errors in sigqueue (potential information leak, wrong behavior)

1. any padding in the siginfo struct was not necessarily zero-filled,
so it might have contained private data off the caller's stack.

2. the uid and pid must be filled in from userspace. the previous
rsyscall fix broke rsyscalls because the values were always incorrect.

security fix: check that cancel/rsyscall signal was sent by the process itself

more cancellation points: tcdrain, clock_nanosleep

remove useless return value checks for functions that cannot fail

make sigsuspend a cancellation point

make sigtimedwait a cancellation point

don't fail with EINTR in sigtimedwait

POSIX allows either behavior, but sigwait is not allowed to fail with
EINTR, so the retry loop would have to be in one or the other anyway.

fix sigsuspend syscall

make sigaltstack work (missing macros in signal.h, error conditions)

fix errno behavior in clock_* functions

these functions are specified inconsistent in whether they're
specified to return an error value, or return -1 and set errno.
hopefully now they all match what POSIX requires.

fix error handling for pthread_sigmask

it must return errno, not -1, and should reject invalud values for how.

make fork properly initialize the main thread in the child process

optimize pthread initialization

the set_tid_address returns the tid (which is also the pid when called
from the initial thread) so there is no need to make a separate
syscall to get pid/tid.

fix race condition in raise - just mask signals

a signal handler could fork after the pid/tid were read, causing the
wrong process to be signalled. i'm not sure if this is supposed to
have UB or not, but raise is async-signal-safe, so it probably is
allowed. the current solution is slightly expensive so this
implementation is likely to be changed in the future.

fix raise semantics with threads.

fix typos in dirent.h

fcntl.h should make availabel the mode constants from sys/stat.h

also remove some legacy nonsense that crept in.

simplify and optimize pthread_mutex_trylock