next step making barrier self-sync'd destruction safe

i think this works, but it can be simplified. (next step)

barrier destroy must also wait for threads in other processes exiting barrier

the vm lock only waits for threads in the same process exiting.
actually this fix is not enough, but it's a start...

stupid typo (caused by rather ugly spelling in POSIX..) in aio

correctly handle the degenerate barrier in the pshared case

fix crash in pthread_cond_wait mutex-locked check

it was assuming the result of the condition it was supposed to be
checking for, i.e. that the thread ptr had already been initialized by
pthread_mutex_lock. use the slower call to be safe.

fix crash in pthread_testcancel if pthread_self has not been called

improve/debloat mutex unlock error checking in pthread_cond_wait

we're not required to check this except for error-checking mutexes,
but it doesn't hurt. the new test is actually simpler/lighter, and it
also eliminates the need to later check that pthread_mutex_unlock
succeeds.

check mutex owner in pthread_cond_wait

when used with error-checking mutexes, pthread_cond_wait is required
to fail with EPERM if the mutex is not locked by the caller.
previously we relied on pthread_mutex_unlock to generate the error,
but this is not valid, since in the case of such invalid usage the
internal state of the cond variable has already been potentially
corrupted (due to access outside the control of the mutex). thus, we
have to check first.

fix pshared barrier wrong return value.

i set the return value but then never used it... oops!

convert the barrier pshared option back to 0/1 values when getting it

improve error handling in mntent stuff...

not sure if this is correct/ideal. it needs further attention.

fix missing va_end in prctl syscall wrapper

fix clobbering of errno in get(pw|gr)([ug]id|nam) by fclose

process-shared barrier support, based on discussion with bdonlan

this implementation is rather heavy-weight, but it's the first
solution i've found that's actually correct. all waiters actually wait
twice at the barrier so that they can synchronize exit, and they hold
a "vm lock" that prevents changes to virtual memory mappings (and
blocks pthread_barrier_destroy) until all waiters are finished
inspecting the barrier.

thus, it is safe for any thread to destroy and/or unmap the barrier's
memory as soon as pthread_barrier_wait returns, without further
synchronization.

fix incorrect allocation failure check in pthread_create

mmap returns MAP_FAILED not 0 because some idiot thought the ability
to mmap the null pointer page would be a good idea...

fix ctype macros to cast argument to (unsigned) first

issue reported by nsz, but it's actually not just pedantic. the
functions can take input of any arithmetic type, including floating
point, and the behavior needs to be as if the conversion implicit in
the function call took place.

another cond var fix: requeue count race condition

lock out new waiters during the broadcast. otherwise the wait count
added to the mutex might be lower than the actual number of waiters
moved, and wakeups may be lost.

this issue could also be solved by temporarily setting the mutex
waiter count higher than any possible real count, then relying on the
kernel to tell us how many waiters were requeued, and updating the
counts afterwards. however the logic is more complex, and i don't
really trust the kernel. the solution here is also nice in that it
replaces some atomic cas loops with simple non-atomic ops under lock.

fix lost signals in cond vars

due to moving waiters from the cond var to the mutex in bcast, these
waiters upon wakeup would steal slots in the count from newer waiters
that had not yet been signaled, preventing the signal function from
taking any action.

to solve the problem, we simply use two separate waiter counts, and so
that the original "total" waiters count is undisturbed by broadcast
and still available for signal.

cleanup various minor issues reported by nsz

the changes to syscall_ret are mostly no-ops in the generated code,
just cleanup of type issues and removal of some implementation-defined
behavior. the one exception is the change in the comparison value,
which is fixed so that 0xf...f000 (which in principle could be a valid
return value for mmap, although probably never in reality) is not
treated as an error return.

redo cond vars again, use sequence numbers

testing revealed that the old implementation, while correct, was
giving way too many spurious wakeups due to races changing the value
of the condition futex. in a test program with 5 threads receiving
broadcast signals, the number of returns from pthread_cond_wait was
roughly 3 times what it should have been (2 spurious wakeups for every
legitimate wakeup). moreover, the magnitude of this effect seems to
grow with the number of threads.

the old implementation may also have had some nasty race conditions
with reuse of the cond var with a new mutex.

the new implementation is based on incrementing a sequence number with
each signal event. this sequence number has nothing to do with the
number of threads intended to be woken; it's only used to provide a
value for the futex wait to avoid deadlock. in theory there is a
danger of race conditions due to the value wrapping around after 2^32
signals. it would be nice to eliminate that, if there's a way.

testing showed no spurious wakeups (though they are of course
possible) with the new implementation, as well as slightly improved
performance.

revert previous change in cond var waiter move

using swap has a race condition: the waiters must be added to the
mutex waiter count *before* they are taken off the cond var waiter
count, or wake events can be lost.

optimize cond waiter move using atomic swap instead of cas loop

fix logic for when wakeup is not desired on cond bcast

somehow i forgot that normal-type mutexes don't store the owner tid.

new futex-requeue-based pthread_cond_broadcast implementation

this avoids the "stampede effect" where pthread_cond_broadcast would
result in all waiters waking up simultaneously, only to immediately
contend for the mutex and go back to sleep.

fix ABA race in cond vars, improve them overall

previously, a waiter could miss the 1->0 transition of block if
another thread set block to 1 again after the signal function set
block to 0. we now use the caller's thread id as a unique token to
store in block, which no other thread will ever write there. this
ensures that if block still contains the tid, no signal has occurred.
spurious wakeups will of course occur whenever there is a spurious
return from the futex wait and another thread has begun waiting on the
cond var. this should be a rare occurrence except perhaps in the
presence of interrupting signal handlers.

signal/bcast operations have been improved by noting that they need
not avoid inspecting the cond var's memory after changing the futex
value. because the standard allows spurious wakeups, there is no way
for an application to distinguish between a spurious wakeup just
before another thread called signal/bcast, and the deliberate wakeup
resulting from the signal/bcast call. thus the woken thread must
assume that the signalling thread may still be waiting to act on the
cond var, and therefore it cannot destroy/unmap the cond var.

FD_ISSET must return an int. this is the easiest way.

casting to int would not be correct because high bits could be lost.
mapping the high bits down onto low bits would be costlier in the
common case where the result is just used in a conditional. changing
the type of the bit array elements to int would permute the order of
the bit array on 64-bit big endian systems, so that's not an option
either.

sys/user.h may need stdint.h

"optimize" arm __pthread_self

actually this is just to avoid gcc being stupid and refusing to inline
the function version, even when the size cost is essentially identical
whether it's inlined or not.

fix deadlock in condition wait whenever there are multiple waiters

it's amazing none of the conformance tests i've run even bothered to
check whether something so basic works...

fix x86_64 user.h (previously was just a copy of i386)

cleanup/debloat i386 user.h

wrong __WORDSIZE in x86_64 header

protect against/handle cancellation reading shadow passwords

make dns lookups (and thus getaddrinfo) cancellable

use poll rather than select in dns lookups (also clock_gettime)

if the file descriptor resource limit has been increased past
FD_SETSIZE, this is actually a security issue; we could write past the
end of the fd_set object. using poll makes it a non-issue, and
simplifies the code at the same time.

also, use clock_gettime instead of gettimeofday, for reduced bloat
and better entropy.

fix missing SIG_DFL, SIG_IGN, SIG_ERR without posix in signal.h

avoid setting FILE lock count when not using flockfile

for now this is just a tiny optimization, but later if we support
cancellation from __stdio_read and __stdio_write, it will be necessary
for the recusrive lock count to be zero in order for these functions
to know they are responsible for unlocking the FILE on cancellation.

gnu search.h has struct qelem...

release notes for 0.8.3

update syscalls with off_t arguments to handle argument alignment, if needed

the arm syscall abi requires 64-bit arguments to be aligned on an even
register boundary. these new macros facilitate meeting the abi
requirement without imposing significant ugliness on the code.

new gcc wrapper now supports pre-4.4 gcc versions and is more robust

new installation guide with alternate and primary libc setups

fix some header typos

make stdbool.h conform to c99

fix incorrect include guard in mqueue.h

fix statvfs.c to match new fsid_t definition

fix the fsid_t structure to match name of __val

this is a case of poorly written man pages not matching the actual
implementation, and why i hate implementing nonstandard interfaces
with no actual documentation of how they're intended to work.

fix broken siginfo_t with _GNU_SOURCE defined

this bug was introduced in a recent patch. the problem we're working
around is that broken GNU software wants to use "struct siginfo"
rather than "siginfo_t", but "siginfo" is not in the reserved
namespace and thus not legal for the standard header to use.

fix the definition of struct statvfs to match lsb abi

at the same time, make struct statfs match the traditional definition
and make it more useful, especially the fsid_t stuff.

add some more siginfo aliases broken software expects...

cleanup redundancy in bits/signal.h versions

fix the type of wchar_t on arm; support wchar_t varying with arch

really wchar_t should never vary, but the ARM EABI defines it as an
unsigned 32-bit int instead of a signed one, and gcc follows this
nonsense. thus, to give a conformant environment, we have to follow
(otherwise L""[0] and L'\0' would be 0U rather than 0, but the
application would be unaware due to a mismatched definition for
WCHAR_MIN and WCHAR_MAX, and Bad Things could happen with respect to
signed/unsigned comparisons, promotions, etc.).

fortunately no rules are imposed by the C standard on the relationship
between wchar_t and wint_t, and WEOF has type wint_t, so we can still
make wint_t always-signed and use -1 for WEOF.

fix incorrect long double parameters on arm (and other future ports)

this was the cause of crashes in printf when attempting to print
floating point values.

fix broken multi-inclusion guard in sys/reg.h

initial commit of the arm port

this port assumes eabi calling conventions, eabi linux syscall
convention, and presence of the kernel helpers at 0xffff0f?0 needed
for threads support. otherwise it makes very few assumptions, and the
code should work even on armv4 without thumb support, as well as on
systems with thumb interworking. the bits headers declare this a
little endian system, but as far as i can tell the code should work
equally well on big endian.

some small details are probably broken; so far, testing has been
limited to qemu/aboriginal linux.

disable dynamic linking/loading code in static libc builds, for now

it does not work, but some configure scripts will falsely detect
support then generate programs that crash when they call dlopen.

cleanup more bits cruft (sysmacros and socket)

more bits junk (tcp.h)

move invariant netinet/in.h stuff out of bits/in.h

overhaul clone syscall wrapping

several things are changed. first, i have removed the old __uniclone
function signature and replaced it with the "standard" linux
__clone/clone signature. this was necessary to expose clone to
applications anyway, and it makes it easier to port __clone to new
archs, since it's now testable independently of pthread_create.

secondly, i have removed all references to the ugly ldt descriptor
structure (i386 only) from the c code and pthread structure. in places
where it is needed, it is now created on the stack just when it's
needed, in assembly code. thus, the i386 __clone function takes the
desired thread pointer as its argument, rather than an ldt descriptor
pointer, just like on all other sane archs. this should not affect
applications since there is really no way an application can use clone
with threads/tls in a way that doesn't horribly conflict with and
clobber the underlying implementation's use. applications are expected
to use clone only for creating actual processes, possibly with new
namespace features and whatnot.

release notes for 0.8.2

dummy implementation of set_thread_area

eventually we may have a working "generic" implementation for archs
that don't need anything special. in any case, the goal of having
stubs like this is to allow early testing of new ports before all the
details needed for threads have been filled in. more functions like
this will follow.

fix assumptions that char is signed

fix more instances of old a_xchg (use new a_swap name)

use a_swap rather than old name a_xchg

fix generic sigsetjmp (unused anyway) pointer signedness error

fix idiotic const-correctness error in lio_listio

i blame this one on posix for using hideous const-qualified double
pointers which are unusable without hideous casts.

fix ptrace (maybe)

implement ptrace syscall wrapper (untested)

0.8.1 release notes

remove incorrectly-made-visible internal dst offset variable

fix inconsistent signature for aio_error

fix return types for aio_read and aio_write again

previous fix was backwards and propagated the wrong type rather than
the right one...

fix various errors in function signatures/prototypes found by nsz

fix cruft left in release notes

fix prototypes for aio_read and aio_write

add missing posix_spawnattr_init/destroy functions

0.8.0 release

remove some stray trailing space characters

implement gnu sigisemptyset

add prototypes for GNU *_unlocked stdio functions

actually these are just weak aliases for the normal locking versions
right now, and they will probably stay that way since making them
lock-free without slowing down the normal versions would require
significant code duplication for no benefit.

add dummied strverscmp (obnoxious GNU function)

programs that use this tend to horribly botch international text
support, so it's questionable whether we want to support it even in
the long term... for now, it's just a dummy that calls strcmp.

declare alloca in stdlib.h when _GNU_SOURCE is defined

fix serious bug in pthread_join

on spurious wakeups/returns from __timedwait, pthread_join would
"succeed" and unmap the thread's stack while it was still running. at
best this would lead to SIGSEGV when the thread resumed execution, but
in the worst case, the thread would later resume executing on top of
another new thread's stack mapped at the same address.

spent about 4 hours tracking this bug down, chasing rare
difficult-to-reproduce stack corruption in a stress test program.
still no idea *what* caused the spurious wakeups; i suspect it's a
kernel bug.

fix pthread_join wait call: thread termination tid futex is not private

this seeme to be the bug that prevented enabling of private futex
support. i'm going to hold off on switching to private futexes until
after the next release, and until i get a chance to audit all
wait/wake calls to make sure they're using the correct private
argument, but with this change it should be safe to enable private
futex support.

implement POSIX asynchronous io

some features are not yet supported, and only minimal testing has been
performed. should be considered experimental at this point.

fix incorrect overflow errors on strtoul, etc.

strptime: fix use of uninitialized dest field in converting integer

more fmemopen null termination fixes

null termination is only added when current size grows.
in update modes, null termination is not added if it does not fit
(i.e. it is not allowed to clobber data).

these rules make very little sense, but that's how it goes..

fix some fmemopen behaviors

read should not be allowed past "current size".
append mode should write at "current size", not buffer size.
null termination should not be written except when "current size" grows.

handle pending cancellation when enabling async cancellation

this is not strictly required by the standard, but without it, there
is a race condition where cancellation arriving just before async
cancellation is enabled might not be acted upon. it is impossible for
a conforming application to work around this race condition since
calling pthread_testcancel after setting async cancellation mode is
not allowed (pthread_testcancel is not specified to be
async-cancel-safe). thus the implementation should be responsible for
eliminating the race, from a quality-of-implementation standpoint.

fmemopen: fix eof handling, hopefully right this time

fmemopen fixes

disallow seek past end of buffer (per posix)
fix position accounting to include data buffered for read
don't set eof flag when no data was requested

memstreams: fix incorrect handling of file pos > current size

the addition is safe and cannot overflow because both operands are
positive when considered as signed quantities.

optimize seek function for memory streams

fix twos complement overflow bug in mem streams boundary check

the expression -off is not safe in case off is the most-negative
value. instead apply - to base which is known to be non-negative and
bounded within sanity.

implement fmemopen

testing so far has been minimal. may need further work.

fix some length calculations in memory streams

implement open_wmemstream

not heavily tested, but it seems to be correct, including the odd
behavior that seeking is in terms of wide character count. this
precludes any simple buffering, so we just make the stream unbuffered.

fix RTLD_NEXT on x86_64

the return address was being truncated to 32 bits, preventing the
dlsym code from determining which module contains the calling code.