fix erroneous utf-16 encoding with surrogates in iconv

apparently this was never tested before.

change stdio_ext __freading/__fwriting semantics slightly

the old behavior was to only consider a stream to be "reading" or
"writing" if it had buffered, unread/unwritten data. this reportedly
differs from the traditional behavior of these functions, which is
essentially to return true as much as possible without creating the
possibility that both __freading and __fwriting could return true.

gnulib expects __fwriting to return true as soon as a file is opened
write-only, and possibly expects other cases that depend on the
traditional behavior. and since these functions exist mostly for
gnulib (does anything else use them??), they should match the expected
behavior to avoid even more ugly hacks and workarounds...

fdopen should set errno when it fails due to invalid mode string

header file fixes: multiple include guard consistency and correctness

one file was reusing another file's macro name, and many had
inconsistent underscores and application of SYS prefix, etc.

patch by Szabolcs Nagy (nsz)

direct syscall to open in __init_security needs O_LARGEFILE

it probably does not matter for /dev/null, but this should be done
consistently anyway.

reorder exit code to defer stdio flush until after dtors

this is required in case dtors use stdio.

also remove the old comments; one was cruft from when the code used to
be using function pointers and conditional calls, and has little
motivation now that we're using weak symbols. the other was just
complaining about having to support dtors even though the cost was
made essentially zero in the non-use case by the way it's done here.

revert one change in time.h; no evidence BSD_SOURCE should expose these..

fix feature test macros in time.h

stime is not _XOPEN_SOURCE, and some functions were missing with
_BSD_SOURCE..

add timegm function (inverse of gmtime), nonstandard

add init_module/delete_module syscall wrappers

these are not exposed publicly in any header, but the few programs
that use them (modutils/kmod, etc.) are declaring the functions
themselves rather than making the syscalls directly, and it doesn't
really hurt to have them (same as the capset junk).

add (currently stubbed due to stubbed strverscmp) versionsort function

based on patch by Emil Renner Berthing, with minor changes to dirent.h
for LFS64 and organization of declarations

this code should work unmodified once a real strverscmp is added, but
I've been hesitant to add it because the GNU strverscmp behavior is
harmful in a lot of cases (for instance if you have numeric filenames
in hex). at some point I plan on trying to design a variant of the
algorithm that behaves better on a mix of filename styles.

add deprecated capabilities functions

these were left in glibc for binary compatibility after the public
part of the interface was removed, and libcap kept using them (with
its own copy of the header files) rather than just making the syscalls
directly. might as well add them since they're so small...

fix char signedness bug (arm-specific) in dynamic linker

add pthread_attr_setstack interface (and get)

i originally omitted these (optional, per POSIX) interfaces because i
considered them backwards implementation details. however, someone
later brought to my attention a fairly legitimate use case: allocating
thread stacks in memory that's setup for sharing and/or fast transfer
between CPU and GPU so that the thread can move data to a GPU directly
from automatic-storage buffers without having to go through additional
buffer copies.

perhaps there are other situations in which these interfaces are
useful too.

fix scanning of "-0x" pseudo-hex float (must give negative zero)

fix signedness errors in stdint.h constant macros

the types of these expressions must match the integer promotions.
unsigned 8- and 16-bit values promote to signed int, not unsigned int.

fix %ls breakage in last printf fix

signedness issue kept %ls with no precision from working at all

fix printf %ls with precision limit over-read issue

printf was not printing too many characters, but it was reading one
too many wchar_t elements from the input. this could lead to crashes
if running off the page, or spurious failure if the conversion of the
extra wchar_t resulted in EILSEQ.

fix sysinfo, try 2. it seems to work this time.

sysinfo struct was utter nonsense; no idea where it came from.

this broke the busybox "free" utility (memory reporting) and possibly
other things like uptime.

fix scanf bug reading literals after width-limited field

the field width limit was not being cleared before reading the
literal, causing spurious failures in scanf in cases like "%2d:"
scanning "00:".

check for ld support of -Bsymbolic-functions; disable shared if not avail

this issue affects the last gpl2 version of binutils, which some
people are still using out of aversion to gpl3. musl requires
-Bsymbolic-functions because it's the only way to make a libc.so
that's able to operate prior to dynamic linking but that still behaves
correctly with respect to global vars that may be moved to the main
program via copy relocations.

use -nostdlib in linker tests to avoid possible missing crt/lib issues

avoid linking main program in linker tests

it's possible that the user has provided a compiler that does not have
any libc to link to, so linking a main program is a bad idea. instead,
generate an empty shared library with no dependencies.

make configure try to disable stack protector

in theory we could support stack protector in the libc itself, and
users wanting to experiment with such usage could add
-fstack-protector to CFLAGS intentionally. but to avoid breakage in
the default case, override broken distro-patched gcc that forces stack
protector on.

add configure check for gnu linker hash style setting

some broken distro-provided toolchains have modified gcc to produce
only "gnu hash" dynamic hash table by default. as this is unsupported
by musl, that results in a non-working libc.so. we detect and switch
this on in configure rather than hard-coding it in the Makefile
because it's not supported by old binutils versions, but that might
not even be relevant since old binutils versions already fail from
-Bsymbolic-functions being missing. at some point I may review whether
this should just go in the Makefile...

make gcc wrapper rewrite link options rather than just extending them

this is not tested yet, but should work to get rid of unwanted
--hash-style=gnu hacks present in some distro-patched gcc versions.

treat failure of mprotect in map_library as a fatal load failure

the error will propagate up and be printed to the user at program
start time; at runtime, dlopen will just fail and leave a message for
dlerror.

previously, if mprotect failed, subsequent attempts to perform
relocations would crash the program. this was resulting in an
increasing number of false bug reports on grsec systems where rwx
permission is not possible in cases where users were wrongly
attempting to use non-PIC code in shared libraries. supporting that
usage is in theory possible, but the x86_64 toolchain does not even
support textrels, and the cost of keeping around the necessary
information to handle textrels without rwx permissions is
disproportionate to the benefit (which is essentially just supporting
broken library setups on grsec machines).

also, i unified the error-out code in map_library now that there are 3
places from which munmap might have to be called.

fix ctype abi junk (pointer should point to 0 slot, not -128 slot)

_GNU_SOURCE is supposed to imply _LARGEFILE64_SOURCE

this is ugly and stupid, but now that the *64 symbol names exist, a
lot of broken GNU software detects them in configure, then either
breaks during build due to missing off64_t definition, or attempts to
compile without function declarations/prototypes. "fixing" it here is
easier than telling everyone to add yet another feature test macro to
their builds.

release notes for 0.9.1

fix configure build/host/target terminology usage

ensure that abort always works

Per POSIX, "The abort() function shall cause abnormal process
termination to occur, unless the signal SIGABRT is being caught and
the signal handler does not return."

If SIGABRT is blocked or if a signal handler is installed and does
return, abort is still required to cause abnormal program termination.
We cannot use a_crash() to do this, since a SIGILL handler could also
be installed (and might even longjmp out of the abort, not expecting
to be invoked from within abort), nor can we rely on resetting the
signal handler and re-raising the signal (this has race conditions in
multi-threaded programs). On the other hand, SIGKILL is a perfectly
safe, unblockable way to obtain abnormal program termination, and it
requires no ugly loop-and-retry logic.

add some ugly aliases for LSB ABI compatibility

for some nonsensical reason, glibc's headers use inline functions that
redirect some of the standard functions to ugly nonstandard names (and
likewise for some of their nonstandard functions).

increase default thread stack size to 80k

I've been looking for data that would suggest a good default, and
since little has shown up, i'm doing this based on the limited data I
have. the value 80k is chosen to accommodate 64k of application data
(which happens to be the size of the buffer in git that made it crash
without a patch to call pthread_attr_setstacksize) plus the max stack
usage of most libc functions (with a few exceptions like crypt, which
will be fixed soon to avoid excessive stack usage, and [n]ftw, which
inherently uses a fair bit in recursive directory searching).

if further evidence emerges suggesting that the default should be
larger, I'll consider changing it again, but I'd like to avoid it
getting too large to avoid the issues of large commit charge and rapid
address space exhaustion on 32-bit machines.

remove implementation-reserved bits when saving signal mask

this fix is necessary because a program could be started with some of
the implementation-reserved signals masked (e.g. due to exec having
been called from a signal handler, or from a non-musl program) and
then could obtain an invalid-to-use-later sigset_t as the old/saved
signal mask.

remove no-longer-needed unblocking of signals in pthread_create

this action is now performed in pthread_self initialization; it must
be performed there in case the first call to pthread_create is from a
signal handler, in which case the old signal mask could be restored on
return from the signal.

add LSB abi junk for ctype functions

this should be the last major fix needed to support running
glibc-linked conforming POSIX programs with musl in place of glibc, as
long as musl provides the features they need and they don't use
pthread cancellation (which is implemented as c++ exceptions in glibc,
and fundamentally incompatible with musl).

declare environ in unistd.h when _GNU_SOURCE feature test macro is used

lots of broken programs expect this, and it's gotten to the point of
being a troubleshooting FAQ topic. best to just fix it.

use fistpll mnemonic instead of fistpq (more widely supported) on x86_64 too

this was fixed previously on i386 but the corresponding code on x86_64
was missed.

add LSB ABI __xstat, etc. junk

enable LARGEFILE64 aliases

these will NOT be used when compiling with -D_LARGEFILE64_SOURCE on
musl; instead, they exist in the hopes of eventually being able to run
some glibc-linked apps with musl sitting in place of glibc.

also remove the (apparently incorrect) fcntl alias.

fix musl-gcc wrapper to work with -pie

linking the wrong crt1.o resulted in textrels and thus crashing

there is no such GNU function fpurge, only __fpurge.

no idea where I got the idea fpurge should exist...

add prototype for BSD/GNU stdio *_unlocked extension functions

also fix up distinction of what is GNU-only and what's GNU+BSD

remove duplicate lfs64 cruft in stdio.h

math: fix nextafter definition in tgmath.h

add ldd and main program loading support to dynamic linker

cleanup dynamic linker start code cruft

two actual issues: one is that __dynlink no longer wants/needs a GOT
pointer argument, so the code to generate that argument can be
removed. the other issue was that in the i386 code, argc/argv were
being loaded into registers that would be call-clobbered, then copied
to preserved registers, rather than just being loaded into the proper
call-preserved registers to begin with.

this cleanup is in preparation for adding new dynamic linker
functionality (ability to explicitly invoke the dynamic linker to run
a program).

fix overrun (n essentially ignored) in wcsncmp

bug report and solution by Richard Pennington

fix failure of mbsinit(0) (not UB; required to return nonzero)

issue reported by Richard Pennington; slightly simpler fix applied

fix failure of strrchr(str, 0)

bug report and solution by Richard Pennington

avoid using pthread cleanup push/pop in stdio when not needed

unfortunately in dynamic-linked programs, these macros cause
pthread_self to be initialized, which costs a couple syscalls, and
(much worse) would necessarily fail, crash, and burn on ancient (2.4
and earlier) kernels where setting up a thread pointer does not work.

i'd like to do this in a more generic way that avoids all use of
cleanup push/pop before pthread_self has been successfully called and
avoids ugly if/else constructs like the one in this commit, but for
now, this will suffice.

ensure pthread-internal signals are unblocked before threads are used

if the process started with these signals blocked, cancellation could
fail or setxid could deadlock. there is no way to globally unblock
them after threads have been created. by unblocking them in the
pthread_self initialization for the main thread, we ensure that
they're unblocked before any other threads are created and also
outside of any signal handler context (sigaction initialized
pthread_self), which is important so that return from a signal handler
won't re-block them.

fix regex on arm

TRE has a broken assumption that wchar_t is signed, which is a sane
expectation, but not required by the standard, and false on ARM's ABI.

i leave tre_char_t as wchar_t for now, since a pointer to it is
directly passed to functions that need pointer to wchar_t. it does not
seem to break anything. and since the maximum unicode scalar value is
0x10ffff, just use that explicitly rather than using the max value of
any particular C type.

remove cruft from pthread structure (old cancellation stuff)

remove leftover cp_sp cruft from cancellation code, fix small bug

the bug was that cancellation requests which arrived while a
cancellation point was interrupted by a signal handler would not be
acted upon when the signal handler returns. this was because cp_sp was
never set; it's no longer needed or used.

instead, just always re-raise the signal when cancellation was not
acted upon. this wastes a tiny amount of time in the rare case where
it even matters, but it ensures correctness and simplifies the code.

fix arm syscall.h to reflect which syscalls actually exist (on EABI)

avoid deprecated (by linux) alarm syscall; use setitimer instead

linux deprecated SYS_utime on some archs, so use SYS_utimes instead

the old code could be kept for cases where SYS_utime is available, but
it's not really worth the ifdef ugliness. and better to avoid
deprecated stuff just in case the kernel devs ever get crazy enough to
start removing it from archs where it was part of the ABI and breaking
static bins...

fix bad opcode in arm syscall_cp_asm

fix issue with longjmp out of signal handlers and cancellation

stale state information indicating that a thread was possibly blocked
at a cancellation point could get left behind if longjmp was used to
exit a signal handler that interrupted a cancellation point.

to fix the issue, we throw away the state information entirely and
simply compare the saved instruction pointer to a range of code
addresses in the __syscall_cp_asm function. all the ugly PIC work
(which becomes minimal anyway with this approach) is defered to
cancellation time instead of happening at every syscall, which should
improve performance too.

this commit also fixes cancellation on arm, which was mildly broken
(race condition, not checking cancellation flag once inside the
cancellation point zone). apparently i forgot to implement that. the
new arm code is untested, but appears correct; i'll test and fix it
later if there are problems.

simplify cancellation push/pop slightly

no need to pass unnecessary extra arguments on to the core code in
pthread_create.c. this just wastes cycles and code bloat.

debloat jmp_buf in _GNU_SOURCE mode

i originally made it the same size as the bloated GNU version, which
contains space for saved signal mask, but this makes some structures
containing jmp_buf become much larger for no benefit. we will never
use the signal mask field with plain setjmp; sigsetjmp serves that
purpose.

remove everything related to forkall

i made a best attempt, but the intended semantics of this function are
fundamentally contradictory. there is no consistent way to handle
ownership of locks when forking a multi-threaded process. the code
could have worked by accident for programs that only used normal
mutexes and nothing else (since they don't actually store or care
about their owner), but that's about it. broken-by-design interfaces
that aren't even in glibc (only solaris) don't belong in musl.

some feature test fixes for unistd.h

fix missing _BSD_SOURCE support in bits/*.h

this is actually rather ugly, and would get even uglier if we ever
want to support further feature test macros. at some point i may
factor the bits headers into separate files for C base, POSIX base,
and nonstandard extensions (the only distinctions that seem to matter
now) and then the logic for which to include can go in the main header
rather than being duplicated for each arch. the downside of this is
that it would result in more files having to be opened during
compilation, so as long as the ugliness does not grow, i'm inclined to
leave it alone for now.

_GNU_SOURCE implies all BSD features except ones GNU rejects

various header cleanups, some related to _BSD_SOURCE addition

there is no reason to avoid multiple identical macro definitions; this
is perfectly legal C, and even with the maximal warning options
enabled, gcc does not issue any warning for it.

bsd_signal is a legacy (removed) XSI function, not needed in _BSD_SOURCE

its only purpose was for use on non-BSD systems that implement sysv
semantics for signal() by default.

support _BSD_SOURCE feature test macro

patch by Isaac Dunham. matched closely (maybe not exact) to glibc's
idea of what _BSD_SOURCE should make visible.

fix typo in utimes function that made it mess up file times

fix out-of-bounds array access in pthread barriers on 64-bit

it's ok to overlap with integer slot 3 on 32-bit because only slots
0-2 are used on process-local barriers.

move getpass decl to the right place

fix misplaced semicolon in preprocessor directive (#undef h_errno)

yet another try to get the check for gcc right...

fix error in last configure change (lack of escaping)

useless lastlog path just to make some stuff happy

missing limit LOGIN_NAME_MAX

correct the check for gcc (previous version failed for cross compilers)

remove some no-op end of string tests from regex parser

these are cruft from the original code which used an explicit string
length rather than null termination. i blindly converted all the
checks to null terminator checks, without noticing that in several
cases, the subsequent switch statement would automatically handle the
null byte correctly.

another BRE fix: in ^*, * is literal

i don't understand why this has to be conditional on being in BRE
mode, but enabling this code unconditionally breaks a huge number of
ERE test cases.

let sysconf accurately report # of cpus available

i've been trying out openmp and it seems like it won't be much use
without this...

use __h_errno_location for h_errno

we do not bother making h_errno thread-local since the only interfaces
that use it are inherently non-thread-safe. but still use the
potentially-thread-local ABI to access it just to avoid lock-in.

susv4 removed gethostbyname, etc. legacy cruft.

namespace cleanup - NI_* is NOT reserved by netdb.h

some gnu junk in netdb.h

fix missing va_list for vsyslog

search: add comments to tsearch_avl.c

search: add tdestroy (gnu extension)

add missing IN6_ARE_ADDR_EQUAL

written to avoid multiple conditional jumps and avoid ugly repetitive
lines in the header file.

add one more bogus legacy header

this one is for program(s|ers) who haven't heard of uint16_t and
uint32_t (which are obviously the correct types for use in such
situations, as they're the argument/return types for ntohs/htons and
ntohl/htonl).

move vsyslog out of SYSLOG_NAMES conditional

Merge remote-tracking branch 'nsz/master'

remove __lock dependency from exit

there's no sense in using a powerful lock in exit, because it will
never be unlocked. a thread that arrives at exit while exit is already
in progress just needs to hang forever. use the pause syscall for this
because it's cheap and easy and universally available.

fix missing static (namespace clash)

fix missing parens in bit op macros (param.h)

and another bug in setbit, etc. macros..

fix typo in sys/param.h that broke setbit, etc. macros

this is all junk, but some programs use it.

omit declaration of basename wrongly interpreted as prototype in C++

the non-prototype declaration of basename in string.h is an ugly
compromise to avoid breaking 2 types of broken software:

1. programs which assume basename is declared in string.h and thus
would suffer from dangerous pointer-truncation if an implicit
declaration were used.

2. programs which include string.h with _GNU_SOURCE defined but then
declare their own prototype for basename using the incorrect GNU
signature for the function (which would clash with a correct
prototype).

however, since C++ does not have non-prototype declarations and
interprets them as prototypes for a function with no arguments, we
must omit it when compiling C++ code. thankfully, all known broken
apps that suffer from the above issues are written in C, not C++.