oweals/musl.git
9 years agofix erroneous return of partial username matches by getspnam[_r]
Rich Felker [Wed, 21 Jan 2015 19:26:05 +0000 (14:26 -0500)]
fix erroneous return of partial username matches by getspnam[_r]

when using /etc/shadow (rather than tcb) as its backend, getspnam_r
matched any username starting with the caller-provided string rather
than requiring an exact match. in practice this seems to have affected
only systems where one valid username is a prefix for another valid
username, and where the longer username appears first in the shadow
file.

9 years agosimplify part of getopt_long
Rich Felker [Wed, 21 Jan 2015 18:28:40 +0000 (13:28 -0500)]
simplify part of getopt_long

as a result of commit e8e4e56a8ce1f3d7e4a027ff5478f2f8ea70c46b,
the later code path for setting optarg to a null pointer is no longer
necessary, and removing it eliminates an indention level and arguably
makes the code more readable.

9 years agoalways set optarg in getopt_long
Rich Felker [Wed, 21 Jan 2015 18:16:15 +0000 (13:16 -0500)]
always set optarg in getopt_long

the standard getopt does not touch optarg unless processing an option
with an argument. however, programs using the GNU getopt API, which we
attempt to provide in getopt_long, expect optarg to be a null pointer
after processing an option without an argument.

before argument permutation support was added, such programs typically
detected its absence and used their own replacement getopt_long,
masking the discrepency in behavior.

9 years agooverhaul __synccall and fix AS-safety and other issues in set*id
Rich Felker [Fri, 16 Jan 2015 04:17:38 +0000 (23:17 -0500)]
overhaul __synccall and fix AS-safety and other issues in set*id

multi-threaded set*id and setrlimit use the internal __synccall
function to work around the kernel's wrongful treatment of these
process properties as thread-local. the old implementation of
__synccall failed to be AS-safe, despite POSIX requiring setuid and
setgid to be AS-safe, and was not rigorous in assuring that all
threads were caught. in a worst case, threads late in the process of
exiting could retain permissions after setuid reported success, in
which case attacks to regain dropped permissions may have been
possible under the right conditions.

the new implementation of __synccall depends on the presence of
/proc/self/task and will fail if it can't be opened, but is able to
determine that it has caught all threads, and does not use any locks
except its own. it thereby achieves AS-safety simply by blocking
signals to preclude re-entry in the same thread.

with this commit, all known conformance and safety issues in set*id
functions should be fixed.

9 years agoadd FUTEX_PRIVATE macro to internal futex.h
Rich Felker [Fri, 16 Jan 2015 03:51:55 +0000 (22:51 -0500)]
add FUTEX_PRIVATE macro to internal futex.h

9 years agosuppress EINTR in sem_wait and sem_timedwait
Rich Felker [Thu, 15 Jan 2015 12:21:02 +0000 (07:21 -0500)]
suppress EINTR in sem_wait and sem_timedwait

per POSIX, the EINTR condition is an optional error for these
functions, not a mandatory one. since old kernels (pre-2.6.22) failed
to honor SA_RESTART for the futex syscall, it's dangerous to trust
EINTR from the kernel. thankfully POSIX offers an easy way out.

9 years agofor multithreaded set*id/setrlimit, handle case where callback does not run
Rich Felker [Thu, 15 Jan 2015 12:09:14 +0000 (07:09 -0500)]
for multithreaded set*id/setrlimit, handle case where callback does not run

in the current version of __synccall, the callback is always run, so
failure to handle this case did not matter. however, the upcoming
overhaul of __synccall will have failure cases, in which case the
callback does not run and errno is already set. the changes being
committed now are in preparation for that.

9 years agorelease 1.1.6 v1.1.6
Rich Felker [Wed, 14 Jan 2015 04:35:08 +0000 (23:35 -0500)]
release 1.1.6

9 years agoincrease syslog message limit from 256 to 1024
Rich Felker [Tue, 13 Jan 2015 17:04:38 +0000 (12:04 -0500)]
increase syslog message limit from 256 to 1024

this addresses alpine linux issue #3692 and brings the syslog message
length limit in alignment with uclibc's implementation.

9 years agoremove rlimit hacks from multi-threaded set*id() code
Rich Felker [Mon, 12 Jan 2015 23:16:32 +0000 (18:16 -0500)]
remove rlimit hacks from multi-threaded set*id() code

the code being removed was introduced to work around "partial failure"
of multi-threaded set*id() operations, where some threads would
succeed in changing their ids but an RLIMIT_NPROC setting would
prevent the rest from succeeding, leaving the process in an
inconsistent and dangerous state. however, the workaround code did not
handle important usage cases like swapping real and effective uids
then restoring their original values, and the wrongful kernel
enforcement of RLIMIT_NPROC at setuid time was removed in Linux 3.1,
making the workaround obsolete.

since the partial failure still is dangerous on old kernels, and could
in principle happen on post-fix kernels as well if set*id() syscalls
fail for another spurious reason such as resource-related failures,
new code is added to detect and forcibly kill the process if/when such
a situation arises. future documentation releases should be updated to
reflect that setting RLIMIT_NPROC to RLIM_INFINITY is necessary to
avoid this forced-kill on old kernels. ideally, at some point the
kernel will get proper multi-threaded set*id() syscalls capable of
performing their actions atomically, and all of the userspace code to
emulate them can be treated as a fallback for outdated kernels.

9 years agosimplify ctermid
Rich Felker [Mon, 12 Jan 2015 05:59:49 +0000 (00:59 -0500)]
simplify ctermid

opening /dev/tty then using ttyname_r on it does not produce a
canonical terminal name; it simply yields "/dev/tty".

it would be possible to make ctermid determine the actual controlling
terminal device via field 7 of /proc/self/stat, but doing so would
introduce a buffer overflow into applications built with L_ctermid==9,
which glibc defines, adversely affecting the quality of ABI compat.

9 years agofix regression in getopt_long support for non-option arguments
Rich Felker [Sun, 11 Jan 2015 21:32:47 +0000 (16:32 -0500)]
fix regression in getopt_long support for non-option arguments

commit b72cd07f176b876aa51864d93aa8101477b1d732 added support for a
this feature in getopt, but it was later broken in the case where
getopt_long is used as a side effect of the changes made in commit
91184c4f16b143107fa9935edebe5d2b20bd70d8, which prevented the
underlying getopt call from seeing the leading '-' or '+' character in
optstring.

this commit changes the logic in the getopt_long core to check for a
leading colon, possibly after the leading '-' or '+', without
depending on the latter having been skipped by the caller. a minor
incorrectness in the return value for one error condition in
getopt_long is also fixed when opterr has been set to zero but
optstring has no leading ':'.

9 years agocheck for connect failure in syslog log opening
Rich Felker [Fri, 9 Jan 2015 05:09:54 +0000 (00:09 -0500)]
check for connect failure in syslog log opening

based on patch by Dima Krasner, with minor improvements for code size.
connect can fail if there is no listening syslogd, in which case a
useless socket was kept open, preventing subsequent syslog call from
attempting to connect again.

9 years agoadd new prctl command PR_SET_MM_MAP to sys/prctl.h
Szabolcs Nagy [Tue, 16 Dec 2014 01:37:33 +0000 (02:37 +0100)]
add new prctl command PR_SET_MM_MAP to sys/prctl.h

PR_SET_MM_MAP was introduced as a subcommand for PR_SET_MM in
linux v3.18 commit f606b77f1a9e362451aca8f81d8f36a3a112139e

the associated struct type is replicated in sys/prctl.h using
libc types.

example usage:

 struct prctl_mm_map *p;
 ...
 prctl(PR_SET_MM, PR_SET_MM_MAP, p, sizeof *p);

the kernel side supported struct size may be queried with
the PR_SET_MM_MAP_SIZE subcommand.

9 years agoadd new syscall numbers for bpf and kexec_file_load
Szabolcs Nagy [Mon, 15 Dec 2014 23:20:36 +0000 (00:20 +0100)]
add new syscall numbers for bpf and kexec_file_load

these syscalls are new in linux v3.18, bpf is present on all
supported archs except sh, kexec_file_load is only allocted for
x86_64 and x32 yet.

bpf was added in linux commit 99c55f7d47c0dc6fc64729f37bf435abf43f4c60

kexec_file_load syscall number was allocated in commit
f0895685c7fd8c938c91a9d8a6f7c11f22df58d2

9 years agomove wint_t definition to the shared part of alltypes.h.in
Rich Felker [Sun, 21 Dec 2014 07:43:35 +0000 (02:43 -0500)]
move wint_t definition to the shared part of alltypes.h.in

9 years agofix signedness of UINT32_MAX and UINT64_MAX at the preprocessor level
Rich Felker [Sun, 21 Dec 2014 07:30:29 +0000 (02:30 -0500)]
fix signedness of UINT32_MAX and UINT64_MAX at the preprocessor level

per the rules for hexadecimal integer constants, the previous
definitions were correctly treated as having unsigned type except
possibly when used in preprocessor conditionals, where all artithmetic
takes place as intmax_t or uintmax_t. the explicit 'u' suffix ensures
that they are treated as unsigned in all contexts.

9 years agooverhaul forkpty function using new login_tty
Rich Felker [Sun, 21 Dec 2014 07:10:51 +0000 (02:10 -0500)]
overhaul forkpty function using new login_tty

based on discussion with and patches by Felix Janda. these changes
started as an effort to factor forkpty in terms of login_tty, which
returns an error and skips fd reassignment and closing if setting the
controlling terminal failed. the previous forkpty code was unable to
handle errors in the child, and did not attempt to; it just silently
ignored them. but this would have been unacceptable when switching to
using login_tty, since the child would start with the wrong stdin,
stdout, and stderr and thereby clobber the parent's files.

the new code uses the same technique as the posix_spawn implementation
to convey any possible error in the child to the parent so that the
parent can report failure to the caller. it is also safe against
thread cancellation and against signal delivery in the child prior to
the determination of success.

9 years agoblock pthread cancellation in openpty function
Rich Felker [Sun, 21 Dec 2014 04:38:25 +0000 (23:38 -0500)]
block pthread cancellation in openpty function

being a nonstandard function, this isn't strictly necessary, but it's
inexpensive and avoids unpleasant surprises. eventually I would like
all functions in libc to be safe against cancellation, either ignoring
it or acting on it cleanly.

9 years agodon't write openpty results until success is determined
Rich Felker [Sun, 21 Dec 2014 04:22:57 +0000 (23:22 -0500)]
don't write openpty results until success is determined

not only is this semantically more correct; it also reduces code size
slightly by eliminating the need for the compiler to assume the
possibility of aliasing.

9 years agoadd login_tty function
Felix Janda [Sun, 21 Dec 2014 01:13:27 +0000 (20:13 -0500)]
add login_tty function

9 years agoset optopt in getopt_long
Rich Felker [Sun, 21 Dec 2014 00:49:19 +0000 (19:49 -0500)]
set optopt in getopt_long

this is undocumented but possibly expected behavior of GNU
getopt_long, and useful when error message printing has been
suppressed.

9 years agoadd error message printing to getopt_long and make related improvements
Rich Felker [Sun, 21 Dec 2014 00:44:37 +0000 (19:44 -0500)]
add error message printing to getopt_long and make related improvements

some related changes are also made to getopt, and the return value of
getopt_long in the case of missing arguments is fixed.

9 years agosupport translation for getopt error messages
Rich Felker [Sat, 20 Dec 2014 05:05:29 +0000 (00:05 -0500)]
support translation for getopt error messages

9 years agofix stderr locking and ferror semantics in getopt message printing
Rich Felker [Sat, 20 Dec 2014 04:59:54 +0000 (23:59 -0500)]
fix stderr locking and ferror semantics in getopt message printing

if writing the error message fails, POSIX requires that ferror(stderr)
be set. and as a function that operates on a stdio stream, getopt is
required to lock the stream it uses, stderr.

fwrite calls are used instead of fprintf since there is a demand from
some users not to pull in heavy stdio machinery via getopt. this
mimics the original code using write.

9 years agouse tkill instead of tgkill in implementing raise
Rich Felker [Fri, 19 Dec 2014 01:44:51 +0000 (20:44 -0500)]
use tkill instead of tgkill in implementing raise

this shaves off a useless syscall for getting the caller's pid and
brings raise into alignment with other functions which were adapted to
use tkill rather than tgkill.

commit 83dc6eb087633abcf5608ad651d3b525ca2ec35e documents the
rationale for this change, and in particular why the tgkill syscall is
useless for its designed purpose of avoiding races.

9 years agodon't suppress sign output for NANs in printf
Rich Felker [Thu, 18 Dec 2014 22:41:34 +0000 (17:41 -0500)]
don't suppress sign output for NANs in printf

formally, it seems a sign is only required when the '+' modifier
appears in the format specifier, in which case either '+' or '-' must
be present in the output. but the specification is written such that
an optional negative sign is part of the output format anyway, and the
simplest approach to fixing the problem is removing the code that was
suppressing the sign.

9 years agofix return value computation in one code path of wcsnrtombs
Rich Felker [Thu, 18 Dec 2014 21:42:21 +0000 (16:42 -0500)]
fix return value computation in one code path of wcsnrtombs

the affected code was wrongly counting characters instead of bytes.

9 years agofix signedness of WINT_MIN expression
Rich Felker [Wed, 17 Dec 2014 21:52:37 +0000 (16:52 -0500)]
fix signedness of WINT_MIN expression

since wint_t is unsigned, WINT_MIN needs to expand to an unsigned zero.

9 years agomake the definition of _Complex_I explicitly complex
Rich Felker [Wed, 17 Dec 2014 21:47:34 +0000 (16:47 -0500)]
make the definition of _Complex_I explicitly complex

it's unclear whether compilers which provide pure imaginary types
might produce a pure imaginary expression for 1.0fi. using 0.0f+1.0fi
ensures that the result is explicitly complex and makes this obvious
to human readers too.

9 years agomake the result of the cimag macro a non-lvalue
Rich Felker [Wed, 17 Dec 2014 21:44:43 +0000 (16:44 -0500)]
make the result of the cimag macro a non-lvalue

this change is not necessary but helps diagnose invalid code. based on
patch by Jens Gustedt.

9 years agofix definition of CMPLX macros in complex.h to work in constant expressions
Rich Felker [Wed, 17 Dec 2014 21:34:41 +0000 (16:34 -0500)]
fix definition of CMPLX macros in complex.h to work in constant expressions

based on patches by Jens Gustedt. these macros need to be usable in
static initializers, and the old definitions were not.

there is no portable way to provide correct definitions for these
macros unless the compiler supports pure imaginary types. a portable
definition is provided for this case even though there are presently
no compilers that can use it. gcc and compatible compilers provide a
builtin function that can be used, but clang fails to support this and
instead requires a construct which is a constraint violation and which
is only a constant expression as a clang-specific extension.

since these macros are a namespace violation in pre-C11 profiles, and
since no known pre-C11 compilers provide any way to define them
correctly anyway, the definitions have been made conditional on C11.

9 years agoprovide CMPLX macros in implementation-internal libm.h
Rich Felker [Wed, 17 Dec 2014 21:08:50 +0000 (16:08 -0500)]
provide CMPLX macros in implementation-internal libm.h

this avoids assuming the presence of C11 macro definitions in the
public complex.h, which need changes potentially incompatible with the
way these macros are being used internally.

9 years agoimplement FNM_CASEFOLD extension to fnmatch function
Nagy Szabolcs [Fri, 10 Oct 2014 10:09:03 +0000 (12:09 +0200)]
implement FNM_CASEFOLD extension to fnmatch function

9 years agoadd basic dns record parsing functions
Rich Felker [Wed, 17 Dec 2014 19:40:35 +0000 (14:40 -0500)]
add basic dns record parsing functions

based on patch by Timo Teräs, with some corrections to bounds checking
code and other minor changes.

while they are borderline scope creep, the functions added are fairly
small and are roughly the minimum code needed to use the results of
the res_query API without re-implementing error-prone DNS packet
parsing, and they are used in practice by some kerberos related
software and possibly other things. at this time there is no intent to
implement further nameser.h API functions.

9 years agocorrectly handle write errors encountered by printf-family functions
Rich Felker [Wed, 17 Dec 2014 08:08:53 +0000 (03:08 -0500)]
correctly handle write errors encountered by printf-family functions

previously, write errors neither stopped further output attempts nor
caused the function to return an error to the caller. this could
result in silent loss of output, possibly in the middle of output in
the event of a non-permanent error.

the simplest solution is temporarily clearing the error flag for the
target stream, then suppressing further output when the error flag is
set and checking/restoring it at the end of the operation to determine
the correct return value.

since the wide version of the code internally calls the narrow fprintf
to perform some of its underlying operations, initial clearing of the
error flag is suppressed when performing a narrow vfprintf on a
wide-oriented stream. this is not a problem since the behavior of
narrow operations on wide-oriented streams is undefined.

9 years agosimplify getopt_long argv permutation loop logic
Rich Felker [Sat, 13 Dec 2014 19:22:58 +0000 (14:22 -0500)]
simplify getopt_long argv permutation loop logic

9 years agofix handling of "--" with getopt_long argv permutation
Rich Felker [Sat, 13 Dec 2014 06:04:21 +0000 (01:04 -0500)]
fix handling of "--" with getopt_long argv permutation

if argv permutation is used, the option terminator "--" should be
moved before any skipped non-option arguments rather than being left
in the argv tail where the caller will see and interpret it.

9 years agoaccept null longopts pointer in getopt_long
Rich Felker [Thu, 11 Dec 2014 06:07:02 +0000 (01:07 -0500)]
accept null longopts pointer in getopt_long

this is an undocumented feature of GNU getopt_long that the BSD
version also mimics, and is reportedly needed by some programs.

9 years agofix getopt handling of initial '+' in optstring
Rich Felker [Thu, 11 Dec 2014 02:29:01 +0000 (21:29 -0500)]
fix getopt handling of initial '+' in optstring

in the case where an initial '+' was passed in optstring (a
getopt_long feature to suppress argv permutation), getopt would fail
to see a possible subsequent ':', resulting in incorrect handling of
missing arguments.

9 years agosupport abbreviated options in getopt_long
Rich Felker [Thu, 11 Dec 2014 02:26:49 +0000 (21:26 -0500)]
support abbreviated options in getopt_long

9 years agosupport options after non-option arguments in getopt_long (argv permutation)
Rich Felker [Thu, 11 Dec 2014 01:25:32 +0000 (20:25 -0500)]
support options after non-option arguments in getopt_long (argv permutation)

9 years agodon't shadow functions with macros in C++
Bobby Bingham [Tue, 9 Dec 2014 02:18:12 +0000 (20:18 -0600)]
don't shadow functions with macros in C++

C++ programmers typically expect something like "::function(x,y)" to work
and may be surprised to find that "(::function)(x,y)" is actually required
due to the headers declaring a macro version of some standard functions.

We already omit function-like macros for C++ in most cases where there is
a real function available. This commit extends this to the remaining
function-like macros which have a real function version.

9 years agouse direct syscall rather than write function in posix_spawn child
Rich Felker [Sat, 6 Dec 2014 02:19:39 +0000 (21:19 -0500)]
use direct syscall rather than write function in posix_spawn child

the write function is a cancellation point and accesses thread-local
state belonging to the calling thread in the parent process. since
cancellation is blocked for the duration of posix_spawn, this is
probably safe, but it's fragile and unnecessary. making the syscall
directly is just as easy and clearly safe.

9 years agodon't fail posix_spawn on failed close
Rich Felker [Sat, 6 Dec 2014 02:15:41 +0000 (21:15 -0500)]
don't fail posix_spawn on failed close

the resolution of austin group issue #370 removes the requirement that
posix_spawn fail when the close file action is performed on an
already-closed fd. since there are no other meaningful errors for
close, just ignoring the return value completely is the simplest fix.

9 years agofix getopt handling of ':' modifier for multibyte option characters
Rich Felker [Thu, 4 Dec 2014 15:23:33 +0000 (10:23 -0500)]
fix getopt handling of ':' modifier for multibyte option characters

the previous hard-coded offsets of +1 and +2 contained a hidden
assumption that the option character matched was single-byte, despite
this implementation of getopt attempting to support multibyte option
characters. this patch reworks the matching logic to leave the final
index pointing just past the matched character so that fixed offsets
can be used to check for ':'.

9 years agoadd arm private syscall numbers
Timo Teräs [Wed, 3 Dec 2014 14:09:37 +0000 (16:09 +0200)]
add arm private syscall numbers

it is part of kernel uapi, and some programs (e.g. nodejs) do use them

9 years agofix return value of pthread_getaffinity_np and pthread_setaffinity_np
Rich Felker [Wed, 3 Dec 2014 03:17:52 +0000 (22:17 -0500)]
fix return value of pthread_getaffinity_np and pthread_setaffinity_np

these functions are expected to return an error code rather than
setting errno and returning -1.

9 years agofix uninitialized output from sched_getaffinity
Rich Felker [Wed, 3 Dec 2014 02:54:36 +0000 (21:54 -0500)]
fix uninitialized output from sched_getaffinity

the sched_getaffinity syscall only fills a cpu set up to the set size
used/supported by the kernel. the rest is left untouched and userspace
is responsible for zero-filling it based on the return value of the
syscall.

9 years agoadd support for non-option arguments extension to getopt
Gianluca Anzolin [Tue, 25 Nov 2014 07:56:03 +0000 (08:56 +0100)]
add support for non-option arguments extension to getopt

this is a GNU extension, activated by including '-' as the first
character of the options string, whereby non-option arguments are
processed as if they were arguments to an option character '\1' rather
than ending option processing.

10 years agoadapt dynamic linker for new binutils versions that omit DT_RPATH
Rich Felker [Sun, 23 Nov 2014 21:17:57 +0000 (16:17 -0500)]
adapt dynamic linker for new binutils versions that omit DT_RPATH

the new DT_RUNPATH semantics for search order are always used, and
since binutils had always set both DT_RPATH and DT_RUNPATH when the
latter was used, processing only DT_RPATH worked fine. however, recent
binutils has stopped generating DT_RPATH when DT_RUNPATH is used,
which broke support for this feature completely.

10 years agofix tabs/spaces in memcpy.s
Rich Felker [Sun, 23 Nov 2014 19:33:01 +0000 (14:33 -0500)]
fix tabs/spaces in memcpy.s

this file had been a mess that went unnoticed ever since it was
imported. some lines used spaces for indention while others used tabs,
and tabs were used for alignment.

10 years agofix build regression in arm asm for setjmp/longjmp with old assemblers
Rich Felker [Sun, 23 Nov 2014 19:27:45 +0000 (14:27 -0500)]
fix build regression in arm asm for setjmp/longjmp with old assemblers

10 years agofix build regression in arm asm for memcpy
Rich Felker [Sun, 23 Nov 2014 19:12:14 +0000 (14:12 -0500)]
fix build regression in arm asm for memcpy

commit 27828f7e9adb6b4f93ca56f6f98ef4c44bb5ed4e fixed compatibility
with clang's internal assembler, but broke compatibility with gas and
the traditional arm asm syntax by switching to the arm "unified
assembler language" (UAL). recent versions of gas also support UAL,
but require the .syntax directive to be used to switch to it. clang on
the other hand defaults to UAL. and old versions of gas (still
relevant) don't support UAL at all.

for the conditional ldm/stm instructions, "ia" is default and can just
be omitted, resulting in a mnemonic that's compatible with both
traditional and UAL syntax. but for byte/halfword loads and stores,
there seems to be no mnemonic compatible with both, and thus .word is
used to produce the desired opcode explicitly. the .inst directive is
not used because it is not compatible with older assemblers.

10 years agoarm assembly changes for clang compatibility
Joakim Sindholt [Thu, 6 Nov 2014 17:57:56 +0000 (18:57 +0100)]
arm assembly changes for clang compatibility

10 years agounify non-inline version of syscall code across archs
Rich Felker [Sun, 23 Nov 2014 02:50:13 +0000 (21:50 -0500)]
unify non-inline version of syscall code across archs

except powerpc, which still lacks inline syscalls simply because
nobody has written the code, these are all fallbacks used to work
around a clang bug that probably does not exist in versions of clang
that can compile musl. however, it's useful to have the generic
non-inline code anyway, as it eases the task of porting to new archs:
writing inline syscall code is now optional. this approach could also
help support compilers which don't understand inline asm or lack
support for the needed register constraints.

mips could not be unified because it has special fixup code for broken
layout of the kernel's struct stat.

10 years agoinline 5- and 6-argument syscalls on arm
Rich Felker [Sun, 23 Nov 2014 02:06:40 +0000 (21:06 -0500)]
inline 5- and 6-argument syscalls on arm

10 years agoremove old clang workarounds from arm syscall implementation
Rich Felker [Sun, 23 Nov 2014 01:50:01 +0000 (20:50 -0500)]
remove old clang workarounds from arm syscall implementation

the register constraints in the non-clang case were tested to work on
clang back to 3.2, and earlier versions of clang have known bugs that
preclude building musl.

there may be other reasons to prefer not to use inline syscalls, but
if so the function-call-based implementations should be added back in
a unified way for all archs.

10 years agofix __aeabi_read_tp oversight in arm atomics/tls overhaul
Rich Felker [Sat, 22 Nov 2014 17:26:38 +0000 (12:26 -0500)]
fix __aeabi_read_tp oversight in arm atomics/tls overhaul

calls to __aeabi_read_tp may be generated by the compiler to access
TLS on pre-v6 targets. previously, this function was hard-coded to
call the kuser helper, which would crash on kernels with kuser helper
removed.

to fix the problem most efficiently, the definition of __aeabi_read_tp
is moved so that it's an alias for the new __a_gettp. however, on v7+
targets, code to initialize the runtime choice of thread-pointer
loading code is not even compiled, meaning that defining
__aeabi_read_tp would have caused an immediate crash due to using the
default implementation of __a_gettp with a HCF instruction.

fortunately there is an elegant solution which reduces overall code
size: putting the native thread-pointer loading instruction in the
default code path for __a_gettp, so that separate default/native code
paths are not needed. this function should never be called before
__set_thread_area anyway, and if it is called early on pre-v6
hardware, the old behavior (crashing) is maintained.

ideally __aeabi_read_tp would not be called at all on v7+ targets
anyway -- in fact, prior to the overhaul, the same problem existed,
but it was never caught by users building for v7+ with kuser disabled.
however, it's possible for calls to __aeabi_read_tp to end up in a v7+
binary if some of the object files were built for pre-v7 targets, e.g.
in the case of static libraries that were built separately, so this
case needs to be handled.

10 years agooverhaul ARM atomics/tls for performance and compatibility
Rich Felker [Wed, 19 Nov 2014 05:40:32 +0000 (00:40 -0500)]
overhaul ARM atomics/tls for performance and compatibility

previously, builds for pre-armv6 targets hard-coded use of the "kuser
helper" system for atomics and thread-pointer access, resulting in
binaries that fail to run (crash) on systems where this functionality
has been disabled (as a security/hardening measure) in the kernel.
additionally, builds for armv6 hard-coded an outdated/deprecated
memory barrier instruction which may require emulation (extremely
slow) on future models.

this overhaul replaces the behavior for all pre-armv7 builds (both of
the above cases) to perform runtime detection of the appropriate
mechanisms for barrier, atomic compare-and-swap, and thread pointer
access. detection is based on information provided by the kernel in
auxv: presence of the HWCAP_TLS bit for AT_HWCAP and the architecture
version encoded in AT_PLATFORM. direct use of the instructions is
preferred when possible, since probing for the existence of the kuser
helper page would be difficult and would incur runtime cost.

for builds targeting armv7 or later, the runtime detection code is not
compiled at all, and much more efficient versions of the non-cas
atomic operations are provided by using ldrex/strex directly rather
than wrapping cas.

10 years agosave auxv pointer into libc struct early in dynamic linker startup
Rich Felker [Wed, 19 Nov 2014 05:34:29 +0000 (00:34 -0500)]
save auxv pointer into libc struct early in dynamic linker startup

this allows most code to assume it has already been saved, and is a
prerequisite for upcoming changes for arm atomic/tls operations.

10 years agogetopt: fix optional argument processing
Felix Fietkau [Tue, 21 Oct 2014 20:24:50 +0000 (22:24 +0200)]
getopt: fix optional argument processing

Processing an option character with optional argument fails if the
option is last on the command line. This happens because the
if (optind >= argc) check runs first before testing for optional
argument.

10 years agoimplement a private state for the uchar.h functions
Jens Gustedt [Sun, 9 Nov 2014 10:18:08 +0000 (11:18 +0100)]
implement a private state for the uchar.h functions

The C standard is imperative on that:

  7.28.1 ... If ps is a null pointer, each function uses its own internal
  mbstate_t object instead, which is initialized at program startup to
  the initial conversion state;

and these functions are also not supposed to implicitly use the state of
the wchar.h functions:

  7.29.6.3 ... The implementation behaves as if no library function calls
  these functions with a null pointer for ps.

Previously this resulted in two bugs.

 - The functions c16rtomb and mbrtoc16 would crash when called with ps
   set to null.

 - The function mbrtoc32 used the private state of mbrtowc, which it
   is not allowed to do.

10 years agofix behavior of printf with alt-form octal, zero precision, zero value
Rich Felker [Sat, 15 Nov 2014 17:16:19 +0000 (12:16 -0500)]
fix behavior of printf with alt-form octal, zero precision, zero value

in this case there are two conflicting rules in play: that an explicit
precision of zero with the value zero produces no output, and that the
'#' modifier for octal increases the precision sufficiently to yield a
leading zero. ISO C (7.19.6.1 paragraph 6 in C99+TC3) includes a
parenthetical remark to clarify that the precision-increasing behavior
takes precedence, but the corresponding text in POSIX off of which I
based the implementation is missing this remark.

this issue was covered in WG14 DR#151.

10 years agomath: use fnstsw consistently instead of fstsw in x87 asm
Szabolcs Nagy [Wed, 5 Nov 2014 21:13:58 +0000 (22:13 +0100)]
math: use fnstsw consistently instead of fstsw in x87 asm

fnstsw does not wait for pending unmasked x87 floating-point exceptions
and it is the same as fstsw when all exceptions are masked which is the
only environment libc supports.

10 years agomath: fix x86_64 and x32 asm not to use sahf instruction
Szabolcs Nagy [Wed, 5 Nov 2014 20:40:29 +0000 (21:40 +0100)]
math: fix x86_64 and x32 asm not to use sahf instruction

Some early x86_64 cpus (released before 2006) did not support sahf/lahf
instructions so they should be avoided (intel manual says they are only
supported if CPUID.80000001H:ECX.LAHF-SAHF[bit 0] = 1).

The workaround simplifies exp2l and expm1l because fucomip can be
used instead of the fucomp;fnstsw;sahf sequence copied from i386.

In fmodl and remainderl sahf is replaced by a simple bit test.

10 years agofix 64-bit syscall argument passing on or1k
Rich Felker [Wed, 5 Nov 2014 05:38:40 +0000 (00:38 -0500)]
fix 64-bit syscall argument passing on or1k

the kernel syscall interface for or1k does not expect 64-bit arguments
to be aligned to "even" register boundaries. this incorrect alignment
broke truncate/ftruncate and as well as a few less-common syscalls.

10 years agofix uninitialized mode variable in openat function
Rich Felker [Fri, 31 Oct 2014 19:35:24 +0000 (15:35 -0400)]
fix uninitialized mode variable in openat function

this was introduced in commit 2da3ab1382ca8e39eb1e4428103764a81fba73d3
as an oversight while making the variadic argument access conditional.

10 years agomath: use the rounding idiom consistently
Szabolcs Nagy [Tue, 28 Oct 2014 23:34:37 +0000 (00:34 +0100)]
math: use the rounding idiom consistently

the idiomatic rounding of x is

  n = x + toint - toint;

where toint is either 1/EPSILON (x is non-negative) or 1.5/EPSILON
(x may be negative and nearest rounding mode is assumed) and EPSILON is
according to the evaluation precision (the type of toint is not very
important, because single precision float can represent the 1/EPSILON of
ieee binary128).

in case of FLT_EVAL_METHOD!=0 this avoids a useless store to double or
float precision, and the long double code became cleaner with
1/LDBL_EPSILON instead of ifdefs for toint.

__rem_pio2f and __rem_pio2 functions slightly changed semantics:
on i386 a double-rounding is avoided so close to half-way cases may
get evaluated differently eg. as sin(pi/4-eps) instead of cos(pi/4+eps)

10 years agofix rint.c and rintf.c when FLT_EVAL_METHOD!=0
Szabolcs Nagy [Tue, 28 Oct 2014 23:25:50 +0000 (00:25 +0100)]
fix rint.c and rintf.c when FLT_EVAL_METHOD!=0

The old code used the rounding idiom incorrectly:

  y = (double)(x + 0x1p52) - 0x1p52;

the cast is useless if FLT_EVAL_METHOD==0 and causes a second rounding
if FLT_EVAL_METHOD==2 which can give incorrect result in nearest rounding
mode, so the correct idiom is to add/sub a power-of-2 according to the
characteristics of double_t.

This did not cause actual bug because only i386 is affected where rint
is implemented in asm.

Other rounding functions use a similar idiom, but they give correct
results because they only rely on getting a neighboring integer result
and the rounding direction is fixed up separately independently of the
current rounding mode. However they should be fixed to use the idiom
correctly too.

10 years agofix invalid access by openat to possibly-missing variadic mode argument
Rich Felker [Fri, 31 Oct 2014 00:08:40 +0000 (20:08 -0400)]
fix invalid access by openat to possibly-missing variadic mode argument

the mode argument is only required to be present when the O_CREAT or
O_TMPFILE flag is used.

10 years agofix failure of open to read variadic mode argument for O_TMPFILE
Rich Felker [Fri, 31 Oct 2014 00:03:56 +0000 (20:03 -0400)]
fix failure of open to read variadic mode argument for O_TMPFILE

10 years agomanually "shrink wrap" fast path in pthread_once
Rich Felker [Mon, 20 Oct 2014 04:22:51 +0000 (00:22 -0400)]
manually "shrink wrap" fast path in pthread_once

this change is a workaround for the inability of current compilers to
perform "shrink wrapping" optimizations. in casual testing, it roughly
doubled the performance of pthread_once when called on an
already-finished once control object.

10 years agorelease 1.1.5 v1.1.5
Rich Felker [Tue, 14 Oct 2014 17:32:42 +0000 (13:32 -0400)]
release 1.1.5

10 years agosuppress macro definitions of ctype functions under C++
Rich Felker [Tue, 14 Oct 2014 16:30:50 +0000 (12:30 -0400)]
suppress macro definitions of ctype functions under C++

based on patch by Sergey Dmitrouk.

10 years agoimplement uchar.h (C11 UTF-16/32 conversion) interfaces
Rich Felker [Tue, 14 Oct 2014 00:59:42 +0000 (20:59 -0400)]
implement uchar.h (C11 UTF-16/32 conversion) interfaces

10 years agoeliminate global waiters count in pthread_once
Rich Felker [Mon, 13 Oct 2014 22:26:28 +0000 (18:26 -0400)]
eliminate global waiters count in pthread_once

10 years agofix missing barrier in pthread_once/call_once shortcut path
Rich Felker [Fri, 10 Oct 2014 22:20:33 +0000 (18:20 -0400)]
fix missing barrier in pthread_once/call_once shortcut path

these functions need to be fast when the init routine has already run,
since they may be called very often from code which depends on global
initialization having taken place. as such, a fast path bypassing
atomic cas on the once control object was used to avoid heavy memory
contention. however, on archs with weakly ordered memory, the fast
path failed to ensure that the caller actually observes the side
effects of the init routine.

preliminary performance testing showed that simply removing the fast
path was not practical; a performance drop of roughly 85x was observed
with 20 threads hammering the same once control on a 24-core machine.
so the new explicit barrier operation from atomic.h is used to retain
the fast path while ensuring memory visibility.

performance may be reduced on some archs where the barrier actually
makes a difference, but the previous behavior was unsafe and incorrect
on these archs. future improvements to the implementation of a_barrier
should reduce the impact.

10 years agoadd explicit barrier operation to internal atomic.h API
Rich Felker [Fri, 10 Oct 2014 22:17:09 +0000 (18:17 -0400)]
add explicit barrier operation to internal atomic.h API

10 years agofix handling of negative offsets in timezone spec strings
Rich Felker [Fri, 10 Oct 2014 03:44:02 +0000 (23:44 -0400)]
fix handling of negative offsets in timezone spec strings

previously, the hours were considered as a signed quantity while
minutes and seconds were always treated as positive offsets. however,
semantically the '-' sign should negate the whole hh:mm:ss offset.
this bug only affected timezones east of GMT with non-whole-hours
offsets, such as those used in India and Nepal.

10 years agoadd new linux file sealing api to fcntl.h
Szabolcs Nagy [Wed, 1 Oct 2014 20:25:40 +0000 (22:25 +0200)]
add new linux file sealing api to fcntl.h

new in linux v3.17 commit 40e041a2c858b3caefc757e26cb85bfceae5062b
sealing allows some operations to be blocked on a file which makes
file access safer when fds are shared between processes (only
supported for shared mem fds currently)

flags:
F_SEAL_SEAL prevents further sealing
F_SEAL_SHRINK prevents file from shrinking
F_SEAL_GROW prevents file from growing
F_SEAL_WRITE prevents writes

fcntl commands:
F_GET_SEALS get the current seal flags
F_ADD_SEALS add new seal flags

10 years agoadd new IPV6_AUTOFLOWLABEL socket option in netinet/in.h
Szabolcs Nagy [Wed, 1 Oct 2014 20:17:53 +0000 (22:17 +0200)]
add new IPV6_AUTOFLOWLABEL socket option in netinet/in.h

added in linux v3.17 commit 753a2ad54ef45e3417a9d49537c2b42b04a2e1be
enables automatic flow label generation on transmit

10 years agoadd new syscall numbers for seccomp, getrandom, memfd_create
Szabolcs Nagy [Wed, 1 Oct 2014 19:41:47 +0000 (21:41 +0200)]
add new syscall numbers for seccomp, getrandom, memfd_create

these syscalls are new in linux v3.17 and present on all supported
archs except sh.

seccomp was added in commit 48dc92b9fc3926844257316e75ba11eb5c742b2c
it has operation, flags and pointer arguments (if flags==0 then it is
the same as prctl(PR_SET_SECCOMP,...)), the uapi header for flag
definitions is linux/seccomp.h

getrandom was added in commit c6e9d6f38894798696f23c8084ca7edbf16ee895
it provides an entropy source when open("/dev/urandom",..) would fail,
the uapi header for flags is linux/random.h

memfd_create was added in commit 9183df25fe7b194563db3fec6dc3202a5855839c
it allows anon mmap to have an fd, that can be shared, sealed and needs no
mount point, the uapi header for flags is linux/memfd.h

10 years agoalways provide __fpclassifyl and __signbitl definitions
Rich Felker [Wed, 8 Oct 2014 14:17:19 +0000 (10:17 -0400)]
always provide __fpclassifyl and __signbitl definitions

previously the external definitions of these functions were omitted on
archs where long double is the same as double, since the code paths in
the math.h macros which would call them are unreachable. however, even
if they are unreachable, the definitions are still mandatory. omitting
them is invalid C, and in the case of a non-optimizing compiler, will
result in a link error.

10 years agoignore access mode bits of flags in mkostemps and functions that use it
Rich Felker [Tue, 7 Oct 2014 03:13:01 +0000 (23:13 -0400)]
ignore access mode bits of flags in mkostemps and functions that use it

per the text accepted for inclusion in POSIX, behavior is unspecified
when any of the access mode bits are set. since it's impossible to
consistently report this usage error (O_RDONLY could not be detected
since its value happens to be zero), the most consistent way to handle
them is just to ignore them.

previously, if a caller erroneously passed O_WRONLY, the resulting
access mode would be O_WRONLY|O_RDWR, which has the value 3, and this
resulted in a file descriptor which rejects both read and write
attempts when it is subsequently used.

10 years agofix handling of odd lengths in swab function
Rich Felker [Sat, 4 Oct 2014 15:14:01 +0000 (11:14 -0400)]
fix handling of odd lengths in swab function

this function is specified to leave the last byte with "unspecified
disposition" when the length is odd, so for the most part correct
programs should not be calling swab with odd lengths. however, doing
so is permitted, and should not write past the end of the destination
buffer.

10 years agofix incorrect sequence generation in *rand48 prng functions
Rich Felker [Mon, 22 Sep 2014 21:55:08 +0000 (17:55 -0400)]
fix incorrect sequence generation in *rand48 prng functions

patch by Jens Gustedt. this fixes a bug reported by Nadav Har'El. the
underlying issue was that a left-shift by 16 bits after promotion of
unsigned short to int caused integer overflow. while some compilers
define this overflow case as "shifting into the sign bit", doing so
doesn't help; the sign bit then gets extended through the upper bits
in subsequent arithmetic as unsigned long long. this patch imposes a
promotion to unsigned prior to the shift, so that the result is
well-defined and matches the specified behavior.

10 years agofix linked list corruption in flockfile lists
Rich Felker [Fri, 19 Sep 2014 16:28:45 +0000 (12:28 -0400)]
fix linked list corruption in flockfile lists

commit 5345c9b884e7c4e73eb2c8bb83b8d0df20f95afb added a linked list to
track the FILE streams currently locked (via flockfile) by a thread.
due to a failure to fully link newly added members, removal from the
list could leave behind references which could later result in writes
to already-freed memory and possibly other memory corruption.

implicit stdio locking was unaffected; the list is only used in
conjunction with explicit flockfile locking.

this bug was not present in any releases; it was introduced and fixed
during the same release cycle.

patch by Timo Teräs, who discovered and tracked down the bug.

10 years agomath: fix exp10 not to raise invalid exception on NaN
Szabolcs Nagy [Thu, 18 Sep 2014 15:02:24 +0000 (17:02 +0200)]
math: fix exp10 not to raise invalid exception on NaN

This was not caught earlier because gcc incorrectly generates quiet
relational operators that never raise exceptions.

10 years agofix overflow corner case in strtoul-family functions
Rich Felker [Tue, 16 Sep 2014 20:08:53 +0000 (16:08 -0400)]
fix overflow corner case in strtoul-family functions

incorrect behavior occurred only in cases where the input overflows
unsigned long long, not just the (possibly lower) range limit for the
result type. in this case, processing of the '-' sign character was
not suppressed, and the function returned a value of 1 despite setting
errno to ERANGE.

10 years agorewrite the regex pattern parser in regcomp
Szabolcs Nagy [Thu, 14 Aug 2014 20:25:33 +0000 (22:25 +0200)]
rewrite the regex pattern parser in regcomp

The new code is a bit simpler and the generated code is about 1KB
smaller (on i386). The basic design was kept including internal
interfaces, TNFA generation was not touched.

The old tre parser had various issues:

[^aa-z]
negated overlapping ranges in a bracket expression were handled
incorrectly (eg [^aa-z] was handled as [^a] instead of [^a-z])

a{,2}
missing lower bound in a counted repetition should be an error,
but it was accepted with broken semantics: a{,2} was treated as
a{0,3}, the new parser rejects it

a{999,}
large min count was not rejected (a{5000,} failed with REG_ESPACE
due to reaching a stack limit), the new parser enforces the
RE_DUP_MAX limit

\xff
regcomp used to accept a pattern with illegal sequences in it
(treated them as empty expression so p\xffq matched pq) the new
parser rejects such patterns with REG_BADPAT or REG_ERANGE

[^b-fD-H] with REG_ICASE
old parser turned this into [^b-fB-F] because of the negated
overlapping range issue (see above), the new parser treats it
as [^b-hB-H], POSIX seems to require [^d-fD-F], but practical
implementations do case-folding first and negate the character
set later instead of the other way around. (Supporting the posix
way efficiently would require significant changes so it was left
as is, it is unclear if any application actually expects the
posix behaviour, this issue is raised on the austingroup tracker:
http://austingroupbugs.net/view.php?id=872 ).

another case-insensitive matching issue is that unicode case
folding rules can group more than two characters together while
towupper and towlower can only work for a pair of upper and
lower case characters, this is a limitation of POSIX so it is
not fixed.

invalid bracket and brace expressions may return different error
codes now (REG_ERANGE instead of REG_EBRACK or REG_BADBR instead
of REG_EBRACE) otherwise the new parser should be compatible with
the old one.

regcomp should be able to handle arbitrary pattern input if the
pattern length is limited, the only exception is the use of large
repetition counts (eg. (a{255}){255}) which require exp amount
of memory and there is no easy workaround.

10 years agofix C++ incompatibility in i386 definition of max_align_t
Rich Felker [Thu, 11 Sep 2014 14:16:30 +0000 (10:16 -0400)]
fix C++ incompatibility in i386 definition of max_align_t

the C11 _Alignas keyword is not present in C++, and despite it being
in the reserved namespace and thus reasonable to support even in
non-C11 modes, compilers seem to fail to support it.

10 years agoadd _DEFAULT_SOURCE feature profile as an alias for _BSD_SOURCE
Rich Felker [Wed, 10 Sep 2014 16:47:55 +0000 (12:47 -0400)]
add _DEFAULT_SOURCE feature profile as an alias for _BSD_SOURCE

as a result of commit ab8f6a6e42ff893041f7545a23e6d6a0edde07fb, this
definition is now equivalent to the actual "default profile" which
appears immediately below in features.h, and which defines both
_BSD_SOURCE and _XOPEN_SOURCE.

the intent of providing a _DEFAULT_SOURCE, which glibc also now
provides, is to give applications a way to "get back" the default
feature profile when it was lost either by compiler flags that inhibit
it (such as -std=c99) or by library-provided predefined macros (such
as -D_POSIX_C_SOURCE=200809L) which may inhibit exposure of features
that were otherwise visible by default and which the application may
need. without _DEFAULT_SOURCE, the application had encode knowledge of
a particular libc's defaults, and such knowledge was fragile and
subject to bitrot.

eventually the names _GNU_SOURCE and _BSD_SOURCE should be phased out
in favor of the more-descriptive and more-accurate _ALL_SOURCE and
_DEFAULT_SOURCE, leaving the old names as aliases but using the new
ones internally. however this is a more invasive change that would
require extensive regression testing, so it is deferred.

10 years agofix _ALL_SOURCE logic to avoid possible redefinition of _GNU_SOURCE
Rich Felker [Wed, 10 Sep 2014 16:40:38 +0000 (12:40 -0400)]
fix _ALL_SOURCE logic to avoid possible redefinition of _GNU_SOURCE

this could be an error if _GNU_SOURCE was already defined differently
by the application.

10 years agofix places where _BSD_SOURCE failed to yield a superset of _XOPEN_SOURCE
Rich Felker [Wed, 10 Sep 2014 16:27:33 +0000 (12:27 -0400)]
fix places where _BSD_SOURCE failed to yield a superset of _XOPEN_SOURCE

the vast majority of these failures seem to have been oversights at
the time _BSD_SOURCE was added, or perhaps shortly afterward. the one
which may have had some reason behind it is omission of setpgrp from
the _BSD_SOURCE feature profile, since the standard setpgrp interface
conflicts with a legacy (pre-POSIX) BSD interface by the same name.
however, such omission is not aligned with our general policy in this
area (for example, handling of similar _GNU_SOURCE cases) and should
not be preserved.

10 years agofix exp10l.c to include float.h
Szabolcs Nagy [Mon, 8 Sep 2014 14:24:17 +0000 (16:24 +0200)]
fix exp10l.c to include float.h

the previous commit was a no op in exp10l because LDBL_* macros
were implicitly 0 (the preprocessor does not warn about undefined
symbols).

10 years agoprune math code on archs with binary64 long double
Szabolcs Nagy [Mon, 8 Sep 2014 13:51:42 +0000 (15:51 +0200)]
prune math code on archs with binary64 long double

__polevll, __p1evll and exp10l were provided on archs when long double
is the same as double. The first two were completely unused and exp10l
can be a wrapper around exp10.

10 years agoadd new F_OFD_* macros to fcntl.h (open file description locks)
Szabolcs Nagy [Mon, 8 Sep 2014 13:26:40 +0000 (15:26 +0200)]
add new F_OFD_* macros to fcntl.h (open file description locks)

open file description locks are inherited across fork and only auto
dropped after the last fd of the file description is closed, they can be
used to synchronize between threads that open separate file descriptions
for the same file.

new in linux 3.15 commit 0d3f7a2dd2f5cf9642982515e020c1aee2cf7af6

10 years agoadd C11 thread creation and related thread functions
Rich Felker [Sun, 7 Sep 2014 14:28:08 +0000 (10:28 -0400)]
add C11 thread creation and related thread functions

based on patch by Jens Gustedt.

the main difficulty here is handling the difference between start
function signatures and thread return types for C11 threads versus
POSIX threads. pointers to void are assumed to be able to represent
faithfully all values of int. the function pointer for the thread
start function is cast to an incorrect type for passing through
pthread_create, but is cast back to its correct type before calling so
that the behavior of the call is well-defined.

changes to the existing threads implementation were kept minimal to
reduce the risk of regressions, and duplication of code that carries
implementation-specific assumptions was avoided for ease and safety of
future maintenance.

10 years agoadd C11 condition variable functions
Jens Gustedt [Sun, 7 Sep 2014 02:27:45 +0000 (22:27 -0400)]
add C11 condition variable functions

Because of the clear separation for private pthread_cond_t these
interfaces are quite simple and direct.