oweals/musl.git
9 years agoavoid sending huge names as nscd passwd/group queries
Rich Felker [Mon, 16 Mar 2015 03:46:22 +0000 (23:46 -0400)]
avoid sending huge names as nscd passwd/group queries

overly long user/group names are potentially a DoS vector and source
of other problems like partial writes by sendmsg, and not useful.

9 years agosimplify nscd lookup code for alt passwd/group backends
Rich Felker [Mon, 16 Mar 2015 03:33:59 +0000 (23:33 -0400)]
simplify nscd lookup code for alt passwd/group backends

previously, a sentinel value of (FILE *)-1 was used to inform the
caller of __nscd_query that nscd is not in use. aside from being an
ugly hack, this resulted in duplicate code paths for two logically
equivalent cases: no nscd, and "not found" result from nscd.

now, __nscd_query simply skips closing the socket and returns a valid
FILE pointer when nscd is not in use, and produces a fake "not found"
response header. the caller is then responsible for closing the socket
just like it would do if it had gotten a real "not found" response.

9 years agoadd alternate backend support for getgrouplist
Josiah Worcester [Mon, 16 Mar 2015 00:20:53 +0000 (19:20 -0500)]
add alternate backend support for getgrouplist

This completes the alternate backend support that was previously added
to the getpw* and getgr* functions. Unlike those, though, it
unconditionally queries nscd. Any groups from nscd that aren't in the
/etc/groups file are added to the returned list, and any that are
present in the file are ignored. The purpose of this behavior is to
provide a view of the group database consistent with what is observed
by the getgr* functions. If group memberships reported by nscd were
honored when the corresponding group already has a definition in the
/etc/groups file, the user's getgrouplist-based membership in the
group would conflict with their non-membership in the reported
gr_mem[] for the group.

The changes made also make getgrouplist thread-safe and eliminate its
clobbering of the global getgrent state.

9 years agoaarch64: fix typo in bits/ioctl.h
Szabolcs Nagy [Sat, 14 Mar 2015 19:43:43 +0000 (19:43 +0000)]
aarch64: fix typo in bits/ioctl.h

9 years agoaarch64: add struct _aarch64_ctx to signal.h
Szabolcs Nagy [Sat, 14 Mar 2015 17:40:09 +0000 (17:40 +0000)]
aarch64: add struct _aarch64_ctx to signal.h

The unwind code in libgcc uses this type for unwinding across signal
handlers. On aarch64 the kernel may place a sequence of structs on the
signal stack on top of the ucontext to provide additional information.
The unwinder only needs the header, but added all the types the kernel
currently defines for this mechanism because they are part of the uapi.

9 years agoalign x32 pthread type sizes to be common with 32-bit archs
Rich Felker [Thu, 12 Mar 2015 18:43:36 +0000 (14:43 -0400)]
align x32 pthread type sizes to be common with 32-bit archs

previously, commit e7b9887e8b65253087ab0b209dc8dd85c9f09614 aligned
the sizes with the glibc ABI. subsequent discussion during the merge
of the aarch64 port reached a conclusion that we should reject larger
arch-specific sizes, which have significant cost and no benefit, and
stick with the existing common 32-bit sizes for all 32-bit/ILP32 archs
and the x86_64 sizes for 64-bit archs.

one peculiarity of this change is that x32 pthread_attr_t is now
larger in musl than in the glibc x32 ABI, making it unsafe to call
pthread_attr_init from x32 code that was compiled against glibc. with
all the ABI issues of x32, it's not clear that ABI compatibility will
ever work, but if it's needed, pthread_attr_init and related functions
could be modified not to write to the last slot of the object.

this is not a regression versus previous releases, since on previous
releases the x32 pthread type sizes were all severely oversized
already (due to incorrectly using the x86_64 LP64 definitions).
moreover, x32 is still considered experimental and not ABI-stable.

9 years agoadd aarch64 port
Szabolcs Nagy [Tue, 10 Mar 2015 21:18:41 +0000 (21:18 +0000)]
add aarch64 port

This adds complete aarch64 target support including bigendian subarch.

Some of the long double math functions are known to be broken otherwise
interfaces should be fully functional, but at this point consider this
port experimental.

Initial work on this port was done by Sireesh Tripurari and Kevin Bortis.

9 years agomath: add dummy implementations of 128 bit long double functions
Szabolcs Nagy [Tue, 10 Mar 2015 20:01:20 +0000 (20:01 +0000)]
math: add dummy implementations of 128 bit long double functions

This is in preparation for the aarch64 port only to have the long
double math symbols available on ld128 platforms. The implementations
should be fixed up later once we have proper tests for these functions.

Added bigendian handling for ld128 bit manipulations too.

9 years agomath: add ld128 exp2l based on the freebsd implementation
Szabolcs Nagy [Mon, 9 Mar 2015 12:17:25 +0000 (12:17 +0000)]
math: add ld128 exp2l based on the freebsd implementation

Changed the special case handling and bit manipulation to better
match the double version.

9 years agocopy the dtv pointer to the end of the pthread struct for TLS_ABOVE_TP archs
Szabolcs Nagy [Wed, 11 Mar 2015 12:48:12 +0000 (12:48 +0000)]
copy the dtv pointer to the end of the pthread struct for TLS_ABOVE_TP archs

There are two main abi variants for thread local storage layout:

 (1) TLS is above the thread pointer at a fixed offset and the pthread
 struct is below that. So the end of the struct is at known offset.

 (2) the thread pointer points to the pthread struct and TLS starts
 below it. So the start of the struct is at known (zero) offset.

Assembly code for the dynamic TLSDESC callback needs to access the
dynamic thread vector (dtv) pointer which is currently at the front
of the pthread struct. So in case of (1) the asm code needs to hard
code the offset from the end of the struct which can easily break if
the struct changes.

This commit adds a copy of the dtv at the end of the struct. New members
must not be added after dtv_copy, only before it. The size of the struct
is increased a bit, but there is opportunity for size optimizations.

9 years agofix regression in pthread_cond_wait with cancellation disabled
Rich Felker [Sat, 7 Mar 2015 19:11:01 +0000 (14:11 -0500)]
fix regression in pthread_cond_wait with cancellation disabled

due to a logic error in the use of masked cancellation mode,
pthread_cond_wait did not honor PTHREAD_CANCEL_DISABLE but instead
failed with ECANCELED when cancellation was pending.

9 years agofix FLT_ROUNDS to reflect the current rounding mode
Szabolcs Nagy [Sat, 7 Mar 2015 10:00:37 +0000 (11:00 +0100)]
fix FLT_ROUNDS to reflect the current rounding mode

Implemented as a wrapper around fegetround introducing a new function
to the ABI: __flt_rounds. (fegetround cannot be used directly from float.h)

9 years agofix over-alignment of TLS, insufficient builtin TLS on 64-bit archs
Rich Felker [Fri, 6 Mar 2015 18:27:08 +0000 (13:27 -0500)]
fix over-alignment of TLS, insufficient builtin TLS on 64-bit archs

a conservative estimate of 4*sizeof(size_t) was used as the minimum
alignment for thread-local storage, despite the only requirements
being alignment suitable for struct pthread and void* (which struct
pthread already contains). additional alignment required by the
application or libraries is encoded in their headers and is already
applied.

over-alignment prevented the builtin_tls array from ever being used in
dynamic-linked programs on 64-bit archs, thereby requiring allocation
at startup even in programs with no TLS of their own.

9 years agoadd legacy functions from sysinfo.h duplicating sysconf functionality
Rich Felker [Thu, 5 Mar 2015 03:10:01 +0000 (22:10 -0500)]
add legacy functions from sysinfo.h duplicating sysconf functionality

9 years agofix signed left-shift overflow in pthread_condattr_setpshared
Rich Felker [Thu, 5 Mar 2015 02:46:08 +0000 (21:46 -0500)]
fix signed left-shift overflow in pthread_condattr_setpshared

9 years agoadd new si_lower and si_upper siginfo_t members
Szabolcs Nagy [Wed, 4 Mar 2015 19:37:33 +0000 (20:37 +0100)]
add new si_lower and si_upper siginfo_t members

new in linux v3.19 commit ee1b58d36aa1b5a79eaba11f5c3633c88231da83
used to report intel mpx bound violation information.

9 years agodeclare incomplete type struct itimerspec in timerfd.h
Rich Felker [Wed, 4 Mar 2015 19:38:08 +0000 (14:38 -0500)]
declare incomplete type struct itimerspec in timerfd.h

normally time.h would provide a definition for this struct, but
depending on the feature test macros in use, it may not be exposed,
leading to warnings when it's used in the function prototypes.

9 years agofix preprocessor error introduced in poll.h in last commit
Rich Felker [Wed, 4 Mar 2015 19:15:44 +0000 (14:15 -0500)]
fix preprocessor error introduced in poll.h in last commit

9 years agofix POLLWRNORM and POLLWRBAND on mips
Trutz Behn [Fri, 13 Feb 2015 17:10:52 +0000 (18:10 +0100)]
fix POLLWRNORM and POLLWRBAND on mips

these macros have the same distinct definition on blackfin, frv, m68k,
mips, sparc and xtensa kernels. POLLMSG and POLLRDHUP additionally
differ on sparc.

9 years agofix x32 pthread type definitions
Rich Felker [Wed, 4 Mar 2015 16:33:26 +0000 (11:33 -0500)]
fix x32 pthread type definitions

the previous definitions were copied from x86_64. not only did they
fail to match the ABI sizes; they also wrongly encoded an assumption
that long/pointer types are twice as large as int.

9 years agoremove useless check of bin match in malloc
Rich Felker [Wed, 4 Mar 2015 15:48:00 +0000 (10:48 -0500)]
remove useless check of bin match in malloc

this re-check idiom seems to have been copied from the alloc_fwd and
alloc_rev functions, which guess a bin based on non-synchronized
memory access to adjacent chunk headers then need to confirm, after
locking the bin, that the chunk is actually in the bin they locked.

the check being removed, however, was being performed on a chunk
obtained from the already-locked bin. there is no race to account for
here; the check could only fail in the event of corrupt free lists,
and even then it would not catch them but simply continue running.

since the bin_index function is mildly expensive, it seems preferable
to remove the check rather than trying to convert it into a useful
consistency check. casual testing shows a 1-5% reduction in run time.

9 years agoeliminate atomics in syslog setlogmask function
Rich Felker [Wed, 4 Mar 2015 14:44:43 +0000 (09:44 -0500)]
eliminate atomics in syslog setlogmask function

9 years agofix init race that could lead to deadlock in malloc init code
Rich Felker [Wed, 4 Mar 2015 14:29:39 +0000 (09:29 -0500)]
fix init race that could lead to deadlock in malloc init code

the malloc init code provided its own version of pthread_once type
logic, including the exact same bug that was fixed in pthread_once in
commit 0d0c2f40344640a2a6942dda156509593f51db5d.

since this code is called adjacent to expand_heap, which takes a lock,
there is no reason to have pthread_once-type initialization. simply
moving the init code into the interval where expand_heap already holds
its lock on the brk achieves the same result with much less
synchronization logic, and allows the buggy code to be eliminated
rather than just fixed.

9 years agomake all objects used with atomic operations volatile
Rich Felker [Wed, 4 Mar 2015 03:50:02 +0000 (22:50 -0500)]
make all objects used with atomic operations volatile

the memory model we use internally for atomics permits plain loads of
values which may be subject to concurrent modification without
requiring that a special load function be used. since a compiler is
free to make transformations that alter the number of loads or the way
in which loads are performed, the compiler is theoretically free to
break this usage. the most obvious concern is with atomic cas
constructs: something of the form tmp=*p;a_cas(p,tmp,f(tmp)); could be
transformed to a_cas(p,*p,f(*p)); where the latter is intended to show
multiple loads of *p whose resulting values might fail to be equal;
this would break the atomicity of the whole operation. but even more
fundamental breakage is possible.

with the changes being made now, objects that may be modified by
atomics are modeled as volatile, and the atomic operations performed
on them by other threads are modeled as asynchronous stores by
hardware which happens to be acting on the request of another thread.
such modeling of course does not itself address memory synchronization
between cores/cpus, but that aspect was already handled. this all
seems less than ideal, but it's the best we can do without mandating a
C11 compiler and using the C11 model for atomics.

in the case of pthread_once_t, the ABI type of the underlying object
is not volatile-qualified. so we are assuming that accessing the
object through a volatile-qualified lvalue via casts yields volatile
access semantics. the language of the C standard is somewhat unclear
on this matter, but this is an assumption the linux kernel also makes,
and seems to be the correct interpretation of the standard.

9 years agosuppress masked cancellation in pthread_join
Rich Felker [Mon, 2 Mar 2015 23:52:31 +0000 (18:52 -0500)]
suppress masked cancellation in pthread_join

like close, pthread_join is a resource-deallocation function which is
also a cancellation point. the intent of masked cancellation mode is
to exempt such functions from failure with ECANCELED.

9 years agofix namespace issue in pthread_join affecting thrd_join
Rich Felker [Mon, 2 Mar 2015 23:48:58 +0000 (18:48 -0500)]
fix namespace issue in pthread_join affecting thrd_join

pthread_testcancel is not in the ISO C reserved namespace and thus
cannot be used here. use the namespace-protected version of the
function instead.

9 years agomake aio_suspend a cancellation point and properly handle cancellation
Rich Felker [Mon, 2 Mar 2015 23:11:28 +0000 (18:11 -0500)]
make aio_suspend a cancellation point and properly handle cancellation

9 years agofactor cancellation cleanup push/pop out of futex __timedwait function
Rich Felker [Mon, 2 Mar 2015 22:46:22 +0000 (17:46 -0500)]
factor cancellation cleanup push/pop out of futex __timedwait function

previously, the __timedwait function was optionally a cancellation
point depending on whether it was passed a pointer to a cleaup
function and context to register. as of now, only one caller actually
used such a cleanup function (and it may face removal soon); most
callers either passed a null pointer to disable cancellation or a
dummy cleanup function.

now, __timedwait is never a cancellation point, and __timedwait_cp is
the cancellable version. this makes the intent of the calling code
more obvious and avoids ugly dummy functions and long argument lists.

9 years agofix failure of internal futex __timedwait to report ECANCELED
Rich Felker [Sat, 28 Feb 2015 04:25:45 +0000 (23:25 -0500)]
fix failure of internal futex __timedwait to report ECANCELED

as part of abstracting the futex wait, this function suppresses all
futex error values which callers should not see using a whitelist
approach. when the masked cancellation mode was added, the new
ECANCELED error was not whitelisted. this omission caused the new
pthread_cond_wait code using masked cancellation to exhibit a spurious
wake (rather than acting on cancellation) when the request arrived
after blocking on the cond var.

9 years agooverhaul optimized x86_64 memset asm
Rich Felker [Thu, 26 Feb 2015 07:07:08 +0000 (02:07 -0500)]
overhaul optimized x86_64 memset asm

on most cpu models, "rep stosq" has high overhead that makes it
undesirable for small memset sizes. the new code extends the
minimal-branch fast path for short memsets from size 15 up to size
126, and shrink-wraps this code path. in addition, "rep stosq" is
sensitive to misalignment. the cost varies with size and with cpu
model, but it has been observed performing 1.5 times slower when the
destination address is not aligned mod 16. the new code thus ensures
alignment mod 16, but also preserves any existing additional
alignment, in case there are cpu models where it is beneficial.

this version is based in part on changes proposed by Denys Vlasenko.

9 years agooverhaul optimized i386 memset asm
Rich Felker [Thu, 26 Feb 2015 06:51:39 +0000 (01:51 -0500)]
overhaul optimized i386 memset asm

on most cpu models, "rep stosl" has high overhead that makes it
undesirable for small memset sizes. the new code extends the
minimal-branch fast path for short memsets from size 15 up to size 62,
and shrink-wraps this code path. in addition, "rep stosl" is very
sensitive to misalignment. the cost varies with size and with cpu
model, but it has been observed performing 1.5 to 4 times slower when
the destination address is not aligned mod 16. the new code thus
ensures alignment mod 16, but also preserves any existing additional
alignment, in case there are cpu models where it is beneficial.

this version is based in part on changes to the x86_64 memset asm
proposed by Denys Vlasenko.

9 years agogetloadavg: use sysinfo() instead of /proc/loadavg
Alexander Monakov [Tue, 24 Feb 2015 18:44:07 +0000 (21:44 +0300)]
getloadavg: use sysinfo() instead of /proc/loadavg

Based on a patch by Szabolcs Nagy.

9 years agofix possible isatty false positives and unwanted device state changes
Rich Felker [Mon, 23 Feb 2015 23:53:01 +0000 (18:53 -0500)]
fix possible isatty false positives and unwanted device state changes

the equivalent checks for newly opened stdio output streams, used to
determine buffering mode, are also fixed.

on most archs, the TCGETS ioctl command shares a value with
SNDCTL_TMR_TIMEBASE, part of the OSS sound API which was apparently
used with certain MIDI and timer devices. for file descriptors
referring to such a device, TCGETS will not fail with ENOTTY as
expected; it may produce a different error, or may succeed, and if it
succeeds it changes the mode of the device. while it's unlikely that
such devices are in use, this is in principle very harmful behavior
for an operation which is supposed to do nothing but query whether the
fd refers to a tty.

TIOCGWINSZ, used to query logical window size for a terminal, was
chosen as an alternate ioctl to perform the isatty check. it does not
share a value with any other ioctl commands, and it succeeds on any
tty device.

this change also cleans up strace output to be less ugly and
misleading.

9 years agofix breakage in pthread_cond_wait due to typo
Rich Felker [Mon, 23 Feb 2015 17:41:16 +0000 (12:41 -0500)]
fix breakage in pthread_cond_wait due to typo

due to accidental use of = instead of ==, the error code was always
set to zero in the signaled wake case for non-shared cv waits.
suppressing ETIMEDOUT (the only possible wait error) is harmless and
actually permitted in this case, but suppressing mutex errors could
give the caller false information about the state of the mutex.

commit 8741ffe625363a553e8f509dc3ca7b071bdbab47 introduced this
regression and commit d9da1fb8c592469431c764732d09f7756340190e
preserved it when reorganizing the code.

9 years agosupport alternate backends for the passwd and group dbs
Josiah Worcester [Mon, 23 Feb 2015 02:58:10 +0000 (20:58 -0600)]
support alternate backends for the passwd and group dbs

when we fail to find the entry in the commonly accepted files,  we
query a server over a Unix domain socket on /var/run/nscd/socket.
the protocol used here is compatible with glibc's nscd protocol on
most systems (all that use 32-bit numbers for all the protocol fields,
which appears to be everything but Alpha).

9 years agofix spurious errors in refactored passwd/group code
Rich Felker [Mon, 23 Feb 2015 05:42:40 +0000 (00:42 -0500)]
fix spurious errors in refactored passwd/group code

errno was treated as the error status when the return value of getline
was negative, but this condition can simply indicate EOF and is not
necessarily an error.

the spurious errors caused by this bug masked the bug which was fixed
in commit fc5a96c9c8aa186effad7520d5df6b616bbfd29d.

9 years agofix crashes in refactored passwd/group code
Rich Felker [Mon, 23 Feb 2015 05:35:47 +0000 (00:35 -0500)]
fix crashes in refactored passwd/group code

the wrong condition was used in determining the presence of a result
that needs space/copying for the _r functions. a zero return value
does not necessarily mean success; it can also be a non-error negative
result: no such user/group.

9 years agosimplify cond var code now that cleanup handler is not needed
Rich Felker [Mon, 23 Feb 2015 03:55:08 +0000 (22:55 -0500)]
simplify cond var code now that cleanup handler is not needed

9 years agofix pthread_cond_wait cancellation race
Rich Felker [Mon, 23 Feb 2015 03:07:50 +0000 (22:07 -0500)]
fix pthread_cond_wait cancellation race

it's possible that signaling a waiter races with cancellation of that
same waiter. previously, cancellation was acted upon, causing the
signal to be consumed with no waiter returning. by using the new
masked cancellation state, it's possible to refuse to act on the
cancellation request and instead leave it pending.

to ease review and understanding of the changes made, this commit
leaves the unwait function, which was previously the cancellation
cleanup handler, in place. additional simplifications could be made by
removing it.

9 years agoadd new masked cancellation mode
Rich Felker [Sun, 22 Feb 2015 03:05:15 +0000 (22:05 -0500)]
add new masked cancellation mode

this is a new extension which is presently intended only for
experimental and internal libc use. interface and behavior details may
change subject to feedback and experience from using it internally.

the basic concept for the new PTHREAD_CANCEL_MASKED state is that the
first cancellation point to observe the cancellation request fails
with an errno value of ECANCELED rather than acting on cancellation,
allowing the caller to process the status and choose whether/how to
act upon it.

9 years agoprepare cancellation syscall asm for possibility of __cancel returning
Rich Felker [Sat, 21 Feb 2015 01:25:35 +0000 (20:25 -0500)]
prepare cancellation syscall asm for possibility of __cancel returning

9 years agomap interruption of close by signal to success rather than EINPROGRESS
Rich Felker [Fri, 20 Feb 2015 23:35:05 +0000 (18:35 -0500)]
map interruption of close by signal to success rather than EINPROGRESS

commit 82dc1e2e783815e00a90cd3f681436a80d54a314 addressed the
resolution of Austin Group issue 529, which requires close to leave
the fd open when failing with EINTR, by returning the newly defined
error code EINPROGRESS. this turns out to be a bad idea, though, since
legacy applications not aware of the new specification are likely to
interpret any error from close except EINTR as a hard failure.

9 years agomake pthread_exit responsible for disabling cancellation
Rich Felker [Tue, 17 Feb 2015 03:25:50 +0000 (22:25 -0500)]
make pthread_exit responsible for disabling cancellation

this requirement is tucked away in XSH 2.9.5 Thread Cancellation under
the heading Thread Cancellation Cleanup Handlers.

9 years agofix type error (arch-dependent) in new aio code
Rich Felker [Sat, 14 Feb 2015 19:05:35 +0000 (14:05 -0500)]
fix type error (arch-dependent) in new aio code

a_store is only valid for int, but ssize_t may be defined as long or
another type. since there is no valid way for another thread to acess
the return value without first checking the error/completion status of
the aiocb anyway, an atomic store is not necessary.

9 years agorefactor group file access code
Josiah Worcester [Sat, 7 Feb 2015 21:40:46 +0000 (15:40 -0600)]
refactor group file access code

this allows getgrnam and getgrgid to share code with the _r versions
in preparation for alternate backend support.

9 years agooverhaul aio implementation for correctness
Rich Felker [Fri, 13 Feb 2015 05:27:45 +0000 (00:27 -0500)]
overhaul aio implementation for correctness

previously, aio operations were not tracked by file descriptor; each
operation was completely independent. this resulted in non-conforming
behavior for non-seekable/append-mode writes (which are required to be
ordered) and made it impossible to implement aio_cancel, which in turn
made closing file descriptors with outstanding aio operations unsafe.

the new implementation is significantly heavier (roughly twice the
size, and seems to be slightly slower) and presently aims mainly at
correctness, not performance.

most of the public interfaces have been moved into a single file,
aio.c, because there is little benefit to be had from splitting them.
whenever any aio functions are used, aio_cancel and the internal
queue lifetime management and fd-to-queue mapping code must be linked,
and these functions make up the bulk of the code size.

the close function's interaction with aio is implemented with weak
alias magic, to avoid pulling in heavy aio cancellation code in
programs that don't use aio, and the expensive cancellation path
(which includes signal blocking) is optimized out when there are no
active aio queues.

9 years agofix bad character checking in wordexp
Rich Felker [Wed, 11 Feb 2015 06:37:01 +0000 (01:37 -0500)]
fix bad character checking in wordexp

the character sequence '$((' was incorrectly interpreted as the
opening of arithmetic even within single-quoted contexts, thereby
suppressing the checks for bad characters after the closing quote.

presently bad character checking is only performed when the WRDE_NOCMD
is used; this patch only corrects checking in that case.

9 years agorefactor passwd file access code
Josiah Worcester [Wed, 11 Feb 2015 00:32:55 +0000 (18:32 -0600)]
refactor passwd file access code

this allows getpwnam and getpwuid to share code with the _r versions
in preparation for alternate backend support.

9 years agox86_64/memset: avoid performing final store twice
Denys Vlasenko [Tue, 10 Feb 2015 17:30:57 +0000 (18:30 +0100)]
x86_64/memset: avoid performing final store twice

The code does a potentially misaligned 8-byte store to fill the tail
of the buffer. Then it fills the initial part of the buffer
which is a multiple of 8 bytes.
Therefore, if size is divisible by 8, we were storing last word twice.

This patch decrements byte count before dividing it by 8,
making one less store in "size is divisible by 8" case,
and not changing anything in all other cases.
All at the cost of replacing one MOV insn with LEA insn.

Signed-off-by: Denys Vlasenko <vda.linux@googlemail.com>
9 years agox86_64/memset: simple optimizations
Denys Vlasenko [Tue, 10 Feb 2015 17:30:56 +0000 (18:30 +0100)]
x86_64/memset: simple optimizations

"and $0xff,%esi" is a six-byte insn (81 e6 ff 00 00 00), can use
4-byte "movzbl %sil,%esi" (40 0f b6 f6) instead.

64-bit imul is slow, move it as far up as possible so that the result
(rax) has more time to be ready by the time we start using it
in mem stores.

There is no need to shuffle registers in preparation to "rep movs"
if we are not going to take that code path. Thus, patch moves
"jump if len < 16" instructions up, and changes alternate code path
to use rdx and rdi instead of rcx and r8.

Signed-off-by: Denys Vlasenko <vda.linux@googlemail.com>
9 years agomake protocol table zero byte separated and add ipv6 protocols
Timo Teräs [Mon, 9 Feb 2015 11:34:41 +0000 (13:34 +0200)]
make protocol table zero byte separated and add ipv6 protocols

9 years agoadd syscall numbers for the new execveat syscall
Szabolcs Nagy [Mon, 9 Feb 2015 21:53:20 +0000 (22:53 +0100)]
add syscall numbers for the new execveat syscall

this syscall allows fexecve to be implemented without /proc, it is new
in linux v3.19, added in commit 51f39a1f0cea1cacf8c787f652f26dfee9611874
(sh and microblaze do not have allocated syscall numbers yet)

added a x32 fix as well: the io_setup and io_submit syscalls are no
longer common with x86_64, so use the x32 specific numbers.

9 years agoadd new socket options SO_INCOMING_CPU, SO_ATTACH_BPF, SO_DETACH_BPF
Szabolcs Nagy [Mon, 9 Feb 2015 21:22:13 +0000 (22:22 +0100)]
add new socket options SO_INCOMING_CPU, SO_ATTACH_BPF, SO_DETACH_BPF

these socket options are new in linux v3.19, introduced in commit
2c8c56e15df3d4c2af3d656e44feb18789f75837 and commit
89aa075832b0da4402acebd698d0411dcc82d03e

with SO_INCOMING_CPU the cpu can be queried on which a socket is
managed inside the kernel and optimize polling of large number of
sockets accordingly.

SO_ATTACH_BPF lets eBPF programs (created by the bpf syscall) to
be attached to sockets.

9 years agouse the internal macro name FUTEX_PRIVATE in __wait
Szabolcs Nagy [Mon, 9 Feb 2015 21:11:52 +0000 (22:11 +0100)]
use the internal macro name FUTEX_PRIVATE in __wait

the name was recently added for the setxid/synccall rework,
so use the name now that we have it.

9 years agoadd IEEE binary128 long double support to floatscan
Szabolcs Nagy [Mon, 9 Feb 2015 20:38:02 +0000 (21:38 +0100)]
add IEEE binary128 long double support to floatscan

just defining the necessary constants:

 LD_B1B_MAX is 2^113 - 1 in base 10^9
 KMAX is 2048 so the x array can hold up to 18432 decimal digits

(the worst case is converting 2^-16495 = 5^16495 * 10^-16495 to
binary, it requires the processing of int(log10(5)*16495)+1 = 11530
decimal digits after discarding the leading zeros, the conversion
requires some headroom in x, but KMAX is more than enough for that)

However this code is not optimal on archs with IEEE binary128
long double because the arithmetics is software emulated (on
all such platforms as far as i know) which means big and slow
strtod.

9 years agomath: fix fmodl for IEEE binary128
Szabolcs Nagy [Mon, 9 Feb 2015 00:16:35 +0000 (01:16 +0100)]
math: fix fmodl for IEEE binary128

This trivial copy-paste bug went unnoticed due to lack of testing.
No currently supported target archs are affected.

9 years agosimplify armhf fesetenv
Szabolcs Nagy [Sun, 8 Feb 2015 18:13:09 +0000 (19:13 +0100)]
simplify armhf fesetenv

armhf fesetenv implementation did a useless read of the fpscr.

9 years agofix fesetenv(FE_DFL_ENV) on mips
Szabolcs Nagy [Sun, 8 Feb 2015 17:56:52 +0000 (18:56 +0100)]
fix fesetenv(FE_DFL_ENV) on mips

mips fesetenv did not handle FE_DFL_ENV, now fcsr is cleared in that
case.

9 years agomath: fix __fpclassifyl(-0.0) for IEEE binary128
Szabolcs Nagy [Sun, 8 Feb 2015 16:41:56 +0000 (17:41 +0100)]
math: fix __fpclassifyl(-0.0) for IEEE binary128

The sign bit was not cleared before checking for 0 so -0.0
was misclassified as FP_SUBNORMAL instead of FP_ZERO.

9 years agoadd parenthesis in fma.c to clarify intent and silence warnings
Szabolcs Nagy [Sun, 8 Feb 2015 16:40:54 +0000 (17:40 +0100)]
add parenthesis in fma.c to clarify intent and silence warnings

9 years agomake getaddrinfo support SOCK_RAW and other socket types
Rich Felker [Sat, 7 Feb 2015 19:01:34 +0000 (14:01 -0500)]
make getaddrinfo support SOCK_RAW and other socket types

all socket types are accepted at this point, but that may be changed
at a later time if the behavior is not meaningful for other types. as
before, omitting type (a value of 0) gives both UDP and TCP results,
and SOCK_DGRAM or SOCK_STREAM restricts to UDP or TCP, respectively.
for other socket types, the service name argument is required to be a
null pointer, and the protocol number provided by the caller is used.

9 years agoremove cruft from x86_64 syscall.h
Szabolcs Nagy [Sat, 7 Feb 2015 16:25:58 +0000 (17:25 +0100)]
remove cruft from x86_64 syscall.h

x86_64 syscall.h defined some musl internal syscall names and made
them public. These defines were already moved to src/internal/syscall.h
(except for SYS_fadvise which is added now) so the cruft in x86_64
syscall.h is not needed.

9 years agofix failure of fchmodat to report EOPNOTSUPP in the race path
Rich Felker [Fri, 6 Feb 2015 04:34:27 +0000 (23:34 -0500)]
fix failure of fchmodat to report EOPNOTSUPP in the race path

in the case where a non-symlink file was replaced by a symlink during
the fchmodat operation with AT_SYMLINK_NOFOLLOW, mode change on the
new symlink target was successfully suppressed, but the error was not
reported. instead, fchmodat simply returned 0.

9 years agofix fd leak race (missing O_CLOEXEC) in fchmodat
Rich Felker [Thu, 5 Feb 2015 03:50:40 +0000 (22:50 -0500)]
fix fd leak race (missing O_CLOEXEC) in fchmodat

9 years agomake execvp continue PATH search on EACCES rather than issuing an errror
Rich Felker [Tue, 3 Feb 2015 05:31:35 +0000 (00:31 -0500)]
make execvp continue PATH search on EACCES rather than issuing an errror

the specification for execvp itself is unclear as to whether
encountering a file that cannot be executed due to EACCES during the
PATH search is a mandatory error condition; however, XBD 8.3's
specification of the PATH environment variable clarifies that the
search continues until a file with "appropriate execution permissions"
is found.

since it seems undesirable/erroneous to report ENOENT rather than
EACCES when an early path element has a non-executable file and all
later path elements lack any file by the requested name, the new code
stores a flag indicating that EACCES was seen and sets errno back to
EACCES in this case.

9 years agofix missing memory barrier in cancellation signal handler
Rich Felker [Tue, 3 Feb 2015 05:16:55 +0000 (00:16 -0500)]
fix missing memory barrier in cancellation signal handler

in practice this was probably a non-issue, because the necessary
barrier almost certainly exists in kernel space -- implementing signal
delivery without such a barrier seems impossible -- but for the sake
of correctness, it should be done here too.

in principle, without a barrier, it is possible that the thread to be
cancelled does not see the store of its cancellation flag performed by
another thread. this affects both the case where the signal arrives
before entering the critical program counter range from __cp_begin to
__cp_end (in which case both the signal handler and the inline check
fail to see the value which was already stored) and the case where the
signal arrives during the critical range (in which case the signal
handler should be responsible for cancellation, but when it does not
see the cancellation flag, it assumes the signal is spurious and
refuses to act on it).

in the fix, the barrier is placed only in the signal handler, not in
the inline check at the beginning of the critical program counter
range. if the signal handler runs before the critical range is
entered, it will of course take no action, but its barrier will ensure
that the inline check subsequently sees the store. if on the other
hand the inline check runs first, it may miss seeing the store, but
the subsequent signal handler in the critical range will act upon the
cancellation request. this strategy avoids adding a memory barrier in
the common, non-cancellation code path.

9 years agofix typo in x86_64/x32 user_fpregs_struct
Felix Janda [Sun, 1 Feb 2015 09:43:37 +0000 (10:43 +0100)]
fix typo in x86_64/x32 user_fpregs_struct

mxcs_mask should be mxcr_mask

9 years agomake fsync, fdatasync, and msync cancellation points
Trutz Behn [Wed, 28 Jan 2015 17:46:54 +0000 (18:46 +0100)]
make fsync, fdatasync, and msync cancellation points

these are mandatory cancellation points per POSIX, so their omission
was a conformance bug.

9 years agomove MREMAP_MAYMOVE and MREMAP_FIXED out of bits
Trutz Behn [Wed, 28 Jan 2015 17:46:52 +0000 (18:46 +0100)]
move MREMAP_MAYMOVE and MREMAP_FIXED out of bits

the definitions are generic for all kernel archs. exposure of these
macros now only occurs on the same feature test as for the function
accepting them, which is believed to be more correct.

9 years agofix missing comma in sh setjmp asm
Trutz Behn [Wed, 28 Jan 2015 17:46:49 +0000 (18:46 +0100)]
fix missing comma in sh setjmp asm

this typo did not result in an erroneous setjmp with at least binutils
2.22 but fix it for clarity and compatibility with potentially stricter
sh assemblers.

9 years agoremove mips-only EINIT and EREMDEV errnos
Trutz Behn [Wed, 28 Jan 2015 17:46:46 +0000 (18:46 +0100)]
remove mips-only EINIT and EREMDEV errnos

the errno values are unused by the kernel and the macro definitions were
never exposed by glibc.

9 years agofix failure of configure to detect gcc due to message translations
Rich Felker [Sat, 31 Jan 2015 02:54:58 +0000 (21:54 -0500)]
fix failure of configure to detect gcc due to message translations

based on patch by Vadim Ushakov. in general overriding LC_ALL rather
than specific categories (here, LC_MESSAGES) is undesirable, but
LC_ALL is easier and in this case there is nothing else that depends
on the locale in this invocation of the compiler.

9 years agofix erroneous return of partial username matches by getspnam[_r]
Rich Felker [Wed, 21 Jan 2015 19:26:05 +0000 (14:26 -0500)]
fix erroneous return of partial username matches by getspnam[_r]

when using /etc/shadow (rather than tcb) as its backend, getspnam_r
matched any username starting with the caller-provided string rather
than requiring an exact match. in practice this seems to have affected
only systems where one valid username is a prefix for another valid
username, and where the longer username appears first in the shadow
file.

9 years agosimplify part of getopt_long
Rich Felker [Wed, 21 Jan 2015 18:28:40 +0000 (13:28 -0500)]
simplify part of getopt_long

as a result of commit e8e4e56a8ce1f3d7e4a027ff5478f2f8ea70c46b,
the later code path for setting optarg to a null pointer is no longer
necessary, and removing it eliminates an indention level and arguably
makes the code more readable.

9 years agoalways set optarg in getopt_long
Rich Felker [Wed, 21 Jan 2015 18:16:15 +0000 (13:16 -0500)]
always set optarg in getopt_long

the standard getopt does not touch optarg unless processing an option
with an argument. however, programs using the GNU getopt API, which we
attempt to provide in getopt_long, expect optarg to be a null pointer
after processing an option without an argument.

before argument permutation support was added, such programs typically
detected its absence and used their own replacement getopt_long,
masking the discrepency in behavior.

9 years agooverhaul __synccall and fix AS-safety and other issues in set*id
Rich Felker [Fri, 16 Jan 2015 04:17:38 +0000 (23:17 -0500)]
overhaul __synccall and fix AS-safety and other issues in set*id

multi-threaded set*id and setrlimit use the internal __synccall
function to work around the kernel's wrongful treatment of these
process properties as thread-local. the old implementation of
__synccall failed to be AS-safe, despite POSIX requiring setuid and
setgid to be AS-safe, and was not rigorous in assuring that all
threads were caught. in a worst case, threads late in the process of
exiting could retain permissions after setuid reported success, in
which case attacks to regain dropped permissions may have been
possible under the right conditions.

the new implementation of __synccall depends on the presence of
/proc/self/task and will fail if it can't be opened, but is able to
determine that it has caught all threads, and does not use any locks
except its own. it thereby achieves AS-safety simply by blocking
signals to preclude re-entry in the same thread.

with this commit, all known conformance and safety issues in set*id
functions should be fixed.

9 years agoadd FUTEX_PRIVATE macro to internal futex.h
Rich Felker [Fri, 16 Jan 2015 03:51:55 +0000 (22:51 -0500)]
add FUTEX_PRIVATE macro to internal futex.h

9 years agosuppress EINTR in sem_wait and sem_timedwait
Rich Felker [Thu, 15 Jan 2015 12:21:02 +0000 (07:21 -0500)]
suppress EINTR in sem_wait and sem_timedwait

per POSIX, the EINTR condition is an optional error for these
functions, not a mandatory one. since old kernels (pre-2.6.22) failed
to honor SA_RESTART for the futex syscall, it's dangerous to trust
EINTR from the kernel. thankfully POSIX offers an easy way out.

9 years agofor multithreaded set*id/setrlimit, handle case where callback does not run
Rich Felker [Thu, 15 Jan 2015 12:09:14 +0000 (07:09 -0500)]
for multithreaded set*id/setrlimit, handle case where callback does not run

in the current version of __synccall, the callback is always run, so
failure to handle this case did not matter. however, the upcoming
overhaul of __synccall will have failure cases, in which case the
callback does not run and errno is already set. the changes being
committed now are in preparation for that.

9 years agorelease 1.1.6 v1.1.6
Rich Felker [Wed, 14 Jan 2015 04:35:08 +0000 (23:35 -0500)]
release 1.1.6

9 years agoincrease syslog message limit from 256 to 1024
Rich Felker [Tue, 13 Jan 2015 17:04:38 +0000 (12:04 -0500)]
increase syslog message limit from 256 to 1024

this addresses alpine linux issue #3692 and brings the syslog message
length limit in alignment with uclibc's implementation.

9 years agoremove rlimit hacks from multi-threaded set*id() code
Rich Felker [Mon, 12 Jan 2015 23:16:32 +0000 (18:16 -0500)]
remove rlimit hacks from multi-threaded set*id() code

the code being removed was introduced to work around "partial failure"
of multi-threaded set*id() operations, where some threads would
succeed in changing their ids but an RLIMIT_NPROC setting would
prevent the rest from succeeding, leaving the process in an
inconsistent and dangerous state. however, the workaround code did not
handle important usage cases like swapping real and effective uids
then restoring their original values, and the wrongful kernel
enforcement of RLIMIT_NPROC at setuid time was removed in Linux 3.1,
making the workaround obsolete.

since the partial failure still is dangerous on old kernels, and could
in principle happen on post-fix kernels as well if set*id() syscalls
fail for another spurious reason such as resource-related failures,
new code is added to detect and forcibly kill the process if/when such
a situation arises. future documentation releases should be updated to
reflect that setting RLIMIT_NPROC to RLIM_INFINITY is necessary to
avoid this forced-kill on old kernels. ideally, at some point the
kernel will get proper multi-threaded set*id() syscalls capable of
performing their actions atomically, and all of the userspace code to
emulate them can be treated as a fallback for outdated kernels.

9 years agosimplify ctermid
Rich Felker [Mon, 12 Jan 2015 05:59:49 +0000 (00:59 -0500)]
simplify ctermid

opening /dev/tty then using ttyname_r on it does not produce a
canonical terminal name; it simply yields "/dev/tty".

it would be possible to make ctermid determine the actual controlling
terminal device via field 7 of /proc/self/stat, but doing so would
introduce a buffer overflow into applications built with L_ctermid==9,
which glibc defines, adversely affecting the quality of ABI compat.

9 years agofix regression in getopt_long support for non-option arguments
Rich Felker [Sun, 11 Jan 2015 21:32:47 +0000 (16:32 -0500)]
fix regression in getopt_long support for non-option arguments

commit b72cd07f176b876aa51864d93aa8101477b1d732 added support for a
this feature in getopt, but it was later broken in the case where
getopt_long is used as a side effect of the changes made in commit
91184c4f16b143107fa9935edebe5d2b20bd70d8, which prevented the
underlying getopt call from seeing the leading '-' or '+' character in
optstring.

this commit changes the logic in the getopt_long core to check for a
leading colon, possibly after the leading '-' or '+', without
depending on the latter having been skipped by the caller. a minor
incorrectness in the return value for one error condition in
getopt_long is also fixed when opterr has been set to zero but
optstring has no leading ':'.

9 years agocheck for connect failure in syslog log opening
Rich Felker [Fri, 9 Jan 2015 05:09:54 +0000 (00:09 -0500)]
check for connect failure in syslog log opening

based on patch by Dima Krasner, with minor improvements for code size.
connect can fail if there is no listening syslogd, in which case a
useless socket was kept open, preventing subsequent syslog call from
attempting to connect again.

9 years agoadd new prctl command PR_SET_MM_MAP to sys/prctl.h
Szabolcs Nagy [Tue, 16 Dec 2014 01:37:33 +0000 (02:37 +0100)]
add new prctl command PR_SET_MM_MAP to sys/prctl.h

PR_SET_MM_MAP was introduced as a subcommand for PR_SET_MM in
linux v3.18 commit f606b77f1a9e362451aca8f81d8f36a3a112139e

the associated struct type is replicated in sys/prctl.h using
libc types.

example usage:

 struct prctl_mm_map *p;
 ...
 prctl(PR_SET_MM, PR_SET_MM_MAP, p, sizeof *p);

the kernel side supported struct size may be queried with
the PR_SET_MM_MAP_SIZE subcommand.

9 years agoadd new syscall numbers for bpf and kexec_file_load
Szabolcs Nagy [Mon, 15 Dec 2014 23:20:36 +0000 (00:20 +0100)]
add new syscall numbers for bpf and kexec_file_load

these syscalls are new in linux v3.18, bpf is present on all
supported archs except sh, kexec_file_load is only allocted for
x86_64 and x32 yet.

bpf was added in linux commit 99c55f7d47c0dc6fc64729f37bf435abf43f4c60

kexec_file_load syscall number was allocated in commit
f0895685c7fd8c938c91a9d8a6f7c11f22df58d2

9 years agomove wint_t definition to the shared part of alltypes.h.in
Rich Felker [Sun, 21 Dec 2014 07:43:35 +0000 (02:43 -0500)]
move wint_t definition to the shared part of alltypes.h.in

9 years agofix signedness of UINT32_MAX and UINT64_MAX at the preprocessor level
Rich Felker [Sun, 21 Dec 2014 07:30:29 +0000 (02:30 -0500)]
fix signedness of UINT32_MAX and UINT64_MAX at the preprocessor level

per the rules for hexadecimal integer constants, the previous
definitions were correctly treated as having unsigned type except
possibly when used in preprocessor conditionals, where all artithmetic
takes place as intmax_t or uintmax_t. the explicit 'u' suffix ensures
that they are treated as unsigned in all contexts.

9 years agooverhaul forkpty function using new login_tty
Rich Felker [Sun, 21 Dec 2014 07:10:51 +0000 (02:10 -0500)]
overhaul forkpty function using new login_tty

based on discussion with and patches by Felix Janda. these changes
started as an effort to factor forkpty in terms of login_tty, which
returns an error and skips fd reassignment and closing if setting the
controlling terminal failed. the previous forkpty code was unable to
handle errors in the child, and did not attempt to; it just silently
ignored them. but this would have been unacceptable when switching to
using login_tty, since the child would start with the wrong stdin,
stdout, and stderr and thereby clobber the parent's files.

the new code uses the same technique as the posix_spawn implementation
to convey any possible error in the child to the parent so that the
parent can report failure to the caller. it is also safe against
thread cancellation and against signal delivery in the child prior to
the determination of success.

9 years agoblock pthread cancellation in openpty function
Rich Felker [Sun, 21 Dec 2014 04:38:25 +0000 (23:38 -0500)]
block pthread cancellation in openpty function

being a nonstandard function, this isn't strictly necessary, but it's
inexpensive and avoids unpleasant surprises. eventually I would like
all functions in libc to be safe against cancellation, either ignoring
it or acting on it cleanly.

9 years agodon't write openpty results until success is determined
Rich Felker [Sun, 21 Dec 2014 04:22:57 +0000 (23:22 -0500)]
don't write openpty results until success is determined

not only is this semantically more correct; it also reduces code size
slightly by eliminating the need for the compiler to assume the
possibility of aliasing.

9 years agoadd login_tty function
Felix Janda [Sun, 21 Dec 2014 01:13:27 +0000 (20:13 -0500)]
add login_tty function

9 years agoset optopt in getopt_long
Rich Felker [Sun, 21 Dec 2014 00:49:19 +0000 (19:49 -0500)]
set optopt in getopt_long

this is undocumented but possibly expected behavior of GNU
getopt_long, and useful when error message printing has been
suppressed.

9 years agoadd error message printing to getopt_long and make related improvements
Rich Felker [Sun, 21 Dec 2014 00:44:37 +0000 (19:44 -0500)]
add error message printing to getopt_long and make related improvements

some related changes are also made to getopt, and the return value of
getopt_long in the case of missing arguments is fixed.

9 years agosupport translation for getopt error messages
Rich Felker [Sat, 20 Dec 2014 05:05:29 +0000 (00:05 -0500)]
support translation for getopt error messages

9 years agofix stderr locking and ferror semantics in getopt message printing
Rich Felker [Sat, 20 Dec 2014 04:59:54 +0000 (23:59 -0500)]
fix stderr locking and ferror semantics in getopt message printing

if writing the error message fails, POSIX requires that ferror(stderr)
be set. and as a function that operates on a stdio stream, getopt is
required to lock the stream it uses, stderr.

fwrite calls are used instead of fprintf since there is a demand from
some users not to pull in heavy stdio machinery via getopt. this
mimics the original code using write.

9 years agouse tkill instead of tgkill in implementing raise
Rich Felker [Fri, 19 Dec 2014 01:44:51 +0000 (20:44 -0500)]
use tkill instead of tgkill in implementing raise

this shaves off a useless syscall for getting the caller's pid and
brings raise into alignment with other functions which were adapted to
use tkill rather than tgkill.

commit 83dc6eb087633abcf5608ad651d3b525ca2ec35e documents the
rationale for this change, and in particular why the tgkill syscall is
useless for its designed purpose of avoiding races.

9 years agodon't suppress sign output for NANs in printf
Rich Felker [Thu, 18 Dec 2014 22:41:34 +0000 (17:41 -0500)]
don't suppress sign output for NANs in printf

formally, it seems a sign is only required when the '+' modifier
appears in the format specifier, in which case either '+' or '-' must
be present in the output. but the specification is written such that
an optional negative sign is part of the output format anyway, and the
simplest approach to fixing the problem is removing the code that was
suppressing the sign.

9 years agofix return value computation in one code path of wcsnrtombs
Rich Felker [Thu, 18 Dec 2014 21:42:21 +0000 (16:42 -0500)]
fix return value computation in one code path of wcsnrtombs

the affected code was wrongly counting characters instead of bytes.