kmodloader: support '-q' quiet option

The kernel opportunistically attempts to load modules in advanced with
'predicted' module names.  Often these modules don't exist and hence
kmodloader produces lots of logfile noise.  The kernel commandline to
modprobe from kworker proceses is '-q -- modulename' where '-q' means
quiet. Support suppressing that noise.

Signed-off-by: Kevin Darbyshire-Bryant <kevin@darbyshire-bryant.me.uk>

ubox: Add an option for more accurate timestamps in log

Systemwide timestamps for syslog messages with ms accuracy are usefull
for debugging timing problems.

Signed-off-by: Wojciech Dubowik <Wojciech.Dubowik@neratec.com>

kmodloader: make insert_module() idempotent

To fix spurious error messages in the following situation

 1. scan loaded modules
 2. load wireguard.ko and the module itself will request xt_hashlimit to
    be loaded
 3. xt_hashlimit is still in PROBE state here so we also try to load it,
    but init_module() returns EEXIST

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

kmodloader: add module alias awareness

To achieve this, the following changes are made

 - scan module folders before scaning loaded modules
 - struct module was splited into struct module_node for the avl tree
   and struct module for storing actual info about modules

The other minor fix is that module.opts is now freed in free_modules()
when appliable

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

kmodloader: fix out-of-bound access when parsing .modinfo

Fixes output of "modinfo nf_conntrack_ipv4"

    module:         /lib/modules/4.4.40/nf_conntrack_ipv4.ko
    license:        GPL
    alias:          ip_conntrack
    alias:          nf_conntrack-2
    depends:        nf_conntrack,nf_defrag_ipv4
    src:            %pI4 dst=%pI4

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

kmodloader: modprobe: skip possible command line arguments

The kernel may invocate user mode modprobe with the following scheme

    modprobe -q -- <module_name>

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

kmodloader: log to kmsg when loading directories of modules

syslog may not be ready yet before PREINIT

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

kmodloader: remove redundant glob wildcard char

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

ubox: Initialize conditionally uninitialized variabled

fixes false positive warning from "-Wconditional-uninitialized in clang"

Signed-off by: Rosen Penev <rosenp@gmail.com>

ubox: Fix some memory leaks

Avoids leaking memory when exiting early.

Signed-off by: Rosen <rosenp@gmail.com>

kmodloader: Fix typo in error message

Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

logd: put non-streamed log entries into one result message

Signed-off-by: Felix Fietkau <nbd@nbd.name>

ubox/logd: free ubus context on exit

Signed-off-by: Alexandru Ardelean <ardeleanalex@gmail.com>

ubox/logd: free regex's on log_shutdown() call

Signed-off-by: Alexandru Ardelean <ardeleanalex@gmail.com>

logd: fix default initialization of line count

Signed-off-by: Felix Fietkau <nbd@nbd.name>

logd: add support for sending log messages as replies

Useful for JSON-RPC access via uhttpd

Signed-off-by: Felix Fietkau <nbd@nbd.name>

add getrandom to .gitignore

Signed-off-by: Felix Fietkau <nbd@nbd.name>

getrandom: fix indentation, add missing return statement

Signed-off-by: Felix Fietkau <nbd@nbd.name>

fix segfault in kmodloader when no modules path was present

Signed-off-by: John Crispin <john@phrozen.org>

validate: fix datatype handling of default values

Properly handle the datatype of default values when the corresponding uci
value is unset. Also consolidate the three default value code branches into
a single one.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

kmodloader: fix lsmod depends output

Without this patch only the first dependency is shown, with this patch
all module dependencies are show.

Signed-off-by: Hauke Mehrtens <hauke@hauke-m.de>

cmake: Find uci header file

Add a CMake FIND_PATH and INCLUDE_DIRECTORIES searching for uci.h. Some
external toolchains which do not include standard locations would fail
to find the header otherwise.

Signed-off-by: Florian Fainelli <f.fainelli@gmail.com>

getrandom: add helper for getrandom() syscall

getrandom() was introduced in version 3.17 of the Linux kernel.
By default getrandom() block until /dev/urandom pool has been initialized
and then read from it.
Read buffer is 256 bytes so getrandom() calls always succeed.

First usage will be to save a seed for /dev/urandom.

Signed-off-by: Etienne CHAMPETIER <champetier.etienne@gmail.com>

kmodloader: fix NULL pointer deref in case m->depends is missing

Observed on an invalid module

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

kmodloader: clean up memory mapping and fix fd leaks in error handling

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

kmodloader: fix open() error handling

Fixes kmodloader on systems without stdio and prevents fd leaks in case
descriptor zero is opened.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

logread: ensure that the len < sizeof(struct blob_attr) check runs before trying to access the data

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

fix gcc format security error

Signed-off-by: Hauke Mehrtens <hauke@hauke-m.de>

log: allow filtering messages with a regexp pattern

This allows printing/streaming/writing messages matching a specified
basic regular expression only.

Signed-off-by: Rafał Miłecki <zajec5@gmail.com>

logd: optimize notify function

No need to construct every time the same blob_buf for each client in the list.

Signed-off-by: Luka Perkov <luka@openwrt.org>

log: make valgrind less complain by freeing allocated memory

Signed-off-by: Luka Perkov <luka@openwrt.org>

log: fix whitespaces

Signed-off-by: Luka Perkov <luka@openwrt.org>

log: remove unused callbacks

Signed-off-by: Luka Perkov <luka@openwrt.org>

logread: add support for non-transparent-framing for Syslog over TCP

https://tools.ietf.org/html/rfc6587#section-3.4.2
the idea is to add \n or \0 as message trailer so it's easier
to find message end

v2: simplify, use \n by default, with optional \0

Signed-off-by: Etienne CHAMPETIER <champetier.etienne@gmail.com>

properly handle return codes

Signed-off-by: John Crispin <blogic@openwrt.org>

properly handle return code of pipe() syscall

Signed-off-by: John Crispin <blogic@openwrt.org>

syslog: use appropriate levels for logging

Signed-off-by: Christian Mehlis <christian@m3hlis.de>

kmodloader: initialize module folders in insmod

Fixes a segmentation fault in 'insmod' operation mode, due to uninitialized
path list.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

kmodloader: convert to ulog() api

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

kmodloader: search kmods relative to LD_LIBRARY_PATH

When LD_LIBRARY_PATH is set, then scan for kmods in each directory pointed to
by it. This is mainly useful for early boot invocations of kmodloader, e.g.
during the extroot setup phase.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

hw_detect replaces this old code

Signed-off-by: John Crispin <blogic@openwrt.org>

Use different loglevels

Ubox logs various messages during OpenWRT boot which are not
very interesting, such as the number of iterations made. This
fix implements several loglevels for debug/info/error so that
more useful messages are shown.

Signed-off-by: Michel Stam <m.stam@fugro.nl>

RFC 3164 compliant remote logging

When logread daemon send a syslog message to another host, time, severity and facility are cut off.

The message contains only text. This patch adds time, severity and facility in the message as described in the RFC 3164.

Signed-off-by: Belkov Max <belkov-max@mail.ru>

ubox: exit(1) in logd if registering log object with ubus fails

Signed-off-by: Alexandru Ardelean <ardeleanalex@gmail.com>

validate: return error on failed validation

In the procd script (/lib/functions/procd.sh) uci_validate_section is in charge
of validating the uci config files. The uci_validate_section function checks
return code of validate_data tool; without this change in case of invalid
config values the function is not able to catch errors.

Signed-off-by: Luka Perkov <luka@openwrt.org>

validate: add missing yes/no boolean values

Signed-off-by: Luka Perkov <luka@openwrt.org>

validate: add valid bool types enabled/disabled

They are already supported in config_get_bool function found in OpenWrt
base-package.

Signed-off-by: Luka Perkov <luka@openwrt.org>

validate: fix indentation

Signed-off-by: Luka Perkov <luka@openwrt.org>

kmodloader: force size argument for syscall to unsigned long to fix issues with musl

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubox: only link libraries that are actually used

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

log: remove superflous client_close call

Signed-off-by: John Crispin <blogic@openwrt.org>

mount_root/block: these tools were moved to the fstools repo

Signed-off-by: John Crispin <blogic@openwrt.org>

logd: fix time passed via unix fd

Signed-off-by: John Crispin <blogic@openwrt.org>

logd: fix internal buffer size

Signed-off-by: John Crispin <blogic@openwrt.org>

logd: fix pipe close

Signed-off-by: John Crispin <blogic@openwrt.org>

logd: transport log data via the new ubus fd api

this fixes the size limitation patch.

Signed-off-by: John Crispin <blogic@openwrt.org>

kmodloader: fix insmod when the passed parameter is a valid path

Signed-off-by: John Crispin <blogic@openwrt.org>

validate: range and base arguments for numeric types, new types hexstring, regexp and uci

- make uinteger and integer types more strict, they will not accept
  leading spaces or plus signs anymore
- add optional base argument to uinteger and integer data types, e.g.
  integer(16) will accept -af or 0xaf, a base of 0 (the default) will
  use the underlying heuristics of strtol() / strtoul()
- add optional min and max options to string() datatype, e.g.
  string(3) only accepts strings longer than 3 chars, string(8, 63)
  will accept strings between 8 and 63 characters in length
- add hexstring([minlen [, maxlen]]) type which will accept
  long hex encoded strings whose length must be a multiple of 2
- add regexp(pattern) type which applies an extended POSIX regular
  expression on the value to test. The given pattern is implicitely
  anchored, e.g. regexp("[a-z]+") will match /^[a-z]+$/
- add uci(package, {@type|name}[, option]) type which tests the input
  against selected uci values, e.g.
* uci("network", "@interface") would allow values that match
  the name of any section of type "interface" in /e/c/network
* uci("network", "@interface", "ifname") would allow any value
  that matches one of the ifnames in any section of type
  interface in /e/c/network
* uci("system", "ntp", "server") would allow any value that
  matches on of the servers in the "server" option of the "ntp"
  section in /e/c/system

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

block: add more diagnostic messages

mount_root: add more diagnostic messages

mount_root: try both $prefix/sbin/block and /sbin/block, fixes extroot with builtin block-mount

kmodloader: allow /etc/modules.d/ files to pass options

Signed-off-by: John Crispin <blogic@openwrt.org>

ubox: make logd use new ubus autoconnect

Signed-off-by: John Crispin <blogic@openwrt.org>

logd: revert the log size changes

Signed-off-by: John Crispin <blogic@openwrt.org>

logd: prevent the buffer from being bigger than the maximum ubus size

Signed-off-by: John Crispin <blogic@openwrt.org>

logd: allow setting the buffer size from the command line

Signed-off-by: John Crispin <blogic@openwrt.org>

kmodloader: fix elf header parsing on 64bit machines

Signed-off-by: John Crispin <blogic@openwrt.org>

block: remove duplicate block device wildcard

Signed-off-by: John Crispin <blogic@openwrt.org>

fix bogus kmodloader warning

https://dev.openwrt.org/ticket/14659

Signed-off-by: John Crispin <blogic@openwrt.org>

logread: fix initial connect. we really need a better reconnect logic

Signed-off-by: John Crispin <blogic@openwrt.org>

validate: properly deal with datatype expressions containing escaped colons

validate: fix length calculation of string literals and store value type for literal comparisations

validate: fix return type of dt_parse() call

validate: support uci lists in cli client and use dt_parse() return value to decide whether an option should be handled as bool

validate: change dt_parse() to return an enum indicating the kind of value that was matched (bool, number, string)

add a c version of the current uci_valisate call to the cli

Signed-off-by: John Crispin <blogic@openwrt.org>

make use of the md5.c inside libubox

Signed-off-by: John Crispin <blogic@openwrt.org>

revert 2fdd374f4214129d93f10b7001adece9239752a2

Signed-off-by: John Crispin <blogic@openwrt.org>

update gitignore

Signed-off-by: John Crispin <blogic@openwrt.org>

add log daemon

Signed-off-by: John Crispin <blogic@openwrt.org>

add validation code

Signed-off-by: John Crispin <blogic@openwrt.org>

kmod-loader: fix module options support when using modprobe

Signed-off-by: John Crispin <blogic@openwrt.org>

block: support extroot and overlay mounts by device

block: fix find_block_info() by label

support specifying swap priority from the command line

Signed-off-by: Nathan Hintz <nlhintz@hotmail.com>

close file pointer before exiting function

Signed-off-by: Luka Perkov <luka@openwrt.org>

fix typo

Signed-off-by: Luka Perkov <luka@openwrt.org>

add support for patched rootfs

Signed-off-by: John Crispin <blogic@openwrt.org>

kmodloader: respect global directory prefix in scan_module_folder()

kmodloader: use the name of the found module struct for modinfo

The module .ko file might be called differently than the name used
by the kernel internally, e.g. "nls_iso8859-1.ko" is called
"nls_iso8859_1" in lsmmod. The print_modinfo() procedure expects the
filename spelling in order to successfully resolve the full module path.

After this change, "modinfo" supports printing module info even if the
user gives the kernel internal spelling instead of the file name one,
so that e.g. "modinfo "nls_iso8859_1" and "modinfo nls_iso8859-1.ko" will
both succeed.

kmodloader: use the name of the module struct when unloading modules

The module .ko file might be called differently than the name used
by the kernel internally, e.g. "nls_iso8859-1.ko" is called
"nls_iso8859_1" in lsmmod. The module removal syscall expects the
latter as well.

After this change, "rmmod" supports unloading the module even if the
user gives the file name spelling instead of the kernel internal one,
so that e.g. "rmmod nls_iso8859-1.ko" and "rmmod nls_iso8859_1" will
both succeed.

kmodloader: properly handle modules with both underscores and dashes in their name

fix hyphen substitution in path

Signed-off-by: John Crispin <blogic@openwrt.org>

cosmetic cleanup of - vs _ patch

Signed-off-by: John Crispin <blogic@openwrt.org>

fix _ vs - bug

Signed-off-by: John Crispin <blogic@openwrt.org>

kmodloader: don't free memory allocated with alloca()

block: properly handle vlist_add() for label, uuid and device cases

add proper modprobe support

Signed-off-by: John Crispin <blogic@openwrt.org>

block: do a final round of swapfile mounting in main_mount()

This allows reenabling swap after "swapoff -a" when all other partitions are mounted already.

block: support mounting swap by label