usock: add usock_port() for convenient use of numeric ports

Add a new helper function usock_port() which converts the given numeric port number
into a string using a private static buffer. This way a calling application can
conveniently use numeric port arguments without having to convert them before:

  int fd = usock(USOCK_UDP, "example.org", usock_port(80));

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

jshn: pretty print indented output with jshn -i -w

Signed-off-by: John Crispin <blogic@openwrt.org>

blobmsg: accept NULL attr in blobmsg_get_string()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

lua/uloop: 'end' is the keyword of Lua, use 'cancel' replace it.

Signed-off-by: Xiongfei Guo <xfguo@credosemi.com>

blob: improve out-of-memory handling

Signed-off-by: Chen Bin <ewolfok@126.com>
Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg: add a helper function to reset the name of a blobmsg attribute

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

jshn: do not collapse whitespace in json_load()

When running the test case below the $key variable holds "foo bar" instead
of the expected "foo  bar".

-- 8< --
. /usr/share/libubox/jshn.sh
json_init
json_load '{ "key": "foo  bar" }'
json_get_var key key
-- >8 --

Quote the output of the "jshn -r" backtick expression to prevent the shell
from erroneously collapsing whitespace.

Signed-off-by: Jo-Philipp Wich <jow@openwrt.org>

blobmsg: add blobmsg_check_array, which returns the size of the array

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg-example: use blobmsg_get_string()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

examples: fix build error

Patch fixes the following error:

error: format ‘%s’ expects argument of type ‘char *’, but argument 3 has type ‘void *’ [-Werror=format=]
   indent_printf(indent, "%s\n", blobmsg_data(data));

Signed-off-by: Luka Perkov <luka@openwrt.org>

blobmsg_example: fix output

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

examples: use PRIu64 instead %lld when printing uint64_t values

Patch fixes build failure:

error: format ‘%lld’ expects argument of type ‘long long int’, but argument 3 has type ‘uint64_t’ [-Werror=format=]
   indent_printf(indent, "%lld\n", *(uint64_t *)data);

Signed-off-by: Luka Perkov <luka@openwrt.org>

examples: add missing include

Patch fixes following build error:

error: implicit declaration of function ‘close’ [-Werror=implicit-function-declaration]
  close(cl->s.fd.fd);

Signed-off-by: Luka Perkov <luka@openwrt.org>

examples: fix linking with json-c

Signed-off-by: Luka Perkov <luka@openwrt.org>

examples: remove set but unused variable

Fixes build failure.

Signed-off-by: Luka Perkov <luka@openwrt.org>

usock: fix indentation

Signed-off-by: Luka Perkov <luka@openwrt.org>

Fix bug of GC in fd and timeout objects for lua binding.

fd and timeout lua object has a __gc method in its metatable. After the object
is freed and the another new object use the same reference in __uloop_cb and
__uloop_fds, the new object will be freed by the old __gc of the old object
when garbag collecting.

Signed-off-by: Xiongfei(Alex) Guo <xfguo@credosemi.com>

Fix bug of unref resources in Lua binding; fd method delete -> cancel.

Signed-off-by: Xiongfei(Alex) Guo <xfguo@credosemi.com>

Support delete a fd event.

When you call the fd_add, it will return an object with `delete` method.
So you can delete that event if you want.

Signed-off-by: Xiongfei(Alex) Guo <xfguo@credosemi.com>

Added fd_add method for uloop lua binding.

Use uloop.fd_add like this:

    local socket = require "socket"

    udp = socket.udp()

    uloop.fd_add(
        udp, -- socket
        function( -- callback function
            ufd,    -- socket object when register the fd
            events  -- uloop events. eg. uloop.ULOOP_READ .
        )
            local words, msg_or_ip, port_or_nil = ufd:receivefrom()
            print('Recv UDP packet from '..msg_or_ip..':'..port_or_nil..' : '..words)
        end,
        uloop.ULOOP_READ -- event you want to listen
    )

The `examples/uloop-example.lua` show an example of this work.

Signed-off-by: Xiongfei(Alex) Guo <xfguo@credosemi.com>

Fix stack overflow bug of uloop lua binding.

The static variable `state` in `lua/uloop.c` should be clean after every callback.

Signed-off-by: Xiongfei(Alex) Guo <xfguo@credosemi.com>

build a static version of libubox

Signed-off-by: John Crispin <blogic@openwrt.org>

vlist: add static initializer macros

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg_json: use cross-platform macro for fprintf on 64-bit values

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

json_script: fix a segfault in the file free handler

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blob/blobmsg: Perform explicit casts from void* to avoid compilation errors when using libubox from C++.

Signed-off by: Jacob Siverskog <jacob@teenageengineering.com>

uloop: fix multiple calls to uloop_run()

Signed-off-by: Luka Perkov <luka@openwrt.org>

utils: add a bitfield size macro

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

kvlist: constify arguments

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

json_script: add json_script_run_file()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

json_script: implement json_script_eval_string

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg: make length variables unsigned

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blob: make length variables unsigned

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

sh/jshn.sh - json_cleanup() dont pollute env with local vars

this script is mostly sourced, so we should try to keep the pollution
of the users environment as low as possible. make the var 'tmp' local

Signed-off-by: Bastian Bittorf <bittorf@bluebottle.com>

uloop: clear uloop_fd::error on add

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg_json: let blobmsg_format_json_with_cb with list == true also format arrays

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blob: fix handling of custom validator callback

https://dev.openwrt.org/ticket/15638

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

kvlist: avoid unused-but-set warnings in code not using the name in kvlist_for_each()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

md5: remove unnecessary variable change

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg_json: fix a memleak on error

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ustream: remove unnecessary initialization

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg: remove unnecessary initialization

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

kvlist: add a simply key/value store implementation

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

avl: add AVL_TREE macro to define an initialized struct avl_tree

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

list_compat.h: remove

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

list_compat.h: remove list_remove()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

list_compat.h: remove list_add_before()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

list_compat.h: remove list_add_after()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

list_compat.h: remove list_add_head()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

list_compat.h: remove list_init_head()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

list_compat.h: remove list_entity compat define

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

avl.c: remove compat macros and switch to the argument order from list.h

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

utils: add __constructor and __hidden defines

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg_json: unconditionally use blobmsg data/len accessor functions

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg: allow data/length iterator/accessor functions to work on non-blobmsg elements

This primarily helps with simplifying the ubus APIs.
blobmsg header presence is indicated by the BLOB_ATTR_EXTENDED bit in
the id_len field.

This changes the format ABI, but not the API.

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

uloop: Add flag to allow callback to be called on error conditions.

In some conditions, an application is interested in errors happening
on a file descriptor and might be able to resolve the issue in the
callback function.

This patch adds a flag to notify the uloop framework that errors
should be passed to the callback function, instead of silently
removing the fd from the polling set.

Signed-off-by: Karl Vogel <karl.vogel@gmail.com>

jshn: drop json_select warnings when called from json_get_values()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubox: runqueue: Cancel task timeout when completeing task

Signed-off-by: Helmut Schaa <helmut.schaa@googlemail.com>

jshn: add ability to pass default values to json_get_var and json_get_vars

jshn: in json_get_values(), handle json_select errors

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

jshn: optimize the shell code some more

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg_json: do not emit any whitespace when formatting without indentation

fix memset call in md5.c

Signed-off-by: John Crispin <blogic@openwrt.org>

add md5.c to libubox

Signed-off-by: John Crispin <blogic@openwrt.org>

runqueue: add a function that allows adding jobs to the front of the runqueue

Signed-off-by: John Crispin <blogic@openwrt.org>

jshn: refactor _jshn_append to require fewer evals

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

jshn: improve performance by getting rid of unnecessary variables in parser related code

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

jshn: do not export SEQ_*

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

jshn: get rid of the table stack, use the UP_* variable instead to speed up processing

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

jshn: reduce the number of appends to the cleanup list to speed up processing of large json files

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

jshn: allow json_get_keys/values to refer to the currently selected array/table if no argument is given

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

jshn: add json_get_values (useful for arrays)

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

utils.h: fix name collisions in __u_bswap16 with using "val" both inside the macro and as argument

Reported-by: Markus Stenberg <markus.stenberg@iki.fi>
Signed-off-by: Felix Fietkau <nbd@openwrt.org>

Restore signal handler after uloop_run()

uloop_run calls uloop_setup_signals() to set up signal handling before the while
loop, but does not remove the signal handling after the loop has ended. This can
cause problems for for example applications using the ubus file descriptor in
their own event loops, and perhaps with their own signal handling.

This patch stores the signal handle that was in place when the initial
uloop_run() call was made, and restores the handle when this call returns.
For recursive calls, the signal handler is not updated.

One use-case I experienced was an application that subscribed to several ubus
objects and used the ubus file descriptor in its own event loop. Even though
ubus_register_subscriber() (which calls uloop_run()) had returned, the signal
handler was not removed. This caused SIGINT not to be caught by the application.

Signed-off-by: Kristian Evensen <kristian.evensen@gmail.com>
Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg: add blobmsg_len() for consistency (similar to blob_len)

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

jshn: add json_get_keys()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ustream: properly clear fields to fix ustream reuse

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blob: add a magic offset to nesting cookies to ensure that NULL is never returned as a normal value

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

vlist: constify key argument to vlist_add

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg_json: allow signed output of integers

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blob: add blob_put_raw() for copying one or more blob attributes into the buffer directly

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg-example: fix length handling in dump_table() calls

uloop: fix deleting pending fd events on uloop_fd_del

When a fd gets deleted internally due to errors, fd->registered gets set
to false before events are moved to the staging array.
This leads to pending events not getting cleared properly when the fd
user finally calls uloop_fd_del.
Fix this by moving the check down and always checking for pending
events.

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blob/blobmsg: add null pointer checks to the *_for_each_attr functions, fix formatting

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

uloop: Fix incorrect timeout

uloop timeouts are calculated based on a time value that was fetched
before any callbacks were executed. Hence, the next timeout is off by
the time the callback execution took which can lead to strange side
effects.

Fix this by calculating the next timeout based on a fresh time value.

Signed-off-by: Helmut Schaa <helmut.schaa@googlemail.com>

runqueue should cal the complete handler from more places

Signed-off-by: John Crispin <blogic@openwrt.org>

safe_list: add missing null pointer check in safe_list_del()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ustream: return NULL in ustream_get_read_buf if there's a buffer, but no data

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg_json: do not corrupt UTF-8 strings

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg_json: fix \u escaping for control characters

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

uloop: fix corner cases with recursive uloop_run calls

With multiple recursive calls to uloop_run, the callback for the same fd
can be run multiple times from different levels in the stack.
Prevent this by tracking the stack of uloop_fd callbacks and buffering new
incoming events for fds already on the stack.

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

uloop: fix event flags processing on mac os x

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubox: make uloop_fd::flags generic

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

uloop: fix edge trigger handling on mac os x

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

uloop: rework event processing, fix use-after-free issues

Recursive calls to uloop_run() need to process already fetched events
first, before running kqueue/epoll to get more.

The state of cur_fd/cur_nfds and the event list needs to be maintained
properly to prevent accidental running of events pointing at deleted
uloop_fd structs.

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

utils: add bitfield inline ops

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ustream: only report stream eof once via state_change callback

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ustream: only report a write error once via state_change callback

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

blobmsg_json: add blobmsg_add_json_from_file

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

runqueue: move completion handler from runqueue_process to runqueue_task to make it more generic

Signed-off-by: Felix Fietkau <nbd@openwrt.org>