renderline: fix spelling of upscale

A recent patch broke it...

Signed-off-by: NeilBrown <neil@brown.name>

markup: implement "hide" attribute

text with attribute "hide" is not rendered at all.

Signed-off-by: NeilBrown <neil@brown.name>

markup: make "priority" unsigned.

"priority" is now an unsigned short and the behaviour of integers
outside that range is sensible and documented.

Signed-off-by: NeilBrown <neil@brown.name>

email: cause images to behave as 3 lines with 3 char positions each.

This allows the cursor to move around the image without jumping the
whole image all at once.

Signed-off-by: NeilBrown <neil@brown.name>

render-lines: initial support for multi-line renders.

An image will soon appear as multiple lines so that the cursor can
appear at locations within it.

Moving down always goes to start of line.  Moving up goes to top of
image.
These aren't ideal, but better than nothing for now.

Signed-off-by: NeilBrown <neil@brown.name>

render-lines: don't set reposition needlessly.

If render_prev finds a new first mark we need to set reposition, but if
it is the same first mark as already existed, we don't.

Signed-off-by: NeilBrown <neil@brown.name>

render-lines: minor clean up.

1/ Ensure call_render_line_prev() *always* frees m
   if it doesn't return it.

2/ Use gotos to make code easier to follow when render_lines_move_line
   tried to find the target x column.

Signed-off-by: NeilBrown <neil@brown.name>

lib-renderline: allow <image> to have map: attribute.

A "map" helps place the cursor within an image.  The map provides both a
number of rows and columns, and a collection of the characters in the
rendering which can be used to communicate where the cursor is.

Signed-off-by: NeilBrown <neil@brown.name>

lib-renderline: fold more core into render_image()

setting line height and cursor pos now happens inside render_image().

Signed-off-by: NeilBrown <neil@brown.name>

lib-markup: allow eol chars to be skipped.

When rendering, lib-markup can be told to use some other function for
line via the markup:func attribute.  This can easily included eol chars
in the range being rendered.

However when moving backwards with doc:render-line-prev there is not
currently a way to skip over some eol chars.

So introduce a mark:not_eol text attributes which can be applied to eol
characters to cause lib-markup to ignore them.

Signed-off-by: NeilBrown <neil@brown.name>

Remove any suggestion that num2 is significant for doc:render-line

render-line does doesn't use num2, only 'num'.

Signed-off-by: NeilBrown <neil@brown.name>

Draw:image: allow a cursor to be displayed

A cursor is (expected to be) a rectangular outline around a cell of the
image when considered as a matrix of a given number of rows and columns.

Signed-off-by: NeilBrown <neil@brown.name>

Change numeric args to Draw:image

'num' now combine both the "Stretch" flag and the various alignment
flags.
This leaves num2 open for other purposes.

Signed-off-by: NeilBrown <neil@brown.name>

renderline: always cache the measured size of the image

Knowing the size of the image can be generally useful so keep track of
it.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: only search 10,000 chars for urls

Searching 50,000 takes too long - particularly over base64.
So drop down to 10,000 to avoid triggering the 15-second timeout.

Signed-off-by: NeilBrown <neil@brown.name>

Add a TODO for w3m

Want w3m for html email..

Signed-off-by: NeilBrown <neil@brown.name>

python: silence a warning

smatch doesn't know 'a' cannot be NULL, so tell it.

Signed-off-by: NeilBrown <neil@brown.name>

lang-python: update initialisation.

Py_SetProgramName and PySys_SetArgv are deprecated, so use
PyConfig to avoid warnings.
Also enable "isolated" initialisation to see if it is a bad idea or not.

Signed-off-by: NeilBrown <neil@brown.name>

Abort more quickly when time is up.

After 15 seconds in one command we want to abort to avoid
infinite loops.  However doc:content calls don't get
caught currently because the call to the handler
doesn't go through key_handle().
So add a light-weight test in the call.

Signed-off-by: NeilBrown <neil@brown.name>

multipart: Set ref mark to NULL when freeing it

We usually store a new value in ref.m after freeing this one, but it
possible for that to fail.
So for safety, set to NULL rather than leaving an invalid mark pointer.

Signed-off-by: NeilBrown <neil@brown.name>

email/notmuch: attend or a disposition of "attachment"

Keep track of content disposition and if it claims "attachment" then:

 1/ don't highlight URLs etc
 2/ don't make visible by default - even when plain text

Signed-off-by: NeilBrown <neil@brown.name>

Make: change how default_arg in added.

We currently make the default arg 'replacable' so that typing any text
replaces it.  This is sometimes useful, but sometime awkward.
1/ It is clumsy to edit the arg - you need to abort the 'replaceable'
   state first
2/ it doesn't help with added option e.g. to grep.

So don't make it 'replaceable' but instead place the cursor before the
text.  Then it is easy to insert options or edit the text, and replacing
it is as simple as ctrl-K.

Signed-off-by: NeilBrown <neil@brown.name>

Always normalise paths returned by find-file.

The "~" prefix is useful when entering a file name, but it need to be
removed before the name is used.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: change wrapping of subjects

If the subject in the message summary needs to be wrapped, wrap it ALL
onto the next line.  This makes long subjects easier to read.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: show all filenames in extended headers

As a message can be found in multiple files, and as notmuch knows them
all, add the complete list to the extended headers.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch/email: allow extra headers to be shown.

When viewing an email, it can be useful to be some extra headers without
having to look through the complete raw headers.

There is also information that notmuch knows which doesn't exist in the
headers.

So add an "extras" button which causes both doc-email and notmuch to add
extra headers that might be interesting.
 Message-ID
 In-Reply-To
 References
 Filename
 Thread-ID

Signed-off-by: NeilBrown <neil@brown.name>

make: allow a config item to say "all direct below".

make:$MODE config can now be found in a dir with a trailing '/'.
e.g. /home/kernels/

This means that it applies to all subdirs.  So "make" etc will be run in
/home/kernels/foo, not in /home/kernels/

Signed-off-by: NeilBrown <neil@brown.name>

email: add "Reply-to" to standard headers

I probably should make this list of headers configurable.

Signed-off-by: NeilBrown <neil@brown.name>

python: handle bad utf-8 in string conversion.

If a string contains bad utf-8, treat it as 8bit ascii.

Also handle failure from python_string() correctly.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: don't leave un-waited processes.

If a timeout expires, kill the process and wait for it.  Don't just
leave it there.

Signed-off-by: NeilBrown <neil@brown.name>

config: add some make defaults for my /home/kernels dir

I really should move this config file into $HOME/.config ...

Signed-off-by: NeilBrown <neil@brown.name>

linefilter: restore damage for doc:replace

When a change is made we need to reassess if anything is left.
But for view:changed we don't seem to need the damage.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: when toggling visibility, ensure to move point.

When a Mouse-Activate message arrives, the mark is not the point, so
moving it to the previous part is pointless.  Find the mark and move it.

Also do this whenever visibility changes at all.

Signed-off-by: NeilBrown <neil@brown.name>

email: introduce doc:email-step-part

doc:email-step-part is like doc:step-part provided by multipath, but it
limits the stepping to visible parts.

Using this for notmuch email viewer when changing the visibilty of a part.

Signed-off-by: NeilBrown <neil@brown.name>

emacs: don't create empty selection when clicking.

When not selection words or line, and when the pointer didn't move,
there cannot be a selection, so don't leave the selection enabled.
Otherwise it can suddenly appear sometimes.

Signed-off-by: NeilBrown <neil@brown.name>

multipath: don't step back before the first visible part.

When considering visibility, never step before the first visible part.

Signed-off-by: NeilBrown <neil@brown.name>

renderline: allow a wrap-margin

The location of the first wrap-margin tag is remembered, and any
subsequent line wrap is wrapped to that offset.

This is used to wrap subjects for notmuch message summaries.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: messages in visible thread should not disappear.

While a thread is visible, background refresh should not cause messages
to disappear - e.g. if I archive one and then a refresh happens.
They should only disappear when I re-visit the thread, or when I
explicitly request a refresh with '='.

So keep track of that explicit request, and when not present but the
query is open, preserve all 'True' matched values.

Signed-off-by: NeilBrown <neil@brown.name>

python: avoid buffer overflow in LOG()

Due to using and unsigned int, some the tests where were bad.

Signed-off-by: NeilBrown <neil@brown.name>

complete: allow an attribute to be requested.

Rendering a fill line is slower than just getting an attribute.
So getting the (new) format:plain attribute is preferred there
it makes sense.

So allow render-complete to be given an attr to use, and do that for
file completion.

Signed-off-by: NeilBrown <neil@brown.name>

render-format: support format:plain attribute.

"format:plain" allows a caller to get the content of a line without any
markup and so without all the overhead of checking for markup.

Signed-off-by: NeilBrown <neil@brown.name>

linefilter: don't cause so much damage

Setting damage-view requires the whole doc to be reassessed, which is
slow for large directories.

It isn't clear why this is needed, so remove it for now.

Signed-off-by: NeilBrown <neil@brown.name>

complete: return all of chosen line

We currently only return the remainder of the chosen line from the
cursor.  So if the cursor has been moved to the right, the result is
wrong.

Need to move to start of line.

Signed-off-by: NeilBrown <neil@brown.name>

qprint: don't count flushed lws is reported content size

The content callback reports how many bytes/chars were used.
The lws flushed has already been reported. So don't report it again.

This corrupts a qp file when there is a space before an '='.

Signed-off-by: NeilBrown <neil@brown.name>

Update some copyright dates.

I wonder if these dates really mean anything..

Signed-off-by: NeilBrown <neil@brown.name>

render-format: remove focus arg from next_line()

next_line() doesn't use focus, so don't require it.

Signed-off-by: NeilBrown <neil@brown.name>

render-complete: fix memory leak.

We allocated this but never freed it.

Signed-off-by: NeilBrown <neil@brown.name>

compose-mail: support forwarding emails as attachments

The command 'z' or 'F' with a prefix arg will forward as an attachment.

Signed-off-by: NeilBrown <neil@brown.name>

Allow a line boundary to be reported by the document.

Rendering renders up to a line boundary.  Usually a newline, but the doc
can say where it is.  This allows multi-part to put a boundary between
parts, in case a part contains garbage.

This removes some blank lines in email messages -  nice.

Signed-off-by: NeilBrown <neil@brown.name>

email-view: be more selective of alternates.

Rather and selecting the first among alternates, select the last that we
understand, but avoid html unless there is no alternative.
This is more standards-compliant, and allows text/calendar to be easily
seen.

Signed-off-by: NeilBrown <neil@brown.name>

mail-view: move text markup away from visibility setting.

Marking up text is quite separate from setting visibility.  So move
these pieces of code apart.

Also move the 'dup' of the start mark into the code that needs it.

Signed-off-by: NeilBrown <neil@brown.name>

email: add parsing of calendars

Basinc info is extracted from calendar.  Importantly, the time is
displayed in the local timezone.

Signed-off-by: NeilBrown <neil@brown.name>

x11-xcb - always check for invalid utf-8

Passing invalid utf-8 to pango_layout_set_text() causes error messages
to stderr :-(
So always check, and replace any invalid utf with "*INV*"

Signed-off-by: NeilBrown <neil@brown.name>

doc-email: clear charset when not used.

If the charset variable is not being used, its value becomes stale, and
copying it to a pane attr causes corruption.  This results in non-utf8
being passed to pango_layout_set_text()

Signed-off-by: NeilBrown <neil@brown.name>

Track XAUTHORITY with DISPLAY

XAUTHORITY is collected when edlib starts, and is passed in by the
server/client.  It is recorded on the display pane and used for starting
new displays and for running external viewers

Signed-off-by: NeilBrown <neil@brown.name>

python: don't assume the Pane has a valid pane.

If ->pane is NULL, don't free it.

Signed-off-by: NeilBrown <neil@brown.name>

keymap: protect against freed marks.

If a mark has been freed, don't allow any command to be called on it.
This might make it easier to find out where they get wrongly freed.

Signed-off-by: NeilBrown <neil@brown.name>

popup: allow direct placement

A new mode flag 'x' allows the location of the popup to be explicitly
requested, and means that the location and size can later be changed by
the owner.

Signed-off-by: NeilBrown <neil@brown.name>

Add ref-counting for panes

New pane_get() and pane_put() make it possible to ensure a pane is not
freed while a reference is held.  This is used by python to stop bad
code from crashing when holding an old ref to a pane.

The pane can be closed and the ->data can be freed, but the pane object
itself will remain so that it can be safely tested to see if it is valid.

Signed-off-by: NeilBrown <neil@brown.name>

log: avoid recursion

A LOG() command can send a notification to a display pane.
If that display pane then logs something, you can get unlimited
recursion.

Nip that in the bug by never handling a LOG() call while another is
active.

Signed-off-by: NeilBrown <neil@brown.name>

Add doc-list

The "list" document time stores lists of elements with content in the
attributes.  It will be used for entries in a menu.

Signed-off-by: NeilBrown <neil@brown.name>

email: allow images to be larger

Images can now be full-width, and up to 75% of the height of the pane.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: keep point nearby when returning from whole-thread

If, while viewing a whole thread, point is moved to EOF, then when we
switch back we don't want it to stay at EOF, we want it to be at
thread_end, or similar.
So we need to clip anything after thread_end upwards.

Clip doesn't move marks *at* the end point, so we need to make our eof
look just a little bit different temporarily.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: fix display for whole-thread

render-format when used with shared-ref requires that EOF is marked by a
NULL pos.  So when we step to the end of the thread, we need to move the
mark all the way to true EOF to get that NULL pos.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: tidy up

For set-ref, always compare with 1, not zero, because that is what all
other codes does.

For notify-clip, we can pass a bool.

Signed-off-by: NeilBrown <neil@brown.name>

Autospell: pass num arg when clipping.

Notify:clip has a num which really should be passed to .clip()

Signed-off-by: NeilBrown <neil@brown.name>

Python: allow bool to be passed to .clip and .to_end

These really take bools: for clip a true value means move to start, not
end.
For .to_end, a true value means move to end, not start.
Yes, that is confusing.

This still allows integers to be passed, but also allows any truth value.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: new command 'j' - jump to unread message

'j' in query of view pane will jump the the next unread message if there
is one.

Signed-off-by: NeilBrown <neil@brown.name>

present: allow switching to presentation from markdown

:Commit (:C-c :C-c) will now switch markdown view to presenter view.
This is a bit clumsy as we have to ensure now markup (like spell errors)
can mess things up for us.

Switching back sometimes works

Signed-off-by: NeilBrown <neil@brown.name>

autospell: don't fail map-attr

If map-attr doesn't have the args we need, just fall through, don't fail.

Signed-off-by: NeilBrown <neil@brown.name>

python: add name to pane in debugging.

When a textual repr of a pane is requested, include the name.

Signed-off-by: NeilBrown <neil@brown.name>

lib-view: make trailing space in file name apparent.

If document name starts or ends with a space, enclose in quotes for
status line.

Signed-off-by: NeilBrown <neil@brown.name>

Support display-context for macro recording.

lib-view will show a display-context
lib-input can record it
lib-macro will set it as needed.

Signed-off-by: NeilBrown <neil@brown.name>

base64: fix pos tracking.

Various bugs in pos tracking.
Particularly, for the content callback the mark is moved lower in the
stack so the pos isn't automatically updated - we have to update it in
the callback.

Signed-off-by: NeilBrown <neil@brown.name>

Fix various doc:char handlers when stepped towards a mark.

I obviously never tested this - the condition was inverted.

Signed-off-by: NeilBrown <neil@brown.name>

python: reset signal handler when restoring alarm()

A subordinate python call might have disabled the signal handler.  We
need to re-enable it.

Signed-off-by: NeilBrown <neil@brown.name>

Add timer to avoid looping bugs

If a key/mouse event takes longer than 15 seconds, all calls start
failing.
This may well cause some code to misbehave... I should find and clean up
such code.

Signed-off-by: NeilBrown <neil@brown.name>

base64: improve how current position is determined.

Now that we can track mark movements including to_mark, use that to
maintain a 'b64-pos' attr on any mark so that we know where in a QUAD it
is.  This makes finding current location much more efficient.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: limit searching to 50000 character

I'm not sure this is necessary, but email could be large and we don't
want to waste time needlessly.

Signed-off-by: NeilBrown <neil@brown.name>

base64: change base64_step() to a normal function.

This doesn't need to be a DEF_CMD() any more.

Signed-off-by: NeilBrown <neil@brown.name>

mark: allow extra tracking of mark_to_mark movements.

If a mark is being tracked, and mark_ack() was called last time it
moved, then when any mark is moved to that mark, track it as well.
This way marks move into a range can start being tracked.

Signed-off-by: NeilBrown <neil@brown.name>

Send mark:moving notification on all marks

Instead of just on points, send the notification on all marks.
This means it is important to really check what mark the notification
was for.

Signed-off-by: NeilBrown <neil@brown.name>

Rename point:moving to mark:moving

The "point:moving" event is now called "mark:moving" and the "moved"
flag is now stored in every mark.  This is a first step towards
supporting movement events on all marks.

Signed-off-by: NeilBrown <neil@brown.name>

tests: improve stability: aspell and git

Aspell can be affected by config in $HOME, so set that to /tmp
git can set core.abbrev dynamically so set a fixed value

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: tag replied messages as "replied"

When replying to a message, mark it "replied"
When forwarding a message, mark it "forwarded"
Highlight these messages with tag characters.

Signed-off-by: NeilBrown <neil@brown.name>

Add some developer documentation

I worked on this for hackweek in June 2022.  It is far from comolete,
but hopefully a useful start.

Signed-off-by: NeilBrown <neil@brown.name>

misc random fixes

mostly fixes to comments.

Signed-off-by: NeilBrown <neil@brown.name>

Move some functions from core.h to internal.h

These are only used in core-foo.c, so only need to be in internal.h

Signed-off-by: NeilBrown <neil@brown.name>

config: .md files need fill and spell.

auto-enable fill and spell for .md files.

But don't enable auto-spell for testing - it is too confounding

Signed-off-by: NeilBrown <neil@brown.name>

misc: fix a few typos

just stuff I saw while reading.

Signed-off-by: NeilBrown <neil@brown.name>

ncurses - clear paste state on shutdown

As ncurses_stop() might be followed by ncurses_start() we need to be
sure to clear up properly.
The 'paste' state was freed by not zeroed.

Signed-off-by: NeilBrown <neil@brown.name>

present: don't claim to be primary markdown handler

The "markdown" handler is only an interface for presenter, so
describe it as such.  This leaves room for something else to define
"attach-markdown".

Signed-off-by: NeilBrown <neil@brown.name>

server: fix problem with server forgetting to accept connections.

The important change here is to use focus.root for activating the
event:read, otherwise when the focus pane is closed, the event is
disabled.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: fix get-attr for query_view

I wrote this code, but never tested it as I didn't provide a "handle:"
comment.
Time to make it right.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: ensure all handlers explicitly return

A missing return means Efallthrough, which should be shown explicitly.

Signed-off-by: NeilBrown <neil@brown.name>

ncurses - do full terminal reset on Display:refresh

Sometimes the terminal can lose setting - mosh does this.
So on Display:refresh (:C-L) do a full restart.

Signed-off-by: NeilBrown <neil@brown.name>

Add Draw:image-size and don't upscale images in emails.

New display function Draw:image-size reports the size of an image in
(x,y).
This is used when drawing an image with new attr noupscale to
ensure the size of the image is never scaled up, only down.

email now requests noupscale

Signed-off-by: NeilBrown <neil@brown.name>

Update the year in some copyright claims

It is well into 2022 now, so time to update some copyright statements.

Signed-off-by: NeilBrown <neil@brown.name>

ncurses: call ncurses_end() before closing the pane.

We need ncurses_end() to be called before we notify the server to close,
so it must be called before pane_close().

Signed-off-by: NeilBrown <neil@brown.name>

render-lines: refresh last line properly when moving cursor

If cursor is at end-of-file, then moving it might not refresh the last
line so it could still display the cursor.

Signed-off-by: NeilBrown <neil@brown.name>