tests: filter out duplicate "Display" lines.

The 02-grep often duplicates some Display lines, apparently at random.
I don't know why and it doesn't show a display bug.
So filter them out to avoid unnecessary test failure.

Signed-off-by: NeilBrown <neil@brown.name>

lib-renderline: Introduce word-wrap.

If word-wrap is set, make all spaces wrap-points, except at the start of
the line.
Enable this in email reading, and in mark-down.

Signed-off-by: NeilBrown <neil@brown.name>

Change rules for doc:render-line with mark2

When doc:render-line is called with mark2, this doesn't interrupt the
rendering, but simply reports (via ->num in the callback) the offset
where mark2 was found.

Now ->num is either negative, or the number of chars to process.
NO_NUMERIC is no longer relevant and is not tested for.

I think this is simpler as ->num and ->mark2 are not independent.

Signed-off-by: NeilBrown <neil@brown.name>

renderline: fix cursor pos after early wrap.

If a line wraps before he end, due to an early wrap marker, the cursor
will appear where it would have been if the line had been truncated
rather then wrapped.

We need to detect when a "flush" stopped because if found a wrap marker,
and to adjust the cursor pos in that case.

Signed-off-by: NeilBrown <neil@brown.name>

renderline: ensure attr lists always start/end with ','

Also make sure they *only* contains ",," at a location to pop back too.

Some of the code already put ',' at start, and most put ',' at end, and
some code depended on this more than others.
Make it more uniform.

Signed-off-by: NeilBrown <neil@brown.name>

mark: separate mark:moving from mark:arrived

The mark:moving notification was originally for when a specific mark
moved at all.
For b64 I extended it to also notify when *any* mark moved to a specific
mark.
This can cause illegal nested notification if a mark:moving handler
tries to move a (non-specific) mark.  That is bad.

So separate the two: Add mark:arrived for when a mark is moved to a
flagged marks.

Also make sure all new marks aren't flagged.  I invert the sense of the
flag and call it "MARK_FLAG_WATCHED".  This will be clear by default,
and only set once the (renamed) mark_watch() is called.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: filter out markup when extracting text

Add a doc:content overlay on w3m docs which strip out markup and convert
html &entities;

Signed-off-by: NeilBrown <neil@brown.name>

python: handle unterminated strings from doc-text

doc-text sends an unterminated string to the callback for doc:content.
Python doesn't handle this well.

So create a kludge:  If the key ends " unterminated", then use ->num2 as
a max length of ->str

Signed-off-by: NeilBrown <neil@brown.name>

compose-email: don't intercept doc:char

We only intercept doc:char to make the headers intangible.
Instead, catch mark:moving and keep point away from these.

Signed-off-by: NeilBrown <neil@brown.name>

markup: quote '<' when they are interpolated from attr

when map-attr provides a string to be interpolated, quote any '<' char
correctly.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: use mark:moving to avoid getting stuck in quoted lines

Currently the 'point' can get stuck in hidden quoted-line and 'up'
movements get lost.
Use mark:moving (which is always sent on 'point') to see when this
happens, and to escape.

Signed-off-by: NeilBrown <neil@brown.name>

display-xcb - silence "may be uninitialised warning"

gcc cannot tell that x and y are only used if 'src', and they are
initialised if 'src' is set.  So help it out.

Signed-off-by: NeilBrown <neil@brown.name>

pdf-to-text convert to delayed/async conversion

pdf-to-text now happens asynchronously on demand

Signed-off-by: NeilBrown <neil@brown.name>

w3m-to-text: convert to delayed/async processing.

If allowed, don't convert to text until requested.

Signed-off-by: NeilBrown <neil@brown.name>

doc-to-text: don't wait for conversion to complete.

If permitted by called, don't start the conversion to text until a
notification arrives.

This requires getting multipart to forward doc:replaced notifications.

Signed-off-by: NeilBrown <neil@brown.name>

doc-email: send a notification when a 'transformed' pane is made visible.

We don't really want to process attachments until asked.  So allow the
transform tool to be notified when it is time.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: ensure reply and similar clear unread and new

Now that "new" is being cleared less aggressively, make sure we clear it
when we reply to a message.

Signed-off-by: NeilBrown <neil@brown.name>

Move my personal configuration out of the git tree.

Have config.py load $HOME/.config/edlib/config.py, and move the config
that is specific to me into there.

Signed-off-by: NeilBrown <neil@brown.name>

introduce doc:append:...

doc:append: is similar to doc:set:, but the given value is appended to
the attr if it exists.
The value should start with a separator character, and this is removed
if it is the first item to be appended.

Use this to simplify setting of "view-default"

Signed-off-by: NeilBrown <neil@brown.name>

textfill: default fill:end-re to fill:start-re

The regexp for start and end of para are usually the same, so if end-re
isn't given, use the same as start-re.

Use this to simplify md config, and enhance it a bit.

Signed-off-by: NeilBrown <neil@brown.name>

text-fill: revert recent change when getting attributes.

Now the doc-attributes default to getting a pane-attribute, we don't
need the fall-back code in text-fill

Signed-off-by: NeilBrown <neil@brown.name>

doc: add default doc:get-attr which returns pane attribute.

Sometimes we want an attribute which can vary with location in the document,
but offen i satisfied with a document-wide value.
fill:start-re is a good example.

Provide a default doc:get-attr, which will be called if no attr can be
found at the specific location.  This returns a pane attribute is
possible.

Also ensure all current doc:get-attr function fall through if they
cannot find a value.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: add K-X to show the extra headers

Rather than requiring a mouse-click, use K-X to show the extra headers.

Signed-off-by: NeilBrown <neil@brown.name>

Update some copyright dates.

.. because ... why not?

Signed-off-by: NeilBrown <neil@brown.name>

C code - remove stray LOG() calls.

I don't think I want any of these.

Signed-off-by: NeilBrown <neil@brown.name>

python: remove stray edlib.LOG calls.

There debugging calls got left in..

Signed-off-by: NeilBrown <neil@brown.name>

handle text-fill in .md files better.

Enhance text-fill so that various style attributes can be on the pane
rather than on the character, and set pane attributes for markdown to
notice the starts of various paragraph types, particularly the various
list entries.

Signed-off-by: NeilBrown <neil@brown.name>

textfile: copy prefix from most recent line.

When wrapping just the last line of a para, copy the prefix from that
line to the next.  This improves stability for ad-hoc formatting.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: include local-time as an extra header

Determine timestamp in local time and add that as an extra header.
Also move thread-id to the end, so that all file names are together.

Signed-off-by: NeilBrown <neil@brown.name>

ncurses: fix transparent images in default color-space

When fg/bg are the defaults, pair_content() doesn't provide us with
useful information, so we have to assume "white"-ish.

Signed-off-by: NeilBrown <neil@brown.name>

search: avoid infinite look with inconsistent doc:step function.

If doc:step moves back further than we expect, search_backwards can loop
forever. So check for that possibility and abort.

Signed-off-by: NeilBrown <neil@brown.name>

Fix missed conversions from -2 to Efail.

When I changed from magic numbers to words, I missed this one.

Signed-off-by: NeilBrown <neil@brown.name>

email: support text display of some office docs.

 .doc  .docx  .odt

now get passed to lowriter for conversion to text.

Signed-off-by: NeilBrown <neil@brown.name>

search: speed up backwards search.

Rather stepping back one char at a time and attempting a match, step
back larger and larger numbers of chars, and search in that range.
Once we find, search forward for the last match.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: add an 'advance' flag to turn on anchored search.

If we want to find a match that *starts* before a given point but may
continue after that point, we cannot just stop when we reach the point,
but we must enable anchored-match when we do.

Introduce matching "anchor_at_end" flag in lib-search which used this
flag.
With anchor_at_end, the match must start by the end mark.
Without, it must be complete by the end mark.

Signed-off-by: NeilBrown <neil@brown.name>

lib-search: fix bug with matching a pattern that ends at point

Calling rxl_advance() is problematic as merging the two return code is
not trivial.
We really want all the flags that go before a given character to be
handled together.
So set a flag when we see the point, then set the RXL_POINT flag the
next time around.

Signed-off-by: NeilBrown <neil@brown.name>

rexel/c-mode/TODO: minor comment updates.

Various minor non-code updates

Signed-off-by: NeilBrown <neil@brown.name>

core: make it easy to disable timing when running under gdb.

Under gdb, things don't happen fast, so we need to be able to disable
the "pane_too_long()" test.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: store wctype values directly in rxl array

Rather than having a static mapping from a 2-byte value stored in the
rxl array to an 8-byte wctype_t, store the wctype_t directly in the rxl
array, using as many entries as needed.

Signed-off-by: NeilBrown <neil@brown.name>

TODO.md: clean up

Remove a bunch of 'done' things - including some that weren't even
marked as done.
And fix typos etc.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: fix handling of sets for planes > 0

I wasn't including the plane number in the set size, or extracting and
using it.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: support unicode beyond 0x7ffff

The comment said we have to create a set for unicode beyond 15 bits, but
the code doesn't.
Instead reserve 17 code value to identify a unicode plane, and the next
'short' is combined to create a full unicode codepoint.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: properly initialise ->link array

->link[x][0] wasn't being initialised.  I wonder how this ever works.
valgrind wonders why I never asked it before.

Signed-off-by: NeilBrown <neil@brown.name>

TODO: move in a separate 'priorities' file.

For some reason I made a separate list of priorites a while ago.  Here
are the remaining one.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: rename RXL_ANCHORED and RXL_BACKTRACK to RXLF_*

The RXL_ prefix is used for flags to both rxl_prepare() and
rxl_advance(), which might be confusing.
So change the prepare flags to RXLF_ - RXL flag.

Signed-off-by: NeilBrown <neil@brown.name>

text: normalize marks before passing to content callback

The mark that we pass to the content call-back must be normalised - or
bad things happen.

Signed-off-by: NeilBrown <neil@brown.name>

doc-text: text_check_consistent fixes

1/ Don't alter the document while checking - the "normalize" call must
  be on a local variable
2/ check for non-normalized marks when checking marks.

Signed-off-by: NeilBrown <neil@brown.name>

tests: always specify EDLIB_RECORD with EDLIB_REPLAY

'tests view' was behaving differently to other tests.  It seems to be
because EDLIB_RECORD was missing.  So let's add it.

Signed-off-by: NeilBrown <neil@brown.name>

Avoid showing shell output when it requested an edit window

If a shell command is run which creates an edit window using lib-server,
we don't really want to show the output until the command completes.

Signed-off-by: NeilBrown <neil@brown.name>

emacs: if shell command produces no output - say so.

If a shell command exits quickly with no output, emacs mode currently
writes and empty string (the output) to the message line, which isn't a
lot of help.
Instead, write a message that the command did complete - and report any
exit code.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: simplify how 'new' tag is cleared

When the search view is explicitly closed with 'q', all new
threads/messages that have been listed get the 'new' tag cleared.
Any implicit close no longer does that.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: add lax-searching for quotes.

In lax mode, all three ASCII quotes now much the same.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: handle display of alternatives that are multipart.

An alternative can be multipart, e.g. multipart/related.
In that case it won't be the last segment of the path which
says "alternative".  We have to look earlier.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: Hide all of multiline tag

Previously we were not hiding the newline in a multiline tag, so it
would appear as blank lines.

Extend markup:not_eol to ignore eol when rendering forward as well as
when moving backward, and use it in w3m to completely hide things.

Signed-off-by: NeilBrown <neil@brown.name>

email: ensure text parts always provide characters.

If a base64 part does not declare a charset, we don't provide one, so no
chars are available, only bytes.
This is fine for PDF which wants bytes, but bad for html.
So check for text and require some charset.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: reassert attrs at start of line properly

The current code might reassert attrs inside the next tag.  We need to
find tags with no reference to line breaks, then look at newlines
between tags.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: hide all of a multi-line tag

If a tag contains line breaks, we need to reassert the "hide" attribute
on each line.

Signed-off-by: NeilBrown <neil@brown.name>

markup: fix normalisation of priorities.

When I clipped priority to 0:65535, I didn't do it at all for
as_clear(), and not completely for as_add().

Signed-off-by: NeilBrown <neil@brown.name>

w3m: only mark up html entities between tag.

html entities inside tags need to be invisible, so we don't want to mark
them at all.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: support ALL html entities

WE now have a list of all HTML entities.
Also fix handling of &#NNN; where NNN is decimal.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch/w3m: add more html entities

Also ensure they get displayed...

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: avoid inconsistent value of thread_end

thread_end points to the start of the next thread after thread_start.
Changes to the document can insert another thread in between which
causes strange display.
So always recalc thread_next when the doc changes.

Signed-off-by: NeilBrown <neil@brown.name>

TODO - remove everything that is marked as done.

ta-done

Signed-off-by: NeilBrown <neil@brown.name>

ncurses: display low-res images

Each character cell can be 2 pixel.  This allows low-res image display.

Signed-off-by: NeilBrown <neil@brown.name>

render: disable background images for text displays

If scale:M isn't set, then we cannot usefully do background images, so
don't even try.

Signed-off-by: NeilBrown <neil@brown.name>

ncurses: manage color pair separately from attributes.

When we combine the color pair in to the attributes we are limited to
255 pairs.  However we can pass it in separately and get many
more.

Signed-off-by: NeilBrown <neil@brown.name>

make: restore "replaceable" status for default search term

I find that I like the "replaceable" status... maybe it isn't so bad now
that the cursor is at the front.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: allow html even when we have plain text.

Now that I have w3m doing a decent job of html display, use it in
preference to text/plain and see what I think.

Signed-off-by: NeilBrown <neil@brown.name>

Use w3m to decode HTML in email messages

Use "w3m -halfdump" and parse out the remaining markup
to give bold and links etc.

Signed-off-by: NeilBrown <neil@brown.name>

ensure html decoding works over base64

b64 doesn't provide chars, just bytes.... Maybe it should get
a utf-8 overlay!!

Signed-off-by: NeilBrown <neil@brown.name>

markup: allow text to be inserted into rendering

If str2 is given to the map-attr callback, it is inserted.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: allow urls to be extracted from part of a multipath

The url might be tagged in just one part - so allow for that.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch message-view: improve url attributes.

Rather than storing the URL as an attribute of the first char of the
URL, store it as an attribute of the pane, indexed by a tag. This tag
is stored in the render:url attribute instead of a length.
This avoid the need to search backwards for the char with the url
attribute, we can access it directly instead.

Signed-off-by: NeilBrown <neil@brown.name>

renderline: fix spelling of upscale

A recent patch broke it...

Signed-off-by: NeilBrown <neil@brown.name>

markup: implement "hide" attribute

text with attribute "hide" is not rendered at all.

Signed-off-by: NeilBrown <neil@brown.name>

markup: make "priority" unsigned.

"priority" is now an unsigned short and the behaviour of integers
outside that range is sensible and documented.

Signed-off-by: NeilBrown <neil@brown.name>

email: cause images to behave as 3 lines with 3 char positions each.

This allows the cursor to move around the image without jumping the
whole image all at once.

Signed-off-by: NeilBrown <neil@brown.name>

render-lines: initial support for multi-line renders.

An image will soon appear as multiple lines so that the cursor can
appear at locations within it.

Moving down always goes to start of line.  Moving up goes to top of
image.
These aren't ideal, but better than nothing for now.

Signed-off-by: NeilBrown <neil@brown.name>

render-lines: don't set reposition needlessly.

If render_prev finds a new first mark we need to set reposition, but if
it is the same first mark as already existed, we don't.

Signed-off-by: NeilBrown <neil@brown.name>

render-lines: minor clean up.

1/ Ensure call_render_line_prev() *always* frees m
   if it doesn't return it.

2/ Use gotos to make code easier to follow when render_lines_move_line
   tried to find the target x column.

Signed-off-by: NeilBrown <neil@brown.name>

lib-renderline: allow <image> to have map: attribute.

A "map" helps place the cursor within an image.  The map provides both a
number of rows and columns, and a collection of the characters in the
rendering which can be used to communicate where the cursor is.

Signed-off-by: NeilBrown <neil@brown.name>

lib-renderline: fold more core into render_image()

setting line height and cursor pos now happens inside render_image().

Signed-off-by: NeilBrown <neil@brown.name>

lib-markup: allow eol chars to be skipped.

When rendering, lib-markup can be told to use some other function for
line via the markup:func attribute.  This can easily included eol chars
in the range being rendered.

However when moving backwards with doc:render-line-prev there is not
currently a way to skip over some eol chars.

So introduce a mark:not_eol text attributes which can be applied to eol
characters to cause lib-markup to ignore them.

Signed-off-by: NeilBrown <neil@brown.name>

Remove any suggestion that num2 is significant for doc:render-line

render-line does doesn't use num2, only 'num'.

Signed-off-by: NeilBrown <neil@brown.name>

Draw:image: allow a cursor to be displayed

A cursor is (expected to be) a rectangular outline around a cell of the
image when considered as a matrix of a given number of rows and columns.

Signed-off-by: NeilBrown <neil@brown.name>

Change numeric args to Draw:image

'num' now combine both the "Stretch" flag and the various alignment
flags.
This leaves num2 open for other purposes.

Signed-off-by: NeilBrown <neil@brown.name>

renderline: always cache the measured size of the image

Knowing the size of the image can be generally useful so keep track of
it.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: only search 10,000 chars for urls

Searching 50,000 takes too long - particularly over base64.
So drop down to 10,000 to avoid triggering the 15-second timeout.

Signed-off-by: NeilBrown <neil@brown.name>

Add a TODO for w3m

Want w3m for html email..

Signed-off-by: NeilBrown <neil@brown.name>

python: silence a warning

smatch doesn't know 'a' cannot be NULL, so tell it.

Signed-off-by: NeilBrown <neil@brown.name>

lang-python: update initialisation.

Py_SetProgramName and PySys_SetArgv are deprecated, so use
PyConfig to avoid warnings.
Also enable "isolated" initialisation to see if it is a bad idea or not.

Signed-off-by: NeilBrown <neil@brown.name>

Abort more quickly when time is up.

After 15 seconds in one command we want to abort to avoid
infinite loops.  However doc:content calls don't get
caught currently because the call to the handler
doesn't go through key_handle().
So add a light-weight test in the call.

Signed-off-by: NeilBrown <neil@brown.name>

multipart: Set ref mark to NULL when freeing it

We usually store a new value in ref.m after freeing this one, but it
possible for that to fail.
So for safety, set to NULL rather than leaving an invalid mark pointer.

Signed-off-by: NeilBrown <neil@brown.name>

email/notmuch: attend or a disposition of "attachment"

Keep track of content disposition and if it claims "attachment" then:

 1/ don't highlight URLs etc
 2/ don't make visible by default - even when plain text

Signed-off-by: NeilBrown <neil@brown.name>

Make: change how default_arg in added.

We currently make the default arg 'replacable' so that typing any text
replaces it.  This is sometimes useful, but sometime awkward.
1/ It is clumsy to edit the arg - you need to abort the 'replaceable'
   state first
2/ it doesn't help with added option e.g. to grep.

So don't make it 'replaceable' but instead place the cursor before the
text.  Then it is easy to insert options or edit the text, and replacing
it is as simple as ctrl-K.

Signed-off-by: NeilBrown <neil@brown.name>

Always normalise paths returned by find-file.

The "~" prefix is useful when entering a file name, but it need to be
removed before the name is used.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: change wrapping of subjects

If the subject in the message summary needs to be wrapped, wrap it ALL
onto the next line.  This makes long subjects easier to read.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: show all filenames in extended headers

As a message can be found in multiple files, and as notmuch knows them
all, add the complete list to the extended headers.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch/email: allow extra headers to be shown.

When viewing an email, it can be useful to be some extra headers without
having to look through the complete raw headers.

There is also information that notmuch knows which doesn't exist in the
headers.

So add an "extras" button which causes both doc-email and notmuch to add
extra headers that might be interesting.
 Message-ID
 In-Reply-To
 References
 Filename
 Thread-ID

Signed-off-by: NeilBrown <neil@brown.name>

make: allow a config item to say "all direct below".

make:$MODE config can now be found in a dir with a trailing '/'.
e.g. /home/kernels/

This means that it applies to all subdirs.  So "make" etc will be run in
/home/kernels/foo, not in /home/kernels/

Signed-off-by: NeilBrown <neil@brown.name>