doc-email: be more subtle with default visibility.

We don't want large (base64) attachments to be visible by default, nor
do we want transformations to appear too early.
So mark all spacers, the orig-headers, and the orig first part as
visible, and everything else invisible.

This will, for example, stop LineCount from counting too much of it if
it happens to start before final visibility is configured

Signed-off-by: NeilBrown <neil@brown.name>

linecount: ensure we start a visible beginning of document

The document we are counting might be a 'view' and the early lines might
be clipped off.  So use doc:set-ref to move to the beginning as visible
from the focus.
Also simplify the code as two conditions each have exactly the same result.

Signed-off-by: NeilBrown <neil@brown.name>

Always call CountLines on the focus

A view might hide some lines, and might intercept CountLines so exclude
those lines from the count.
As a line count is a particular view on the file, it should be
consistent with other views.
So always use the current focus when calling CountLines.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: improve notify:replaced handling

If the region being replaced is large, me might need to discard marks
that are in it.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: simplify count_calculate()

There is no need to make a special case of m being after end, because m
is always at the start of the file.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: remove 'start' arg from count_calculate()

We always pass NULL for the 'srart' to count_calculate().  So remove all
code that only runs if start != NULL, and remove 'start'.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: don't pass mark to doc:CountLines at startup

When we create line CountLines pane, we jut want to initialise the line
count.  So don't pass in ->mark.  It is meaningless and is ignored.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: ignore Notify:Clip

We cannot possible get a Notify:Clip message, so don't try to handle it.

Notify:Clip comes from a child, and we don't have any.
The only commands we can get are ones we have explicitly requested from
the doc.

Signed-off-by: NeilBrown <neil@brown.name>

linecount: use a more natural means of registering Notify:Close

Rather than overloading doc:Countlines, use the normal doc:request:
to register for Notify:Close.

Signed-off-by: NeilBrown <neil@brown.name>

line-count: limit ranges based on words and chars as well as lines.

Increase the gap between markers from 50 to 100 - just because.
Also limit to 1000 words or 10,000 chars, just in case there are
some very big lines.

Signed-off-by: NeilBrown <neil@brown.name>

python: change how modules are loaded into the interpreter

Each edlib module is now a separate python module.
They must all "import edlib" and can find the editor pane in
"edlib.editor"
They must also import any modules they use.

Signed-off-by: NeilBrown <neil@brown.name>

python: discard python-load

The "python-load" command has never been used, and might not work.
Discard it until I have a reason to resurrect it.

Signed-off-by: NeilBrown <neil@brown.name>

ncurses: don't block in nc_external_viewer

Rather than blocking the whole editor while waiting for use to
copy/paste for plain-text screen, set a flag to say that the display is
suspended, and resume on next key stroke collected in the normal way.

Also timeout after 30 seconds.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: reply to first VISIBLE text part

Instead of choosing first text part, choose first visible text part for
interpolating into reply.

Signed-off-by: NeilBrown <neil@brown.name>

input: remove unnecessary 'safe' annotations.

Marking local vars as 'safe' makes no sense.

Signed-off-by: NeilBrown <neil@brown.name>

emacs-search: guard against ->target closing too.

If ->target closes, we should get closed first.  But we shouldn't really
depend on that, so explicitly catch the close notification and handle it.

Signed-off-by: NeilBrown <neil@brown.name>

emacs-search: get notification when panes close.

If we hold a reference to a pane, we must get Notify:Close notifications
from it, and clear the pointer if that happens.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: improve handling of "%d quoted lines" marker

Clicking on the marker now stays on the line.  As few other bits aren't
quite perfect yet.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: don't accidentally make back-refs with impossible capnum.

If we try to make a backref with an impossible CAPture NUMber, it will
look like an invalid opcode, and rexel will abort() (which it
shouldn't...).  So make sure it doesn't happen.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: wait for thread_p

I wasn't waiting for this subprocess to exit.  It would sometimes hang
around as a zombie.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: convert html entities in URL.

I didn't realise that w3m put html entities in the URL - e.g. &amp;

Signed-off-by: NeilBrown <neil@brown.name>

TODO: small updates to v1.0 goal.

Signed-off-by: NeilBrown <neil@brown.name>

TODO: revise priorities.

Discard priorities that aren't that important, and sort others into
small, medium, and large.

'Trivial' can be things that aren't mentioned elsewhere, should be
trivial, and should done first.  If not done first, copy to proper home.

Signed-off-by: NeilBrown <neil@brown.name>

TODO: merge bugs into priorities.

All "Bugs" are now just "priorities", and exist both in that list, and
in the list for the relevant module.

Signed-off-by: NeilBrown <neil@brown.name>

TODO: all current-priorities must be in correct section too

"current priorities" are now copied from where-ever.  Nothing should be
there that isn't somewhere else.

Signed-off-by: NeilBrown <neil@brown.name>

TODO: move the [1] stuff.

Instead of using [1] for high-priority suggestions, just copy them into
the 'Current priorities' section.

Signed-off-by: NeilBrown <neil@brown.name>

TODO: remove anything marked [X]

That which is done, is done.

Signed-off-by: NeilBrown <neil@brown.name>

Wait for processes we fork.

Keep track of the xdg-open processes we fork, and wait for them as
appropriate.

Also make sure we catch the correct TimeoutExpired except when a notmuch
search takes too long, so we can kill and wait for the process.

Signed-off-by: NeilBrown <neil@brown.name>

pdf,doc: mark urls.

Copy the url-marking code from notmuch as use it to mark urls in
converted pdf and doc.
I don't know that this is a good idea.. Let's see if I find it useful.

Signed-off-by: NeilBrown <neil@brown.name>

multipart: don't assume sub-panes never disappear.

If a part-pane sends a Notify:Close we REALLY mustn't touch it again.
So we must set the pointer to NULL.  Even though we start closing down,
something bad could happen.

I had a crash where the attempt to send "doc:closed" to all panes
crashed on one that had already been closed.

So remove the 'safe' marking, handle the fall-out, and set .pane to NULL
when told to.

Signed-off-by: NeilBrown <neil@brown.name>

tests: filter out duplicate "Display" lines.

The 02-grep often duplicates some Display lines, apparently at random.
I don't know why and it doesn't show a display bug.
So filter them out to avoid unnecessary test failure.

Signed-off-by: NeilBrown <neil@brown.name>

lib-renderline: Introduce word-wrap.

If word-wrap is set, make all spaces wrap-points, except at the start of
the line.
Enable this in email reading, and in mark-down.

Signed-off-by: NeilBrown <neil@brown.name>

Change rules for doc:render-line with mark2

When doc:render-line is called with mark2, this doesn't interrupt the
rendering, but simply reports (via ->num in the callback) the offset
where mark2 was found.

Now ->num is either negative, or the number of chars to process.
NO_NUMERIC is no longer relevant and is not tested for.

I think this is simpler as ->num and ->mark2 are not independent.

Signed-off-by: NeilBrown <neil@brown.name>

renderline: fix cursor pos after early wrap.

If a line wraps before he end, due to an early wrap marker, the cursor
will appear where it would have been if the line had been truncated
rather then wrapped.

We need to detect when a "flush" stopped because if found a wrap marker,
and to adjust the cursor pos in that case.

Signed-off-by: NeilBrown <neil@brown.name>

renderline: ensure attr lists always start/end with ','

Also make sure they *only* contains ",," at a location to pop back too.

Some of the code already put ',' at start, and most put ',' at end, and
some code depended on this more than others.
Make it more uniform.

Signed-off-by: NeilBrown <neil@brown.name>

mark: separate mark:moving from mark:arrived

The mark:moving notification was originally for when a specific mark
moved at all.
For b64 I extended it to also notify when *any* mark moved to a specific
mark.
This can cause illegal nested notification if a mark:moving handler
tries to move a (non-specific) mark.  That is bad.

So separate the two: Add mark:arrived for when a mark is moved to a
flagged marks.

Also make sure all new marks aren't flagged.  I invert the sense of the
flag and call it "MARK_FLAG_WATCHED".  This will be clear by default,
and only set once the (renamed) mark_watch() is called.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: filter out markup when extracting text

Add a doc:content overlay on w3m docs which strip out markup and convert
html &entities;

Signed-off-by: NeilBrown <neil@brown.name>

python: handle unterminated strings from doc-text

doc-text sends an unterminated string to the callback for doc:content.
Python doesn't handle this well.

So create a kludge:  If the key ends " unterminated", then use ->num2 as
a max length of ->str

Signed-off-by: NeilBrown <neil@brown.name>

compose-email: don't intercept doc:char

We only intercept doc:char to make the headers intangible.
Instead, catch mark:moving and keep point away from these.

Signed-off-by: NeilBrown <neil@brown.name>

markup: quote '<' when they are interpolated from attr

when map-attr provides a string to be interpolated, quote any '<' char
correctly.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: use mark:moving to avoid getting stuck in quoted lines

Currently the 'point' can get stuck in hidden quoted-line and 'up'
movements get lost.
Use mark:moving (which is always sent on 'point') to see when this
happens, and to escape.

Signed-off-by: NeilBrown <neil@brown.name>

display-xcb - silence "may be uninitialised warning"

gcc cannot tell that x and y are only used if 'src', and they are
initialised if 'src' is set.  So help it out.

Signed-off-by: NeilBrown <neil@brown.name>

pdf-to-text convert to delayed/async conversion

pdf-to-text now happens asynchronously on demand

Signed-off-by: NeilBrown <neil@brown.name>

w3m-to-text: convert to delayed/async processing.

If allowed, don't convert to text until requested.

Signed-off-by: NeilBrown <neil@brown.name>

doc-to-text: don't wait for conversion to complete.

If permitted by called, don't start the conversion to text until a
notification arrives.

This requires getting multipart to forward doc:replaced notifications.

Signed-off-by: NeilBrown <neil@brown.name>

doc-email: send a notification when a 'transformed' pane is made visible.

We don't really want to process attachments until asked.  So allow the
transform tool to be notified when it is time.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: ensure reply and similar clear unread and new

Now that "new" is being cleared less aggressively, make sure we clear it
when we reply to a message.

Signed-off-by: NeilBrown <neil@brown.name>

Move my personal configuration out of the git tree.

Have config.py load $HOME/.config/edlib/config.py, and move the config
that is specific to me into there.

Signed-off-by: NeilBrown <neil@brown.name>

introduce doc:append:...

doc:append: is similar to doc:set:, but the given value is appended to
the attr if it exists.
The value should start with a separator character, and this is removed
if it is the first item to be appended.

Use this to simplify setting of "view-default"

Signed-off-by: NeilBrown <neil@brown.name>

textfill: default fill:end-re to fill:start-re

The regexp for start and end of para are usually the same, so if end-re
isn't given, use the same as start-re.

Use this to simplify md config, and enhance it a bit.

Signed-off-by: NeilBrown <neil@brown.name>

text-fill: revert recent change when getting attributes.

Now the doc-attributes default to getting a pane-attribute, we don't
need the fall-back code in text-fill

Signed-off-by: NeilBrown <neil@brown.name>

doc: add default doc:get-attr which returns pane attribute.

Sometimes we want an attribute which can vary with location in the document,
but offen i satisfied with a document-wide value.
fill:start-re is a good example.

Provide a default doc:get-attr, which will be called if no attr can be
found at the specific location.  This returns a pane attribute is
possible.

Also ensure all current doc:get-attr function fall through if they
cannot find a value.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: add K-X to show the extra headers

Rather than requiring a mouse-click, use K-X to show the extra headers.

Signed-off-by: NeilBrown <neil@brown.name>

Update some copyright dates.

.. because ... why not?

Signed-off-by: NeilBrown <neil@brown.name>

C code - remove stray LOG() calls.

I don't think I want any of these.

Signed-off-by: NeilBrown <neil@brown.name>

python: remove stray edlib.LOG calls.

There debugging calls got left in..

Signed-off-by: NeilBrown <neil@brown.name>

handle text-fill in .md files better.

Enhance text-fill so that various style attributes can be on the pane
rather than on the character, and set pane attributes for markdown to
notice the starts of various paragraph types, particularly the various
list entries.

Signed-off-by: NeilBrown <neil@brown.name>

textfile: copy prefix from most recent line.

When wrapping just the last line of a para, copy the prefix from that
line to the next.  This improves stability for ad-hoc formatting.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: include local-time as an extra header

Determine timestamp in local time and add that as an extra header.
Also move thread-id to the end, so that all file names are together.

Signed-off-by: NeilBrown <neil@brown.name>

ncurses: fix transparent images in default color-space

When fg/bg are the defaults, pair_content() doesn't provide us with
useful information, so we have to assume "white"-ish.

Signed-off-by: NeilBrown <neil@brown.name>

search: avoid infinite look with inconsistent doc:step function.

If doc:step moves back further than we expect, search_backwards can loop
forever. So check for that possibility and abort.

Signed-off-by: NeilBrown <neil@brown.name>

Fix missed conversions from -2 to Efail.

When I changed from magic numbers to words, I missed this one.

Signed-off-by: NeilBrown <neil@brown.name>

email: support text display of some office docs.

 .doc  .docx  .odt

now get passed to lowriter for conversion to text.

Signed-off-by: NeilBrown <neil@brown.name>

search: speed up backwards search.

Rather stepping back one char at a time and attempting a match, step
back larger and larger numbers of chars, and search in that range.
Once we find, search forward for the last match.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: add an 'advance' flag to turn on anchored search.

If we want to find a match that *starts* before a given point but may
continue after that point, we cannot just stop when we reach the point,
but we must enable anchored-match when we do.

Introduce matching "anchor_at_end" flag in lib-search which used this
flag.
With anchor_at_end, the match must start by the end mark.
Without, it must be complete by the end mark.

Signed-off-by: NeilBrown <neil@brown.name>

lib-search: fix bug with matching a pattern that ends at point

Calling rxl_advance() is problematic as merging the two return code is
not trivial.
We really want all the flags that go before a given character to be
handled together.
So set a flag when we see the point, then set the RXL_POINT flag the
next time around.

Signed-off-by: NeilBrown <neil@brown.name>

rexel/c-mode/TODO: minor comment updates.

Various minor non-code updates

Signed-off-by: NeilBrown <neil@brown.name>

core: make it easy to disable timing when running under gdb.

Under gdb, things don't happen fast, so we need to be able to disable
the "pane_too_long()" test.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: store wctype values directly in rxl array

Rather than having a static mapping from a 2-byte value stored in the
rxl array to an 8-byte wctype_t, store the wctype_t directly in the rxl
array, using as many entries as needed.

Signed-off-by: NeilBrown <neil@brown.name>

TODO.md: clean up

Remove a bunch of 'done' things - including some that weren't even
marked as done.
And fix typos etc.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: fix handling of sets for planes > 0

I wasn't including the plane number in the set size, or extracting and
using it.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: support unicode beyond 0x7ffff

The comment said we have to create a set for unicode beyond 15 bits, but
the code doesn't.
Instead reserve 17 code value to identify a unicode plane, and the next
'short' is combined to create a full unicode codepoint.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: properly initialise ->link array

->link[x][0] wasn't being initialised.  I wonder how this ever works.
valgrind wonders why I never asked it before.

Signed-off-by: NeilBrown <neil@brown.name>

TODO: move in a separate 'priorities' file.

For some reason I made a separate list of priorites a while ago.  Here
are the remaining one.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: rename RXL_ANCHORED and RXL_BACKTRACK to RXLF_*

The RXL_ prefix is used for flags to both rxl_prepare() and
rxl_advance(), which might be confusing.
So change the prepare flags to RXLF_ - RXL flag.

Signed-off-by: NeilBrown <neil@brown.name>

text: normalize marks before passing to content callback

The mark that we pass to the content call-back must be normalised - or
bad things happen.

Signed-off-by: NeilBrown <neil@brown.name>

doc-text: text_check_consistent fixes

1/ Don't alter the document while checking - the "normalize" call must
  be on a local variable
2/ check for non-normalized marks when checking marks.

Signed-off-by: NeilBrown <neil@brown.name>

tests: always specify EDLIB_RECORD with EDLIB_REPLAY

'tests view' was behaving differently to other tests.  It seems to be
because EDLIB_RECORD was missing.  So let's add it.

Signed-off-by: NeilBrown <neil@brown.name>

Avoid showing shell output when it requested an edit window

If a shell command is run which creates an edit window using lib-server,
we don't really want to show the output until the command completes.

Signed-off-by: NeilBrown <neil@brown.name>

emacs: if shell command produces no output - say so.

If a shell command exits quickly with no output, emacs mode currently
writes and empty string (the output) to the message line, which isn't a
lot of help.
Instead, write a message that the command did complete - and report any
exit code.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: simplify how 'new' tag is cleared

When the search view is explicitly closed with 'q', all new
threads/messages that have been listed get the 'new' tag cleared.
Any implicit close no longer does that.

Signed-off-by: NeilBrown <neil@brown.name>

rexel: add lax-searching for quotes.

In lax mode, all three ASCII quotes now much the same.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: handle display of alternatives that are multipart.

An alternative can be multipart, e.g. multipart/related.
In that case it won't be the last segment of the path which
says "alternative".  We have to look earlier.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: Hide all of multiline tag

Previously we were not hiding the newline in a multiline tag, so it
would appear as blank lines.

Extend markup:not_eol to ignore eol when rendering forward as well as
when moving backward, and use it in w3m to completely hide things.

Signed-off-by: NeilBrown <neil@brown.name>

email: ensure text parts always provide characters.

If a base64 part does not declare a charset, we don't provide one, so no
chars are available, only bytes.
This is fine for PDF which wants bytes, but bad for html.
So check for text and require some charset.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: reassert attrs at start of line properly

The current code might reassert attrs inside the next tag.  We need to
find tags with no reference to line breaks, then look at newlines
between tags.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: hide all of a multi-line tag

If a tag contains line breaks, we need to reassert the "hide" attribute
on each line.

Signed-off-by: NeilBrown <neil@brown.name>

markup: fix normalisation of priorities.

When I clipped priority to 0:65535, I didn't do it at all for
as_clear(), and not completely for as_add().

Signed-off-by: NeilBrown <neil@brown.name>

w3m: only mark up html entities between tag.

html entities inside tags need to be invisible, so we don't want to mark
them at all.

Signed-off-by: NeilBrown <neil@brown.name>

w3m: support ALL html entities

WE now have a list of all HTML entities.
Also fix handling of &#NNN; where NNN is decimal.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch/w3m: add more html entities

Also ensure they get displayed...

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: avoid inconsistent value of thread_end

thread_end points to the start of the next thread after thread_start.
Changes to the document can insert another thread in between which
causes strange display.
So always recalc thread_next when the doc changes.

Signed-off-by: NeilBrown <neil@brown.name>

TODO - remove everything that is marked as done.

ta-done

Signed-off-by: NeilBrown <neil@brown.name>

ncurses: display low-res images

Each character cell can be 2 pixel.  This allows low-res image display.

Signed-off-by: NeilBrown <neil@brown.name>

render: disable background images for text displays

If scale:M isn't set, then we cannot usefully do background images, so
don't even try.

Signed-off-by: NeilBrown <neil@brown.name>

ncurses: manage color pair separately from attributes.

When we combine the color pair in to the attributes we are limited to
255 pairs.  However we can pass it in separately and get many
more.

Signed-off-by: NeilBrown <neil@brown.name>

make: restore "replaceable" status for default search term

I find that I like the "replaceable" status... maybe it isn't so bad now
that the cursor is at the front.

Signed-off-by: NeilBrown <neil@brown.name>

notmuch: allow html even when we have plain text.

Now that I have w3m doing a decent job of html display, use it in
preference to text/plain and see what I think.

Signed-off-by: NeilBrown <neil@brown.name>

Use w3m to decode HTML in email messages

Use "w3m -halfdump" and parse out the remaining markup
to give bold and links etc.

Signed-off-by: NeilBrown <neil@brown.name>

ensure html decoding works over base64

b64 doesn't provide chars, just bytes.... Maybe it should get
a utf-8 overlay!!

Signed-off-by: NeilBrown <neil@brown.name>