行の結合時に言語的特性を判断してスペースを入れる

[kmuto]

段落を形成する連続2行の文末・文頭が両方英字の場合はリテラルスペースを加えるほうが一般によさそう。

• 改行時に前後文字の文字種を判断してスペースを入れる機能があるのはTeXとFirefoxくらい
• 結合自体の処理は利用シーン上必須
• 結合ルールにはいくつか手法がある
• Unicode情報を使う？
• 文字幅を使う？

議論

#1312 のうち

• 行の最後が日本語文字なら改行を無視する ?
• たぶん https://unicode.org/reports/tr29/#Word_Boundary_Rules の逆を考えればよいような気がする…。
• https://twitter.com/zr_tex8r/status/1135510295709868032 のスレッド
• https://twitter.com/golden_lucky/status/1135514994416603136
• white spaceの扱いよりは、line breakingとword separatorの扱いの仕様を元に考えた方がよいかも、と思いました。
• https://drafts.csswg.org/css-text-3/#line-breaking
• https://www.w3.org/TR/typography/#line_breaking
• https://www.w3.org/International/articles/typography/linebreak.en
• そして、上記をなんとなく眺めた限りでは、とりあえず改行の前後がひらがな・カタカナ・漢字の場合(JapaneseとChinese)は改行を無視して、それ以外は改行を活かすかU+0020にする、くらいが妥当かなあ…という気がしています（modern Hangulにはword separatorがあるのでそこで改行しそう。あとKhmer、Lao、Thai辺りは困ったときに再考したい）。
• https://github.com/takahashim/unicode-eaw nodeのeastaを移植した、East Asian Widthを取得する軽量ライブラリです。

参考実装

#1323

[kmuto]

#1362 でひとまず実装しました。