feat(string): 文字列と文字とCode PointとCode Unitについて #188

azu · 2017-02-23T08:40:39Z

文字列を構成する文字とUnicodeについて

文字列
文字とは
Code Unit
Code Point

長い！

Notes:

以下は意図的に書いてないです。がそこまで正確にUnicodeを理解してないので、間違えてない範囲で省いてるという感じ。

Unicode用語の詳細
- Unicodeを解説したいわけでもないので
結合文字
Combining Marks
- JavaScriptにおいて上手く扱う方法(メソッドのようなもの)があまりないため
- String#normalizeは今回入れないため

#121

hiroppy · 2017-02-23T08:44:26Z

source/basic/string/README.md

+"あ".codePointAt(0); // => 12354
+```
+
+逆に、"String.fromCodePoint`メソッドを使うことで、指定したCode Pointの文字を取得できます。


azu

ひとまず書いた

azu · 2017-02-23T08:41:51Z

source/basic/string/README.md

+- [ ] TODO: リテラルとラッパーオブジェクトの違いについては別途参照
+
+**文字**は**文字列**を構成する要素で、**配列の要素**と**配列**の関係に似ています。
+文字列においても、配列と同様にインデックスを指定することで、指定したインデックスにある文字へアクセスできます。


冗長。
配列と同様にインデックスでアクセスできます。

ぐらいでよさそう。具体的なコード見れば分かるだろうし

azu · 2017-02-23T08:42:47Z

source/basic/string/README.md

+私達は視覚的に文字を認識しますが、コンピュータでは文字の形ではなく、「ひらがなの『あ』という種類の文字」といった情報をやり取りします。
+また、視覚的に見えない制御文字や結合文字のように情報を組み合わせて扱うものも存在します。
+
+- [ ] 制御文字の例


これコンパクトに表を書くか、\nみたいな具体例を幾つか書くか迷う。

azu · 2017-02-23T08:43:45Z

source/basic/string/README.md

+
+- [ ] 制御文字の例
+
+制御文字など含めた文字は、JavaScriptエンジン上で一意なビット列に変換されて扱われます。


JavaScriptエンジン上で

多分なんか言い回しが変。
UTF-16は外部コードであるはずだから、エンジン内部でそういうふうに変換されるかってたしかではない気も?

azu · 2017-02-23T08:44:33Z

source/basic/string/README.md

+- [ ] 制御文字の例
+
+制御文字など含めた文字は、JavaScriptエンジン上で一意なビット列に変換されて扱われます。
+文字をビット列へ変換することを符号化（エンコード）と呼びます。


（）大体かっこない(カタカナ)の表記をメインとして使ってるので、この辺って逆転した方がいいのかな?

エンコードで十分伝わると思います

azu · 2017-02-23T08:44:57Z

source/basic/string/README.md

+文字をビット列へ変換することを符号化（エンコード）と呼びます。
+
+文字とビット列の組み合わせを定義したものが文字コードであり、JavaScriptでは文字コードとしてUnicodeを採用しています。
+また、UnicodeにはUTF-8、UTF-16、UTF-32と文字をエンコードする方法がいくつかありますが、JavaScriptではUTF-16を採用しています。


それ以外だとほぼ死んだUTF-7とかがある

などでごまかしては

そうですね。

UnicodeにはUTF-8、UTF-16などエンコードする方式がいくつかありますが、JavaScriptではUTF-16を採用しています

ぐらいな感じですかね。

azu · 2017-02-23T08:45:52Z

source/basic/string/README.md

+
+Unicodeでは、文字と1対1で対応するビット列を表のようなもので管理されています。
+たとえば、"A"という文字は表の56の位置にあるといった、文字とビット列にはそれぞれ対応位置が決められています。
+この、対応表における位置のことを符号位置（Code Point）と呼びます。


BMPを触れたくなくて抽象的に "表" と言ってる

azu · 2017-02-23T08:46:11Z

source/basic/string/README.md

+"あ".codePointAt(0); // => 12354
+```
+
+逆に、"String.fromCodePoint`メソッドを使うことで、指定したCode Pointの文字を取得できます。


バッククオートおかしくなってる

azu · 2017-02-23T08:46:47Z

source/basic/string/README.md

+```
+
+このようにCode Unitは歴史的な経緯もあり、1つまたは2つのCode Unitで1つのCode Pointを表現します。
+JavaScriptでは基本的にStringメソッドは文字列をCode Unitが並んでいるものとして扱います。


は、文字列を としたい

azu · 2017-02-23T08:46:57Z

source/basic/string/README.md

+JavaScriptでは基本的にStringメソッドは文字列をCode Unitが並んでいるものとして扱います。
+
+```
+"文字列"


js 抜けてる

azu · 2017-02-23T08:47:22Z

source/basic/string/README.md

+
+次の2つは例外として、文字列をCode Pointが並んでいるように扱います。
+
+- Iterator（`for...or`や`Array.from`など)


何かもっと直感的な例があるとよさそう?

azu · 2017-02-23T08:50:16Z

source/basic/string/README.md

- [ ] 文字
+ここでいう文字列とはどのようなものでしょうか？
+
+「文字列（string）」とは「文字」が順序に連続したものです。


この言い回しも多分ばらついてるので統一した言い方にしたい

「文字列」とは「文字」が順番に並んでいるものです。

がいいかな。
多分、プログラマのための文字コード技術入門の表現の影響受けてる。

azu · 2017-02-23T08:53:48Z

JSONでユニコードシーケンスでかくことで " などをエスケープしないで書けるから、よく使われてるという話を書いてない(書いたけど入れる場所がなくて消してた)

yumetodo · 2017-02-23T09:38:12Z

source/basic/string/README.md

+符号単位（Code Unit）は、文字を表現する最小の単位ですが、解説をする前にまずUnicodeの歴史を振り返る必要があります。
+
+Unicodeは元々16ビットつまり最大65,536文字で世界中の文字が収まるという前提で、文字とビット列の組み合わせを定義していました。
+しかし、今もなお増えている文字が65,536文字で収まるわけもなく、1文字が16ビットで表現できるという前提は崩れてしまいました。


1文字が

これでは曖昧なので1codepointとかするべきでは？

yumetodo · 2017-02-23T09:40:06Z

source/basic/string/README.md

+このエンコード方式がUTF-16です。
+
+JavaScriptの仕様であるECMAScriptもUTF-16を採用しているため、この16ビットを2つ並べる方式に対応しています。
+この16ビット1つのことが**符号単位（Code Unit）**であり、文字列における最小の単位で、すべての文字列はCode Unitが並んでいるものとして扱われます。


「したがって」のような接続詞がないと、UTF-16のみならずすべてに適用されてしまうのでは？

azu · 2017-02-28T01:23:41Z

source/basic/string/README.md

+- Iterator（`for...or`や`Array.from`など)
+- メソッドに`CodePoint`という名前を含むもの
+
+### 文字列とCode UnitとCode Point {#string-code-unit-code-point}


まとめっぽいものを追加した

yumetodo · 2017-02-28T09:43:10Z

整理されてわかりやすくなった気がする。

feat(string): Code PointとCode Unitについて

f76f0a6

hiroppy reviewed Feb 23, 2017

View reviewed changes

azu commented Feb 23, 2017

View reviewed changes

fix(string): `に修正

8555668

azu commented Feb 23, 2017

View reviewed changes

azu added 4 commits February 23, 2017 18:09

chore(string): 並んでいるものとして

da410c3

fix(string): インデックスについてを追加

bbb2f09

chore: 読みを追加

1637ef0

chore(string): fix typo

66a9e12

yumetodo reviewed Feb 23, 2017

View reviewed changes

azu changed the title ~~feat(string): Code PointとCode Unitについて~~ feat(string): 文字列と文字とCode PointとCode Unitについて Feb 24, 2017

azu requested a review from lacolaco February 24, 2017 12:00

azu added 14 commits February 27, 2017 10:20

fix(string): などとした

8a26a8a

fixup! 表現の統一

e60c525

fixup! js langを追加

bad6bfc

1文字 == 16bitという対応を隠した

ead778d

fix: Code Pointと16bit

6d45701

fix: Code Unitの説明を修正

b617a6e

feat(string): まとめを追加した

b363fe0

chore: TODOを削除

3bc86aa

chore: 短く

0230c36

chore: 対応位置

bba421c

chore: 制御文字ではない

aafbe29

chore: 文字を構成するもの

4847f3a

chore: 。を削除

27efb0f

chore: JavaScript

0679963

azu commented Feb 28, 2017

View reviewed changes

chore: 16bit不要

e91508a

azu merged commit 80ce19c into master Feb 28, 2017

azu deleted the code-unit-point branch February 28, 2017 10:56

yumetodo mentioned this pull request Dec 18, 2018

文字列: 章の再構成 #598

Closed

2 tasks

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

feat(string): 文字列と文字とCode PointとCode Unitについて #188

feat(string): 文字列と文字とCode PointとCode Unitについて #188

azu commented Feb 23, 2017 •

edited

Loading

hiroppy Feb 23, 2017

azu left a comment

azu Feb 23, 2017

azu Feb 23, 2017

azu Feb 23, 2017

azu Feb 23, 2017

yumetodo Feb 23, 2017

azu Feb 23, 2017

yumetodo Feb 23, 2017

azu Feb 23, 2017

azu Feb 23, 2017

azu Feb 23, 2017

azu Feb 23, 2017

azu Feb 23, 2017

azu Feb 23, 2017

azu Feb 23, 2017

azu Feb 23, 2017

azu commented Feb 23, 2017

yumetodo Feb 23, 2017 •

edited

Loading

yumetodo Feb 23, 2017

azu Feb 28, 2017

yumetodo commented Feb 28, 2017


		- [ ] 制御文字の例

		制御文字など含めた文字は、JavaScriptエンジン上で一意なビット列に変換されて扱われます。


		次の2つは例外として、文字列をCode Pointが並んでいるように扱います。

		- Iterator（`for...or`や`Array.from`など)

feat(string): 文字列と文字とCode PointとCode Unitについて #188

feat(string): 文字列と文字とCode PointとCode Unitについて #188

Conversation

azu commented Feb 23, 2017 • edited Loading

Choose a reason for hiding this comment

azu left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

azu commented Feb 23, 2017

yumetodo Feb 23, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

yumetodo commented Feb 28, 2017

azu commented Feb 23, 2017 •

edited

Loading

yumetodo Feb 23, 2017 •

edited

Loading