Архивы по дням: 01.09.2021

Синтаксис Токенов CommonToken :: IdentifierName PrivateIdentifier Punctuator NumericLiteral StringLiteral Template   Примечание Производства DivPunctuator, RegularExpressionLiteral, RightBracePunctuator и TemplateSubstitutionTail получают дополнительные токены, которые не включены в производство CommonToken. Информационные ссылки ECMAScript | Язык ECMAScript: лексическая грамматика Стандарт ECMAScript — Раздел «12.5 Tokens» — https://tc39.es/ecma262/#sec-tokens

Комментарии могут быть однострочными или многострочными. Многострочные комментарии не могут быть вложенными. Поскольку однострочный комментарий может содержать любую кодовую точку Unicode, кроме кодовой точки LineTerminator, и из-за общего правила, согласно которому токен всегда является максимально длинным, однострочный комментарий всегда состоит из всех кодовых точек из маркера // до конца строки. […]

Также как и кодовые точки пробела (white space code points), точки кода конца строки (line terminator code points) используются для улучшения читаемости исходного текста и для отделения лексем (неделимых лексических единиц) друг от друга. Однако, в отличие от кодовых точек пробелов, терминаторы строк имеют некоторое влияние на поведение синтаксической грамматики. […]

Кодовые точки пробелов используются для улучшения читаемости исходного текста и для отделения лексем (неделимых лексических единиц) друг от друга, но в остальном они не имеют значения. Кодовые точки пробела могут встречаться между любыми двумя токенами и в начале или в конце ввода. Кодовые точки пробелов могут встречаться в StringLiteral, RegularExpressionLiteral, […]

Управляющие символы формата Unicode (т. е. символы в категории «Cf» в базе данных символов Unicode, такие как LEFT-TO-RIGHT MARK или RIGHT-TO-LEFT MARK) представляют собой управляющие коды, используемые для управления форматированием диапазона текста при отсутствии для этого протоколов более высокого уровня (например, языков разметки). Полезно разрешить использование символов управления форматом в […]