One place for hosting & domains

      управление

      Индексация, разделение и управление строками в JavaScript


      Введение

      Строка — это последовательность из одного или нескольких символов, которая может включать цифры, буквы или специальные символы. Для доступа к каждому символу в JavaScript можно использовать индекс, для всех строк доступны методы и свойства.

      В этом учебном модуле мы изучим разницу между примитивами строк и объектом String, узнаем об индексации строк, доступе к символам в строке и общих свойствах и методах, используемых при работе со строками.

      Примитивы и объекты String

      Для начала мы расскажем о двух типах строк. JavaScript различает примитив string, или неизменный тип данных, и объект String.

      Чтобы показать различия, мы инициализируем примитив строки и объект строки.

      // Initializing a new string primitive
const stringPrimitive = "A new string.";

// Initializing a new String object
const stringObject = new String("A new string.");

      Для определения типа значения можно использовать оператор typeof. В первом примере мы просто назначили строку переменной.

      typeof stringPrimitive;

      Output
      string

      Во втором примере мы использовали new String() для создания объекта строки и назначения его переменной.

      typeof stringObject;

      Output
      object

      Большую часть времени вы будете создавать примитивы строк. JavaScript обеспечивает возможность доступа и использования встроенных свойств и методов оболочки объекта String без фактического изменения примитива строк, который мы создали в объекте.

      Хотя эта концепция довольно сложная, вам следует понимать различия между примитивом и объектом. Методы и свойства доступны всем строкам, и JavaScript в фоновом режиме выполняет преобразование примитивов в объекты и обратно каждый раз, когда вызываются метод или свойство.

      Процедура индексации строк

      Каждому из символов в строке соответствует числовой индекс, начиная с 0.

      Для наглядности мы создадим строку со значением How are you?.

      Howareyou?
      01234567891011

      Первый символ этой строки — H, ему соответствует индекс 0. Последний символ — ?, соответствующий символу 11. У символов пробела также имеются индексы на позициях 3 и 7.

      Возможность доступа к каждому символу строки даст нам множество способов для работы со строками и совершения манипуляций с ними.

      Доступ к символам

      Мы продемонстрируем, как получить доступ к символам и индексам в строке How are you?.

      "How are you?";

      Используя обозначения в квадратных скобках, мы можем получить доступ к любому символу в строке.

      "How are you?"[5];

      Output
      r

      Также мы можем использовать метод charAt() для возврата символа, используя числовой индекс в качестве параметра.

      "How are you?".charAt(5);

      Output
      r

      Другой способ: мы можем использовать indexOf() для возврата числового индекса для первого экземпляра символа.

      "How are you?".indexOf("o");

      Output
      1

      Хотя “o” появляется в строке How are you? дважды, метод indexOf() выдаст результат для первого экземпляра.

      lastIndexOf() используется для поиска последнего экземпляра.

      "How are you?".lastIndexOf("o");

      Output
      9

      С помощью обоих этих методов также можно найти несколько символов в строке. Он возвращает индекс первого символа в экземпляре.

      "How are you?".indexOf("are");

      Output
      4

      С другой стороны, метод slice() возвращает символы между двумя числовыми индексами. Первым параметром будет начальный числовой индекс, а вторым — конечный числовой индекс.

      "How are you?".slice(8, 11);

      Output
      you

      Обратите внимание, что 11 соответствует ?, но ? не является частью вывода, поскольку метод slice() возвращает символы между индексами, не включая последний параметр.

      Если второй параметр не указывается, slice() возвращает все символы от первого параметра до конца строки.

      "How are you?".slice(8);

      Output
      you?

      Таким образом, charAt() и slice() возвращают значения строк по числовым индексам, а indexOf() и lastIndexOf() имеют противоположное действие, возвращая числовые индексы по заданным символам строки.

      Определение длины строки

      Свойство length позволяет вывести количество символов в строке.

      "How are you?".length;

      Output
      12

      Помните, что свойство length возвращает фактическое количество символов, начиная с 1, то есть, 12, а не последний числовой индекс диапазона, который начинается с 0 и заканчивается 11.

      Преобразование в верхний или нижний регистр

      Встроенные методы toUpperCase() и toLowerCase() можно использовать для форматирования и сравнения текста в JavaScript.

      toUpperCase() конвертирует все символы в верхний регистр.

      "How are you?".toUpperCase();

      Output
      HOW ARE YOU?

      toLowerCase() конвертирует все символы в нижний регистр.

      "How are you?".toLowerCase();

      Output
      how are you?

      Эти два метода форматирования не принимают дополнительных параметров.

      Следует отметить, что эти методы не изменяют первоначальную строку.

      Разделение строк

      В JavaScript имеется полезный метод разделения строк по символу и создания нового массива из полученных частей. Мы используем метод split() для разделения массива по символу пробела, представленного " ".

      const originalString = "How are you?";

// Split string by whitespace character
const splitString = originalString.split(" ");

console.log(splitString);

      Output
      [ 'How', 'are', 'you?' ]

      Теперь мы получили новый массив в переменной splitString и можем получить доступ к каждому разделу с помощью числового индекса.

      splitString[1];

      Output
      are

      Если указан пустой параметр, split() создаст разделенный запятыми массив, содержащий все символы в строке.

      Разделяя строки, вы можете определить, сколько слов содержится в предложении, или использовать метод для определения имен и фамилий людей.

      Обрезка пробелов

      Метод JavaScript trim() удаляет пробелы с обоих концов строки, но не из промежутка между ними. Пробелами могут являться обычные пробелы или символы табуляции.

      const tooMuchWhitespace = "     How are you?     ";

const trimmed = tooMuchWhitespace.trim();

console.log(trimmed);

      Output
      How are you?

      Метод trim() — это простой способ выполнения распространенной задачи по удалению лишних пробелов.

      Поиск и замена значений строк

      Мы можем использовать метод replace(), чтобы найти в строке значение и заменить его новым значением. Первым параметром будет искомое значение, а вторым параметром — значение, которое его заменит.

      const originalString = "How are you?"

// Replace the first instance of "How" with "Where"
const newString = originalString.replace("How", "Where");

console.log(newString);

      Output
      Where are you?

      Помимо замены значений в строках, мы также можем использовать регулярные выражения для расширения возможностей метода replace(). Например, replace() влияет только на первое значение, но мы можем использовать флаг g (глобальный), чтобы найти все экземпляры значения, и флаг i (без учета регистра), чтобы игнорировать регистр.

      const originalString = "Javascript is a programming language. I'm learning javascript."

// Search string for "javascript" and replace with "JavaScript"
const newString = originalString.replace(/javascript/gi, "JavaScript");

console.log(newString);

      Output
      JavaScript is a programming language. I'm learning JavaScript.

      Это очень распространенная задача с использованием регулярных выражений. Посетите Regexr, чтобы потренироваться с другими примерами регулярных выражений.

      Заключение

      Строки — один из самых распространенных типов данных, и с ними можно выполнять множество разных операций.

      В этом учебном модуле мы изучили различия между примитивами строк и объектом String, узнали об индексации строк и о том, как использовать встроенные методы и свойства строк для доступа к символам, форматирования текста, поиска и замены значений.

      Более общий обзор строк можно найти в учебном модуле Работа со строками в JavaScript.



      Source link

      Управление отсортированными наборами данных в Redis


      Введение

      Redis — хранилище ключей в памяти с открытым исходным кодом. В Redis отсортированные наборы данных — это тип данных, аналогичный наборам данных в том, что оба типа являются неповторяющимися группами строк. Разница в том, что каждый участник отсортированного набора связан с баллами, что позволяет им быть отсортироваными от наименьшего количества баллов к наибольшему. Как и в случае наборами данных, каждый участник отсортированного набора должен быть уникальным, хотя несколько участников могут иметь один и тот же балл.

      В этом обучающем руководстве вы узнаете, как создавать отсортированные наборы данных, получать и удалять их участников, а также создавать новые отсортированные наборы из существующих.

      Использование этого руководства

      Это руководство написано в виде шпаргалки с использованием отдельных примеров. Рекомендуем переходить сразу к любому разделу, относящемуся к вашей актуальной задаче.

      Команды, указанные в этом руководстве, были протестированы на сервере Ubuntu 18.04 с версией Redis 4.0.9. Для настройки аналогичной среды вы можете воспользоваться шагом 1 нашего руководства Установка и обеспечение безопасности Redis в Ubuntu 18.04. Мы продемонстрируем, как эти команды ведут себя, выполнив их с помощью redis-cli — интерфейса командной строки Redis. Обратите внимание, что если вы используете другой интерфейс Redis, например Redli, конкретный вывод некоторых команд может отличаться.

      Также вы можете предоставить управляемый экземпляр базы данных Redis для тестирования этих команд, но при этом необходимо отметить, что в зависимости от уровня контроля, который используется вашим поставщиком базы данных, некоторые команды этого обучающего руководства могут не работать, как описано. Для предоставления управляемой базы данных DigitalOcean следуйте указаниям нашей документации по управляемым базам данных. Затем вы должны либо установить Redli, либо настроить туннель TLS в целях подключения к управляемой базе данных через TLS.

      Создание отсортированных наборов данных и добавление участников

      Для создания отсортированного набора используйте команду zadd. zadd принимает в качестве аргументов имя ключа, который будет хранить отсортированный набор, за которым следует балл участника, которого вы добавляете, и значение самого участника. Следующая команда создаст ключ отсортированного набора под названием faveGuitarists с одним участником, Joe Pass, который имеет балл 1:

      • zadd faveGuitarists 1 "Joe Pass"

      zadd вернет целое число, указывающее, сколько участников было добавлено в отсортированный набор, если он был успешно создан.

      Output
      (integer) 1

      Вы можете добавить несколько участников в отсортированный набор с помощью zadd. Обратите внимание, что их баллы не должны быть последовательными — могут быть пробелы между баллами, и несколько участников, находящихся в одном и том же отсортированном наборе, могут иметь один и тот же балл:

      • zadd faveGuitarists 4 "Stephen Malkmus" 2 "Rosetta Tharpe" 3 "Bola Sete" 3 "Doug Martsch" 8 "Elizabeth Cotten" 12 "Nancy Wilson" 4 "Memphis Minnie" 12 "Michael Houser"

      Output
      (integer) 8

      zadd может принимать следующие опции, которые вы должны ввести после имени ключа и перед баллом первого участника:

      • NX или XX: эти опции имеют противоположные действия, поэтому вы можете включать только одну из них в любой операции zadd:
        • NX: указывает zadd не обновлять существующих участников. С этой опцией zadd будет добавлять только новые элементы.
        • XX: указывает zadd обновлять только существующие элементы. С этой опцией zadd никогда не будет добавлять новых участников.
      • CH. Как правило, zadd возвращает только количество новых элементов, добавленных в отсортированный набор. Но если эта опция включена, zadd будет возвращать количество измененных элементов. Сюда входят новые добавленные участники и участники, баллы которых были изменены.
      • INCR: заставляет команду увеличить значение балла участника. Если участник еще не существует, команда добавит его в отсортированный набор с увеличением в качестве его балла, как если бы его первоначальный балл был равен 0. Если INCR включен, zadd будет возвращать новый балл участника, если операция успешна. Обратите внимание, что вы можете включать только одну пару «балл/участник» в момент использования этой опции.

      Вместо передачи опции INCR в zadd вы можете использовать команду zincrby, которая ведет себя точно так же. Вместо того чтобы присваивать участнику отсортированного набора значение, указанное значением балла как zadd, она увеличивает балл этого участника на это значение. Например, следующая команда увеличивает балл участника Stephen Malkmus, который был первоначально равен 4 и увеличился на 5 до 9.

      • zincrby faveGuitarists 5 "Stephen Malkmus"

      Output
      "9"

      Как и в случае с опцией INCR команды zadd, если указанный участник не существует, то zincrby создаст его со значением увеличения в качестве его балла.

      Получение участников из отсортированных наборов

      Наиболее основополагающий способ получения участников, удерживаемых в отсортированном наборе — использовать команду zrange. Эта команда принимает в качестве аргументов имя ключа, участников которого вы хотите получить, и ряд участников, находящихся в нем. Диапазон ряда определяется двумя числами, представляющими нулевые индексы — это означает, что 0 представляет первого участника отсортированного набора (или участника с наименьшим баллом), 1 представляет следующего и т. д.

      Следующий пример вернет первые четыре участника из отсортированного набора faveGuitarists, созданного в предыдущем разделе:

      • zrange faveGuitarists 0 3

      Output
      1) "Joe Pass"
2) "Rosetta Tharpe"
3) "Bola Sete"
4) "Doug Martsch"

      Обратите внимание, что если отсортированный набор, который вы передаете в zrange​​​, имеет два или несколько элементов, которые имеют один и тот же балл, он будет обрабатывать эти элементы в лексикографическом или в алфавитном порядке.

      Индексы start и stop могут также быть отрицательными числами, где -1 представляет последнего участника, -2 представляет предпоследнего участника и т. д.:

      • zrange faveGuitarists -5 -2

      Output
      1) "Memphis Minnie"
2) "Elizabeth Cotten"
3) "Stephen Malkmus"
4) "Michael Houser"

      zrange может принимать аргумент WITHSCORES, который, при его включении, будет также возвращать баллы участников:

      • zrange faveGuitarists 5 6 WITHSCORES

      Output
      1) "Elizabeth Cotten"
2) "8"
3) "Stephen Malkmus"
4) "9"

      zrange может возвращать только ряд участников в восходящей числовой последовательности. Чтобы отменить это и вернуть диапазон в нисходящей последовательности, необходимо использовать команду zrevrange. Эту команду можно представить как временно обращающую порядок данного отсортированного набора перед возвратом участников, находящихся в указанном диапазоне. Таким образом, с zrevrange 0 будет представлять последнего участника, содержащегося в ключе, 1 будет представлять предпоследнего и т. д.:

      • zrevrange faveGuitarists 0 5

      Output
      1) "Nancy Wilson"
2) "Michael Houser"
3) "Stephen Malkmus"
4) "Elizabeth Cotten"
5) "Memphis Minnie"
6) "Doug Martsch"

      zrevrange может также принимать опцию WITHSCORES.

      Вы можете возвращать ряд участников на основании их баллов с помощью команды zrangebyscore. В следующем примере команда будет возвращать любого участника, удерживаемого в ключе faveGuitarists с баллом 2, 3 или 4:

      • zrangebyscore faveGuitarists 2 4

      Output
      1) "Rosetta Tharpe"
2) "Bola Sete"
3) "Doug Martsch"
4) "Memphis Minnie"

      В данном примере диапазон инклюзивный, т. е. он будет возвращать участников с баллами 2 или 4. Можете исключить любой конец диапазона, поставив перед ним открывающую скобку (​​​(​​​). Следующий пример будет возвращать каждого участника с баллом выше или равным 2, но ниже 4:

      • zrangebyscore faveGuitarists 2 (4

      Output
      1) "Rosetta Tharpe"
2) "Bola Sete"
3) "Doug Martsch"

      Как и в случае с zrange, zrangebyscore может принимать аргумент WITHSCORES. Он также принимает опцию LIMIT, которую вы можете использовать для получения только выбранных элементов из вывода zrangebyscore. Эта опция принимает offset, который является первым участником в диапазоне, который будет возвращать команда, и count, который определяет, сколько участников команда будет возвращать в общей сложности. Например, следующая команда будет рассматривать первые шесть участников отсортированного набора faveGuitarists, но будет возвращать только три участника из него, начиная со второго участника в диапазоне, представленного 1:

      • zrangebyscore faveGuitarists 0 5 LIMIT 1 3

      Output
      1) "Rosetta Tharpe"
2) "Bola Sete"
3) "Doug Martsch"

      Команда zrevrangebyscore возвращает обращенный ряд участников на основе их баллов. Следующая команда возвращает каждого участника набора с балом между 10 и 6:

      • zrevrangebyscore faveGuitarists 10 6

      Output
      1) "Stephen Malkmus"
2) "Elizabeth Cotten"

      Как и в случае с zrangebyscore, zrevrangebyscore может принимать обе опции WITHSCORES и LIMIT. Также вы можете исключать любой конец диапазона, ставя перед ним открытую скобку.

      Возможно, будут случаи, когда у всех участников отсортированного набора будет один и тот же балл. В таком случае вы можете при помощи redis возвратить ряд элементов, отсортированных лексикографически или в алфавитном порядке, с помощью команды zrangebylex. Чтобы попробовать эту команду, можно запустить следующую команду zadd для создания отсортированного набора, где каждый участник имеет один и тот же балл:

      • zadd SomervilleSquares 0 Davis 0 Inman 0 Union 0 porter 0 magoun 0 ball 0 assembly

      Перед zrangebylex должно идти имя ключа, интервал запуска и интервал остановки. Интервалы запуска и остановки должны начинаться с открытой скобки (() или открытой квадратной скобки ([) — например, следующим образом:

      • zrangebylex SomervilleSquares [a [z

      Output
      1) "assembly"
2) "ball"
3) "magoun"
4) "porter"

      Обратите внимание, что этот пример возвращает только четыре из восьми участников в наборе, даже если команда запросила диапазон от a до z. Это вызвано тем, что значения Redis чувствительны к регистру, поэтому участники, начинающиеся с заглавной буквы, были исключены из ее вывода. Для их возврата вы можете запустить следующее:

      • zrangebylex SomervilleSquares [A [z

      Output
      1) "Davis"
2) "Inman"
3) "Union"
4) "assembly"
5) "ball"
6) "magoun"
7) "porter"

      zrangebylex также принимает специальные символы -, т. е. минус бесконечность, и +, т. е. плюс бесконечность. Таким образом, следующий синтаксис команды будет также возвращать каждого участника отсортированного набора:

      • zrangebylex SomervilleSquares - +

      Обратите внимание, что zrangebylex не может возвращать участников отсортированных наборов в обратном лексикографическом (восходящем алфавитном) порядке. Для этого нужно использовать zrevrangebylex:

      • zrevrangebylex SomervilleSquares + -

      Output
      1) "porter"
2) "magoun"
3) "ball"
4) "assembly"
5) "Union"
6) "Inman"
7) "Davis"

      Поскольку она предназначена для использования с отсортированными наборами данных, где каждый участник имеет один и тот же балл, zrangebylex не принимает опцию WITHSCORES. Однако она принимает опцию LIMIT.

      Получение информации по отсортированным наборам

      Для определения того, сколько участников находится в заданном отсортированном наборе (т. е. для определения его кардинальности), нужно использовать команду zcard. Следующий пример показывает, сколько участников хранится в ключе faveGuitarists из первого раздела этого руководства:

      Output
      (integer) 9

      zcount может указать, сколько элементов хранится в определенном отсортированном наборе, который находится в диапазоне баллов. Первое число после ключа — начало диапазона, второе — конец диапазона:

      • zcount faveGuitarists 3 8

      Output
      (integer) 4

      zscore выводит балл указанного участника отсортированного набора:

      • zscore faveGuitarists "Bola Sete"

      Output
      "3"

      Если либо указанный участник, либо ключ не существует, zscore будет возвращать (nil).

      zrank аналогичен zscore, но вместо того чтобы возвращать балл данного участника, он возвращает его ранг. В Redis ранг — нулевой индекс участников отсортированного набора в порядке их баллов. Например, Joe Pass имеет балл 1, но, поскольку это самый низкий балл любого участника в ключе, он имеет ранг 0:

      • zrank faveGuitarists "Joe Pass"

      Output
      (integer) 0

      Есть другая команда Redis под названием zrevrank, выполняющая ту же функцию, что и zrank, но вместо этого обращающая ранги участников в наборе. В следующем примере Joe Pass имеет самый низкий балл и, соответственно, самый высокий обращенный ранг:

      • zrevrank faveGuitarists "Joe Pass"

      Output
      (integer) 8

      Единственное отношение между баллом участника и его рангом — положение данного балла в сравнении с другими участниками. Если между двумя последовательными участниками существует разрыв баллов, это не будет отражено в их ранге. Обратите внимание, что если два участника имеют одинаковый балл, то тот, который является первым в алфавитном порядке, будет иметь более низкий ранг.

      Как и zscore, zrank и zrevrank будут возвращать (nil) при отсутствии ключа или участника.

      zlexcount может указать, сколько участников хранится в отсортированном наборе между лексикографическим диапазоном. В следующем примере используется отсортированный набор SomervilleSquares из предыдущего раздела:

      • zlexcount SomervilleSquares [M [t

      Output
      (integer) 5

      Эта команда соответствует тому же синтаксису, что и команда zrangebylex, поэтому подробные данные по определению строки см. в предыдущем разделе.

      Удаление участников из отсортированных наборов

      Команда zrem может удалять один или несколько участников из отсортированного набора:

      • zrem faveGuitarists "Doug Martsch" "Bola Sete"

      zrem будет возвращать целое число, указывающее, сколько участников она удалила из отсортированного набора:

      Output
      (integer) 2

      Есть три команды Redis, которые позволяют удалять участников отсортированного набора на основе диапазона. Например, если каждый участник отсортированного набора имеет одинаковый балл, вы можете удалять участников на основании лексикографического диапазона с помощью zremrangebylex. Эта команда использует тот же синтаксис, что и zrangebylex. Следующий пример удаляет каждого участника, который начинается с заглавной буквы, из ключа SomervilleSquares, созданного в предыдущем разделе:

      • zremrangebylex SomervilleSquares [A [Z

      zremrangebylex выведет целое число, указывающее, сколько участников было удалено:

      Output
      (integer) 3

      Вы можете также удалять участников на основе диапазона баллов с помощью команды zremrangebyscore, которая использует тот же синтаксис, что и команда zrangebyscore. В следующем примере будет удален каждый участник, находящийся в faveGuitarists, с баллом 4, 5 или 6:

      • zremrangebyscore faveGuitarists 4 6

      Output
      (integer) 1

      Вы можете удалять участников из набора на основе диапазона рангов с помощью команды zremrangebyrank, которая использует тот же синтаксис, что и zrangebyrank. Следующая команда удаляет три участника отсортированного набора с самыми низкими рангами, которые определяются диапазоном нулевых индексов:

      • zremrangebyrank faveGuitarists 0 2

      Output
      (integer) 3

      Обратите внимание, что числа, передаваемые в remrangebyrank, могут также быть отрицательными, при этом -1 представляет самый высокий ранг, -2 следующий самый высокий и т. д.

      Создание новых отсортированных наборов из существующих

      Redis содержит две команды, которые позволяют сопоставлять участников нескольких отсортированных наборов и создавать новые на основе этих сопоставлений: zinterstore и zunionstore. Для экспериментирования с этими командами нужно запустить следующие команды zadd для создания некоторых отсортированных наборов в качестве примеров.

      • zadd NewKids 1 "Jonathan" 2 "Jordan" 3 "Joey" 4 "Donnie" 5 "Danny"

      • zadd Nsync 1 "Justin" 2 "Chris" 3 "Joey" 4 "Lance" 5 "JC"

      zinterstore находит участников, которые были представлены в двух или нескольких отсортированных наборах — т. е. данные пересекались — и создает новый отсортированный набор, содержащий только этих участников. Эта команда должна содержать по порядку имя ключа назначения, где будут храниться пересекающиеся участники в качестве отсортированного набора, количество ключей, передаваемых в zinterstore, и имена ключей, которые вы хотите проанализировать:

      • zinterstore BoyBands 2 NewKids Nsync

      zinterstore будет возвращать целое число, показывающее количество элементов, сохраненных в конечном отсортированном наборе. Поскольку NewKids и Nsync имеют только одного общего участника — Joey, команда будет возвращать 1:

      Output
      (integer) 1

      Учтите, что если конечный ключ уже существует, то zinterstore перезапишет его содержимое.

      zunionstore создаст новый отсортированный набор, содержащий каждого участника ключей, переданных в него. Эта команда использует тот же синтаксис, что и zinterstore, и требует имя конечного ключа, количество ключей, передаваемых в команду, и имена ключей:

      • zunionstore SuperGroup 2 NewKids Nsync

      Как и zinterstore, zunionstore будет возвращать целое число, показывающее количество элементов, указанных в конечном ключе. Хотя оба исходных отсортированных набора содержали пять участников, поскольку отсортированные наборы не могут содержать повторяющихся участников, а каждый ключ содержит одного участника под названием Joey, итоговое целое число будет равняться 9:

      Output
      (integer) 9

      Как и zinterstore, zunionstore перезаписывает содержимое конечного ключа, если он уже существует.

      Чтобы предоставить вам возможность лучше контролировать баллы участников при создании новых отсортированных наборов при помощи zinterstore и zunionstore, обе эти команды принимают опции WEIGHTS и AGGREGATE.

      После опции WEIGHTS идет одно число для каждого отсортированного набора, включенного в команду, взвешивающего или перемножающего баллы каждого участника. Первое число после опции WEIGHTS взвешивает баллы первого ключа, переданного команде; второе число взвешивает второй ключ и т. д.

      В качестве следующего примера создается новый отсортированный набор, содержащий пересекающиеся ключи из отсортированных наборов NewKids и Nsync. Он взвешивает баллы в ключе NewKids с коэффициентом 3 и взвешивает баллы в ключе Nsync с коэффициентом 7:

      • zinterstore BoyBandsWeighted 2 NewKids Nsync WEIGHTS 3 7

      Если опция WEIGHTS не включена, взвешивание производится по умолчанию с коэффициентом 1 — как для zinterstore, так и для zunionstore.

      AGGREGATE принимает три подопции. Первая из них, SUM, осуществляет поведение zinterstore и zunionstore по умолчанию, добавляя баллы одинаковых участников в комбинированные наборы.

      Если запускаете операцию zinterstore или zunionstore на двух отсортированных наборах, имеющих одного общего участника, но при этом этот участник имеет разные баллы для каждого набора, то можете заставить операцию назначать более низкий из двух баллов в новом наборе при помощи подопции MIN.

      • zinterstore BoyBandsWeightedMin 2 NewKids Nsync WEIGHTS 3 7 AGGREGATE MIN

      Поскольку два отсортированных набора имеют только одного совпадающего участника с одинаковым баллом (3), эта команда создаст новый набор с участником, равным более низкому значению их двух взвешенных баллов:

      • zscore BoyBandsWeightedMin "Joey"

      Output
      "9"

      Аналогично AGGREGATE может заставить zinterstore или zunionstore назначать более высокий из двух баллов с опцией MAX:

      • zinterstore BoyBandsWeightedMax 2 NewKids Nsync WEIGHTS 3 7 AGGREGATE MAX

      Эта команда создает новый набор с одним участником Joey, который имеет более высокий показатель взвешенного балла из двух:

      • zscore BoyBandsWeightedMax "Joey"

      Output
      "21"

      Возможно, будет полезно рассматривать WEIGHTS как способ временного манипулирования баллами участников перед анализом. Также полезно рассматривать опцию AGGREGATE как способ решать, как контролировать баллы участников перед тем, как добавлять их к новым наборам.

      Заключение

      В этом руководстве приводится информация о ряде команд, используемых для создания и управления отсортированными наборами данных в Redis. Если есть другие связанные команды, аргументы или процедуры, которые вы хотели бы видеть в этом руководстве, просьба обращаться с запросами или предложениями в комментариях ниже.

      Дополнительную информацию о командах Redis можно найти в нашей серии обучающих руководств Управление базой данных Redis.



      Source link

      Развертывание и управление DNS с использованием DNSControl в Debian 10


      Автор выбрал Electronic Frontier Foundation Inc для получения пожертвований в рамках программы Write for DOnations.

      Введение

      DNSControl — это инструмент, построенный по принципу «инфраструктура как код», который поддерживает развертывание и управление зонами DNS с использованием стандартных принципов разработки программного обеспечения, включая контроль версий, тестирование и автоматизированное развертывание. Инструмент DNSControl разработан Stack Exchange и написан на Go.

      Использование DNSControl помогает избавиться от многих сложностей ручного управления DNS, поскольку файлы зон хранятся в программируемом формате. Инструмент позволяет одновременно развертывать зоны для нескольких поставщиков DNS, определять ошибки синтаксиса и автоматически извлекать конфигурации DNS, за счет чего снижается риск человеческой ошибки. Также DNSControl часто используется для быстрого переноса DNS на другого провайдера; например, в случае DDoS-атаки или выхода системы из строя.

      В этом обучающем руководстве мы научимся устанавливать и настраивать DNSControl, создадим базовую конфигурацию DNS и начнем развертывание записей DNS на рабочем провайдере. Для этого обучающего руководства мы используем DigitalOcean в качестве примера провайдера DNS. Если вы хотите использовать другого провайдера, настройки будут выглядеть очень похоже. После завершения работы вы сможете управлять своей конфигурацией DNS и тестировать ее в безопасной среде, отключенной от сети, а затем автоматически развертывать в производственной среде.

      Предварительные требования

      Для прохождения этого обучающего руководства вам потребуется следующее:

      • Один сервер Debian 10, настроенный в соответствии с указаниями по начальной настройке сервера Debian 10, включая пользователя sudo без привилегий root и активированный брандмауэр для блокировки ненужных портов. your-server-ipv4-address обозначает IP-адрес сервера, где вы размещаете свой сайт или домен. your-server-ipv6-address обозначает адрес IPv6 сервера, где вы размещаете свой сайт или домен.
      • Полностью зарегистрированное доменное имя с хостингом DNS у поддерживаемого провайдера. В этом обучающем руководстве мы используем доменное имя your_domain и DigitalOcean как провайдера услуг.
      • Ключ DigitalOcean API (персональный токен доступа) с разрешениями чтения и записи. Его создание описано в материале Создание персонального токена доступа.

      Подготовив все вышеперечисленное, войдите на сервер без привилегий root, чтобы начать подготовку.

      Шаг 1 — Установка DNSControl

      Инструмент DNSControl написан на языке Go, и поэтому вначале вам нужно установить Go на свой сервер и задать GOPATH.

      Go доступен в репозиториях программного обеспечения Debian по умолчанию, и поэтому его можно установить с помощью стандартных инструментов управления пакетами.

      Также вам нужно будет установить Git, поскольку это требуется, чтобы дать Go возможность загрузки и установки программного обеспечения DNSControl из репозитория на GitHub.

      Для начала мы обновим указатель локальных пакетов, чтобы отразить последние изменения на предыдущих уровнях:

      Затем мы установим пакеты golang-go и git:

      • sudo apt install golang-go git

      После подтверждения установки apt выполнит загрузку и установку Go и Git, а также всех требуемых зависимостей.

      Далее вы настроите требуемые переменные среды path для Go. Дополнительную информацию можно получить в обучающем материале по GOPATH. Для начала отредактируем файл ~/.profile:

      Добавим в конец файла следующие строки:

      ~/.profile

      ...
export GOPATH="$HOME/go"
export PATH="$PATH:$GOPATH/bin"

      После добавления этих строк в конец файла мы сохраним и закроем его. Затем мы перезагрузим профиль, для чего выйдем из системы и снова войдем в нее или снова укажем файл в качестве источника:

      Мы установили и настроили Go и теперь можем перейти к установке DNSControl.

      Команду go get можно использовать для доставки копии кода, его автоматической компиляции и установки в директорию Go:

      • go get github.com/StackExchange/dnscontrol

      После этого мы можем проверить установленную версию и убедиться, что все работает правильно:

      Экран результатов должен выглядеть примерно следующим образом:

      Output
      dnscontrol 2.9-dev

      Если выводится сообщение об ошибке dnscontrol: command not found, необходимо еще раз проверить настройки путей Go.

      Мы установили DNSControl и теперь можем создать директорию конфигурации и подключить DNSControl к провайдеру DNS, чтобы дать инструменту возможность вносить изменения в ваши записи DNS.

      Шаг 2 — Настройка DNSControl

      На этом шаге мы создадим требуемые директории конфигурации DNSControl и подключим их к нашему провайдеру DNS, чтобы начать вносить изменения в записи DNS в реальном времени.

      Вначале нам нужно создать новую директорию для хранения конфигурации DNSControl и перейти в нее:

      • mkdir ~/dnscontrol

      • cd ~/dnscontrol

      Примечание. В этом обучающем модуле мы рассматриваем начальную настройку DNSControl, но для использования в производственной среде рекомендуется хранить конфигурацию DNSControl в системе контроля версий (VCS), такой как Git. Это дает преимущества полного контроля версий, интеграции с CI/CD для тестирования, удобства откатов при развертывании и т. д.

      Если вы планируете использовать DNSControl для записи файлов зоны BIND, вам также следует создать директорию zones:

      Файлы зоны BIND представляют собой чистый стандартизированный метод сохранения зон и записей DNS в простом текстовом формате. Они первоначально использовались для программного обеспечения сервера BIND DNS, однако сейчас они широко используются в качестве стандартного метода хранения зон DNS. Файлы зоны BIND, предоставляемые DNSControl, очень полезны, если их нужно импортировать в персонализированный или собственный сервер DNS, а также для целей аудита.

      Если вы хотите просто использовать DNSControl для передачи изменений DNS управляемому провайдеру, директория zones не потребуется.

      Далее требуется настроить файл creds.json, что позволит DNSControl выполнить аутентификацию вашего провайдера DNS и внести изменения. Формат файла creds.json может немного отличаться в зависимости от используемого провайдера DNS. Ознакомьтесь со списком провайдеров в официальной документации DNSControl, чтобы найти конфигурацию для вашего провайдера.

      Создайте файл creds.json в директории ~/dnscontrol:

      • cd ~/dnscontrol

      • nano creds.json

      Добавьте в файл образец конфигурации creds.json для вашего провайдера DNS. Если вы используете DigitalOcean в качестве своего провайдера DNS, вы можете использовать следующее:

      ~/dnscontrol/creds.json

      {
"digitalocean": {
  "token": "your-digitalocean-oauth-token"
}
}

      Этот файл сообщает DNSControl, к каким провайдерам DNS нужно подключаться.

      Необходимо указать форму аутентификации для провайдера DNS. Обычно это ключ API или токен OAuth, однако для некоторых провайдеров требуется дополнительная информация, как описано в списке провайдеров в официальной документации DNSControl.

      Предупреждение. Этот токен предоставляет доступ к учетной записи провайдера DNS, так что его следует защитить паролем. Также необходимо убедиться, что если вы используете систему контроля версий, файл с токеном исключен (например, с помощью .gitignore) или зашифрован.

      Если в качестве провайдера DNS используется DigitalOcean, можно использовать требуемый токен OAuth в параметрах учетной записи DigitalOcean, сгенерированных при выполнении предварительных требований.

      Если вы используете нескольких провайдеров DNS, например для разных доменных имен или делегированных зон DNS, вы можете определить их в том же самом файле creds.json.

      Мы выполнили настройку первоначальных директорий конфигурации DNSControl и настроили файл creds.json так, чтобы DNSControl мог проходить аутентификацию у провайдера DNS и вносить изменения. Теперь мы создадим конфигурацию для наших зон DNS.

      Шаг 3 — Создание файла конфигурации DNS

      На этом шаге мы создадим начальный файл конфигурации DNS, который будет содержать записи DNS для вашего доменного имени или делегированной зоны DNS.

      dnsconfig.js — основной файл конфигурации DNS для DNSControl. В этом файле зоны DNS и соответствующие им записи определяются с использованием синтаксиса JavaScript. Этот синтаксис называется DSL или предметно-ориентированный язык. Дополнительную информацию можно найти на странице JavaScript DSL в официальной документации по DNSControl.

      Вначале создадим файл конфигурации DNS в директории ~/dnscontrol:

      • cd ~/dnscontrol

      • nano dnsconfig.js

      Затем добавим в файл следующий образец конфигурации:

      ~/dnscontrol/dnsconfig.js

      // Providers:

var REG_NONE = NewRegistrar('none', 'NONE');
var DNS_DIGITALOCEAN = NewDnsProvider('digitalocean', 'DIGITALOCEAN');

// Domains:

D('your_domain', REG_NONE, DnsProvider(DNS_DIGITALOCEAN),
  A('@', 'your-server-ipv4-address')
);

      В файле образца определяется доменное имя или зона DNS определенного провайдера. В данном случае это домен your_domain на хостинге DigitalOcean. Пример записи A также определен для зоны root (@) и указывает на адрес IPv4 сервера, где размещен ваш домен или сайт.

      Базовый файл конфигурации DNSControl состоит из трех основных функций:

      • NewRegistrar(имя, тип, метаданные)​​​​: определяет регистратора домена для доменного имени. DNSControl может использовать эту функцию для внесения требуемых изменений, в частности для модификации авторитетных серверов имен. Если вы хотите использовать DNSControl только для управления зонами DNS, их можно оставить как NONE.

      • NewDnsProvider(имя, тип, метаданные)​​: определяет провайдера DNS для доменного имени или делегированной зоны. Здесь DNSControl применяет вносимые нами изменения DNS.

      • D(имя, регистратор, модификаторы): определяет доменное имя или делегируемую зону DNS для управления DNSControl, а также присутствующие в зоне записи DNS.

      Мы должны настроить NewRegistrar(), NewDnsProvider() и D() соответствующим образом, используя список провайдеров в официальной документации по DNSControl.

      Если в качестве провайдера DNS используется DigitalOcean и нам требуется только вносить изменения DNS (а не авторитетных серверов имен), образцы из предыдущего блока кода подойдут для наших целей.

      После завершения следует сохранить и закрыть файл.

      На этом шаге мы настроили файл конфигурации DNS для DNSControl с определением соответствующих провайдеров. Далее мы заполним файл полезными записями DNS.

      Шаг 4 — Заполнение файла конфигурации DNS

      Далее мы можем заполнить файл конфигурации DNS полезными записями DNS для нашего сайта или сервиса, используя синтаксис DNSControl.

      В отличие от традиционных файлов зоны BIND, где записи DNS имеют формат построчных необработанных данных, в DNSControl записи DNS определяются как параметр функции D() (модификатор домена), как мы вкратце показали на шаге 3.

      Модификатор домена существует для каждого стандартного типа записей DNS, включая A, AAAA, MX, TXT, NS, CAA и т. д. Полный список доступных типов записей можно найти в разделе Модификаторы домена в документации по DNSControl.

      Также доступны модификаторы отдельных записей (модификаторы записей). Они в основном используются для настройки TTL (времени существования) для отдельных записей. Полный список доступных модификаторов записей можно найти в разделе Модификаторы записей документации по DNSControl. Модификаторы записей необязательны для использования, в большинстве простых случаев их можно опускать.

      Синтаксис настройки записей DNS немного отличается для каждого типа записей. Далее приведены несколько примеров наиболее распространенных типов записей:

      • Записи A:

        • Назначение: указывают на адрес IPv4.
        • Синтаксис: A('name', 'address', необязательные модификаторы записи)
        • Пример: A('@', 'your-server-ipv4-address', TTL(30))

      • Записи AAAA:

        • Назначение: указывают на адрес IPv6.
        • Синтаксис: AAAA('name', 'address', необязательные модификаторы записи)
        • Пример: AAAA('@', 'your-server-ipv6-address') (модификатор записи опущен, поэтому используется TTL по умолчанию)

      • Записи CNAME:

        • Назначение: делают домен или субдомен псевдонимом другого домена или субдомена.
        • Синтаксис: CNAME('name', 'target', необязательные модификаторы записи)
        • Пример: CNAME('subdomain1', 'example.org.') (обратите внимание, что если значение содержит точку, завершающий символ . обязательно должен присутствовать в конце)

      • Записи MX:

        • Назначение: направление электронной почты на определенные серверы или адреса.
        • Синтаксис: MX('name', 'priority', 'target', необязательные модификаторы записи)
        • Пример: MX('@', 10, 'mail.example.net') (обратите внимание, что если значение содержит точку, завершающий символ . обязательно должен присутствовать в конце)

      • Записи TXT:

        • Назначение: добавление произвольного обычного текста, часто используется для конфигураций без собственного выделенного типа записи.
        • Синтаксис: TXT('name', 'content', необязательные модификаторы записи)
        • Пример: TXT('@', 'Это запись TXT. ')

      • Записи CAA:

        • Назначение: ограничение и отчет о центрах сертификации (СА), которые могут выпускать сертификаты TLS для доменов или субдоменов.
        • Синтаксис: CAA('name', 'tag', 'value', необязательные модификаторы записи)
        • Пример: CAA('@', 'issue', 'letsencrypt.org')

      Чтобы начать добавлять записи DNS для нашего домена или делегированной зоны DNS, нам нужно отредактировать файл конфигурации DNS:

      Далее мы можем начать указывать параметры для существующей функции D(), используя синтаксис,описанный в предыдущем списке и в разделе Модификаторы доменов официальной документации DNSControl. Для разделения записей должна использоваться запятая (,).

      Приведенный здесь блок кода содержит полный образец базовой конфигурации DNS, предназначенный для справочных целей:

      ~/dnscontrol/dnsconfig.js

      ...

D('your_domain', REG_NONE, DnsProvider(DNS_DIGITALOCEAN),
  A('@', 'your-server-ipv4-address'),
  A('www', 'your-server-ipv4-address'),
  A('mail', 'your-server-ipv4-address'),
  AAAA('@', 'your-server-ipv6-address'),
  AAAA('www', 'your-server-ipv6-address'),
  AAAA('mail', 'your-server-ipv6-address'),
  MX('@', 10, 'mail.your_domain.'),
  TXT('@', 'v=spf1 -all'),
  TXT('_dmarc', 'v=DMARC1; p=reject; rua=mailto:[email protected]_domain; aspf=s; adkim=s;')
);

      После завершения начальной настройки DNS следует сохранить и закрыть файл.

      На этом шаге мы можем настроить начальный файл конфигурации DNS, содержащий наши записи DNS. Далее нам нужно будет протестировать конфигурацию и развернуть ее.

      Шаг 5 — Тестирование и развертывание конфигурации DNS

      На этом шаге мы проведем проверку локального синтаксиса нашей конфигурации DNS, а затем внесем изменения на рабочий сервер/провайдер DNS.

      Вначале мы перейдем в директорию dnscontrol:

      Затем мы используем функцию preview в DNSControl для проверки синтаксиса файла и вывода вносимых изменений (без их фактического внесения):

      Если файл конфигурации DNS имеет правильный синтаксис, DNSControl выведет обзор изменений, которые будут произведены. Результат должен выглядеть примерно так:

      Output
      ******************** Domain: your_domain
----- Getting nameservers from: digitalocean
----- DNS Provider: digitalocean...8 corrections
#1: CREATE A your_domain your-server-ipv4-address ttl=300
#2: CREATE A www.your_domain your-server-ipv4-address ttl=300
#3: CREATE A mail.your_domain your-server-ipv4-address ttl=300
#4: CREATE AAAA your_domain your-server-ipv6-address ttl=300
#5: CREATE TXT _dmarc.your_domain "v=DMARC1; p=reject; rua=mailto:abuse@your_domain; aspf=s; adkim=s;" ttl=300
#6: CREATE AAAA www.your_domain your-server-ipv6-address ttl=300
#7: CREATE AAAA mail.your_domain your-server-ipv6-address ttl=300
#8: CREATE MX your_domain 10 mail.your_domain. ttl=300
----- Registrar: none...0 corrections
Done. 8 corrections.

      Если вы увидите предупреждение об ошибке в составе результатов, DNSControl даст дополнительные данные о сущности ошибки и ее расположении в файле.

      Предупреждение. Следующая команда вносит изменения в рабочие записи DNS и возможно в другие параметры. Необходимо убедиться, что мы готовы к этому. В частности, следует сделать резервную копию существующий конфигурации DNS на случай, если потребуется произвести откат.

      В заключение мы можем передать изменения на рабочий провайдер DNS:

      Результат будет выглядеть примерно так:

      Output
      ******************** Domain: your_domain
----- Getting nameservers from: digitalocean
----- DNS Provider: digitalocean...8 corrections
#1: CREATE TXT _dmarc.your_domain "v=DMARC1; p=reject; rua=mailto:abuse@your_domain; aspf=s; adkim=s;" ttl=300
SUCCESS!
#2: CREATE A your_domain your-server-ipv4-address ttl=300
SUCCESS!
#3: CREATE AAAA your_domain your-server-ipv6-address ttl=300
SUCCESS!
#4: CREATE AAAA www.your_domain your-server-ipv6-address ttl=300
SUCCESS!
#5: CREATE AAAA mail.your_domain your-server-ipv6-address ttl=300
SUCCESS!
#6: CREATE A www.your_domain your-server-ipv4-address ttl=300
SUCCESS!
#7: CREATE A mail.your_domain your-server-ipv4-address ttl=300
SUCCESS!
#8: CREATE MX your_domain 10 mail.your_domain. ttl=300
SUCCESS!
----- Registrar: none...0 corrections
Done. 8 corrections.

      Если теперь мы проверим параметры DNS нашего домена на панели управления DigitalOcean, мы увидим изменения.

      Снимок экрана панели управления DigitalOcean, показывающий некоторые изменения DNS, которые были внесены DNSControl.

      Также мы можем проверить создание записи, отправив запрос DNS для нашего домена или делегированной зоны с помощью команды dig.

      Если команда dig не установлена, необходимо установить пакет dnsutils:

      • sudo apt install dnsutils

      После установки команды dig мы сможем использовать ее для запроса DNS нашего домена. Мы увидим, что записи обновлены соответствующим образом:

      В результатах выводится IP-адрес и запись DNS из вашей зоны, которая была развернута с помощью DNSControl. Распространение записей DNS может занять некоторое время, поэтому можно подождать и запустить команду чуть позже.

      На этом заключительном шаге мы выполнили проверку локального синтаксиса файла конфигурации DNS, развернули его на рабочем провайдере DNS и убедились, что изменения были внесены успешно.

      Заключение

      В этом обучающем руководстве мы выполнили настройку DNSControl и развертывание конфигурации DNS на рабочем провайдере. Теперь мы можем управлять изменениями конфигурации DNS и тестировать их в безопасной автономной среде, прежде чем внедрять их в производственную среду.

      Если вы хотите узнать об этом больше, DNSControl предусматривает интеграцию с конвейером CI/CD, что позволяет проводить детальные испытания и обеспечивает дополнительный контроль над развертыванием в производственной среде. Также можно интегрировать DNSControl в процессы сборки и развертывания инфраструктуры, что позволит развертывать серверы и добавлять их в службу DNS в полностью автоматическом режиме.

      Если вас интересует дополнительная информация о DNSControl, следующие материалы DigitalOcean содержат описание дальнейших шагов по интеграции DNSControl в рабочие процессы управления изменениями и развертывания инфраструктуры:



      Source link

      Forgot Your Password ?