slides/day11.html

<!doctype html>
<html lang="en">
	<head>
		<meta charset="utf-8">
		<meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no">

		<title>CQRS и Event Sourcing. Akka Persistence.</title>

		<link rel="stylesheet" href="css/reveal.css">
		<link rel="stylesheet" href="css/theme/moon.css">

		<!-- Theme used for syntax highlighting of code -->
		<link rel="stylesheet" href="lib/css/zenburn.css">

		<!-- Printing and PDF exports -->
		<script>
			var link = document.createElement( 'link' );
			link.rel = 'stylesheet';
			link.type = 'text/css';
			link.href = window.location.search.match( /print-pdf/gi ) ? 'css/print/pdf.css' : 'css/print/paper.css';
			document.getElementsByTagName( 'head' )[0].appendChild( link );
		</script>
	</head>

	<body>

		<div class="reveal">

			<!-- Any section element inside of this container is displayed as a slide -->
			<div class="slides">
				<section>
					<h3>Часть 11. CQRS и Event Sourcing.<br> Akka Persistence.</h3>
					<p><small>Страничка курса: <a href="https://maxcom.github.io/scala-course-2020/">https://maxcom.github.io/scala-course-2020/</small></a>
				</section>

				<section>
					<h2>План</h2>
                                        <ol>
						<li>Почему Akka Persistence?
						<li>CQRS
						<li>Event Sourcing
						<li>Akka Persistence
						<li>Снапшоты
						<li>Akka Persistence Query
						<li>Почему мы (почти) не используем Akka Persistence
						<li>Домашнее задание
					</ol>
				</section>

				<section>
					<h3>Почему Akka Persistence?</h3>
				</section>

				<section>
					<ul>
						<li>Знакомство с CQRS и Event Sourcing
						<li class=fragment>Практическое применение
					</ul>
				</section>

				<section>
					<h3>CQRS</h3>		
					<p>command-query responsibility segregation
				</section>

				<section>
					<p>"Идеальная жизнь" с реляционной СУБД
					<ul>
						<li class="fragment">Данные нормализованы
						<li class="fragment">Ссылочная целостность и другие constraint'ы
						<li class="fragment">ACID транзакции<br>
						(Atomicity, Consistency, Isolation, Durability)
					</ul>
				</section>

				<section>
					<p>Проблема: реалиционные БД универсальны, но они не всегда
					могут быстро выполнить запрос. 
					
					<p class="fragment">и могут выполнить любой запрос
					(например полнотекстовый поиск, сложную аналитику).
				</section>

				<section>
					<p>В итоге появляются:

					<ul>
						<li>Производные данные в БД (предрассчитанные аггрегаты,
						значения из связанных таблиц, и другие варианты денормализации)

						<li class="fragment">Внешние системы: поиск, аналитика, кеши и т.п.
					</ul>
				</section>

				<section>
					<p>Принцим CQRS - четкое разделение на две части:
					<ul>
						<li>Write side - валидирует и выполняет команды
						<li>Read side - только читает данные.
					</ul>
				</section>

				<section>
					<p>Каждая часть
					<ul>
						<li>Имеет свое хранилище
						<li class=fragment>Имеет свои программные интерейсы
					</ul>
				</section>

				<section>
					<p>Как синхронизировать Read side?
					<ul>
						<li>Синхронно: триггеры и пр.
						<li class=fragment>Асинхронно: очереди
					</ul>
				</section>

				<section>
					<a href="arch_cqrs_messaging.png" target=_blank><img src="arch_cqrs_messaging.png" style="max-height: 50vh"></a>
					<br><small>(картинка откроется в новом окне)<br>© A CQRS Journey – Microsoft</small>
				</section>

				<section>
					<p>"Надежная" очередь и распределенные транзакции.
				</section>

				<section>
					<h3>Event Sourcing</h3>		
				</section>

				<section>
					<p>"Идеальная жизнь" с реляционной СУБД
					<ul>
						<li>Данные нормализованы
						<li>Ссылочная целостность и другие constraint'ы
						<li>ACID транзакции<br>
						(Atomicity, Consistency, Isolation, Durability)
					</ul>
				</section>

				<section>
					<p>Можно ли доверять значению в ячейке?

					<p class="fragment">Например количеству денег на счете в банке?
				</section>

				<section>
					<p>Нет, правда только в журнале операций над счетом.

					<p class="fragment">Значение в БД - просто cache, вычисленный из журнала.
				</section>

				<section>
					<p>Еще пример: типичный компонент "enterprise" системы
					<ul>
						<li>Разнообразные "бизнес"-сущности моделированы в виде табличек БД
						<li>Формочки для редактирования и прочий CRUD
					</ul>
				</section>

				<section>
					<p>Этапы развития:
					<ul>
						<li class="fragment">Версия 1 - кодируем модели, формочки; запускаем в работу
						<li class="fragment">Версия 2 - удаление через флаг вместо DELETE
						<li class="fragment">Версия 3 - отслеживаем дату последнего исправления и имя редактора
						<li class="fragment">Версия 4 - полная история изменений
					</ul>
				</section>

				<section>
					<p>История может быть двух видов:
					<ul>
						<li class="fragment">Техническая - создается автоматически; не понятна пользователю
						<li class="fragment">"Бизнес"-история - пишется "руками" одновременно с update
					</ul>
				</section>

				<section>
					<p>Что первично?
					<ul>
						<li>текущее состояние в БД
						<li>журнал операций
					</ul>
				</section>

				<section>
					<p>Event Sourcing - журнал первичен.
					
					<p class="fragment">храним все события, используем их как основной источник "правды".
				</section>

				<section>
					<p>События и команды (вспомним 9-ю лекцию)
					<ul>
						<li class="fragment">Команда: сделай что-то. Может быть отклонена.
						<li class="fragment">Событие: что-то произошло, это неизменяемый факт.
					</ul>
				</section>


				<section>
					<p>Что дает Event Sourcing:
					<ul>
						<li class="fragment">Полную "честную" историю изменений
						<li class="fragment">Запись append-only: хорошо для многих видов хранилищ
						<li class="fragment">Возможность записать дополнительные сведения
					</ul>
				</section>

				<section>
					<p>Есть две проблемы:

					<ul>
						<li>Истории может быть слишком много
						<li class="fragment">Не понятно как быстро читать и делать запросы
					</ul>
				</section>


				<section>
					<p>Event Sourcing + CQRS
					<ul>
						<li class=fragment>Write Side валидирует команды и пишет события
						<li class=fragment>Read Side - consumer к журналу событий
					</ul>
				</section>

				<section>
					<p>Read Side
					<ul>
						<li>Может быть несколько
						<li class=fragment>Можно перестроить
						<li class=fragment>Можно поменять схему
					</ul>
				</section>

				<section>
					<h3>Akka Persistence</h3>
				</section>

				<section>
					<p>PersistentActor - актор + журнал событий.
					<p class=fragment>При рестарте
					восстанавливает состояние из журнала.
				</section>
				
				<section>
					<p>build.sbt
					<pre><code class="scala">
// версии всех akka-* должны быть одинаковые
libraryDependencies += 
  "com.typesafe.akka" %% "akka-persistence-typed" % "2.6.4"
libraryDependencies += // или другой backend Slf4j
  "ch.qos.logback" % "logback-classic" % "1.2.3"
					</code></pre>
				</section>

				<section>
					<p>Команда - запрос актору на выполнение действия.

					<p class="fragment">Команда проходит валидацию, сохраняет событие и выполняет побочный эффект.
				</section>

				<section>
					<p>Пример - вспомним CounterActor:
					<pre><code class="scala">
object CounterActor {
  sealed trait CommandProtocol
  case class Get(replyTo: ActorRef[Int]) extends CommandProtocol
  case class IncrWhen(amount: Int, pred: Int =&gt; Boolean)
    extends CommandProtocol

  ...
}
					</code></pre>
				</section>

				<section>
					<pre><code class="scala">
def behavior(counter: Int = 0): Behavior[CommandProtocol] =
  Behaviors.receiveMessage[CommandProtocol] {
    case Get(replyTo) =&gt;
      replyTo ! counter
      Behaviors.same
    case IncrWhen(amount, pred) =&gt;
      if (pred(counter + amount)) {
        behavior(counter + amount)
      } else {
        Behaviors.same
      }
  }
					</code></pre>
				</section>

				<section>
					<pre><code class="scala">
def behavior: Behavior[CommandProtocol] = 
  EventSourcedBehavior[CommandProtocol, EventProtocol, Int](
    persistenceId = PersistenceId.ofUniqueId("myCounter"),
    emptyState = 0,
    // (Int, CommandProtocol) =&gt; Effect[EventProtocol, Int]
    commandHandler = ???,    
    // (Int, EventProtocol) =&gt; Int
    eventHandler = ???)
					</code></pre>
				</section>

				<section>
					<ul>
						<li>persistenceId - идентификатор в хранилище
						<li class=fragment>commandHandler - преобразует комманды в эффекты
						<li class=fragment>eventHandler - обновляет state по событиям
					</ul>
				</section>

				<section>
					<p>Основные эффекты:
					<ul>
						<li>none/reply - для запросов
						<li>persist - запись нового события
					</ul>
					<p>См. <a target=_blank href="https://doc.akka.io/docs/akka/current/typed/persistence.html#effects-and-side-effects">еще эффекты в документации</a>
				</section>

				<section>
					<p>Внешний побочный эффект:
					<pre><code class="scala">
Effect.persist(EmailSent(data)).thenRun(sendEmail())
					</code></pre>
				</section>

				<section>
					<pre><code class="scala">
object CounterActor {
  ...

  sealed trait EventProtocol
  case class Incr(amount: Int) extends EventProtocol
  
  ...
}
					</code></pre>
				</section>

				<section>
					<pre><code class="scala">val commandHandler: 
    (Int, CommandProtocol) =&gt; Effect[EventProtocol, Int] = { 
  (counter, command) =&gt;
    command match {
      case Get(replyTo) =&gt;
        Effect.reply(replyTo)(counter)
      case IncrWhen(amount, pred) =&gt;
        if (pred(counter + amount)) {
          Effect.persist(Incr(amount))
        } else {
          Effect.none
        }
    }
}</code></pre>
				</section>

				<section>
					<pre><code class="scala">
val eventHandler: (Int, EventProtocol) =&gt; Int = { 
  (state, event) =&gt;
    event match {
      case Incr(amount) =&gt; state + amount
    }
}
					</code></pre>
				</section>

				<section>
					<p>При восстановлении работает eventHandler
					<p>В нем не должно быть побочных эффектов
				</section>

				<section>
					<p>Для запуска не хватает настроек Storage и Serialization
				</section>

				<section>
					<p>Нужен плагин для storage. Обычно используют Cassandra, для отладки проще LevelDB

					<p>build.sbt</p>
					<pre><code class="scala">
// плагин встроен, нужна только сама LevelDB
libraryDependencies += 
  "org.fusesource.leveldbjni" % "leveldbjni-all" % "1.8"
					</code></pre>
				</section>

				<section>
					<p>src/main/resources/application.conf
					<pre><code class="scala">
akka.persistence.journal.plugin = 
  "akka.persistence.journal.leveldb"
akka.persistence.snapshot-store.plugin = 
  "akka.persistence.snapshot-store.local"

akka.persistence.journal.leveldb.dir = 
  "target/example/journal"
akka.persistence.snapshot-store.local.dir = 
  "target/example/snapshots"
// snapshot потом пригодится
					</code></pre>
				</section>

				<section>
					<p>Настроим сериализацию
				</section>

				<section>
					<p>build.sbt</p>
					<pre><code class="scala">
libraryDependencies += 
  "com.typesafe.akka" %% "akka-serialization-jackson" % "2.6.4"
					</code></pre>
				</section>

				<section>
					<pre><code class="scala">
trait MySerializable

sealed trait EventProtocol extends MySerializable
					</code></pre>
				</section>

				<section>
					<p>src/main/resources/application.conf
					<pre><code class="scala">
akka.actor {
  serialization-bindings {
    "MySerializable" = jackson-json
  }
}
					</code></pre>
				</section>

				<section>
					<pre><code class="scala">
object ActorDemo extends App {
  implicit val actorSystem: ActorSystem[CommandProtocol] = 
    ActorSystem(CounterActor.behavior, "counter")
  implicit val timeout: Timeout = 1.minute

  actorSystem ! IncrWhen(10, _ =&gt; true)

  println(Await.result(actorSystem ? Get, timeout.duration))
}
					</code></pre>
					<p>при перезапусках значение восстанавливается
				</section>
	
				<section>
					<h3>Снапшоты</h3>		
				</section>

				<section>
					<p>Проблема: много событий и восстановление слишком долгое.

					<p class="fragment">Решение - периодически записывать снапшоты.
				</section>

				<section>
					<p>Включаем снапшоты
					<pre><code class="scala">
def behavior: Behavior[CommandProtocol] =
  EventSourcedBehavior[CommandProtocol, EventProtocol, Int](
      persistenceId = PersistenceId.ofUniqueId("myCounter"),
      emptyState = 0,
      commandHandler = commandHandler,
      eventHandler = eventHandler)
    .withRetention(
      RetentionCriteria.snapshotEvery(
        numberOfEvents = 10, 
	keepNSnapshots = 2)
    .withDeleteEventsOnSnapshot)
					</code></pre>
				</section>

				<section>
					<pre><code class="scala">
(0 to 20).foreach { _ =&gt;
  actorSystem ! IncrWhen(10, _ =&gt; true)
}
					</code></pre>
					<p>запустите и посмотрите debug log
				</section>

				<section>
					<h3>Akka Persistence Query</h3>		
				</section>

				<section>
					<p>Event sourcing + CQRS:

					<ul>
						<li>Write Side: пишет события в журнал
						<li>Read Side: дополнительные consumer'ы журнала
					</ul>
				</section>

				<section>
					<p>build.sbt
					<pre><code class="scala">
// версии всех akka-* должны быть одинаковые
libraryDependencies += 
  "com.typesafe.akka" %% "akka-persistence-query" % "2.6.4"

  					</code></pre>
				</section>

				<section>
					<p>Поток событий - реактивный поток
					<pre><code class="scala">
// создаем один раз на приложение
val queries: LeveldbReadJournal = 
  PersistenceQuery(system).
    readJournalFor[LeveldbReadJournal]
      (LeveldbReadJournal.Identifier)

// получаем новый поток событий
val events: Source[EventEnvelope, NotUsed] =
  queries.currentEventsByPersistenceId("myCounter", 
                                       fromSequenceNr = 0)

events.runForeach(println) // запустите и посмотрите
					</code></pre>
				</section>

				<section>
					<p>Что можно делать с потоком событий (примеры)?

					<ul>
						<li>Строить актор с выдержкой из текущего состояния
						<li>Перекачивать во внешние хранилище (индекс, БД, т.п.)
						<li>Считать статистику над потоком событий
						<li>и др.
					</ul>
				</section>

				<section>
					<p>Есть механизм чтения событий<br> из нескольких акторов по "тегу".
				</section>

				<section>
					<p>Read side обновляется асинхронно.

					<p class="fragment">Иногда нужно прочитать результат после записи.
				</section>

				<section>
					<p>Можно при записи отдать sequenceNq пользователю. 

					<p class="fragment">После реализовать логику ожидания нужного номера
					в view.
				</section>

				<section>
					<h3>Почему мы (почти) не используем Akka Persistence</h3>
				</section>

				<section>
					<p>Реляционная БД удобнее:
					<ul>
						<li>Легче отлаживать (хотя json тоже можно смотреть)
						<li class=fragment>Можно "пофиксить" запросом
					</ul>
				</section>

				<section>
					<h3>Домашнее задание</h3>
					<p>Добавить persistence к актору который загружает ленту.
					<ul>
						<li>Сохраняем все обновления ленты на диск
						<li>Стартуем с сохраненной лентой
						<li>Периодически пишем снапшоты
					</ul>
				</section>	

				<section>
					<p>Напоминаю:
					<ul>
						<li>Страничка курса: <a href="https://maxcom.github.io/scala-course-2020/">https://maxcom.github.io/scala-course-2020/</a>
					</ul>
				</section>
			</div>

		</div>

		<script src="lib/js/head.min.js"></script>
		<script src="js/reveal.js"></script>

		<script>
			// More info about config & dependencies:
			// - https://github.com/hakimel/reveal.js#configuration
			// - https://github.com/hakimel/reveal.js#dependencies
			Reveal.initialize({
                                controls: true,
                                progress: true,
                                history: true,
                                center: true,

                                transition: 'slide', // none/fade/slide/convex/concave/zoom

				dependencies: [
					{ src: 'plugin/markdown/marked.js' },
					{ src: 'plugin/markdown/markdown.js' },
					{ src: 'plugin/notes/notes.js', async: true },
					{ src: 'plugin/highlight/highlight.js', async: true, callback: function() { hljs.initHighlightingOnLoad(); } }
				]
			});
		</script>

	</body>
</html>