Stateful actor replication and automatic fail-over in Akka

Stateful actor replication and automatic fail-over

Akka использует The Phi Accrual Failure Detector

1. Akka использует The Phi Accrual Failure Detector
2. The Phi Accrual Failure Detector

Почему блог "замерз"?

    Добрый день.
    Этот блог временно приостановлен, так как я все силы бросил на свой новый проект - курсы по Java Core + Junior Java Developer. Курсы проходят как в реале в Харькове, так и в виде вэбинаров для удаленных пользователей.
    Сайт курсов - KharkovITCourses.
    Видео лекций на youtube.

    В данный момент это И интересный бизнес И интересное занятие. Возможно, в перспективе будут курсы:
    - Middle Java Developer (Hibernate, Spring, JSF, jQuery)
    - Scala для программистов на Java
    - Multithreading programming in Java
    - Distributed programming in Java
    - ...

Twitter: Ruby + MySQL -> Java (Netty, Lucene, Zookeeper, Guice)

Twitter Search is Now 3x Faster

"In the spring of 2010, the search team at Twitter started to rewrite our search engine in order to serve our ever-growing traffic, improve the end-user latency and availability of our service, and enable rapid development of new search features. As part of the effort, we launched a new real-time search engine, changing our back-end from MySQL to a real-time version of Lucene. Last week, we launched a replacement for our Ruby-on-Rails front-end: a Java server we call Blender. We are pleased to announce that this change has produced a 3x drop in search latencies and will enable us to rapidly iterate on search features in the coming months."

"Blender is a Thrift and HTTP service built on Netty ..."

"We chose Netty over some of its other competitors, like Mina and Jetty, because it has a cleaner API, better documentation and, more importantly, because several other projects at Twitter are using this framework."

"We are using the twitter commons library (recently open-sourced!) to provide connection-pool management, load-balancing, and dead host detection."

Memory Ordering in Modern Microprocessors

Memory Ordering in Modern Microprocessors (Part I, Part II).

"Linux provides a carefully chosen set of memory-barrier primitives, as follows:

• smp_mb(): “memory barrier” that orders both loads and stores. This means loads and stores preceding the memory barrier are committed to memory before any loads and stores following the memory barrier.
• smp_rmb(): “read memory barrier” that orders only loads.
• smp_wmb(): “write memory barrier” that orders only stores.
• smp_read_barrier_depends(): forces subsequent operations that depend on prior operations to be ordered. This primitive is a no-op on all platforms except Alpha."
  
  
  
  
  "All of Linux's locking primitives, including spinlocks, reader-writer locks, semaphores and read-copy updates (RCUs), include any needed barrier primitives."
  
  
  P.S. Тут, видимо, вариант той же самой статьи.
  P.P.S. Эти статьи можно использовать как введение к более сложному чтиву - "What Every Programmer Should Know About Memory" (114 pages).

Use cases for weakCAS

В java.util.concurrent.atomic.AtomicXXX есть волшебный метод weakCompareAndSet, который отличается от оригинального  compareAndSet двумя моментами:

1) может  spuriously fail "The weak version may be more efficient in the normal case, but differs in that any given invocation of weakCompareAndSetmethod may fail, even spuriously (that is, for no apparent reason)."

2) не устанавливает happend-before отношение "weakCompareAndSet atomically reads and conditionally writes a variable, is ordered with respect to other memory operations on that variable, but otherwise acts as an ordinary non-volatile memory operation."

---

Для такого поведения (второй пункт) найдено пока два Use Case:

A) счетчики

B) Michael-Scott queues (надо попробовать реализовать)

P.S. Как понимаю, j.u.c.ConcurrentLinkedQueue реализовано на основе Michael-Scott queue, но использует "strong" CAS.

Efficient data transfer through zero copy

Efficient data transfer through zero copy.

Суть: при копировании File -> Socket через transferTo удается избежать лишних копирований данных и переключений user mode <-> kernel mode. Остается два копирования, но они делаются не через CPU, а через DMA.

Вопрос: возможно ли достичь аналогичного эффекта при копировании Socket -> Socket? Пока ищу ответ. Скажем, если я использую ByteBuffer.allocateDirect(...).

Докладываю доклад

Добрый день,
в следующую Сб расскажу "Java: пишем SOCKS4/5 proxy server на 10.000 соединений."

Было бы интересно Ваше мнение: уклон в какую сторону доклада такого типа Вас бы наиболее привлек?
- отдать весь код сервера/реализации протокола;
- сравнение с другими языками/подходами: Erlang, Node.js, etc;
- предоставлен анализ источников (книги/статьи по теме/полезные блоги);
- ...

Серверная и Контейнерная части EJB серверов: OpenEJB

Вероотступник Geronimo: OpenEJB и реализация EJB в Apache Geronimo.
    "OpenEJB, фактически, состоит из двух частей: сервера и контейнера, и команда прилагает все усилия, чтобы не смешивать их. В спецификации EJB говорится о контейнере и сервере как о раздельных частях, но нигде не даётся определение этих частей. OpenEJB устанавливает соглашение "контейнер-сервер", и, в конце концов, серверная часть OpenEJB была включена в Geronimo без каких-либо серьёзных изменений, а контейнер был полностью переписан для проекта. "Мы не используем Jetty целиком и не полностью используем OpenEJB, который существовал до создания Geronimo," заметил Дэвид. "Одна из вещей, которой [члены сообщества Geronimo] могут гордиться, состоит в том, что мы не склеивали части в произвольном порядке и не представили всем эдакого Франкенштейна".
    Серверная сторона OpenEJB содержит распределённую часть уравнения. В любой распределённой системе должны присутствовать две вещи: способность находить компонент или сервис, которые вы хотите использовать, а также способ их вызова после того, как они найдены. Отыскание компонента или сервиса обычно происходит с использованием какого-либо реестра. В веб-сервисах это -- Universal Description, Discovery and Integration (UDDI). В CORBA это -- CosNaming. В EJB это -- Java Naming и Directory Interface (JNDI). В идеале, вы должны иметь возможность позаботиться о второй части -- о вызове компонентов (будь это веб-сервис, CORBA-процедура, или удалённый EJB) при помощи обычных программных средств. Другими словами, вы должны иметь возможность вызывать компонент, как если бы он был локальным объектом.
    Серверная часть среды управляет этим процессом вызова, проверяя, что вызов достигает удалённого объекта, и что ответ возвращается к клиенту. Сервер также управляет такими задачами, как "передача состояния безопасности транзакции между вызовами," сказал Дэвид."
---
Как-то я не думал так о Java EE серверах.

JMS 2.0: Support for Multi-tenancy

Java EE 7 будет серьезно сфокусирована на clouds/PaaS и, как следствие, на обеспечении multitenancy [Arun Gupta about Java EE 7].

Нашел документ, описывающий как multitenancy, возможно, будет введена в JMS 2.0 (JMS 2.0 - часть Java EE 7) - JMS 2.0: Support for Multi-tenancy.

A Note on Distributed Computing

A Note on Distributed Computing

Суть
Каждые 10 лет приходит новая волна моды на распределенные вычисления. 70-е - передача сообщений, 80-е - RPC, 90-е - распределенныные объекты (статья 94го года). Но основная проблема не в модели связывания computation + communication, а в принципиальных сложностях: latency, different model of memory access, concurrency, partial failure, lack of a central resource manager. Похоже, авторы - разработчики NFS.

Abstract

    We argue that objects that interact in a distributed system need to be dealt with in ways that are intrinsically different from objects that interact in a single address space. These differences are required because distributed systems require that the programmer be aware of latency, have a different model of memory access, and take into account issues of concurrency and partial failure.
    We look at a number of distributed systems that have attempted to paper over the distinction between local and remote objects, and show that such systems fail to support basic requirements of robustness and reliability. These failures have been masked in the past by the small size of the distributed systems that have been built. In the enterprise-wide distributed systems foreseen in the near future, however, such a masking will be impossible.
    We conclude by discussing what is required of both systems-level and application-level programmers and designers if one is to take distribution seriously.

[JBoss]: Вызов бина, задеплоеного на удаленном сервере (3 способа)

EJB invocations from a remote client using JNDI
... return (RemoteCalculator) context.lookup("ejb:" + appName + "/" + moduleName + "/" + distinctName + "/" + beanName + "!" + viewClassName);
... return (RemoteCounter) context.lookup("ejb:" + appName + "/" + moduleName + "/" + distinctName + "/" + beanName + "!" + viewClassName + "?stateful");

Использование Java на http://odnoklassniki.ru

Архитектура и платформа проекта Одноклассники:

- Google Web Toolkit

- Код написан на Java. Есть исключения – некоторые модули для кеширования данных написаны на C и C++. Java потому, что это удобный для разработки язык, много наработок в различных сферах, библиотек, open source проектов на Java.

- хранения данных в памяти средствами Java Unsafe (я. - т.е. выделение памяти за пределами heap? почему не ByteBuffer.allocateDirect(int capacity))

- Используются два решения для хранения и сервирования данных – MS SQL и BerkeleyDB.

- Само сохранение происходит с помощью библиотеки log4j.

- Для мониторинга “здоровья” оборудования используем Zabbix

- WEB сервера – Apache Tomcat

- Сервера бизнес логики работают под JBoss 4

- Apache Lucene для индексирования и поиска текстовой информации

- При общении серверов между собой используем свое решение, основанное на JBoss Remoting

- Общение с SQL базами данных происходит посредством JDBC драйверов

Интересно Ваше мнение

Что нужно от платформы для облачного PaaS?
    Рассмотрим следующую задачу: необходимо выбрать некоторый "Java Enterprise Application Server" (классическое Нечто, предоставляющее поддержку transaction, security, threading - EJB контейнер, Spring, возможно что-то еще) для написания некого PaaS. Пусть это будет некая гипотетическая 1C-в-облаке (или платформа для хостинга интернет-магазинов). Т.е. нечто имеющее свой front-end, кастомизированную бизнесс-логику и базу. Мы ожидает что у нас будет 10.000 корпоративных клиентов. Клиент - это группа пользователей, которые имеют возможность "шарить" между собой данные, под каждого клиента кастомизируется бизнесс-логика. Имеется следующая специфика - у нас 10-100 "бриллиантовых" клиентов - тех которые приносят нам основные доходы, под каждого из них выделяется 10-100 серверов (допустим они генерируют такую нагрузку) + остальные клиенты ничего нам не приносят, пришли в ходе рекламной кампании, завели полноценный экземпляр приложения и нагрузка от них такова, что можем позволить располагать их по 100 на одном сервере. Спектр между генерируемой нагрузкой непрерывно заполнен клиентами, т.е. есть такие клиенты, что их располагаем по 3 на сервере, а есть такие что требуют 1-3 сервера.
    Вопрос такой: что нам минимально необходимо требовать еще от платформы?
    Я пока вижу два основных требования:
    - поддержка multitenancy, т.е. возможность в рамках одного инстанса сервера/контейнера обрабатывать нескольких клиентов. При чем сервер/контейнер должен гарантировать как минимум две вещи: 1. невозможность одному клиенту вмешаться в работу другого (как минимум независимые classloader-ы, как у WAR в рамках сервлет-контейнера), 2. возможность выделять ресурсы контейнера каждому клиенту отдельно (конекшены к базе, пулы потоков, память под кэши). Ну или сверх-легковесный контейнер, такой что возможно запустить 100 инстансов контейнера на одной машине. Это для тех клиентов, которых сотня на машине.
    - прозрачная репликация бизнесс-модулей. Имею в виду следующее: любая функциональность, реализованная в виде "модуля" контейнера, получает логическое имя и в случае "выгорания" машины на которой выполнялся вызов функциональности, под это логическое имя автоматически поставляется другой экземпляр модуля на другой машине. Ну и, естественно, автоматическая балансировка нагрузки на модуль путем репликации. Это для высоконагруженных клиентов.

    Вопрос к знатокам - это все? Есть что почитать? Как с этим согласуется EJB/SOA/MOM/... ?

    P.S. Контекст таков - имеем EJB/Spring/WS-*/JMS спецов, хотим/будем писать/переводить продукт на PaaS.

[Блог]: Сценарии интеграции приложений

Сценарии интеграции приложений
...

Максим,
Шаблонов интеграции несколько больше четырех. То что вы упомянули: файл, бд, сообщения и удаленный вызов это домен шаблонов интеграции по типу обмена данными. Есть еще домены по методу интеграции (data-centric, function-centric, object-centric etc) и домен структурных шаблонов (точка-точка, звезда, смешанный).
Безусловно упомянутая вами группа шаблонов наиболее понятна, но и про другие забывать не стоит
У MS есть в открытом доступе неплохая книжка, правда с явным “закосом” под их же продукты и технологические стэк.
http://www.microsoft.com/download/en/details.aspx?displaylang=en&id=12474
Не то, чтобы я сильно любил MS, но у других вендоров с такой просветительской деятельностью вообще никак. Разве что у IBM: Patterns: Implementing an SOA Using an
Enterprise Service Bus
http://www.redbooks.ibm.com/redbooks/pdfs/sg246346.pdf

[Java EE]: хороший блог российского Архитектора

Архитектура Информационных систем
Максим Смирнов

Как я понял, Максим Смирнов - руководитель департамента ИТ-Архитектуры ЩФЩ "Вымпелком"

Articles on EIP

Articles on EIP:
- SOA Patterns - New Insights or Recycled Knowledge?
- Workshop Report: Conversation Patterns
- Your Coffee Shop Does Not Use Two-Phase Commit
...

[wiki]: π-calculus

WIKI: π-calculus
    In theoretical computer science, the π-calculus (or pi-calculus) is a process calculus originally developed by Robin Milner, Joachim Parrow and David Walker as a continuation of work on the process calculus CCS (Calculus of Communicating Systems). The π-calculus allows channel names to be communicated along the channels themselves, and in this way it is able to describe concurrent computations whose network configuration may change during the computation.
    The π-calculus is elegantly simple yet very expressive. Functional programs can be encoded into the π-calculus, and the encoding emphasises the dialogue nature of computation, drawing connections with game semantics. Extensions of the π-calculus, such as the spi calculus and applied π, have been successful in reasoning about cryptographic protocols. Beside the original use in describing concurrent systems, the π-calculus has also been used to reason about business processes and molecular biology.

Articles About Java Technology

Articles About Java Technology from Sun/Oracle:
...
- JVM Language Summit Video and Presentations
...
- Dynamic Language Support on the Java Virtual Machine
...
- Working with Java SE 7 Exception Changes
...
- Java Champion Jonas Bonér Explains the Akka Platform
...

The Java Language Specification, Java SE 7 Edition

На сайте Oracle лежит спецификация Java 7:
- новая спецификация
- новая спецификация с отмеченными изменениями относительно Java 5