3forge データプラットフォーム
高性能カラム指向データベース
3forge のセンター は、最短の学習曲線と業界 トップクラスのパフォーマンスで、アプリケー ション開発者にリアルタイムデータと意思決定機 能を提供します。
3forge のセンター は、最短の学習曲線と業界 トップクラスのパフォーマンスで、アプリケー ション開発者にリアルタイムデータと意思決定機 能を提供します。
独自のカラム指向データベースにより、3forge はストリーミングやリアルタイム分析が求められ るワークロードに対して業界トップクラスの分析 柔軟性を提供します。
ソフトウェアエンジニアが直面する困難なデータ 課題を解決する 3forge 独自の機能:
3forge の機能 | エンジニアにとってのメリット |
---|---|
リアルタイムストリーミング分析 | データ変更部分(デルタ)ベースのトリガーによる 高速かつ効率的な集計、結合、投影などを実現 |
直感的かつ包括的な言語 | Java/.NET 構文とSQL・Python の組み合わせ |
レプリケーションとスケーラビリティ | 追加コードなしで、レプリケーション、シャー ディング、Web 負荷分散を可能に |
履歴テーブルへのストリーミング挿入 | 即時一貫性を維持したまま、履歴テーブルへのス トリーミング挿入をサポート |
履歴テーブルのスパース更新 | 随時の挿入、更新、削除操作に対応 |
高度なコンフレーション | 膨大なデータを取り込み、ダウンサンプリングし て下流のコンシューマーへ配信 |
高度なデータ仮想化 | 100 以上のアダプターでリモートデータに接続 可能 |
自己検出型スキーマ | 外部ソースのスキーマ変更を自動承認 |
REST 管理・クエリAPI | モニタリングや各種サポート業務の自動化、カス タムエンドポイントの作成 |
リモートプロシージャコール(RPC) | 外部システムの機能をリモートから呼び出し可能 |
デバッガと直感的なエラーコード | ブレークポイントを追加し、カスタムロジックを ステップ実行 |
テストおよびコードカバレッジツール | 実行コードのランタイムを含む詳細な分析が可能 |
クエリプランナー | 最適化されたクエリ実行を実現するためのプリコ ンパイラおよびプランナー |
マルチスレッドクエリ | マルチユーザー環境における高性能なデータアク セス |
簡単な履歴テーブルスキーマの変更 | データのバックフィル(再投入)無しでスキーマを 即座に変更可能 |
Web ベースの開発スタジオ | ブラウザだけで洗練されたアプリケーション開発 を開始可能 |
リアルタイムおよびハイパースケール向けに設計された3forge データプラットフォームは、 2013 年からウォール街の大手金融機関で本番稼 働しています:
履歴データベース容量
> 10 Trillion rows
履歴データベースのカラム数
> 1,000
リアルタイムデータベースのスループット
> 2 Million ops/sec
リアルタイムデータベースのレイテンシ
< 100 µs
< 1ms
クエリのラウンドトリップ
データアプリで課題を抱えていますか? 3forge がどのように支援できるか、ソリュー ションチームにご相談ください。
高速データセットの処理とアーカイブにおいて、 3forge はパフォーマンスと耐障害性の向上を簡 単かつ安全に実現します
データベースレプリケーション
3forge は、プライマリセンターとウォームスタ ンバイセンター間のシンプルかつ効果的なデータ レプリケーションを、簡単な設定で実現します。
データベースの負荷分散
レプリケーションは、リレー内のルーティング ルールに基づいて複数のセンター間で負荷分散を 行うためにも使用できます
データレプリケーションの設定方法
Show table <some_table> FROM <connected_center>
3forge の多層アーキテクチャのあらゆる側面 で、冗長性とスケーラビリティのためにデータレ プリケーションを実装できます。
35 以上のデータベースアダプターと15 の フィードアダプターを備えた3forge は、事実上 あらゆるソースからデータを取得し、データ利用 者に対して統一されたデータモデルとして提示す ることができます。下流のアプリケーションを特 殊なデータ形式から隔離することで、3forge は プロジェクトの展開を加速し、明示的なアクセス 制御とパフォーマンス管理を実装します。 3forge に取り込まれたデータは、REST API、 JDBC、および.Net、Python、Java、そして 3forge Relay と外部システム間のRPC での双 方向ライブラリを通じてクエリすることができま す。
AMI Database
Flat File
AMI Shell
Excel
Fred
Quandl
Oracle
Microsoft SQL
MySQL
IBM DB2
SAP
SybaseIQ
KX
Hadoop
MongdoDB
R
Impala
PostgreSQL
Phoenix
Chronicle Queue
Netezza
MemSQL
Couchbase
SQLite
REST API
Snowflake
Hazelcast
Greenplum
HP Vertica
Hive
Deephaven
Bloomberg
Apache Ignite
SingleStore
Solace
Tibco
RabbitMQ
KX Stream
Chronicle Queue
IBM MQ
OneTick
FIX
Amazon SQS
Aeron
Kafka
ActiveMQ
60 East-Amps
BPIPE
QuantHouse
Google RPC
REST API
JDBC
.NET
Python
Java
Google RPC
3forge プラットフォームは、時間的成約の ある、大規模なデータ変換および比較処理に 特に適しています。 そのモジュール構造により、用途に応じて柔 軟に構成できる多様な導入パターンに対応し ています。さらに、3forge の価格モデル は、大規模なスケーラビリティと柔軟性を必 要とする企業にとって非常に有益でありなが ら、コストの予測がしやすく、手頃な価格を 維持できる点が特長です。
プライスフィード集約の例
3forge のセンターは、複数のマーケット データフィードからデータを受信し、リアル タイムでストリームを照合し、最も高速な価 格情報を下流のシステムに伝達することがで きます。
プライスフィード集約の例
3forge のセンターは、複数のマーケット データフィードからデータを受信し、リアル タイムでストリームを照合し、最も高速な価 格情報を下流のシステムに伝達することがで きます。これらの取引所フィードは、冗長性を高める ために複数のデータセンターに分散させるこ とも可能です。
データ更新時に、3forge は常に全データ セットを再処理・再送信するのではなく、変 更があった部分(デルタ)のみを処理しま す。これにより、リアルタイムシステムにお ける処理能力と効率が飛躍的に向上します。
3forge の階層型アーキテクチャでデータを 複製する際、すべての更新を送信するか、一 定間隔で最新のデータのみを送信するかを設 定できます。中間値を破棄することで、下流 システムへの負荷を大幅に軽減できます。
3forge は、平均、合計、件数、最小値、最 大値といった定期的またはデルタベースの集計メトリクスを計算・保存可能です。これに より、データ量を圧縮し、トレンド分析や移 動平均のような時系列分析に対応します。
3forge は、データ操作中に発動されるイベ ントドリブンのトリガーを通じて、自動的な データのデコレーション(装飾/付加処理) をサポートしています。テーブルレベルの変 更に応じてデータを動的に充実化し管理しま す。
デルタベース処理
メッセージ統合
要約処理
デコレーション
配信保証機能により、システム負荷やネットワーク状況にかかわらず、すべての重要な更 新情報が一度だけ確実に配信されます。 さらに、遅延サブスクリプション対応と組み 合わせることで、ユーザーは接続の遅延や再 起動後でも、欠損なくすべてのメッセージを 即時に受信・追跡できます。これらのメッ セージング機能は、リアルタイムのトレー ディング、リスク管理、コンプライアンスシ ステムに必要な高い信頼性と継続性を提供し ます
3forge は、コンテンツ、負荷、またはカス タムロジックに基づいて、メッセージを専門 の処理センターにインテリジェントに振り分 けるダイナミックルーティングルールを可能 にします。これらのルールはリアルタイムで 設定可能です。各センターは、割り当てられ た処理を個別に実行し、その後、結果は MapReduce 処理を通じてシームレスに統合 されます。 この仕組みにより、分散システムでもリソー スを無駄なく使いながら、拡張性と処理能力 に優れたデータ処理が実現できます
3forge は強力なメッセージ変換機能を備え ており、カスタムコードを記述することな く、メッセージの検査・変更・付加・フィル タリングをリアルタイムで実行できます。 この機能は、特にFIX などの金融プロトコル において有効で、異なるカウンターパーティ への対応、フォーマットの標準化、機密 フィールドのマスキング、コンテンツに基づ くルーティングなど、動的な調整が求められ る場面で役立ちます。 宣言型ルールやスクリプトによる対応にも対 応しており、3forge は変化し続ける取引・ コンプライアンス要件に柔軟かつ迅速に対応 可能なロジックを実現します。
3forge は、リアルタイムテーブルおよび データベースネイティブの機能を備えてお り、データの更新に基づいたビジネスロジッ クの即時実行を可能にします。 コンフレーション(更新の間引き処理)と組 み合わせることで、必要な処理だけを効率的 に実行できます。
標準搭載されているトリガー機能:
スクリプトトリガーの設定方法
Create trigger <trigger_name> Oftype Amiscript ON <table_name> [PRIORITY priority] Use...
集計トリガーの設定方法
Create trigger <trigger_name> Oftype Aggregate ON <source_Table>,<target_Table> Use...
プロジェクショントリガーの設定方法
Create trigger <trigger_name> Oftype Projection ON <sourceTables>,<targetTable> Use...
最高のパフォーマンスはリアルタイムデータ ベースで実現されますが、3forge では、数 兆行ものデータを保持可能なカラム型の履歴 テーブルも提供しています。これらのテーブ ルは、ディスクに保存され、パーティショニ ングに対応しており、高速なデータ取得を可 能にしつつ、大量データの保存に最適化され ています。また、リアルタイムテーブルと同 じSQL 構文を使用できます。
履歴テーブルのデータをリアルタイムテーブ ルへ読み込み、クエリ実行することができま す。これにより、他のテーブルとの結合を含 めたクエリ最適化機能のすべてを活用できま す。
3forge の履歴データベースが提供するユ ニークな機能:
3forge は、現代の金融機関やエンタープラ イズ環境における厳格なアクセス制御と監査 要件を満たす、堅牢かつセキュリティ優先の アーキテクチャを提供します。認証は業界標 準のシングルサインオン(SSO)プロトコル を通じて拡張可能で、SAML 2.0 および OAuth 2.0 を完全にサポートしており、 Okta、Azure AD、Ping Identity などの ID プロバイダーとのシームレスな統合が可 能です。
認可は、きめ細かいロールベースアクセス制 御(RBAC)フレームワークによって厳密に 管理されており、ネストされたロール、グ ループ階層、データレベルの権限設定に対応 しています。フィールド単位、セル単位まで の詳細な権限設定が可能で、ユーザーやチー ム間でのデータの可視性を厳密に分離できま す。
すべてのデータは、保存時も送信時もエンド ツーエンドで暗号化されており(TLS による 通信暗号化、AES によるストレージ暗号 化)、安全なレプリケーションプロトコルに より、分散環境においても一貫性と完全性が 保たれます。これらの機能は、金融、保険、 政府機関など、規制の厳しい業界でも導入可 能な、監査対応済み・高信頼のプラット フォームを実現しています。
拡張性、耐障害性、柔軟性を強化するデータ プラットフォームをお探しですか?