2024年12月10日、東京ミッドタウン・ホールにて「01(zeroONE)2024 DATA is TRUTH」が開催され、ジールはスポンサー企業として参加しました。また、TROCCO® + dbt Cloud + Snowflake を組み合わせたモダンデータアーキテクチャについて事例を交えたセッションを行いました。今回も突撃隊長ウエムラ自ら潜入し、レポートさせていただきます。
目次
イベント概要
名称 01（zeroONE） 2024
テーマ DATA is TRUTH データに学び・出会える一日
開催日時 2024年12月10日（火） 10:00-20:10（9:30受付開始）
会場 東京ミッドタウン・ホール
主催 株式会社primeNumber
URL https://primenumber.com/01/2024
基調講演
会場全体がみどり色のライトに照らされており、写真のほとんどはみどりがかっております(笑)
「DATA is TRUTH あらゆるデータを、ビジネスの力に変えるために」 と題して01のオープニングを飾るKEYNOTEでは、
primeNumber代表取締役CEOの田邊 雄樹氏よりデータを活用し課題の解決に奮闘されている各企業の経営者のご紹介とその発表がありました。
田邊 雄樹氏 株式会社primeNumber 代表取締役CEO より「TROCCO（トロッコ）」(クラウド型ETL［Extract／Transform／Load］ツール)の機能を拡充する、大きな発表がありました。以下の4つの内容をお話しされておりました。ぎゅっと要約してご紹介いたします。
・CONNECT 100+ コネクトの拡充
さまざまなサービスとの連携を容易に行える「コネクタ」の種類を、2025年新たに100以上のサービスを対象に大幅拡大するとのことでした。
・カスタマイズ可能な連携コネクター
企業様独自で開発されているサービス、あるいは自社システムとの連携を含め、連携コネクターをユーザーがカスタマイズ可能になるため、今まで以上に便利にご利用可能になるそうです。
・Self-Hosted Runner
オンプレミス環境でTROCCOが利用可能になるそうです。オンプレミス環境にある基幹系のデータや、お客様自身が管理するセキュアな環境のニーズについてもサポートを開始予定とのことです。
・Connector Builder
ユーザー自身がTROCCOの連携コネクタを作成できるTROCCOの各種設定をコードで管理できる「Terraform Provider for TROCCO」のリリース、CDC機能の全面リニューアルも実施するとのことでした。
イベント会場内
多くのお客様が参加されており、基調講演は満員で冗談抜きで熱気ムンムンでした。師走だというのに、わたくしはジャケットを脱ぎ半袖で聴講したほどです(笑)
各ブースでは、TROCCOをデモで見せていただけるコーナーもありました。
またスタンプラリーも開催されており、各ブースを回り抽選を行いました。わたくし、2等のSQLカードビルダーが当たりました。
オープンステージの横でコーヒーをいただきました。
お昼
基調講演の会場で講演を聴きながらお食事できるスタイルでした。
ジールブース
お陰様で大勢のお客様が弊社ジールブースにお立ち寄りくださりました。今回ジールブースでは、亀井さんの登壇もあり dbt Cloud ™ × Snowflake × TROCCO®についてご紹介いたしました。
dbt Cloud ™とは
dbt Cloud ™は、データマート開発に関連する処理をクラウド上で高品質かつ一元管理するプラットフォームです。SQL SELECT文によるモデルの定義に対応しており、従来属人化しがちだったデータマート開発プロセスを容易にすると共に、バージョン管理、テスト、データ品質、ドキュメント作成に対応していることで正確で信頼性の高いデータマート開発・運用を実現します。また、Snowflake、Redshift、BigQuery、Databricks などのクラウド型データウェアハウスに対応しておりモダンアーキテクチャによるデータ基盤の構築を実現できます。
▼dbt Cloud ™の詳細はこちらから
https://www.zdh.co.jp/products-services/etl/dbt-cloud/
気になる方はぜひこちらまでご連絡ください。
みなさま、ご興味を持ってお立ち寄りくださりどうもありがとうございました。
ジールスタッフ一同、心より感謝申し上げます。
ジール講演:TROCCO® + dbt Cloud + Snowflake で実現するモダンなデータ分析基盤のメリットとは？～最新事例をもとにベストプラクティスを紹介します～
14時過ぎ、ジールの亀井さんのセッションを聴講しました。こちらも内容を要約してご紹介いたします。
ジールの講演内容は以下とあり、「データブリックスでのAI・データ活用戦術ジール講演:TROCCO® + dbt Cloud + Snowflake で実現するモダンなデータ分析基盤のメリットとは？」について最新事例をもとにベストプラクティスをご紹介していました。
「データ分析基盤に必要となる、”データを収集・蓄積して、変換/加工して、分析する”、というステップ。これらをベスト・オブブリードのクラウドソリューションを組み合わせて実現する手法がモダンなアーキテクチャとして注目を集めています。本セッションではジールがご支援した構築事例をもとに、各フェーズに最適なソリューションの特長と使い所、そしてベストプラクティスとそのメリットをご紹介します。」
出典：01(zeroONE)2024.セッション|亀井.https://primenumber.com/01/2024/timetable/TS-7
登壇者
亀井美佳
株式会社ジール アライアンス推進部 シニアマネージャー
モダンデータスタックとは
亀井さん：モダンデータスタックとは、データ分析基盤を構築する際のキーワードになります。
データを収集、蓄積、変換加工、分析という流れを、クラウドソリューションを組み合わせて実現するという意味です。
最新データアーキテクチャのメリットは、従来型のデータ基盤は、ハードウェアの準備、高度な技術知識、利用開始までの時間がかかっていました。
一方でモダンデータスタックのデータ基盤は、クラウドで開発・運用が行える、ビジネスユーザーでも簡単に利用できる操作感で、スモールスタートしやすいという利点があります。
そのため企業がデータドリブンな意思決定を行うためには、データを素早く蓄積し、分析できるかが肝になります。データ分析を繰り返すほど新たなデータが必要となりますので、そういった変化に対応しやすいソリューションがモダンデータスタックです。
ジールの事例紹介：導入支援事例 ユナイテッドアローズ様
事例紹介でユナイテッドアローズ様のご紹介がありました。
亀井さん：お客様からの要望は、データの民主化を加速させる基盤の構築にあたり、これまでオンプレミスで運営していたデータウェアハウスをクラウド化したい、高額なオンプレミスのデータウェアハウスの管理コストを削減したい、様々なデータソースとの柔軟な連携を実現するため、多種多様な環境との接続を可能とするETLツールを導入したいというものでした。
これを解決するためSnowflakeの活用により、効率的なデータ収集・蓄積・統合を実現し、外部へのデータ出力機能も向上し、データの民主化に向けて大きく前進しました。
また、データウェアハウスをクラウド化し、利用に応じた従量課金体系へ移行することで、高額な運用保守コストの削減と平準化を実現させ、ユーザーが自らTROCCO ®を利用しデータの加工から外部システムへの出力を可能とする運用体制を獲得した事例になります。
▼詳しくはこちらをご覧ください。
株式会社ユナイテッドアローズ様
https://www.zdh.co.jp/customer/unitedarrows/
▼また、こちらは昨年ユナイテッドアローズ様のセッションを記事化したものです。導入背景、課題、導入後の実情についてなど詳しくご紹介しています。
https://www.zdh.co.jp/bi-online/zeroone_1/
データ分析・活用へのプロセスとTROCCO®、dbt Cloudの位置付け
亀井さん：TROCCO®は、ETL/ELTとオーケストレーションを担うソリューションです。
dbtは、データ抽出後の、データマート開発を専門的に行うELTのTに相当するソリューションです。
TROCCO®には独自のデータマート開発機能とdbt処理を呼び出す機能の両方が用意されており、要件によって選択することができます。、例えば、IT部門が扱う領域のETL/ELT処理はTROCCO®を、ビジネス部門が扱う領域は dbt Cloud をという使い分けをされているケースもあります。
出典：01(zeroONE)2024.セッション|亀井.「TROCCO® + dbt Cloud + Snowflake で実現するモダンなデータ分析基盤のメリットとは？～最新事例をもとにベストプラクティスを紹介します～」講演資料
dbt Cloudについての詳細ページです。
https://www.zdh.co.jp/products-services/etl/dbt-cloud/
またdbt入門の記事をご紹介しておりますので、あわせてご覧ください。
【dbt入門】基本的なコマンドを理解する_何ができる？（1/4）
https://www.zdh.co.jp/bi-online/qiita_dbt_1/
Snowflake／TROCCO ® の製品ページ
●Snowflake Snowflakeは圧倒的な高速性と扱い易さを兼ね備えたクラウドDWHサービスです。特に、クラウドベースのデータウェアハウスの弱点とされている多数の同時実行処理に強みを持ちます。さらにBI/アナリティクス製品との親和性が高いことや、AWS、Microsoft Azure、Google Cloud Platform（GCP）といったマルチクラウド環境で利用可能なため、クラウドストレージからデータを簡単にロードすることが可能です。
▼Snowflakeについての詳細はこちらをご覧ください。
https://www.zdh.co.jp/products-services/dwh/snowflake/
●TROCCO ®は、ユーザーの持つ膨大かつさまざまな種類のデータを自動で統合し、データ活用を効率化するクラウド型サービスです。国内最大級の導入実績を有する日本発のサービスです。主要な機能は「データ統合の自動化」であり、対応コネクタ数は100種類を超えます。
また、Snowflake をはじめ、Google BigQuery、Amazon Redshiftといった主要なDWHサービスに対応したELT機能も提供しています。さらに、使いやすい洗練したユーザーインタフェースにより、ETL/ELT処理の開発・運用負荷を削減します。
▼TROCCO ®についての詳細はこちらをご覧ください。
https://www.zdh.co.jp/products-services/etl/trocco/
この会場では亀井さんのセッションと同時に、他の方のセッションも開催されておりましたが、大勢の方々が亀井さんのセッションに耳を傾けていました。みなさま聴講いただき誠にありがとうございました。
本日いただいたもの
スタンプラリーでは、2等のSQLビルダーカードが当たりました。
そして毎回いただくたびにワクワクするのが、primeNumber様の販促スナックです。わたくしprimeNumber様のお菓子の大ファンなのです。今回はプリングルスで、倅たちとおいしくいただきました。
そして容量たっぷりでめちゃくちゃ便利なエコバックもいただきました。わたくし現在、倅の野球チームの会計担当をしておりますので、あれこれ書類が多い会計用のバックとして使わせていただくことにしました。
各企業のみなさま、どうもありがとうございました。
感想
クリスマス前の六本木ということで、オシャレな場所でのイベントでした。
今回はTROCCOのETL部分ということで、多くの事例を聞くことができました。属人化された部分をTROCCOを導入したことでデータの民主化が進んだということや、確実に伴走してくれるパートナーを見つけることがデータ活用の近道だとも仰っていました。小さく始めることが大事と多くの方がお話しされていました。
来年以降、ETL部分も使ってみましたシリーズでじゃんじゃんご紹介していきたいと企画しておりますので、ぜひお楽しみに〜。
おまけ「SQLビルダーで遊んでみました編」
スタンプラリーでいただいたSQLビルダーを早速開封し遊んでみました。
ゲーム概要
手札を組み合わせてお題に合ったSQL文を作成するゲームです。
2人以上で行う場合
ピンク、黄色、青の3色のカードがあり、3色の中から好きなカードを持ちます。
3色カードは11枚づつあり、全て同じコマンドや記号などが書かれています。
緑色のお題のカードを表向きにし山札としてテーブルの中央に置きます。
最近SQL文を実行した人が最初の親になります。
親は山札の一番下からカードを取り、表向きにしてテーブルの中央に置きます。
プレイヤーは全員一斉にお題からSQL文を推測し、手札に書かれているコマンドや記号を組み合わせてSQLを完成させます。
完成したら「はい」と言ってお題のカードを取り、裏面に書かれたSQL文が正しいか確認します。
この時、他のプレイヤーはプレイを中断します。
正解の場合は、お題のカードが獲得できます。
不正解が2つ出てしまうと脱落だそうです。
ソロモード
1人で行う場合は、ストップウォッチなどで5分図るそうで、時間内にクリアできたお題のカードの枚数が得点になるそうです。
0～2点：まだまだ
3～5点：もうひとがんばり
6～8点：まずまず
9点以上：SQLビルダーを名乗れる
遊んでみた感想
家族も寝静まる夜更けに、仕事部屋でひっそりと遊んでみました。
今回ソロモードで挑戦し、時間内に無事クリアできたのは良かったのですが・・・。
コマンドや記号が書かれたカードは両面刷りされており、その中からパーツを探すのが一苦労でした(笑)
「あれ、Values どこ行った？」「あれ、ここにもValuesあるじゃん。
でも条件ちがーう、どこー」と、カードをめくっては置き、めくっては置きを繰り返し、結構時間を取られましたが楽しく遊ぶことができました。
SQLを勉強し始めの方には、ゲーム感覚で構文を組み立てられるので最適なツールだと思いました。
冬休み、倅たちにSQLの構文を覚えさせて一緒にやってみようと思います。
