データ変換キット
データを変換・再構成するステップバイステップのワークフロー
このワークフローは、API・スプレッドシート・設定ファイル・レガシーシステムなど、さまざまなフォーマット間でデータを移動させる開発者・データアナリスト・DevOpsエンジニアを対象にしています。新しいデータパイプラインを始めるときは順番に進め、必要な変換ステップに直接ジャンプすることもできます。
JSONのフォーマットとバリデーション
APIやデータベースから取得した生のJSONは、多くの場合ミニファイされていて読みにくい状態です。変換ロジックを書く前に、まず構造を把握するためにフォーマットしましょう。
ネストされたデータの探索
JSONPath式を使って、複雑なネスト構造のオブジェクトから特定のフィールドを見つけて抽出します。変換コードを書く前にデータ構造を理解するのに役立ちます。
JSON配列をCSVに変換
スプレッドシートやデータ分析ツール、多くのレポートシステムはCSVで動作します。JSON配列を表形式の行と列に変換して利用しやすくしましょう。
CSVをJSONに変換
スプレッドシートのエクスポート、データベースのダンプ、レガシーデータをAPIやウェブアプリ用のJSONに変換します。フィールド名を制御し、欠損値をきれいに処理できます。
YAML設定ファイルの変換
YAMLはDevOpsのあらゆる場面で使われています。Docker Compose、Kubernetes、GitHub Actions、Ansibleなどが代表例です。設定ファイルとAPIコールの間を行き来するときに、YAMLとJSONを相互変換しましょう。
XMLのフォーマットと読み取り
レガシーAPI、エンタープライズシステム、RSSフィードでは依然としてXMLが使われています。XMLをフォーマットして読みやすくし、モダンなフォーマットに変換する前に必要なデータを抽出しましょう。
あらゆるフォーマット間の変換
JSON、XML、CSV、YAMLなど複数のフォーマット間を1か所で変換したい場合、このツールがすべての組み合わせに対応します。
プロのヒント
- 深くネストされたJSONをCSVに変換する際は、どの階層を行として扱うか最初に決めておきましょう。複数の階層を1行にまとめると幅の広い煩雑な表になります。ネストされた配列ごとに個別にエクスポートする方がすっきりします。
- YAMLのアンカーとエイリアスはJSONに変換すると失われます。YAML設定でこれらを再利用目的で使っている場合は、すべての値が正しく展開されているかJSON出力を注意深く確認してください。
- XMLデータを変換に通す前に、変換先システムが期待しない名前空間プレフィックス（xmlns属性）をすべて除去しましょう。これらは後続処理でサイレントなパースエラーを引き起こすことがよくあります。