コラム:COBOL帳票処理で学んだ、固定長データを構造として読む考え方
古い基幹システムからデータを出力する際、「綺麗なCSV」がもらえるとは限りません。現場でよく渡されるのは、印刷用にフォーマットされた「帳票テキスト(スプールデータ)」です。
人間が読むための「見た目」と、システムが処理するための「データ構造」は、全く別の言語です。この記事では、COBOLなどのレガシーシステムが吐き出すカオスな帳票テキストの海から、純粋なデータ構造を読み解き、Excelの二次元表へと錬成するパラダイムシフトについて掘り下げます。
この記事で扱う流れ
「CSVが欲しいのに、なぜか印刷プレビューのテキストが渡される」絶望
ある日、あなたは業務改善のために「基幹システムから先月の売上データを出してほしい」と情シスやベテラン担当者に頼みます。頭の中では、カンマで区切られた美しいCSVデータが送られてくることを想像しています。
しかし、渡された `.txt` ファイルを開いた瞬間、奈落の底に突き落とされます。
ページヘッダー、飾り線、無駄な空白行、そして「ページが変わるたびに繰り返されるタイトル」。これはデータではありません。「ドットインパクトプリンターで印刷するためのレイアウト」です。
ここからデータ分析を始めなければならないという現実に、多くの人がエクセルにテキストを貼り付け、手作業で行を消していく作業を始めます。
「見た目」に騙されるVBAプログラマーの罠
VBAを知っている人なら、手作業はしません。「マクロでテキストを1行ずつ読み込んで、不要な行を消そう」と考えます。
しかし、ここでも「人間の見た目」に引きずられた泥沼のコーディングが始まります。
If InStr(line, "===") > 0 Then(飾り線ならスキップ)If InStr(line, "PAGE:") > 0 Then(ヘッダーならスキップ)If line = "" Then(空白行ならスキップ)
そして極めつけは、データの分割です。「スペースで区切られているから Split(line, " ") で配列にしよう」とした瞬間、破綻します。「品名」の中にスペースが含まれていたり、桁数がずれてスペースの数が変わったりするため、配列のインデックスがめちゃくちゃになるのです。
結局、例外処理だらけの何百行にも及ぶスパゲッティコードが完成し、少しでもフォーマットが変わると動かなくなる「呪いのマクロ」が誕生します。
固定長データの真実:空白には「意味」がある
この苦しみから抜け出す鍵は、「空白を区切り文字として見る」ことをやめ、「空白をデータ構造の一部として見る」ことです。これがCOBOLなどのレガシーシステムが持つ固定長データ(Fixed-Length Data)の概念です。
彼らは「スペースで間を空けている」のではありません。「伝票番号は1列目から8列目」「商品コードは12列目から6文字」「品名は20列目から20文字」という絶対的な座標(バイト位置)を持っているのです。
この事実に気づいたとき、テキストファイルは単なる文字の羅列から、厳格なルールを持った「グリッド(方眼紙)」に見えてきます。品名の中にスペースがあろうが、数字が右揃えになっていようが関係ありません。「何文字目から何文字目を取り出すか」というルールだけで、データは完全にコントロールできます。
構造化へのパラダイムシフト:Power Queryによる二次元化
この「固定長データ」の概念と、Power Queryの思想が組み合わさったとき、圧倒的な威力を発揮します。Power Queryでこのテキストを読み込む際、「区切り文字」ではなく「固定長」を指定します。
- 分割: 文字の位置(1, 10, 20, 42, 50...)を指定して一撃で列を分割する。
- クレンジング: 列の先頭や末尾にある不要な空白(Trim)を取り除く。
- フィルタリング: 「伝票番号列が数値に変換できない行(つまりヘッダーや飾り線、小計行)」を丸ごとフィルターで除外する。
VBAで何百行も書いた「ヘッダーを飛ばす条件分岐」は、Power Queryの「エラー行の削除」や「テキストフィルター」というたった1ステップに昇華されます。
人間を騙すための「見た目の飾り」を取り除き、背後に隠された「固定長のデータ構造」だけを抽出する。このプロセスを経ることで、カオスだった印刷データは、美しいリレーショナルデータベースのテーブル(二次元表)へと生まれ変わります。
どれぐらいの人が気づけるか(現場での人数感)
「見た目のレイアウト」に騙されず、テキストから純粋な「データ構造」を分離できる人はどれくらいいるのでしょうか。
ここで勘違いしやすいのは、VBA経験者なら自然にこの発想へ進むわけではない、という点です。多くのVBAユーザーは、Excel内の転記、印刷、集計、CSV取込、ファイル処理までは覚えても、Power Queryや固定長データの分解までは学ばないことが多いです。
VBAは「手順を動かす」発想に強い一方、固定長データの分解は「見た目を捨てて、文字位置やバイト位置で構造を読む」発想です。ここは同じExcel周辺スキルでも、かなり別系統の能力です。
| 状態 | できること | 現場での人数感 |
|---|---|---|
| 手作業での整形 | Excelに貼り付け、手作業で行や列を消していく | 大多数 |
| 文字列の条件分岐の沼 | VBAで「PAGE」や「===」を探して処理を分岐させる | VBA経験者の中でも、テキスト取込や帳票処理に踏み込んだ一部 |
| Power Queryでの整形 | 不要行削除、列分割、型変換、フィルターを更新手順として組む | VBAユーザー全体では少数。VBAとは別物として触れない人も多い |
| 固定長としての構造化 | 文字位置で分割し、非データ行を一括フィルタリングする | ほぼいない。固定長、レガシー帳票、ETLの発想を持つ人に限られる |
「文字列をどう切り刻むか」を考える人はいます。しかし、「そもそもこのファイルは固定長の構造を持っている」と見抜ける人はかなり少ないです。VBAで1行ずつ条件分岐する発想と、Power Queryで行全体をデータ構造として再定義する発想は、似ているようでまったく違います。
だから固定長の分解は、単なるExcelの小技ではありません。レイアウトを読むのではなく、裏側のデータモデルを読む力です。現場でこの視点を持っている人は、かなり希少です。
結論:一番汚いデータが、最も美しいデータ構造を教えてくれた
「今どきCSVも吐き出せない古いシステムなんて」と文句を言うのは簡単です。しかし、その「一番汚い、人間向けの印刷データ」と格闘した経験こそが、データ構造に対する深い理解を育ててくれます。
空白には意味がある。飾り線はただのノイズである。行には種類(ヘッダー、明細、フッター)がある。これらを見極め、Power Queryというメスで切り分ける技術を身につけたとき、あなたはどんなシステムからどんな形のデータを出力されても、恐れることなく美しい二次元表へと錬成できるようになります。