CSVの行数と件数が合わないとき：改行を消す前に確認すること

「CSVは6行なのに、読み込むと3件しかない」。この違いだけでは、データが消えたとは判断できません。見出しも1行に数えられますし、連絡メモなどの値の中に改行が入ることもあります。

まずは、テキストの行数、CSVとして区切ったデータ件数、システムに登録できた件数を分けて確認します。次の例は説明用に作った架空の受付データです。

6行に見える受付データを数える

受付ID,担当,連絡メモ
R-301,東,"午前受取
入口は北側"
R-302,西,変更なし
R-303,南,"箱は2個
重ね置き不可"

このCSVには、受付が3件あります。R-301とR-303の連絡メモはそれぞれ2行ですが、引用符で囲まれた一つの値です。

数える対象この例の結果意味
テキスト上の文字がある行6行画面の自動折り返しは含めない
見出しを含むCSVのレコード4件見出し1件＋受付3件
見出しを除いた受付データ3件R-301、R-302、R-303

6から見出しの1を引くだけでは5になり、受付件数と一致しません。値の中の2つの改行も、テキスト上では行の区切りになるためです。

RFC 4180は、改行・カンマ・引用符を含む値を二重引用符で囲む一般的なCSV形式を説明しています。ただし、全サービスに同じ動作を義務付ける規格ではありません。RFC 4180の形式説明

Windowsで元ファイルを変更せずに数える

文字コードがUTF-8、区切りがカンマ、先頭のレコードが列名であると分かっているファイルでは、PowerShellで次のように読み込めます。パスは確認したいファイルに置き換えてください。

$records = @(Import-Csv -LiteralPath 'C:\作業\受付.csv' -Encoding utf8)
$records.Count
$records | Select-Object 受付ID, 担当

上の架空例なら件数は3で、IDはR-301、R-302、R-303です。このコマンドにファイルを書き換える処理はありません。@(...) は読み取り結果を配列として受けるために付けています。Import-Csvは列名を使って各データをオブジェクトに変換します。Microsoft公式のImport-Csv説明

この例には重複・空欄の列名や空レコードを含めていません。見出しがないファイルにそのまま使うと、最初のデータを列名として扱ってしまいます。文字化け、想定外の列、IDの欠落があれば件数を採用する前に形式を確認してください。大きなファイルでは読み取り結果の保持にメモリを使います。

また、読み取れた件数は受け取り先システムの登録成功件数ではありません。必須項目の不足や既存IDとの重複で受け付けられなかったデータがないか、取り込み結果も照合します。

件数を合わせるためだけに改行を削除しない

今回の3件を5件に見せるために引用符や改行を消すと、連絡メモの意味やデータの境界を壊すおそれがあります。元ファイルを残し、件数の定義を先に合わせます。

確認する順序は次のとおりです。

  1. 見出しの扱い：受け渡し時の「3件」に列名を含めるか。
  2. 値の中の改行：受け取り先が、引用符で囲んだ改行を扱えるか。
  3. 受付IDと内容：3つのIDが残り、それぞれの連絡メモが別の受付へ移っていないか。
  4. 取り込み結果：読み取り件数と登録・更新・除外・エラー件数の関係が説明できるか。

セル内改行を受け付けないシステムに渡す場合は、作成元で一行の表現に変更できるか確認します。単純な全文置換でレコード間の改行まで消さず、変更方法を受け取り先と合わせた別ファイルを作ります。どのファイルにも一律に改行削除が必要という意味ではありません。

件数の確認を引き継ぐメモ

今回の例なら、次のように残すと、何を数えたかを説明できます。

対象：架空の受付データ
形式：UTF-8、カンマ区切り、先頭レコードは列名
データ件数：3件（列名を除く）
受付ID：R-301、R-302、R-303
連絡メモ内の改行：R-301とR-303に各1か所
元ファイルの変更：なし
受け取り先への登録結果：未確認

関連記事：CSV提出前に確認メモを残す ／ CSVの差分を行順と比較キーから確認する

制作にはAIを使用しています。架空例はPowerShell 7.6.5の読み取りと別のCSV処理で件数・ID・メモを照合しました。Excelの画面操作や、特定の業務システムへの取り込みは検証していません。

コメント

コメントを投稿

このブログの人気の投稿

CSVの差分比較で「全部変わった」と出たら：行順・比較キー・重複を確認する

更新前と更新後のCSVを比較すると、ほとんどの行に差分が出ることがあります。最初に確かめたいのは、比較結果が何を基準に行を対応付けたかです。同じ行番号同士を比較していると、並べ替えだけでも大量の違いが現れます。 この記事では、架空の商品在庫CSVを使い、並び順の違いと値の変更を分けて確認します。実際の顧客情報や取引データは使っていません。 4行すべてが違って見える例 次のCSVは、1行目が列名で、その下に4件のデータがあります。商品コードは先頭ゼロを含む文字列として扱います。 変更前： 商品コード,商品名,数量 00101,方眼ノート,12 00102,角形封筒,4 00103,紙クリップ,7 00104,無地カード,2 変更後： 商品コード,商品名,数量 00104,無地カード,2 00102,角形封筒,6 00101,方眼ノート,12 00105,仕切り紙,3 同じ位置のデータ行同士を比べると、4行とも内容が違います。しかし、商品コードを目印に同じ商品同士を対応付けると、確認対象は次のように整理できます。 商品コード 確認結果 内容 00101 値の変更なし 並び位置は変わったが、商品名と数量は同じ 00102 値の変更あり 数量が4から6へ変わった 00103 変更前だけに存在 変更後のCSVには含まれていない 00104 値の変更なし 並び位置は変わったが、商品名と数量は同じ 00105 変更後だけに存在 変更前のCSVには含まれていない この例は「追加1件・削除1件・値の変更1件・値の変更なし2件」です。追加と削除は、比較した2つのファイルに含まれるかどうかを表しています。元のシステムで新規登録や削除が行われたとまでは、このCSVだけでは判断できません。抽出条件が変わった可能性も確認します。 件数を確かめるなら、変更前は「削除1＋変更1＋変更なし2＝4件」、変更後は「追加1＋変更1＋変更なし2＝4件」と整理できます。前後とも4件だから更新内容が同じ、とはいえません。 比較キーを選ぶ前に確かめること この例では商品コードを比較キーにしました。ただし、実際のCSVでも商品コード1列でよいとは限りません。同じ商品が倉庫ごとに1行ずつある表なら、商品コードだけでは行を特定できません。 最初に、前後のファイルが同じ対象・同じ抽出条件のもの...
続きを読む

CSVの商品コード「00123」を守る：先頭ゼロが消えた場所を切り分ける

商品コード「00123」が「123」に見えるとき、元のCSVからゼロが消えたのか、開いたアプリが数値として解釈したのかを分けて確認します。慌てて上書きせず、元ファイルを残すのが最初の一手です。 まず、どこで変わったかを確認する 以下は架空の商品一覧です。商品コードは計算用の数量ではなく、照合用の識別子として扱います。 商品コード,商品名,数量 00123,ノート,2 01230,封筒,10 元のCSVをテキストエディタで開き、00123と書かれていれば、少なくとも元ファイルにはゼロが残っています。表計算で123と見えた場合は、取込時の型変換を疑います。元のCSV自体が123になっていた場合は、表示設定を変えるだけでは元の桁数は分かりません。 数量とコードを同じ「数値」にしない 数量2と10は合計できますが、00123を123へ変えると、別のコードとの区別を失う場合があります。当工房では、項目の用途を先に決める方法を勧めています。「計算する列」「照合する列」「自由記入の列」を短いメモにすると、取り込み設定を決めやすくなります。 Excelは取り込む段階で文字列として扱う Microsoftの公式案内では、先頭ゼロを残す方法として、テキスト／CSVからの取り込みで対象列をテキスト型にする方法が説明されています。単純にCSVを開く場合と取り込み操作では結果が異なることがあります。使用するExcelの版に合う手順を確認してください。 Power Queryを使う場合も、数値へ変換してゼロが落ちた後に文字列へ変えるだけでは元に戻りません。適用したステップを確認し、コードが数値へ変換される前の段階から扱いを見直します。 参考： Microsoft公式：先頭ゼロと大きな数値の保持 。この記事ではExcel実機での操作検証は行っていません。 桁を補う前に、元データと照合する 「全部5桁だからゼロを足す」と決めつけるのは避けます。コードには桁数が異なる体系が混在している場合があります。受領元の仕様に5桁固定と明記され、元の一覧と照合できる場合にだけ補正し、補正した行を記録します。 受け渡し時に残す確認メモ 商品コード列は文字列として扱う 元ファイルの00123と01230を取り込み結果で照合した 数量列は2と10のままであることを確認した 保存したCSVをテキストで開き直し、ゼロが残...
続きを読む

CSVを提出する前に残す確認メモ：件数・変更点・未確認を短く記録する

提出したCSVについて「どこを直しましたか」と聞かれたとき、作業内容を思い出すところから始めると、確認に時間がかかります。短い確認記録を一緒に残しておけば、修正の意図と次に調べる場所を伝えやすくなります。 ここでは、架空の小さな商品一覧を例に、提出前の確認メモを作ります。法定帳簿や監査証跡の要件を定めるものではなく、日常の受け渡しのための作業例です。 「処理したこと」と「確認したこと」を分ける 空白を削除するボタンを押したことと、商品名の意図した空白だけが変わったことは別です。メモには処理の名前だけでなく、処理後に照合した項目を書きます。「整形済み」「確認OK」だけでは、別の人が確認範囲を判断できません。 受領・作業・提出のファイルを区別する 受け取った元ファイルを保管し、コピーを作業用にします。提出するファイルには日付と版を付け、メモにも同じ名前を書きます。ファイル名のルールは取引先の指定を優先してください。差し替え時には、古い提出物を黙って上書きするより、版と変更理由を記録すると追いやすくなります。 架空の記入例 対象：20260909_商品一覧_提出用_v02.csv 元データ：受領_商品一覧.csv 作業：商品名の前後空白を1セル修正 件数：データ2行 → 2行（見出しを除く） 列：商品コード・商品名・数量の3列 残したもの：商品コード00123、01230の先頭ゼロ 重複：同一文字列の行はなし 保存後：日本語・列数・数量を開き直して照合 未確認：相手先システムへの実際の取り込み 次の確認：担当者がテスト環境で取り込む この数字は説明のための架空例です。実際の作業では、処理結果から数えた値に置き換えます。CSVのセル内に改行がある場合、テキストの行数とデータ件数は一致しないことがあります。見出しを含めるかどうかも明記します。 提出前に確認する4点 対象： メモに書いたファイルと、実際に添付するファイルが同じか。 構造： 列名・列順・データ件数が想定と合うか。 意味： コード、数量、日付など、重要な値を元データと照合したか。 保存後： 画面だけでなく保存ファイルを開き直したか。提出先への取込はどこまで試したか。 同じファイルかを比べたいとき 添付やコピーの前後で同一性を確認する補助手段として、ファイルのハッシュ値を比較する方法があります。PowerShellの...
続きを読む