本文へ移動
cccskills
無料GitHub で公開

dynamic-large-file-parquet-analysis

动态统计Excel总行数,当数据量过大(≥10000行)时自动转换为Parquet格式加速读取,并对指定目标列进行条件筛选、分类汇总与结果导出,适用于超大体积Excel文件的快速读取与统计分析。

インストール方法を見る

含まれるファイル(1)

  • SKILL.md2.2 KB

SKILL.md(原文)

インストールする前に、エージェントに与えられる指示の中身を確認できます。

Skill Steps

This sub-skill covers one capability of the Excel workflow. For reading/counting/Parquet optimization, see the parent workflow SKILL.md.

Step1 动态读取数据(Parquet加速或常规读取)。

# 若已加载 sn-da-large-file-analysis 技能,将 Excel 文件转换为 Parquet 格式加速读取
if 'da_large_file_analysis' in globals():
    # 假设 sn-da-large-file-analysis 转换后生成了 parquet 文件
    parquet_path = 'auto_converted_data.parquet'
    df = pd.read_parquet(parquet_path)
    print("已使用 Parquet 格式加速读取大文件。")
else:
    df = pd.read_excel(file_path, sheet_name='Sheet1', header=0)
    print("文件较小,使用常规方式读取。")

Step2 对目标列进行条件筛选,并按分组列进行分类汇总(包含占比与总计)。

target_col = '目标列名'  # 示例:'危险级别'
group_col = '分组列名'   # 示例:'分项工程'
target_value = 'TARGET_VALUE'  # 示例:'★★★★'

# 筛选包含特定值的记录
df_filtered = df[df[target_col].astype(str).str.contains(target_value, na=False)].copy()

# 分类汇总
result = df_filtered[group_col].value_counts()
result_df = pd.DataFrame({
    group_col: result.index,
    '数量': result.values
})

# 计算占比并添加总计行
if not result_df.empty:
    result_df['占比'] = (result_df['数量'] / result_df['数量'].sum()).apply(lambda x: f"{x:.2%}")
    total_row = pd.DataFrame({
        group_col: ['总计'], 
        '数量': [result_df['数量'].sum()], 
        '占比': ['100.00%']
    })
    result_df = pd.concat([result_df, total_row], ignore_index=True)

Step3 导出汇总结果并生成下载链接。

output_path = 'filtered_summary_output.xlsx'

# 将分类汇总结果保存为表格文件
result_df.to_excel(output_path, index=False)

# 输出下载链接供用户获取
print("数据处理与分类汇总完成。")
print(f"下载链接: {output_path}")

レビュー

まだレビューはありません。使ってみた感想をお寄せください。

同じリポジトリのスキル

概要と使いどころ

对两类分类数据进行对比分析,统计数量差异与比例关系并生成可视化图表。

日本語の概要は準備中です。原文の説明を表示しています。

OpenSenseNova/SenseNova-Skills5,7512026年10月9日 更新

对Excel数据进行自定义分类统计、交叉分析与可视化,并基于多维度指标(如文本长度、术语密度、正则匹配等)进行综合评分与分级,适用于多类别数据分布统计及文本内容难度/质量评估场景。

日本語の概要は準備中です。原文の説明を表示しています。

OpenSenseNova/SenseNova-Skills5,7512026年10月9日 更新

提取指定类别列并统计各类别数量与占比,生成高分辨率的柱状图、饼图等组合可视化报告,适用于分类数据的分布情况分析。

日本語の概要は準備中です。原文の説明を表示しています。

OpenSenseNova/SenseNova-Skills5,7512026年10月9日 更新

从结构化数据中提取分类分布执行清洗与统计,生成多维度交叉分析、高分辨率对比图表及包含下载链接的完整分析报告,适用于大文件处理与嵌入式可视化场景。

日本語の概要は準備中です。原文の説明を表示しています。

OpenSenseNova/SenseNova-Skills5,7512026年10月9日 更新

根据数据规模动态选择处理策略。

日本語の概要は準備中です。原文の説明を表示しています。

OpenSenseNova/SenseNova-Skills5,7512026年10月9日 更新

根据文件行数动态切换大文件处理策略(Parquet转换),通过逐行扫描或列匹配提取关键指标并计算占比、均值等统计量,最终输出结构化Excel报告及可视化图表。

日本語の概要は準備中です。原文の説明を表示しています。

OpenSenseNova/SenseNova-Skills5,7512026年10月9日 更新

OpenSenseNova のスキルをすべて見る

このスキルの問題を報告する