{% extends "base.html" %}
{% block title %}{{ "Editar" if config else "Novo" }} pipeline - engineer_kit{% endblock %}
{% block content %}
<h1>{{ "Editar pipeline" if config else "Novo pipeline" }}</h1>
<p class="subtitle">Monte o fluxo por contratos: API → extraction batches → checkpoint → Bronze → transformação opcional.</p>

{% if error %}<div class="error-box">{{ error }}</div>{% endif %}

<div class="flow-strip compact-flow">
    <div class="flow-node"><strong>Source</strong><span>RestConnector</span></div>
    <div class="flow-arrow">→</div>
    <div class="flow-node"><strong>Extraction</strong><span>ExtractionSession</span></div>
    <div class="flow-arrow">→</div>
    <div class="flow-node"><strong>State</strong><span>StateStore</span></div>
    <div class="flow-arrow">→</div>
    <div class="flow-node"><strong>Destination</strong><span>Bronze</span></div>
    <div class="flow-arrow">→</div>
    <div class="flow-node"><strong>Transform</strong><span>opcional</span></div>
</div>

<form method="post" action="/pipelines/save" id="pipeline-form">
    <fieldset>
        <legend>1. Source / Connector</legend>
        <div class="field">
            <label>Nome do pipeline</label>
            <input type="text" name="name" value="{{ config.name if config else '' }}" {{ "readonly" if config else "" }} required>
            <div class="field-hint">Identifica a origem, a tabela Bronze e a chave do watermark.</div>
        </div>
        <div class="field-row">
            <div class="field">
                <label>URL base</label>
                <input type="text" name="base_url" value="{{ config.connector.base_url if config else '' }}" placeholder="https://api.exemplo.com/recurso" required>
            </div>
            <div class="field">
                <label>Método HTTP</label>
                <select name="method">
                    <option value="GET" {{ "selected" if config and config.connector.method == "GET" else "" }}>GET</option>
                    <option value="POST" {{ "selected" if config and config.connector.method == "POST" else "" }}>POST</option>
                </select>
            </div>
        </div>
        <div class="field">
            <label>Caminho da lista na resposta JSON</label>
            <input type="text" name="records_path" value="{{ config.connector.records_path if config and config.connector.records_path else '' }}" placeholder="results">
            <div class="field-hint">Deixe vazio quando a resposta da API já for uma lista.</div>
        </div>
        <div class="field-row">
            <div class="field">
                <label>Extraction batch size</label>
                <input type="number" min="1" name="extraction_batch_size" value="{{ config.connector.extraction_batch_size if config else 25000 }}" required>
                <div class="field-hint">Default: <code>25.000</code> registros. Limita a quantidade entregue ao consumidor por vez. É independente do tamanho da página da API e do write batch do destino.</div>
            </div>
            <div class="field">
                <label>Primary key / identidade</label>
                <input type="text" name="primary_key" value="{{ config.connector.primary_key | join(',') if config and config.connector.primary_key else '' }}" placeholder="customer_id ou tenant_id,customer_id">
                <div class="field-hint">Opcional para profiling; obrigatória quando dedup está ativo. A PK pode ser simples ou composta e deve referenciar o registro emitido depois de <code>select</code>.</div>
            </div>
            <div class="field">
                <label>Deduplicação por PK</label>
                <select name="dedup">
                    <option value="off" {{ "selected" if not config or not config.connector.dedup else "" }}>Desligada</option>
                    <option value="on" {{ "selected" if config and config.connector.dedup else "" }}>Ativa — manter primeira ocorrência</option>
                </select>
                <div class="field-hint">O toggle só define a política. A identidade vem de <strong>Primary key</strong>. Se a PK repetir, o registro inteiro posterior é descartado.</div>
            </div>
        </div>
        <div class="architecture-note"><strong>Recomendação:</strong> use <strong>Data Profile</strong> para medir completude, nulls/missing e duplicatas da PK candidata antes de ativar a deduplicação.</div>
    </fieldset>

    <fieldset>
        <legend>Autenticação</legend>
        <div class="field">
            <label>Tipo</label>
            <select name="auth_type">
                <option value="none" {{ "selected" if config and config.connector.auth.type == "none" else "" }}>Nenhuma</option>
                <option value="bearer" {{ "selected" if config and config.connector.auth.type == "bearer" else "" }}>Bearer token</option>
                <option value="api_key" {{ "selected" if config and config.connector.auth.type == "api_key" else "" }}>API key</option>
            </select>
        </div>
        <div class="field-row">
            <div class="field"><label>Variável de segredo</label><input type="text" name="auth_secret_key" value="{{ config.connector.auth.secret_key if config and config.connector.auth.secret_key else '' }}" placeholder="API_TOKEN"></div>
            <div class="field"><label>Parâmetro da API key</label><input type="text" name="auth_param_name" value="{{ config.connector.auth.param_name if config else 'api_key' }}"></div>
            <div class="field"><label>Local</label><select name="auth_location"><option value="query" {{ "selected" if config and config.connector.auth.location == "query" else "" }}>Query</option><option value="header" {{ "selected" if config and config.connector.auth.location == "header" else "" }}>Header</option></select></div>
        </div>
        <div class="field-hint">O valor do token/chave não é salvo no YAML; informe apenas o nome usado pelo SecretProvider.</div>
    </fieldset>

    <fieldset>
        <legend>Paginação</legend>
        <div class="field"><label>Estratégia</label><select name="pagination_type" id="pagination_type">{% for ptype in pagination_types %}<option value="{{ ptype }}" {{ "selected" if config and config.connector.pagination.type == ptype else "" }}>{{ ptype }}</option>{% endfor %}</select></div>
        {% set p = config.connector.pagination.params if config else {} %}
        <div class="pagination-fields" data-type="page"><div class="field-row"><div class="field"><label>Parâmetro página</label><input type="text" name="page_param" value="{{ p.get('page_param', 'page') }}"></div><div class="field"><label>Parâmetro tamanho</label><input type="text" name="page_size_param" value="{{ p.get('page_size_param', 'per_page') }}"></div><div class="field"><label>Tamanho da página da API</label><input type="number" name="page_size" value="{{ p.get('page_size', 100) }}"></div></div></div>
        <div class="pagination-fields" data-type="offset"><div class="field-row"><div class="field"><label>Parâmetro offset</label><input type="text" name="offset_param" value="{{ p.get('offset_param', 'offset') }}"></div><div class="field"><label>Parâmetro limite</label><input type="text" name="limit_param" value="{{ p.get('limit_param', 'limit') }}"></div><div class="field"><label>Limite</label><input type="number" name="limit" value="{{ p.get('limit', 100) }}"></div></div></div>
        <div class="pagination-fields" data-type="cursor"><div class="field-row"><div class="field"><label>Parâmetro cursor</label><input type="text" name="cursor_param" value="{{ p.get('cursor_param', 'cursor') }}"></div><div class="field"><label>Campo cursor na resposta</label><input type="text" name="cursor_field" value="{{ p.get('cursor_field', 'next_cursor') }}"></div></div></div>
        <div class="pagination-fields" data-type="link_header"><div class="field"><label>Header</label><input type="text" name="header_name" value="{{ p.get('header_name', 'Link') }}"></div></div>
        <div class="pagination-fields" data-type="next_url"><div class="field"><label>Campo da próxima URL</label><input type="text" name="next_url_field" value="{{ p.get('next_url_field', 'next') }}"></div></div>
        <div class="field-hint">Exemplo: uma API com página de 1.000 registros pode preencher aproximadamente 25 páginas antes de formar o extraction batch padrão de 25.000. Os controles permanecem independentes.</div>
    </fieldset>

    <fieldset>
        <legend>2. Incremental / StateStore</legend>
        <div class="architecture-note"><strong>Local lab:</strong> usa <code>DuckDBStateStore</code>. Fora da UI, o mesmo contrato suporta <code>JsonFileStateStore</code> e <code>DeltaStateStore</code>. O Pipeline nunca consulta a Bronze inteira para descobrir o último checkpoint.</div>
        <div class="field-row">
            <div class="field"><label>Modo</label><select name="incremental_mode" id="incremental_mode"><option value="data_date" {{ "selected" if config and config.connector.incremental.mode == "data_date" else "" }}>Pela data do dado</option><option value="ingestion_date" {{ "selected" if config and config.connector.incremental.mode == "ingestion_date" else "" }}>Pela data da ingestão</option></select></div>
            <div class="field"><label>Data inicial</label><input type="date" name="initial_start" value="{{ config.connector.incremental.initial_start if config and config.connector.incremental.initial_start else '' }}"></div>
        </div>
        <div class="field" id="date_field_wrapper"><label>Campo de data no JSON</label><input type="text" name="date_field" value="{{ config.connector.incremental.date_field if config and config.connector.incremental.date_field else '' }}" placeholder="commit.author.date"><div class="field-hint">A maior data vista só vira watermark depois que a escrita da Bronze termina com sucesso.</div></div>
        <div class="field-row"><div class="field"><label>Query param inicial</label><input type="text" name="date_param_start" value="{{ config.connector.date_params.start if config and config.connector.date_params.start else '' }}" placeholder="since"></div><div class="field"><label>Query param final</label><input type="text" name="date_param_end" value="{{ config.connector.date_params.end if config and config.connector.date_params.end else '' }}" placeholder="until"></div><div class="field"><label>Formato</label><input type="text" name="date_param_format" value="{{ config.connector.date_params.format if config else '%Y-%m-%d' }}"></div></div>
        <div class="field-hint">Retries da mesma janela usam uma <code>ingestion_key</code> determinística nos adapters oficiais, evitando duplicação quando o destino confirmou mas o checkpoint falhou.</div>
    </fieldset>

    <fieldset>
        <legend>Schema / contrato lógico</legend>
        <div id="columns-container">
            {% if config and config.columns %}
                {% for col in config.columns %}
                <div class="field-row column-row"><div class="field"><input type="text" name="column_name" value="{{ col.name }}" placeholder="nome_da_coluna"></div><div class="field"><input type="text" name="column_dtype" value="{{ col.dtype }}" placeholder="string"></div></div>
                {% endfor %}
            {% else %}
                <div class="field-row column-row"><div class="field"><input type="text" name="column_name" placeholder="nome_da_coluna"></div><div class="field"><input type="text" name="column_dtype" value="string"></div></div>
            {% endif %}
        </div>
        <button type="button" class="btn btn-sm" id="add-column">+ Adicionar coluna</button>
        <div class="field-hint">Tipos lógicos: <code>string</code>, <code>integer</code>, <code>bigint</code>, <code>float</code>, <code>decimal</code>, <code>boolean</code>, <code>date</code>, <code>timestamp</code>, <code>json</code>. Na Bronze os valores declarados ficam como strings; staging faz os casts. Campos novos vão para <code>_extra</code>.</div>
    </fieldset>

    <fieldset>
        <legend>3. Destination / Bronze</legend>
        <div class="field-row">
            <div class="field"><label>Adapter</label><select name="destination_type"><option value="duckdb" selected>DuckDBDestination (local lab)</option></select><div class="field-hint">O editor visual é DuckDB porque o browser de dados é local. Em Python/YAML existem também ParquetDestination e DeltaDestination.</div></div>
            <div class="field"><label>Schema Bronze</label><input type="text" name="destination_schema" value="{{ config.destination.schema if config else 'bronze' }}"></div>
            <div class="field"><label>Write batch do destino</label><input type="number" name="batch_size" value="{{ config.destination.batch_size if config else 1000 }}"><div class="field-hint">O adapter pode subdividir cada extraction batch em blocos físicos menores para escrita.</div></div>
        </div>
        <div class="field"><label>Write mode</label><select name="write_mode"><option value="append" {{ "selected" if not config or config.destination.write_mode == "append" else "" }}>append — manter janelas e tornar retry idempotente</option><option value="overwrite" {{ "selected" if config and config.destination.write_mode == "overwrite" else "" }}>overwrite — substituir toda a tabela</option></select></div>
    </fieldset>

    <fieldset>
        <legend>4. Transformação opcional</legend>
        <div class="field-row">
            <div class="field"><label>Transform</label><select name="transform_type" id="transform_type"><option value="none" {{ "selected" if not config or config.transform.type == "none" else "" }}>Nenhuma — terminar na Bronze</option><option value="dbt" {{ "selected" if config and config.transform.type == "dbt" else "" }}>dbt — staging → silver → gold</option></select></div>
            <div class="field" id="dbt_select_wrapper"><label>dbt --select (opcional)</label><input type="text" name="dbt_select" value="{{ config.transform.select if config and config.transform.select else '' }}" placeholder="tag:daily ou model_name"><div class="field-hint">Projeto local: {{ "encontrado" if dbt_available else "não encontrado ainda" }}. Instale <code>engineer_kit[dbt]</code> ou <code>engineer_kit[local]</code>.</div></div>
        </div>
        <div class="architecture-note">dbt não faz parte da transação de ingestão: primeiro <code>Pipeline.run()</code> confirma Bronze + watermark. Só depois <code>DbtRunner</code> transforma. Em Lakehouse, Spark/dbt/SQL podem rodar fora da lib.</div>
    </fieldset>

    <fieldset>
        <legend>Observabilidade</legend>
        <div class="field"><label>Run log</label><select name="run_log"><option value="on" {{ "selected" if not config or config.run_log else "" }}>Ativo</option><option value="off" {{ "selected" if config and not config.run_log else "" }}>Desligado</option></select></div>
        <div class="field-hint">O Pipeline depende apenas de <code>RunLogBackend</code>. O log registra run id, ingestion key, janela, destino, linhas e watermarks. Uma falha somente na auditoria não invalida uma ingestão já confirmada.</div>
    </fieldset>

    <button type="submit" class="btn btn-primary">Salvar pipeline</button>
    <a href="/" class="btn">Cancelar</a>
</form>

<script>
function updatePaginationFields(){const type=document.getElementById('pagination_type').value;document.querySelectorAll('.pagination-fields').forEach(el=>el.classList.toggle('active',el.dataset.type===type));}
function updateDateField(){document.getElementById('date_field_wrapper').style.display=document.getElementById('incremental_mode').value==='data_date'?'block':'none';}
function updateTransform(){document.getElementById('dbt_select_wrapper').style.display=document.getElementById('transform_type').value==='dbt'?'block':'none';}
document.getElementById('pagination_type').addEventListener('change',updatePaginationFields);
document.getElementById('incremental_mode').addEventListener('change',updateDateField);
document.getElementById('transform_type').addEventListener('change',updateTransform);
document.getElementById('add-column').addEventListener('click',function(){const row=document.createElement('div');row.className='field-row column-row';row.innerHTML='<div class="field"><input type="text" name="column_name" placeholder="nome_da_coluna"></div><div class="field"><input type="text" name="column_dtype" value="string" placeholder="string"></div>';document.getElementById('columns-container').appendChild(row);});
updatePaginationFields();updateDateField();updateTransform();
</script>
{% endblock %}