python script to automize data file upload to existing table appending the data

  • Stare: Closed
  • Premiu: $200
  • Intrări primite: 3
  • Câștigător: mauricio27gonzal

Rezumat concurs

Python developer to automize extracting file from ftp loading into Big Query
Basically looking for an ETL pipeline where you automize the complete ETL on a weekly basis

Extract : Data from FTP server (get data file)(csv,Excel....)

Transform : append Data to existing table in BigQuery. Make sure no duplicates, clean data,do not overwite

Load : Load it to Big Query Table

you can create a small summy sample csv file to use.

Aptitudini recomandate

Top intrări pentru acest concurs

Vezi mai multe intrări

Panoul public de clarificare

  • ashikmohann
    ashikmohann
    • acum 2 săptămâni

    hi, the script should be scheduled to run weekly?

    • acum 2 săptămâni
    1. viral15
      Titularul concursului
      • acum 2 săptămâni

      Yes

      • acum 2 săptămâni
  • AVKor
    AVKor
    • acum 2 săptămâni

    Hi, #extended please and upload a samples of your files (what you are going to get from your FTP server and your database schema).

    • acum 2 săptămâni
    1. AVKor
      AVKor
      • acum 2 săptămâni

      In this case it will be useless to you since the structure, data types, database schema and so on will be not the same as you have and could not be used for your dataset. But if you are going to rewrite the script yourself for your own needs that's OK.

      • acum 2 săptămâni
    2. viral15
      Titularul concursului
      • acum 2 săptămâni

      Yes I will edit all the schemas and additional details
      We are looking to see who can provide python script that would extract - load the files to BigQuery
      You can use a very simple csv file with few columns...
      Just looking to see how the logic is created to automize the process

      Thank you

      • acum 2 săptămâni
  • viral15
    Titularul concursului
    • acum 2 săptămâni

    Please not I am specifically looking for a python script

    • acum 2 săptămâni
  • samiul92
    samiul92
    • acum 3 săptămâni

    Hi, I am creating a program for you. So I need to know that from which source of FTP(Any Database like Oracle Database/MS SQL/MySQL or Just like Excel Sheet) to extract data and Load into which Database?

    • acum 3 săptămâni
    1. viral15
      Titularul concursului
      • acum 3 săptămâni

      Load into Big Query SQL

      • acum 3 săptămâni
    2. samiul92
      samiul92
      • acum 3 săptămâni

      Ok, Thanks for answer

      • acum 3 săptămâni

Arată mai multe comentarii

Cum să începi concursurile

  • Postează-ţi concursul

    Postează-ți concursul Rapid și ușor

  • Obţine tone de intrări

    Obţine tone de Intrări Din întreaga lume

  • Premiază cea mai bună intrare

    Premiază cea mai bună intrare Descarcă fişiere - Uşor!

Postează un concurs acum sau Înscrie-te astăzi!