journey-of-data-scientist-L-part-1-two-must-ask-questions-when-on-board.html

<!DOCTYPE html>
<!--[if lt IE 9 ]><html class="no-js oldie" lang="zh-hant-tw"> <![endif]-->
<!--[if IE 9 ]><html class="no-js oldie ie9" lang="zh-hant-tw"> <![endif]-->
<!--[if (gte IE 9)|!(IE)]><!-->
<html class="no-js" lang="zh-hant-tw">
<!--<![endif]-->

<head>

    <!--- basic page needs
    ================================================== -->
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
    <meta name="author" content="Lee Meng" />
<title>LeeMeng - 資料科學家 L 的奇幻旅程 Vol.1 新人不得不問的 2 個問題</title>
    <!--- article-specific meta data
    ================================================== -->
        <meta name="description" content="為了讓有志成為資料科學家，或是單純想要了解的讀者們能理解資料科學是如何實際被企業應用，以及讓自己多一點反思的機會，趁著最近開始在 SmartNews 的新工作，我打算開始紀錄自己平常的工作內容以及一些經驗分享。作為系列文的第一篇文章，我們將探討一個資料科學家在進入新公司熟悉環境的時候，除了問該裝什麼工具以外，可以問的兩個重要問題。" />
        <meta name="keywords" content="資料科學, data-science, 日誌" />
        <meta name="tags" content="資料科學" />
        <meta name="tags" content="data-science" />
        <meta name="tags" content="日誌" />


    <!--- Open Graph Object metas
    ================================================== -->
        <meta property="og:image" content="https://leemeng.tw/theme/images/background/anastasia-petrova-193818-unsplash.jpg" />
        <meta property="og:type" content="article" />
        <meta property="og:url" content="https://leemeng.tw/journey-of-data-scientist-L-part-1-two-must-ask-questions-when-on-board.html" />
        <meta property="og:title" content="資料科學家 L 的奇幻旅程 Vol.1 新人不得不問的 2 個問題" />
        <meta property="og:description" content="為了讓有志成為資料科學家，或是單純想要了解的讀者們能理解資料科學是如何實際被企業應用，以及讓自己多一點反思的機會，趁著最近開始在 SmartNews 的新工作，我打算開始紀錄自己平常的工作內容以及一些經驗分享。作為系列文的第一篇文章，我們將探討一個資料科學家在進入新公司熟悉環境的時候，除了問該裝什麼工具以外，可以問的兩個重要問題。" />

    <!-- mobile specific metas
    ================================================== -->
    <meta name="viewport" content="width=device-width, initial-scale=1">

    <!-- CSS
    ================================================== -->
    <!--for customized css in individual page-->
        <link rel="stylesheet" type="text/css" href="https://leemeng.tw/theme/css/bootstrap.min.css">

    <!--for showing toc navigation which slide in from left-->
        <link rel="stylesheet" type="text/css" href="https://leemeng.tw/theme/css/toc-nav.css">

    <!--for responsive embed youtube video-->
        <link rel="stylesheet" type="text/css" href="https://leemeng.tw/theme/css/embed_youtube.css">

    <!--for prettify dark-mode result-->
        <link rel="stylesheet" type="text/css" href="https://leemeng.tw/theme/css/darkmode.css">

    <link rel="stylesheet" type="text/css" href="https://leemeng.tw/theme/css/base.css">
    <link rel="stylesheet" type="text/css" href="https://leemeng.tw/theme/css/vendor.css">
    <link rel="stylesheet" type="text/css" href="https://leemeng.tw/theme/css/main.css">
    <link rel="stylesheet" type="text/css" href="https://leemeng.tw/theme/css/ipython.css">
    <link rel="stylesheet" type="text/css" href='https://leemeng.tw/theme/css/progress-bar.css' />


    <!--TiqueSearch-->
    <link href="https://fonts.googleapis.com/css?family=Roboto:100,300,400">
    <link rel="stylesheet" href="https://leemeng.tw/theme/tipuesearch/css/normalize.css">
    <link rel="stylesheet" href="https://leemeng.tw/theme/tipuesearch/css/tipuesearch.css">

    <!-- script
    ================================================== -->
    <script src="https://leemeng.tw/theme/js/modernizr.js"></script>
    <script src="https://leemeng.tw/theme/js/pace.min.js"></script>


    <!-- favicons
    ================================================== -->
    <link rel="shortcut icon" href="../theme/images/favicon.ico" type="image/x-icon"/>
    <link rel="icon" href="../theme/images/favicon.ico" type="image/x-icon"/>

<!-- Global Site Tag (gtag.js) - Google Analytics -->
<script async src="https://www.googletagmanager.com/gtag/js?id=UA-106559980-1"></script>
<script>
  window.dataLayer = window.dataLayer || [];
  function gtag(){dataLayer.push(arguments)};
  gtag('js', new Date());

  gtag('config', 'UA-106559980-1');
</script>


</head>


<body id="top">

    <!-- header
    ================================================== -->
    <header class="s-header">

        <div class="header-logo">
            <a class="site-logo" href="../index.html"><img src="https://leemeng.tw/theme/images/logo.png" alt="Homepage"></a>
        </div>
<!--navigation bar ref: http://jinja.pocoo.org/docs/2.10/tricks/-->


<nav class="header-nav-wrap">
    <ul class="header-nav">
        <li>
            <a href="../index.html#home">Home</a>
        </li>
        <li>
            <a href="../index.html#about">About</a>
        </li>
        <li>
            <a href="../index.html#projects">Projects</a>
        </li>
        <li class="current">
            <a href="../blog.html">Blog</a>
        </li>
        <li>
            <a href="https://demo.leemeng.tw">Demo</a>
        </li>
        <li>
            <a href="../books.html">Books</a>
        </li>
        <li>
            <a href="../index.html#contact">Contact</a>
        </li>

    </ul>

    <!--<div class="search-container">-->
        <!--<form action="../search.html">-->
            <!--<input type="text" placeholder="Search.." name="search">-->
            <!--<button type="submit"><i class="im im-magnifier" aria-hidden="true"></i></button>-->
        <!--</form>-->
    <!--</div>-->

</nav>
        <a class="header-menu-toggle" href="#0"><span>Menu</span></a>

    </header> <!-- end s-header -->


    <!--TOC navigation displayed when clicked from left-navigation button-->
    <div id="tocNav" class="overlay" onclick="closeTocNav()">
      <div class="overlay-content">
        <div id="toc"><ul><li><a class="toc-href" href="#" title="資料科學家 L 的奇幻旅程 Vol.1 新人不得不問的 2 個問題">資料科學家 L 的奇幻旅程 Vol.1 新人不得不問的 2 個問題</a><ul><li><a class="toc-href" href="#熟悉環境-=-安裝軟體？" title="熟悉環境 = 安裝軟體？">熟悉環境 = 安裝軟體？</a></li><li><a class="toc-href" href="#公司內有什麼關鍵績效指標？" title="公司內有什麼關鍵績效指標？">公司內有什麼關鍵績效指標？</a></li><li><a class="toc-href" href="#儀表板上的-KPI-是怎麼產生的？" title="儀表板上的 KPI 是怎麼產生的？">儀表板上的 KPI 是怎麼產生的？</a></li><li><a class="toc-href" href="#結語" title="結語">結語</a></li></ul></li></ul></div>
      </div>
    </div>

    <!--custom images with icon shown on left nav-->
    <!--the details are set in `pelicanconf.py` as `LEFT_NAV_IMAGES`-->

    <article class="blog-single">

        <!-- page header/blog hero, use custom cover image if available
        ================================================== -->
            <div class="page-header page-header--single page-hero" style="background-image:url(https://leemeng.tw/theme/images/background/anastasia-petrova-193818-unsplash.jpg)">

            <div class="row page-header__content narrow">
                <article class="col-full">
                    <div class="page-header__info">
                        <div class="page-header__cat">
                            <a href="https://leemeng.tw/tag/zi-liao-ke-xue.html" rel="tag">資料科學</a>
                            <a href="https://leemeng.tw/tag/data-science.html" rel="tag">data-science</a>
                            <a href="https://leemeng.tw/tag/ri-zhi.html" rel="tag">日誌</a>
                        </div>
                    </div>
                    <h1 class="page-header__title">
                        <a href="https://leemeng.tw/journey-of-data-scientist-L-part-1-two-must-ask-questions-when-on-board.html" title="">
                            資料科學家 L 的奇幻旅程 Vol.1 新人不得不問的 2 個問題
                        </a>
                    </h1>
                    <ul class="page-header__meta">
                        <li class="date">2018-07-07 (Sat)</li>
                        <li class="page-view">
                            4,645 views
                        </li>
                    </ul>

                </article>
            </div>

        </div> <!-- end page-header -->

        <div class="KW_progressContainer">
            <div class="KW_progressBar"></div>
        </div>

        <div class="row blog-content" style="position: relative">
<div id="left-navigation">

    <div id="search-wrap">
        <i class="im im-magnifier" aria-hidden="true"></i>
        <div id="search">
            <form action="../search.html">
            <div class="tipue_search_right"><input type="text" name="q" id="tipue_search_input" pattern=".{2,}" title="想搜尋什麼呢？（請至少輸入兩個字）" required></div>
            </form>
        </div>
    </div>

    <div id="toc-wrap">
        <a title="顯示/隱藏 文章章節">
            <i class="im im-menu" aria-hidden="true" onclick="toggleTocNav()"></i>
        </a>
    </div>

    <div id="social-wrap" style="cursor: pointer">
        <a class="open-popup" title="訂閱最新文章">
            <i class="im im-newspaper-o" aria-hidden="true"></i>
        </a>
    </div>
    <div id="social-wrap">
        <a href="https://www.facebook.com/sharer/sharer.php?u=https%3A//leemeng.tw/journey-of-data-scientist-L-part-1-two-must-ask-questions-when-on-board.html" target="_blank" title="分享到 Facebook">
            <i class="im im-facebook" aria-hidden="true"></i>
        </a>
    </div>
    <div id="social-wrap">
        <a href="https://www.linkedin.com/shareArticle?mini=true&url=https%3A//leemeng.tw/journey-of-data-scientist-L-part-1-two-must-ask-questions-when-on-board.html&title=%E8%B3%87%E6%96%99%E7%A7%91%E5%AD%B8%E5%AE%B6%20L%20%E7%9A%84%E5%A5%87%E5%B9%BB%E6%97%85%E7%A8%8B%20Vol.1%20%E6%96%B0%E4%BA%BA%E4%B8%8D%E5%BE%97%E4%B8%8D%E5%95%8F%E7%9A%84%202%20%E5%80%8B%E5%95%8F%E9%A1%8C&summary=%E7%82%BA%E4%BA%86%E8%AE%93%E6%9C%89%E5%BF%97%E6%88%90%E7%82%BA%E8%B3%87%E6%96%99%E7%A7%91%E5%AD%B8%E5%AE%B6%EF%BC%8C%E6%88%96%E6%98%AF%E5%96%AE%E7%B4%94%E6%83%B3%E8%A6%81%E4%BA%86%E8%A7%A3%E7%9A%84%E8%AE%80%E8%80%85%E5%80%91%E8%83%BD%E7%90%86%E8%A7%A3%E8%B3%87%E6%96%99%E7%A7%91%E5%AD%B8%E6%98%AF%E5%A6%82%E4%BD%95%E5%AF%A6%E9%9A%9B%E8%A2%AB%E4%BC%81%E6%A5%AD%E6%87%89%E7%94%A8%EF%BC%8C%E4%BB%A5%E5%8F%8A%E8%AE%93%E8%87%AA%E5%B7%B1%E5%A4%9A%E4%B8%80%E9%BB%9E%E5%8F%8D%E6%80%9D%E7%9A%84%E6%A9%9F%E6%9C%83%EF%BC%8C%E8%B6%81%E8%91%97%E6%9C%80%E8%BF%91%E9%96%8B%E5%A7%8B%E5%9C%A8%20SmartNews%20%E7%9A%84%E6%96%B0%E5%B7%A5%E4%BD%9C%EF%BC%8C%E6%88%91%E6%89%93%E7%AE%97%E9%96%8B%E5%A7%8B%E7%B4%80%E9%8C%84%E8%87%AA%E5%B7%B1%E5%B9%B3%E5%B8%B8%E7%9A%84%E5%B7%A5%E4%BD%9C%E5%85%A7%E5%AE%B9%E4%BB%A5%E5%8F%8A%E4%B8%80%E4%BA%9B%E7%B6%93%E9%A9%97%E5%88%86%E4%BA%AB%E3%80%82%E4%BD%9C%E7%82%BA%E7%B3%BB%E5%88%97%E6%96%87%E7%9A%84%E7%AC%AC%E4%B8%80%E7%AF%87%E6%96%87%E7%AB%A0%EF%BC%8C%E6%88%91%E5%80%91%E5%B0%87%E6%8E%A2%E8%A8%8E%E4%B8%80%E5%80%8B%E8%B3%87%E6%96%99%E7%A7%91%E5%AD%B8%E5%AE%B6%E5%9C%A8%E9%80%B2%E5%85%A5%E6%96%B0%E5%85%AC%E5%8F%B8%E7%86%9F%E6%82%89%E7%92%B0%E5%A2%83%E7%9A%84%E6%99%82%E5%80%99%EF%BC%8C%E9%99%A4%E4%BA%86%E5%95%8F%E8%A9%B2%E8%A3%9D%E4%BB%80%E9%BA%BC%E5%B7%A5%E5%85%B7%E4%BB%A5%E5%A4%96%EF%BC%8C%E5%8F%AF%E4%BB%A5%E5%95%8F%E7%9A%84%E5%85%A9%E5%80%8B%E9%87%8D%E8%A6%81%E5%95%8F%E9%A1%8C%E3%80%82&source=https%3A//leemeng.tw/journey-of-data-scientist-L-part-1-two-must-ask-questions-when-on-board.html" target="_blank" title="分享到 LinkedIn">
            <i class="im im-linkedin" aria-hidden="true"></i>
        </a>
    </div>
    <div id="social-wrap">
        <a href="https://twitter.com/intent/tweet?text=%E8%B3%87%E6%96%99%E7%A7%91%E5%AD%B8%E5%AE%B6%20L%20%E7%9A%84%E5%A5%87%E5%B9%BB%E6%97%85%E7%A8%8B%20Vol.1%20%E6%96%B0%E4%BA%BA%E4%B8%8D%E5%BE%97%E4%B8%8D%E5%95%8F%E7%9A%84%202%20%E5%80%8B%E5%95%8F%E9%A1%8C&url=https%3A//leemeng.tw/journey-of-data-scientist-L-part-1-two-must-ask-questions-when-on-board.html&hashtags=zi-liao-ke-xue,data-science,ri-zhi" target="_blank" title="分享到 Twitter">
            <i class="im im-twitter" aria-hidden="true"></i>
        </a>
    </div>


    <!--custom images with icon shown on left nav-->

</div>

            <div class="col-full blog-content__main">

                <div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<p>身為一個資料科學家，我平常會寫些相關領域的文章，像是</p>
<ul>
<li><a href="https://leemengtaiwan.github.io/demystify-the-hype-of-data-science-and-its-value.html">揭開資料科學的神秘面紗</a></li>
<li><a href="https://leemengtaiwan.github.io/why-you-need-to-learn-sql-as-a-data-scientist.html">為何資料科學家需要學習 SQL</a></li>
<li><a href="https://leemengtaiwan.github.io/data-visualization-from-matplotlib-to-ggplot2.html">淺談資料視覺化以及 ggplot2 實踐</a>。</li>
</ul>
<p>它們都獲得不錯的迴響，我也得到不少很棒的回饋。</p>
<p>不過如果只是介紹特定跟資料科學（Data Science，以下簡稱 DS）相關的工具或概念的話，我們可能會陷入「見樹不見林」的窘境：知道很多 DS 的知識，但卻不曉得這些知識是如何實際被運用在解決人們或是企業的問題。實際上我相信大多數企業的資料科學家在做的事情，並不像很多線上課程那麼單純；有時候你需要結合多種領域的知識，如資料工程、分析手法以及領域知識（Domain Knowledge）來解決一個商業問題。</p>
<p>為了讓有志成為資料科學家，或是單純想要了解的讀者們能理解 DS 是如何實際被（企業）應用，以及讓自己多一點反思的機會，趁著最近開始在 <a href="https://www.smartnews.com/en/">SmartNews</a> 的新工作，我打算開始（不定期地）紀錄自己平常的工作內容以及一些經驗分享（當然，在不洩漏隱私資訊的前提下）。</p>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<center>
<img src="https://leemeng.tw/images/journal/green-chameleon-21532-unsplash.jpg"/>
</center>
<center>
                        我相信透過寫作，能讓更多人了解資料科學並幫助自己釐清重要概念
                        <br/>
<br/>
</center>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<p>這系列文章將以類似說故事（奇幻旅程，喔耶！）的手法，闡述我在 <a href="https://www.smartnews.com/en/">SmartNews</a> 遇到的一些挑戰，以及作為一名資料科學家（Data Scientist），我如何利用手邊各式各樣的工具以及手法來解決這些問題。透過問題導向（Problem-oriented）的方式，我希望能讓更多人理解 DS 是如何實際被應用在企業之中，進而思考自己該如何預先準備，減少進入這個領域的障礙。（歡迎分享你的想法！）</p>
<p>在後面幾篇文章，我們將有機會深入探討一些分析手法、如何建置預測模型，以及建置可靠的資料流（Dataflow）。但在那之前可別忘了：「巧婦難為無米之炊」。我們才剛剛開始資料科學家的工作，就連筆電裡頭也是什麼軟體都還沒被安裝呢！</p>
<p>因此在大展身手之前，在這篇文章我們將討論作為一個資料科學家，如何在開始第一個分析專案的同時，「有效率」地熟悉新環境。後面你將會發現，這個初始步驟看似瑣碎，卻能讓之後的工作進行地更為順利。</p>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<h2 id="熟悉環境-=-安裝軟體？">熟悉環境 = 安裝軟體？<a class="anchor-link" href="#熟悉環境-=-安裝軟體？">&para;</a></h2>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<p>讓我們想像一下剛從 IT 管理部門手上拿到新筆電的情境。</p>
<p>通常拿到公司配的新電腦以後，一個資料科學家會思考的幾個問題是：</p>
<ul>
<li>「我要在新電腦上面裝什麼軟體？」</li>
<li>「公司的資料科學家們用什麼軟體？」</li>
<li>「我要怎麼存取公司的資料？」</li>
</ul>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<center>
<img src="https://leemeng.tw/images/journal/markus-spiske-37176-unsplash.jpg"/>
</center>
<center>
                        面對一片空白的環境，我們的腦袋可不能也是一片空白
                        <br/>
<br/>
</center>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<p>這些問體的確很重要也很實際（practical），也是我當初能馬上想到的問題。但後面我們會看到，該安裝什麼軟體、該怎麼存取資料庫都是「熟悉環境」裏頭最簡單的部分。為什麼？</p>
<p>因為通常 manager 會準備好一個清單告訴你該裝什麼，只要照著做就好了。這個清單當然會依照公司內部使用的技術而有所差異，但在大 Google 搜尋時代之下，要在自己的筆電安裝任何東西（應該）都不是太困難的事情。</p>
<p>就算公司沒有給你清單，沒問題！事實上，我也不過就安裝了以下軟體：</p>
<ul>
<li><a href="https://www.python.org/">Python</a> &amp; <a href="https://www.anaconda.com/download/#macos">Anaconda</a></li>
<li><a href="https://www.r-project.org/">R 語言</a> &amp; <a href="https://www.rstudio.com/">RStudio</a></li>
<li><a href="http://jupyter.org/">Jupyter Notebook</a></li>
<li><a href="https://www.docker.com/">Docker</a></li>
<li><a href="https://www.iterm2.com/">iTerm2</a></li>
<li><a href="https://www.jetbrains.com/pycharm/">PyCharm</a></li>
<li><a href="https://www.sourcetreeapp.com/">SourceTree</a></li>
<li>...</li>
</ul>
<p>當然隨著專案的增加，你可能還會需要其他工具，但基本上沒有想像中的那麼多。有了開發/分析工具以後， IT 管理部門也會跟你說明該如何透過加密的方式，存取一些重要的資料庫以及伺服器。等到這些都搞定以後，理論上我們已經可以準備寫落落長的 SQL 查詢來結合多個資料庫的表格，並使用各種酷炫的 Python packages 進行分析了！</p>
<p>不過在進行分析的同時，有一些問題值得我們花幾天慢慢地思考。這篇我想特別強調 2 個：</p>
<ul>
<li>公司內有什麼<a href="https://zh.wikipedia.org/wiki/%E9%97%9C%E9%8D%B5%E7%B8%BE%E6%95%88%E6%8C%87%E6%A8%99">關鍵績效指標（KPI）</a>？</li>
<li>這些 KPI 是怎麼被產生並顯示在儀表板（Dashboard）上的？</li>
</ul>
<p>你可能覺得這些事情看起來並不直接跟資料分析相關，但接下來你會看到，為何在進入公司早期就理解它們，對一個資料科學家來說很重要。首先讓我們看看第一個問題。</p>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<h2 id="公司內有什麼關鍵績效指標？">公司內有什麼關鍵績效指標？<a class="anchor-link" href="#公司內有什麼關鍵績效指標？">&para;</a></h2>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<p>為什麼了解公司內有什麼關鍵績效指標（Key Performance Indicator, 後簡稱 KPI）很重要？</p>
<p>因為這些 KPI 代表著一企業或團隊衡量成功的方式，同時也決定了資料科學家們將要努力的方向。沒有這些 KPI，我們將不能評估我們是不是走在對的路上，也不知道前進的速度。講得浮誇點，一個資料科學家能提供的最大價值就是：</p>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<blockquote>
<p>
                        分析數據、從中找出洞見讓企業做出更好的決策，以在最短的時間內最大化 KPI
                        <br/>
<br/>
</p>
</blockquote>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<p>以這樣的角度來看，KPI 的概念就跟機器學習中的<a href="http://terms.naer.edu.tw/detail/1316865/">目標函數（Objective Function）</a>的概念相同，差別只在於我們是用電腦去最佳化目標函數；用人腦去最佳化企業的 KPI。</p>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<center>
<img src="https://leemeng.tw/images/journal/carlos-muza-84523-unsplash.jpg"/>
</center>
<center>
                        不少人認為資料科學家的工作就是利用資料以及 DS 的力量，來最大化儀表板上的 KPI
                        <br/>
<br/>
</center>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<p>因為 SmartNews 是一個新聞 APP，讓我們舉些<a href="https://www.adweek.com/digital/top-12-key-performance-indicators-for-maximizing-mobile-app-revenue/">手機 APP 產業中常被使用的 KPI</a> 為例：</p>
<ul>
<li>安裝次數（#Installs）</li>
<li>每人平均使用時間（Session Time）</li>
<li>瀏覽頁面數（#Page Views）</li>
<li>每天活躍人數（#Daily Active Users）</li>
<li>每月活躍人數（#Monthly Active Users）</li>
<li>重度使用者人數（#Heavy Users）</li>
<li>每日廣告營收（Ad Revenue Per Day）</li>
</ul>
<p>儘管相同產業可能用類似的 KPI，每家公司給的實際定義（Definition）可能有所出入。不同公司之間的定義有差異是正常的，但該定義合不合理就是另外一回事了。</p>
<p>就跟我們訓練一個機器學習模型的時候會注意目標函數的定義是否合理一樣，在了解有什麼 KPI 以後，我們也應該積極地去詢問相關人員，了解這些 KPI 的定義是否合理。像是：</p>
<ul>
<li>怎樣的行為可以算是完成安裝？是使用者第一次打開 APP 的瞬間算安裝，還是完成新手教學的時候呢？</li>
<li>何謂活躍？使用者要做什麼操作才算活躍？打開 APP，更改設定就關掉也算活躍嗎？</li>
<li>何謂重度使用者？過去一個月使用超過 7 天的人算嗎？</li>
</ul>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<center>
<img src="https://leemeng.tw/images/journal/william-stitt-224297-unsplash.jpg"/>
</center>
<center>
                        把握 onboarding 的機會，詢問所有你能質疑的問題
                        <br/>
<br/>
</center>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<p>如果 KPI 的定義不合理，糟一點的結果就是你的努力方向對了， KPI 卻沒有上升；更糟的結果則是你往錯的方向最佳化：錯誤的 KPI 提升了，你則沾沾自喜。儘管定義合適的 KPI 需要大量的領域知識，在剛開工的時候，你仍應該對現有的 KPI 做出適當的質疑，嘗試理解它們的合理性。</p>
<p>現在假設 KPI 的定義沒有明顯問題，不管什麼公司都會希望能將這些 KPI 即時地顯示在儀表板上以方便監控自己的營運狀況。但如果一個 APP 的<a href="http://about.smartnews.com/ja/2017/10/10/25million/">下載次數超過 2500 萬</a>，每天產生上億筆使用者存取紀錄的話，幾個衍生出來的問題就是：KPI 該怎麼從這些原始資料產生出來的？如何保證中間沒有出錯？我們能信賴這些計算出來的值嗎？</p>
<p>讓我們在下小節討論這個問題。</p>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<h2 id="儀表板上的-KPI-是怎麼產生的？">儀表板上的 KPI 是怎麼產生的？<a class="anchor-link" href="#儀表板上的-KPI-是怎麼產生的？">&para;</a></h2>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<p>實作方式會依照公司有所不同，但讓我們以 SmartNews 為例。</p>
<p>我們的儀表板是使用 <a href="https://chartio.com/">CHARTIO</a>，但基本上 CHARTIO 這種儀表板服務也只是一個 Web UI，它並不會自動幫我們把使用者的存取紀錄轉成 KPI。為了理解每天人們使用 APP 的情況，我們必須自己將所有網路伺服器（Web Servers）上的使用者存取紀錄（Log Data）做一系列的處理以後，轉變成儀表板上的 KPI。</p>
<p>而一個使用者的使用行為大致上會經過以下幾個步驟轉變成 KPI：</p>
<ul>
<li>使用者打開 SmartNews App，手機客戶端向網路伺服器做出請求（Request）</li>
<li>網路伺服器回傳結果，並將該請求紀錄存在自己的硬碟上</li>
<li><a href="https://www.fluentd.org/">fluentd</a> 搜集所有伺服器上的請求資料，將它們存到 <a href="https://aws.amazon.com/tw/s3/">Amazon S3</a> 上</li>
<li>工作流管理系統 <a href="https://airflow.apache.org/">Airflow</a> 進行 Batch 處理，定期將被存到 S3 上的使用者存取紀錄轉成 <a href="https://en.wikipedia.org/wiki/Apache_Hive">Apache Hive</a> SQL 表格（Tables）</li>
<li>CHARTIO 透過分散式 SQL 查詢引擎 <a href="https://prestodb.io/">Presto</a> 對該表格作查詢，顯示 KPI</li>
</ul>
<p>從左到右來表示這個流程的話會如下圖：</p>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<center>
<img src="https://leemeng.tw/images/journal/smartnews-dmp.png" style="mix-blend-mode: initial;"/>
</center>
<center>
                        SmartNews 的資料平台：將大量原始日誌資料轉成儀表板上有用的 KPI（當然不只用在顯示 KPI）
                        （<a href="https://www.slideshare.net/smartnews/20160127-building-a-sustainable-data-platform-on-aws" target="_blank">圖片來源</a>）
                        
                        <br/>
<br/>
</center>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<p>乍看之下，你可能會想：</p>
<ul>
<li>「這看起來跟資料科學完全沒相關啊！」</li>
<li>「我只要能存取關聯式資料庫（Relational Database）裡頭的表格不就好了？」</li>
</ul>
<p>沒錯，嚴格來說這是一個資料工程（Data Engineering）的問題。但正如我們在<a href="https://leemengtaiwan.github.io/why-you-need-to-learn-data-engineering-as-a-data-scientist.html">資料科學家為何需要了解資料工程</a>一文裡頭提到的，身為一個資料科學家，擁有資料工程的知識可以提升工作效率，點亮你的方向並加速專案前進。</p>
<p>事實上，了解儀表板上的 KPI 是怎麼產生的，有以下幾個優點：</p>
<ul>
<li>理解工程師的痛點。能事先以他們的角度思考建立新表格所需的成本的話，他們會更願意幫你建立</li>
<li>通常新的分析會需要新的 ETL，而你可以利用跟產生 KPI 一樣的 ETL 來產生自己的資料管道（Data Pipeline）</li>
<li>確保資料品質。一旦使用的資料有瑕痴，做出來的分析也不會有意義。</li>
</ul>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<center>
<img src="https://leemeng.tw/images/journal/studio-314-270213-unsplash.jpg"/>
</center>
<center>
                        一個資料科學家會去了解企業內的資料是怎麼流動的，確保資料的品質並建立自己需要的資料流
                        <br/>
<br/>
</center>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<p>最後一點尤其重要。在 SmartNews 的例子裡頭，資料科學家實際上想要分析的是「APP 使用者的存取行為」，而跟使用者行為最直接相關的其實是那些被存在網路伺服器上的 log。只是因為該資料量太大，我們必須建立資料管道做前處理，從大量原始資料中萃取、匯總出我們「可能」有興趣的資料存入關聯式資料庫供之後分析。</p>
<p>以這種角度來看的話，資料彷彿是從網路伺服器（上游）經過一連串的河道（資料管道）流向資料庫（下游）。這也就暗示著兩個可能的風險：</p>
<ul>
<li>資料在經過河道的時候被污染，資料品質下降</li>
<li>資料在經過河道的時候被限縮，有些有價值的資料沒辦法抵達下游</li>
</ul>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<p>一個資料科學家如果只專注在下游的資料，就可能冒著以上的風險而不自知。這就是為什麼我們需要了解企業內的資料是如何流動的。</p>
<p>資料的流動當然不限於 KPI 的產生，但我認為用這個問題：</p>
<ul>
<li>「儀表板上的 KPI 是怎麼產生的？」</li>
</ul>
<p>來理解一個企業的資料流是一個很好的起始點。畢竟 KPI 是公司最重視的資訊，用來建構其的資料管道也會是最完善且重要的。</p>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<h2 id="結語">結語<a class="anchor-link" href="#結語">&para;</a></h2>
</div>
</div>
</div>
<div class="cell border-box-sizing text_cell rendered"><div class="inner_cell">
<div class="text_cell_render border-box-sizing rendered_html">
<p>在這篇文章裏頭，我們討論了一個資料科學家在進入新公司熟悉環境的時候，除了問該裝什麼工具以外，可以問的兩個問題：</p>
<ul>
<li>公司內有什麼 KPI？</li>
<li>儀表板上的 KPI 是怎麼產生的？</li>
</ul>
<p>表面上看來是兩個再簡單不過的問題，實際上第一個問題跟業界的專業知識（Domain Knowledge）息息相關；第二個問題則牽涉到大量的資料工程專業。而透過深刻地思考這兩個問題並詢問相關人員，一個資料科學家可以更全面的理解企業並掌握大局觀，做出最有影響力的分析。</p>
<p>當然，除了這兩個問題以外，你還需要問很多其他重要的問題如：</p>
<ul>
<li>公司的資料文化如何？</li>
<li>我在 Data Science 團隊裡頭的定位為何？</li>
<li>many more ..</li>
</ul>
<p>但作為「資料科學家 L 的奇幻旅程」系列文的第一篇文章，為了避免累贅，我把這些問題留給你們（可以留言跟我說你覺得還有什麼問題重要！）</p>
<p>最後的 Bonus 問題：為何是資料科學家「L」？</p>
</div>
</div>
</div>
<script type="text/javascript">if (!document.getElementById('mathjaxscript_pelican_#%@#$@#')) {
    var mathjaxscript = document.createElement('script');
    mathjaxscript.id = 'mathjaxscript_pelican_#%@#$@#';
    mathjaxscript.type = 'text/javascript';
    mathjaxscript.src = '//cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.1/MathJax.js?config=TeX-AMS-MML_HTMLorMML';
    mathjaxscript[(window.opera ? "innerHTML" : "text")] =
        "MathJax.Hub.Config({" +
        "    config: ['MMLorHTML.js']," +
        "    TeX: { extensions: ['AMSmath.js','AMSsymbols.js','noErrors.js','noUndefined.js'], equationNumbers: { autoNumber: 'AMS' } }," +
        "    jax: ['input/TeX','input/MathML','output/HTML-CSS']," +
        "    extensions: ['tex2jax.js','mml2jax.js','MathMenu.js','MathZoom.js']," +
        "    displayAlign: 'center'," +
        "    displayIndent: '0em'," +
        "    showMathMenu: true," +
        "    tex2jax: { " +
        "        inlineMath: [ ['$','$'] ], " +
        "        displayMath: [ ['$$','$$'] ]," +
        "        processEscapes: true," +
        "        preview: 'TeX'," +
        "    }, " +
        "    'HTML-CSS': { " +
        " linebreaks: { automatic: true, width: '95% container' }, " +
        "        styles: { '.MathJax_Display, .MathJax .mo, .MathJax .mi, .MathJax .mn': {color: 'black ! important'} }" +
        "    } " +
        "}); ";
    (document.body || document.getElementsByTagName('head')[0]).appendChild(mathjaxscript);
}
</script>


                <!-- Tags -->
                <p class="blog-content__tags">
                    <span>Post Tags</span>

                    <span class="blog-content__tag-list">
                        <a href="https://leemeng.tw/tag/zi-liao-ke-xue.html" rel="tag">資料科學</a>
                        <a href="https://leemeng.tw/tag/data-science.html" rel="tag">data-science</a>
                        <a href="https://leemeng.tw/tag/ri-zhi.html" rel="tag">日誌</a>
                    </span>

                </p>


                <!-- end Tags -->


                <!-- Mail-list-subscribe -->
                <div id="article-inner-subscribe" class="blog-content__pagenav">
                    <div class="blog-content__nav">
                        <div class="blog-content__prev">
                            <a class="open-popup" rel="subscribe">
                                <span>Get Latest Arrivals</span>
                                訂閱最新文章
                            </a>
                        </div>
                        <div class="blog-content__next">
                            <p>
                                跟資料科學相關的最新文章直接送到家。</br>
                                只要加入訂閱名單，當新文章出爐時，</br>
                                你將能馬上收到通知 <i class="im im-newspaper-o" aria-hidden="true"></i>
                            </p>
                        </div>
                    </div>
                    <div class="blog-content__all">
                        <a class="open-popup btn btn--primary ">&nbsp;&nbsp;Subscribe&nbsp;&nbsp;&nbsp;</a>
                    </div>
                </div>
                <!-- end Mail-list-subscribe -->

                <!--Pagination-->
                <div id="article-inner-neighbor-pages" class="blog-content__pagenav">
                    <div class="blog-content__nav">
                        <div class="blog-content__prev">
                            <a href="https://leemeng.tw/data-science-digest-volume-1.html" rel="prev">
                                <span>Previous Post</span>
                                資料科學文摘 Vol.1 AutoML、Airflow 及 DAU
                            </a>
                        </div>
                        <div class="blog-content__next">
                            <a href="https://leemeng.tw/some-thought-on-learning-from-machine-learning.html" rel="next">
                                <span>Next Post</span>
                                從彼此學習 - 淺談機器學習以及人類學習
                            </a>
                        </div>
                    </div>

                    <div class="blog-content__all">
                        <a href="blog.html" class="btn btn--primary">
                            View All Post
                        </a>
                    </div>
                </div>
                <!-- end Pagination-->

            </div><!-- end blog-content__main -->


        </div>
        </div> <!-- end blog-content -->

    </article>

<div class="comments-wrap">
    <div id="comments" class="row">
        <div class="col-full">
            <div id="disqus_thread"></div>
        </div>
    </div>
</div>

<script type="text/javascript">
var disqus_shortname = 'leemengtaiwan';
var disqus_title = '資料科學家 L 的奇幻旅程 Vol.1 新人不得不問的 2 個問題';

(function() {
    var dsq = document.createElement('script'); dsq.type = 'text/javascript'; dsq.async = true;
    dsq.src = 'https://' + disqus_shortname + '.disqus.com/embed.js';
    (document.getElementsByTagName('head')[0] || document.getElementsByTagName('body')[0]).appendChild(dsq);
})();
</script>
<noscript>Please enable JavaScript to view the <a href="http://disqus.com/?ref_noscript">comments powered by Disqus.</a></noscript>


<!-- footer
================================================== -->
<footer style="background:#0a0809">
    <div class="row">
        <div class="col-full">

            <div class="footer-logo">
                <a class="footer-site-logo" href="#0"><img src="https://leemeng.tw/theme/images/logo.png" alt="Homepage"></a>
            </div>

            <ul class="footer-social">
<li><a href="https://github.com/leemengtaiwan" target="_blank">
    <i class="im im-github" aria-hidden="true"></i>
    <span>Github</span>
</a></li>
<li><a href="https://www.facebook.com/LeeMengTaiwan" target="_blank">
    <i class="im im-facebook" aria-hidden="true"></i>
    <span>Facebook</span>
</a></li>
<li><a href="https://www.instagram.com/leemengtaiwan/" target="_blank">
    <i class="im im-instagram" aria-hidden="true"></i>
    <span>Instagram</span>
</a></li>
<li><a href="https://www.linkedin.com/in/leemeng1990/" target="_blank">
    <i class="im im-linkedin" aria-hidden="true"></i>
    <span>LinkedIn</span>
</a></li>            </ul>
        </div>
    </div>
    <div class="row footer-bottom">
        <div class="col-twelve">
            <div class="go-top">
            <a class="smoothscroll" title="Back to Top" href="#top"><i class="im im-arrow-up" aria-hidden="true"></i></a>
            </div>
        </div>
    </div> <!-- end footer-bottom -->
</footer> <!-- end footer -->


        <!-- Javascript
    ================================================== -->
    <script src="https://leemeng.tw/theme/js/jquery-3.2.1.min.js"></script>
    <script src="https://leemeng.tw/theme/js/plugins.js"></script>
    <script src="https://leemeng.tw/theme/js/main_raw.js"></script>
    <script type='text/javascript' src='https://leemeng.tw/theme/js/scroll-detect.js'></script>

    <!--https://instant.page/-->
    <script src="//instant.page/1.0.0" type="module" integrity="sha384-6w2SekMzCkuMQ9sEbq0cLviD/yR2HfA/+ekmKiBnFlsoSvb/VmQFSi/umVShadQI"></script>


    <script type='text/javascript' src='https://leemeng.tw/theme/js/progress-bar.js'></script>
    <script type='text/javascript' src='https://leemeng.tw/theme/js/scroll-detect.js'></script>

    <!--show and hide left navigation by scrolling-->
    <script>
    $(document).scroll(function() {
        var y = $(this).scrollTop();
      if ( $(window).width() > 980 ) {
        if (y > 600) {
          $('#left-navigation').fadeIn(300);
        } else {
          $('#left-navigation').fadeOut(300);
        }
      }
    });
    </script>

<!--reference: https://gist.github.com/scottmagdalein/259d878ad46ed6f2cdce-->
<script type="text/javascript" src="//downloads.mailchimp.com/js/signup-forms/popup/embed.js" data-dojo-config="usePlainJson: true, isDebug: false">
</script>

<script type="text/javascript">
  function showMailingPopUp() {
    require(["mojo/signup-forms/Loader"], function(L) { L.start({"baseUrl":"mc.us18.list-manage.com","uuid":"151cb59f2de814c499c76b77a","lid":"dd1d78cc5e"})})
    document.cookie = "MCPopupClosed=; expires=Thu, 01 Jan 1970 00:00:00 UTC";
    document.cookie = "MCPopupSubscribed=; expires=Thu, 01 Jan 1970 00:00:00 UTC";
  };

  $(function() {
    $(".open-popup").on('click', function() {
      showMailingPopUp();
    });
  });
</script><!--https://darkmodejs.learn.uno/-->
<script src="https://cdn.jsdelivr.net/npm/darkmode-js@1.4.0/lib/darkmode-js.min.js"></script>
<script>
var options = {
  bottom: '32px', // default: '32px'
  right: 'unset', // default: '32px'
  left: '32px', // default: 'unset'
  time: '0.2s', // default: '0.3s'
  mixColor: '#fff', // default: '#fff'
  backgroundColor: '#fff',  // default: '#fff'
  buttonColorDark: '#100f2c',  // default: '#100f2c'
  buttonColorLight: '#fff', // default: '#fff'
  saveInCookies: true, // default: true,
  label: '🌓', // default: ''
  autoMatchOsTheme: true // default: true
}

const darkmode = new Darkmode(options);
darkmode.showWidget();
</script>
<!--reference: https://www.w3schools.com/howto/tryit.asp?filename=tryhow_js_overlay-->
<script>
function openTocNav() {
    document.getElementById("tocNav").style.width = "100%";
}

function closeTocNav() {
    document.getElementById("tocNav").style.width = "0%";
}

function toggleTocNav() {
    var current_width = document.getElementById("tocNav").style.width;
    if (current_width == "100%") {
        document.getElementById("tocNav").style.width = "0%";
    } else {
        document.getElementById("tocNav").style.width = "100%";
    }
}

function closeLeftNavImage(elementId) {
    document.getElementById(elementId).style.width = "0%";
}

function toggleLeftNavImage(elementId) {
    var current_width = document.getElementById(elementId).style.width;
    if (current_width == "100%") {
        document.getElementById(elementId).style.width = "0%";
    } else {
        document.getElementById(elementId).style.width = "100%";
    }
}

</script>


</body>
</html>