libs.domain.placeholder

  1"""
  2libs/domain/placeholder.py
  3"""
  4
  5import logging
  6import re
  7import textwrap
  8from dataclasses import dataclass, field, fields
  9from math import ceil
 10from typing import TYPE_CHECKING, Any, Literal, Optional, Union
 11
 12import pandas as pd
 13
 14from libs.domain.datamodels import ParameterData
 15from libs.functions import lookup
 16from libs.types import ServiceType
 17from libs.utils import dbutil
 18from libs.utils.timekit import ExtendedDatetime as ExtDt
 19
 20if TYPE_CHECKING:
 21    from pathlib import Path
 22
 23
 24@dataclass
 25class PlaceholderBuilder(ParameterData):
 26    """プレースホルダ構築クラス"""
 27
 28    service_type: ServiceType = field(default=ServiceType.UNKNOWN)
 29    """連携先サービス"""
 30    command: str = field(default="")
 31    """コマンド名"""
 32    channel_config: Optional["Path"] = field(default=None)
 33    """チャンネル個別設定状況
 34    - *Path*: 追加設定ファイルパス
 35    - *None*: 個別設定を利用していない
 36    """
 37
 38    # ルール情報
 39    target_mode: int = field(default=0)
 40    """集計対象モードの指定
 41    - *0*: settingのデフォルトに従う
 42    - *not 0*: 指定値でmodeを上書き
 43    """
 44    mode: int = field(default=4)
 45    """集計モード"""
 46    default_rule: str = field(default="")
 47    """ルール識別子(設定値)"""
 48    rule_version: str = field(default="")
 49    """ルール識別子(指定値)"""
 50    rule_list: list[str] = field(default_factory=list)
 51    """集計対象ルール識別子"""
 52    mixed: bool = field(default=False)
 53    """ルール識別子の扱い
 54    - *True*: 定義済みすべてのルール識別子を含める
 55    - *False*: ルール識別子を個別指定
 56    """
 57    # ルールセット登録用
 58    origin_point: int = field(default=250)
 59    """配給原点"""
 60    return_point: int = field(default=300)
 61    """返し点"""
 62    rank_point: str = field(default="")
 63    """順位点(空白区切りの文字列)"""
 64    ignore_flying: bool = field(default=False)
 65    """トビカウントの無効化"""
 66    draw_split: bool = field(default=False)
 67    """同点時の順位点の取り扱い
 68    - *True*: 山分け
 69    - *False*: 席順
 70    """
 71    undefined_word: int = field(default=1)
 72    """未登録ワードの扱い
 73    - *0*: 役満扱い
 74    - *1*: カウントのみ
 75    - *2*: 卓外清算(個人清算)
 76    - *3*: 卓外清算(チーム清算)
 77    """
 78
 79    # 集計対象情報
 80    player_name: str = field(default="")
 81    """集計対象プレイヤー"""
 82    guest_name: str = field(default="")
 83    """ゲストの名前"""
 84    target_player: list[str] = field(default_factory=list)
 85    """引数で受け付けたプレイヤーのリスト"""
 86    player_list: list[str] = field(default_factory=list)
 87    """集計対象プレイヤーリスト"""
 88    competition_list: list[str] = field(default_factory=list)
 89    """比較対象プレイヤーリスト"""
 90    all_player: bool = field(default=False)
 91    """検索対象に登録済みメンバー全員を加える"""
 92    source: str = field(default="")
 93    """スコア入力元識別子"""
 94    separate: bool = field(default=False)
 95    """スコア入力元識別子別集計フラグ
 96    - *True*: 識別子別に集計
 97    - *False*: すべて集計
 98    """
 99    collection: str = field(default="")
100    """集約集計
101    - *daily*: 日次集約
102    - *weekly*: 週次集約
103    - *monthly*: 月次集約
104    - *yearly*: 年次集約
105    - *all*: 全体集約
106    """
107    aggregate_unit: Literal["A", "M", "Y", None] = field(default=None)
108    """レポート生成用日付範囲デフォルト値
109    - *A*: 全期間
110    - *M*: 月別
111    - *Y*: 年別
112    - *None*: 未定義
113    """
114    target_count: int = field(default=0)
115    """直近ゲーム数指定"""
116
117    starttime: Union[str, ExtDt, None] = field(default=None)
118    """集計開始日時"""
119    endtime: Union[str, ExtDt, None] = field(default=None)
120    """集計終了日時"""
121    onday: Union[str, ExtDt, None] = field(default=None)
122    """time_adjust修正を含まない日時"""
123
124    # 動作/表示変更フラグ
125    score_comparisons: bool = field(default=False)
126    """スコア比較表示"""
127    verbose: bool = field(default=False)
128    """詳細情報表示"""
129    game_results: bool = field(default=False)
130    """ゲーム結果表示"""
131    versus_matrix: bool = field(default=False)
132    """対戦マトリックス表示"""
133    order: bool = field(default=False)
134    """順位推移グラフ表示"""
135    rating: bool = field(default=False)
136    """レーティング推移グラフ表示"""
137    anonymous: bool = field(default=False)
138    """匿名化フラグ"""
139    fourfold: bool = field(default=True)
140    """縦持ち/横持ちデータ判定"""
141
142    # 出力関連
143    guest_mark: str = field(default="※")
144    """ゲスト無効時に未登録メンバーに付与する印"""
145    format: Literal["default", "csv", "txt"] = field(default="default")
146    """出力フォーマット指定"""
147    filename: str = field(default="")
148    """出力ファイル名"""
149
150    # その他
151    database_file: Union[str, "Path"] = field(default="")
152    """成績管理データベースファイル名"""
153    logging_verbose: int = field(default=0)
154    """デバッグ情報出力レベル"""
155
156    def update_from_dict(self, input_dict: dict[str, Any]) -> None:
157        """
158        辞書の内容で値を更新する
159
160        Args:
161            input_dict (dict[str,Any]): 更新内容
162
163        """
164        field_list: list[str] = [x.name for x in fields(self)]
165        for k, v in input_dict.items():
166            if k in field_list:
167                setattr(self, k, v)
168
169    def update_setting(self, main_config: "Path", key_name: str, val_type: type, fallback: Any = None) -> None:
170        """
171        優先度順に key_name を探索して値を更新する
172
173        Args:
174            main_config (Path): メイン設定ファイルパス
175            key_name (str): 探索するキー名
176            val_type (type): 取り込む値の型 (bool, str)
177            fallback (Any): 見つからなかった場合にセットする値
178            - *None* が指定されているときは値を更新しない
179
180        Note:
181            探索優先順序
182            1. 個別設定ファイル内settingセクション
183            2. メイン設定ファイル内チャンネル個別セクション
184            3. メイン設定ファイル内サービス別セクション
185            4. メイン設定ファイル内settingセクション
186
187        """
188        value: Optional[Any] = None
189        # 個別設定ファイル内探索
190        if self.channel_config:
191            value = lookup.get_config_value(
192                config_file=self.channel_config,
193                section="setting",
194                name=key_name,
195                val_type=val_type,
196                fallback=None,
197            )
198            if value is not None:
199                setattr(self, key_name, value)
200                return
201
202        # メイン設定ファイル内探索
203        for section_name in [self.source, self.service_type, "setting"]:
204            value = lookup.get_config_value(
205                config_file=main_config,
206                section=section_name,
207                name=key_name,
208                val_type=val_type,
209                fallback=None,
210            )
211            if value is not None:
212                setattr(self, key_name, value)
213                return
214
215        if fallback is not None:
216            setattr(self, key_name, fallback)
217
218    def query_modification(self, query: str) -> str:
219        """
220        クエリをオプションの内容で修正する
221
222        Args:
223            query (str): 修正するクエリ
224
225        Returns:
226            str: 修正後のクエリ
227
228        """
229        if self.individual:  # 個人集計
230            query = query.replace("--[individual] ", "")
231            # ゲスト関連フラグ
232            if self.unregistered_replace:
233                query = query.replace("--[unregistered_replace] ", "")
234                if self.guest_skip:
235                    query = query.replace("--[guest_not_skip] ", "")
236                else:
237                    query = query.replace("--[guest_skip] ", "")
238            else:
239                query = query.replace("--[unregistered_not_replace] ", "")
240        else:  # チーム集計
241            self.unregistered_replace = False
242            self.guest_skip = True
243            query = query.replace("--[team] ", "")
244            if not self.friendly_fire:
245                query = query.replace("--[friendly_fire] ", "")
246
247        # 集約集計
248        match self.collection:
249            case "daily":
250                query = query.replace("--[collection_daily] ", "")
251                query = query.replace("--[collection] ", "")
252            case "weekly":
253                query = query.replace("--[collection_weekly] ", "")
254                query = query.replace("--[collection] ", "")
255            case "monthly":
256                query = query.replace("--[collection_monthly] ", "")
257                query = query.replace("--[collection] ", "")
258            case "yearly":
259                query = query.replace("--[collection_yearly] ", "")
260                query = query.replace("--[collection] ", "")
261            case "all":
262                query = query.replace("--[collection_all] ", "")
263                query = query.replace("--[collection] ", "")
264            case _:
265                query = query.replace("--[not_collection] ", "")
266
267        # 集計対象ルール
268        if self.rule_list:
269            query = query.replace("<<rule_list>>", ",".join([f":rule_{idx}" for idx, _ in enumerate(self.rule_list)]))
270        else:
271            query = query.replace("and rule_version in (<<rule_list>>)", "")
272            query = query.replace("and results.rule_version in (<<rule_list>>)", "")
273            query = query.replace("and game_info.rule_version in (<<rule_list>>)", "")
274
275        # 集計モード
276        match self.mode:
277            case 3:
278                query = query.replace("--[mode3] ", "")
279            case 4:
280                query = query.replace("--[mode4] ", "")
281
282        # スコア入力元識別子別集計
283        if self.separate:
284            query = query.replace("--[separate] ", "")
285
286        # コメント検索
287        if self.search_word or self.group_length:
288            query = query.replace("--[group_by] ", "")
289        else:
290            query = query.replace("--[not_group_by] ", "")
291
292        if self.search_word:
293            query = query.replace("--[search_word] ", "")
294        else:
295            query = query.replace("--[not_search_word] ", "")
296
297        if self.group_length:
298            query = query.replace("--[group_length] ", "")
299        else:
300            query = query.replace("--[not_group_length] ", "")
301            if self.search_word:
302                query = query.replace("--[comment] ", "")
303            else:
304                query = query.replace("--[not_comment] ", "")
305
306        # 直近N検索用（全範囲取得してから絞る）
307        if self.target_count:
308            query = query.replace("and my.playtime between", "-- and my.playtime between")
309
310        # プレイヤーリスト
311        if self.player_name and self.player_list:
312            query = query.replace("--[player_name] ", "")
313            query = query.replace(
314                "<<player_list>>",
315                ", ".join([f":player_{idx}" for idx, _ in enumerate(self.player_list)]),
316            )
317        query = query.replace("<<guest_mark>>", self.guest_mark)
318
319        # フラグの処理
320        match self.aggregate_unit:
321            case "M":
322                query = query.replace("<<collection>>", "substr(collection_daily, 1, 7) as 集計")
323                query = query.replace("<<group by>>", "group by 集計")
324            case "Y":
325                query = query.replace("<<collection>>", "substr(collection_daily, 1, 4) as 集計")
326                query = query.replace("<<group by>>", "group by 集計")
327            case "A":
328                query = query.replace("<<collection>>", "'合計' as 集計")
329                query = query.replace("<<group by>>", "")
330            case _:
331                query = query.replace("<<collection>>,", "-- <<collection>>")
332                query = query.replace("<<group by>>", "-- <<group by>>")
333
334        if self.interval:
335            query = query.replace("<<Calculation Formula>>", "(row_number() over (order by total_count desc) - 1) / :interval")
336        else:
337            query = query.replace("<<Calculation Formula>>", ":interval")
338
339        if self.undefined_word is not None:
340            match self.undefined_word:
341                case 0:
342                    query = query.replace("<<where_string>>", "and (words.type is null or words.type = 0)")
343                case 1:
344                    query = query.replace("<<where_string>>", "and (words.type is null or words.type = 1)")
345                case 2:
346                    query = query.replace("<<where_string>>", "and (words.type is null or words.type = 2)")
347                case _:
348                    query = query.replace("<<where_string>>", "and (words.type = 1 or words.type = 2)")
349        else:
350            query = query.replace(":undefined_word", "1")
351
352        # queryコメント削除
353        query = re.sub(r"^ *--\[.*$", "", query, flags=re.MULTILINE)
354        query = re.sub(r"\n+", "\n", query, flags=re.MULTILINE)
355
356        return query
357
358    def named_query(self, query: str) -> str:
359        """
360        クエリにパラメータをバインドして返す
361
362        Args:
363            query (str): SQL
364
365        Returns:
366            str: バインド済みSQL
367
368        """
369        return textwrap.dedent(
370            re.sub(
371                r":(\w+)",
372                lambda m: repr(self.placeholder().get(m.group(1), m.group(0))),
373                query,
374            ),
375        ).strip()
376
377    def placeholder(self, game_count: Optional[int] = None) -> dict[str, Any]:
378        """
379        プレースホルダ用辞書出力
380
381        Args:
382            game_count (Optional[int]): 規定打数調整用ゲーム数. Defaults to None.
383
384        Returns:
385            dict[str, Any]: プレースホルダ
386
387        """
388        ret_dict: dict[str, Any] = {f.name: getattr(self, f.name) for f in fields(self)}
389
390        # 規定打数更新
391        if not ret_dict.get("stipulated") or game_count is not None:
392            if game_count is None:
393                ret_dict.update({"stipulated": 1})
394            else:
395                ret_dict.update({"stipulated": int(ceil(game_count * self.stipulated_rate) + 1)})
396
397        if self.player_list:
398            ret_dict.update({f"player_{idx}": x for idx, x in enumerate(self.player_list)})
399
400        if self.target_player:
401            ret_dict.update({f"target_{idx}": x for idx, x in enumerate(self.target_player)})
402
403        if self.competition_list:
404            ret_dict.update({f"competition_{idx}": x for idx, x in enumerate(self.competition_list)})
405
406        if self.rule_list:
407            ret_dict.update({f"rule_{idx}": x for idx, x in enumerate(self.rule_list)})
408        else:
409            ret_dict.update({"rule_0": self.rule_version})
410
411        # 日付型変換
412        for date_attr in ["starttime", "endtime", "onday"]:
413            if (val := ret_dict.get(date_attr)) and isinstance(val, ExtDt):
414                ret_dict.update({date_attr: val.format(ExtDt.FMT.SQL)})
415
416        return ret_dict
417
418    def read_data(self, keyword: str) -> pd.DataFrame:
419        """
420        データベースからデータを取得する
421
422        Args:
423            keyword (str): SQL選択キーワード
424
425        Returns:
426            pd.DataFrame: 集計結果
427
428        """
429        query = self.query_modification(dbutil.query(keyword))
430
431        if self.logging_verbose & 0x01:
432            print(f">>> params={self.placeholder()}")
433            print(f">>> SQL: {keyword} -> {self.database_file}\n{self.named_query(query)}")
434
435        try:
436            query_start_time = ExtDt().dt.timestamp()
437            df = pd.read_sql(
438                sql=query,
439                con=dbutil.connection(self.database_file),
440                params=self.placeholder(),
441            )
442            query_end_time = ExtDt().dt.timestamp()
443        except pd.errors.DatabaseError as err:
444            logging.error("DatabaseError: %s", err)
445            logging.error("SQL: %s, DATABASE: %s", keyword, self.database_file)
446            logging.error("params=%s", self.placeholder())
447            logging.error("query: %s", self.named_query(query))
448
449        if self.logging_verbose & 0x02:
450            print("=" * 80)
451            print(df.to_string())
452
453        logging.debug("SQL: %s, time: %s", keyword, query_end_time - query_start_time)
454        return df