dev add

[FortiShield]

User description

Notes for Reviewers

This PR fixes #

Signed commits

• [*] Yes, I signed my commits.

---

PR Type

enhancement, tests

---

Description

• Implemented a comprehensive CLI module with argument parsing using clap.
• Added a new Engine module for task graph management and validation.
• Introduced a package graph builder for managing package dependencies.
• Added a library for handling glob patterns with extensive features.
• Implemented child process management with PTY support.
• Added main and post-execution scripts for the cargo-sweep action.
• Added various test scripts for handling signals, delays, and message logging.
• Deleted multiple files related to outdated or redundant packages and tests.

---

Changes walkthrough 📝

	Relevant files
Enhancement	11 files sourcemap-register.js Add source map registration script for main action              .github/actions/cargo-sweep/dist/main/sourcemap-register.js Added a new JavaScript file for source map registration. Contains a large block of minified JavaScript code. +1/-0      sourcemap-register.js Add source map registration script for post action              .github/actions/cargo-sweep/dist/post/sourcemap-register.js Added a new JavaScript file for source map registration. Contains a large block of minified JavaScript code. +1/-0      sweep.js Implement cargo-sweep command execution functions                .github/actions/cargo-sweep/src/sweep.js Introduced functions for running cargo-sweep commands. Added functions to store timestamps and clean old build artifacts. +29/-0    main.js Add main entry point for cargo-sweep action                            .github/actions/cargo-sweep/src/main.js Added main entry point for the cargo-sweep action. Executes the storeTimestamp function. +4/-0      post.js Add post-execution script for cargo-sweep action                  .github/actions/cargo-sweep/src/post.js Added post-execution script for the cargo-sweep action. Executes the sweep function. +4/-0      builder.rs Implement package graph builder for dependency management shim/titanrepo-repository/src/package_graph/builder.rs Implemented a package graph builder for managing package dependencies. Handles package discovery, JSON parsing, and lockfile resolution. Includes error handling and diagnostic messages. +658/-0  mod.rs Implement CLI module with argument parsing and command execution shim/titanrepo-lib/src/cli/mod.rs Introduced a comprehensive CLI module with argument parsing using clap. Defined multiple enums and structs for handling CLI arguments and commands. Implemented a run function to execute commands based on parsed arguments. Added extensive test cases for various command-line argument scenarios. +2661/-0 mod.rs Add Engine module for task graph management and validation shim/titanrepo-lib/src/engine/mod.rs Added a new Engine module for task graph management. Implemented task node and engine structures with methods for task management. Introduced error handling and validation for task dependencies. Included tests to verify engine functionalities and task graph operations. +815/-0  main.rs Implement main entry point for test server startup              shim/titanrepo-khulnasoft-api-mock/src/main.rs Created a main entry point for starting a test server. Utilized tokio for asynchronous execution. Integrated port_scanner to request an open port for the server. +9/-0      lib.rs Implement Wax Library for Advanced Glob Pattern Handling  shim/titanrepo-wax/src/lib.rs Introduced a new library for handling glob patterns with extensive features. Added comprehensive documentation and examples for usage. Implemented various structs and enums for managing glob expressions and errors. Included a wide range of tests to ensure functionality and correctness. +1981/-0 child.rs Implement Child Process Management with PTY Support            shim/titanrepo-lib/src/process/child.rs Added a module for managing child processes with support for PTY. Implemented graceful shutdown and signal forwarding for child processes. Introduced a comprehensive test suite for process management. Utilized async/await for non-blocking process control. +1293/-0
Tests	9 files sleep_5_ignore.js Add script to ignore SIGINT with delay                                      shim/titanrepo-lib/test/scripts/sleep_5_ignore.js Added a script that ignores SIGINT signals. Includes a delay function to simulate a 5-second wait. +14/-0    sleep_5_interruptable.js Add interruptible sleep script with message                            shim/titanrepo-lib/test/scripts/sleep_5_interruptable.js Added a script that runs a 5-second delay and logs a message. Designed to be interruptible. +10/-0    hello_non_utf8.js Add script to output non-UTF8 bytes                                            shim/titanrepo-lib/test/scripts/hello_non_utf8.js Added a script to output non-UTF8 bytes to stdout. Includes a newline after the byte output. +5/-0      stdin_stdout.js Add stdin to stdout echo script                                                    shim/titanrepo-lib/test/scripts/stdin_stdout.js Added a script to read from stdin and write to stdout. Simple echo functionality. +5/-0      hello_no_line.js Add script to print message without newline                            shim/titanrepo-lib/test/scripts/hello_no_line.js Added a script that writes a message without a newline. +2/-0      hello_world_hello_moon.js Add script to log messages to stdout and stderr                    shim/titanrepo-lib/test/scripts/hello_world_hello_moon.js Added a script that logs messages to stdout and stderr. +2/-0      hello_world.js Add script to log "hello world" message                                    shim/titanrepo-lib/test/scripts/hello_world.js Added a script that logs "hello world" to stdout. +1/-0      text.rs Add text handling test cases for VT100                                      shim/titanrepo-vt100/tests/text.rs Added test cases for various text scenarios. Includes tests for ASCII, UTF-8, newlines, and text wrapping. +36/-0    processing.rs Add Tests for Escape Sequence and UTF-8 Processing              shim/titanrepo-vt100/tests/processing.rs Added tests for processing escape sequences and UTF-8 splitting. Utilized helper functions for test setup and execution. +11/-0
Additional files (token-limit)	101 files index.js ...                                                                                                            .github/actions/cargo-sweep/dist/main/index.js ... +27591/-1 index.js ...                                                                                                            .github/actions/cargo-sweep/dist/post/index.js ... +27591/-1 lib.rs ...                                                                                                            shim/titanrepo-globwalk/src/lib.rs ... +1512/-0 screen.rs ...                                                                                                            shim/titanrepo-vt100/src/screen.rs ... +1623/-0 mod.rs ...                                                                                                            shim/titanrepo-wax/src/walk/mod.rs ... +1521/-0 hash_watcher.rs ...                                                                                                            shim/titanrepo-filewatch/src/hash_watcher.rs ... +1366/-0 data.rs ...                                                                                                            shim/titanrepo-lockfiles/src/pnpm/data.rs ... +1271/-0 app.rs ...                                                                                                            shim/titanrepo-ui/src/tui/app.rs ... +1304/-0 filter.rs ...                                                                                                            shim/titanrepo-lib/src/run/scope/filter.rs ... +1393/-0 builder.rs ...                                                                                                            shim/titanrepo-lib/src/engine/builder.rs ... +1241/-0 git.rs ...                                                                                                            shim/titanrepo-scm/src/git.rs ... +1213/-0 mod.rs ...                                                                                                            shim/titanrepo-lockfiles/src/berry/mod.rs ... +1168/-0 visitor.rs ...                                                                                                            shim/titanrepo-lib/src/task_graph/visitor.rs ... +1184/-0 mod.rs ...                                                                                                            shim/titanrepo-wax/src/token/mod.rs ... +1091/-0 lib.rs ...                                                                                                            shim/titanrepo-filewatch/src/lib.rs ... +942/-0  mod.rs ...                                                                                                            shim/titanrepo-lib/src/titan_json/mod.rs ... +943/-0  restore.rs ...                                                                                                            shim/titanrepo-cache/src/cache_archive/restore.rs ... +937/-0  mod.rs ...                                                                                                            shim/titanrepo-repository/src/package_manager/mod.rs ... +937/-0  package_watcher.rs ...                                                                                                            shim/titanrepo-filewatch/src/package_watcher.rs ... +994/-0  server.rs ...                                                                                                            shim/titanrepo-lib/src/daemon/server.rs ... +901/-0  lib.rs ...                                                                                                            shim/titanrepo-lsp/src/lib.rs ... +1011/-0 grid.rs ...                                                                                                            shim/titanrepo-vt100/src/grid.rs ... +948/-0  lib.rs ...                                                                                                            shim/titanrepo-api-client/src/lib.rs ... +940/-0  mod.rs ...                                                                                                            shim/titanrepo-repository/src/package_graph/mod.rs ... +894/-0  globwatcher.rs ...                                                                                                            shim/titanrepo-filewatch/src/globwatcher.rs ... +794/-0  rule.rs ...                                                                                                            shim/titanrepo-wax/src/rule.rs ... +804/-0  glob.rs ...                                                                                                            shim/titanrepo-wax/src/walk/glob.rs ... +679/-0  cookies.rs ...                                                                                                            shim/titanrepo-filewatch/src/cookies.rs ... +706/-0  connector.rs ...                                                                                                            shim/titanrepo-lib/src/daemon/connector.rs ... +732/-0  fsevent.rs ...                                                                                                            shim/titanrepo-filewatch/src/fsevent.rs ... +656/-0  mod.rs ...                                                                                                            shim/titanrepo-lib/src/globwatcher/mod.rs ... +728/-0  absolute_system_path.rs ...                                                                                                            shim/titanrepo-paths/src/absolute_system_path.rs ... +682/-0  link.rs ...                                                                                                            shim/titanrepo-lib/src/commands/link.rs ... +724/-0  mod.rs ...                                                                                                            shim/titanrepo-lib/src/run/summary/mod.rs ... +794/-0  lib.rs ...                                                                                                            shim/titanrepo-globwatch/src/lib.rs ... +648/-0  filter.rs ...                                                                                                            shim/titanrepo-wax/src/walk/filter.rs ... +675/-0  loader.rs ...                                                                                                            shim/titanrepo-lib/src/titan_json/loader.rs ... +679/-0  package_deps.rs ...                                                                                                            shim/titanrepo-scm/src/package_deps.rs ... +625/-0  task_hash.rs ...                                                                                                            shim/titanrepo-lib/src/task_hash.rs ... +675/-0  mod.rs ...                                                                                                            shim/titanrepo-lib/src/config/mod.rs ... +621/-0  variance.rs ...                                                                                                            shim/titanrepo-wax/src/token/variance.rs ... +686/-0  window_contents.rs ...                                                                                                            shim/titanrepo-vt100/tests/window_contents.rs ... +544/-0  vendors.rs ...                                                                                                            shim/titanrepo-ci/src/vendors.rs ... +681/-0  mod.rs ...                                                                                                            shim/titanrepo-lib/src/query/mod.rs ... +583/-0  lib.rs ...                                                                                                            shim/titanrepo-auth/src/lib.rs ... +539/-0  diagnostics.rs ...                                                                                                            shim/titanrepo-lib/src/diagnostics.rs ... +547/-0  manual.rs ...                                                                                                            shim/titanrepo-scm/src/manual.rs ... +455/-0  mod.rs ...                                                                                                            shim/titanrepo-lib/src/hash/mod.rs ... +496/-0  builder.rs ...                                                                                                            shim/titanrepo-lib/src/run/builder.rs ... +519/-0  opts.rs ...                                                                                                            shim/titanrepo-lib/src/opts.rs ... +537/-0  parse.rs ...                                                                                                            shim/titanrepo-wax/src/token/parse.rs ... +549/-0  term.rs ...                                                                                                            shim/titanrepo-vt100/src/term.rs ... +592/-0  cache.rs ...                                                                                                            shim/titanrepo-lib/src/run/cache.rs ... +520/-0  mod.rs ...                                                                                                            shim/titanrepo-lib/src/run/mod.rs ... +511/-0  execution.rs ...                                                                                                            shim/titanrepo-lib/src/run/summary/execution.rs ... +544/-0  output.rs ...                                                                                                            shim/titanrepo-ui/src/output.rs ... +473/-0  async_cache.rs ...                                                                                                            shim/titanrepo-cache/src/async_cache.rs ... +518/-0  row.rs ...                                                                                                            shim/titanrepo-vt100/src/row.rs ... +484/-0  identifiers.rs ...                                                                                                            shim/titanrepo-lockfiles/src/berry/identifiers.rs ... +425/-0  create.rs ...                                                                                                            shim/titanrepo-cache/src/cache_archive/create.rs ... +454/-0  env.rs ...                                                                                                            shim/titanrepo-lib/src/config/env.rs ... +424/-0  target_selector.rs ...                                                                                                            shim/titanrepo-lib/src/run/scope/target_selector.rs ... +308/-0  prune.rs ...                                                                                                            shim/titanrepo-lib/src/commands/prune.rs ... +459/-0  npm.rs ...                                                                                                            shim/titanrepo-lockfiles/src/npm.rs ... +465/-0  input.rs ...                                                                                                            shim/titanrepo-ui/src/tui/input.rs ... +409/-0  rewrite_json.rs ...                                                                                                            shim/titanrepo-lib/src/rewrite_json.rs ... +435/-0  dep_splitter.rs ...                                                                                                            shim/titanrepo-repository/src/package_graph/dep_splitter.rs ... +330/-0  lib.rs ...                                                                                                            shim/titanrepo-telemetry/src/lib.rs ... +459/-0  spaces.rs ...                                                                                                            shim/titanrepo-lib/src/run/summary/spaces.rs ... +436/-0  sso.rs ...                                                                                                            shim/titanrepo-auth/src/auth/sso.rs ... +420/-0  package_changes_watcher.rs ...                                                                                                            shim/titanrepo-lib/src/package_changes_watcher.rs ... +439/-0  discovery.rs ...                                                                                                            shim/titanrepo-repository/src/discovery.rs ... +439/-0  tracing.rs ...                                                                                                            shim/titanrepo-lib/src/tracing.rs ... +355/-0  lib.rs ...                                                                                                            shim/titanrepo-pidlock/src/lib.rs ... +416/-0  login.rs ...                                                                                                            shim/titanrepo-auth/src/auth/login.rs ... +397/-0  walker.rs ...                                                                                                            shim/titanrepo-graph-utils/src/walker.rs ... +354/-0  mod.rs ...                                                                                                            shim/titanrepo-lib/src/process/mod.rs ... +418/-0  inference.rs ...                                                                                                            shim/titanrepo-repository/src/inference.rs ... +375/-0  lib.rs ...                                                                                                            shim/titanrepo-scm/src/lib.rs ... +349/-0  de.rs ...                                                                                                            shim/titanrepo-lockfiles/src/yarn1/de.rs ... +317/-0  de.rs ...                                                                                                            shim/titanrepo-lockfiles/src/bun/de.rs ... +317/-0  mod.rs ...                                                                                                            shim/titanrepo-lib/src/shim/mod.rs ... +330/-0  watch.rs ...                                                                                                            shim/titanrepo-lib/src/run/watch.rs ... +383/-0  http.rs ...                                                                                                            shim/titanrepo-cache/src/http.rs ... +384/-0  mod.rs ...                                                                                                            shim/titanrepo-vt100/tests/helpers/mod.rs ... +352/-0  lib.rs ...                                                                                                            shim/titanrepo-paths/src/lib.rs ... +280/-0  lib.rs ...                                                                                                            shim/titanrepo-analytics/src/lib.rs ... +383/-0  resolution.rs ...                                                                                                            shim/titanrepo-lockfiles/src/berry/resolution.rs ... +341/-0  encode.rs ...                                                                                                            shim/titanrepo-wax/src/encode.rs ... +327/-0  dep_path.rs ...                                                                                                            shim/titanrepo-lockfiles/src/pnpm/dep_path.rs ... +212/-0  perform.rs ...                                                                                                            shim/titanrepo-vt100/src/perform.rs ... +305/-0  mod.rs ...                                                                                                            shim/titanrepo-repository/src/change_mapper/mod.rs ... +332/-0  fixtures.rs ...                                                                                                            shim/titanrepo-vt100/tests/helpers/fixtures.rs ... +319/-0  task.rs ...                                                                                                            shim/titanrepo-lib/src/run/summary/task.rs ... +384/-0  daemon.rs ...                                                                                                            shim/titanrepo-lib/src/commands/daemon.rs ... +332/-0  lib.rs ...                                                                                                            shim/titanrepo-fs/src/lib.rs ... +326/-0  prefixed.rs ...                                                                                                            shim/titanrepo-ui/src/prefixed.rs ... +278/-0  signature_authentication.rs ...                                                                                                            shim/titanrepo-cache/src/signature_authentication.rs ... +276/-0  lib.rs ...                                                                                                            shim/titanrepo-env/src/lib.rs ... +314/-0  package_json.rs ...                                                                                                            shim/titanrepo-repository/src/package_json.rs ... +254/-0  Additional 305 files not shown ...                                                                                                            Additional 305 files not shown ...
Additional files (token-limit)extra_file_yaml =	1 files global_hash.rs ...                                                                                                            shim/titanrepo-lib/src/run/global_hash.rs ... +296/-0

---

💡 PR-Agent usage: Comment /help "your question" on any pull request to receive relevant information

[sourcery-ai]

The pull request #7 has too many files changed.

We can only review pull requests with up to 300 changed files, and this pull request has 601.

[codiumai-pr-agent-free]

PR Reviewer Guide 🔍

Here are some key observations to aid the review process:

⏱️ Estimated effort to review: 4 🔵🔵🔵🔵⚪

🧪 PR contains tests

🔒 No security concerns identified

⚡ Recommended focus areas for review Complex Configuration Logic The EnvVars and OverrideEnvVars structs contain complex logic for parsing and mapping environment variables to configuration options. This complexity may make it difficult to maintain and extend in the future. Consider refactoring to simplify the logic and improve readability. Temporary Workaround There's a TODO comment mentioning a temporary workaround for a cargo regression. This should be revisited and removed once the underlying issue is resolved. Signal Handling The script ignores SIGINT signals, which might lead to unexpected behavior in certain scenarios. Consider adding a timeout or a way to forcefully terminate the script.

[codiumai-pr-agent-free]

PR Code Suggestions ✨

Explore these optional code suggestions:

Category	Suggestion	Score
Enhancement	Implement error handling in the function executing external commands Consider using a try-catch block inside the runSweep function to handle potential errors when executing the cargo-sweep command. This will provide more robust error handling and allow for custom error messages or actions. .github/actions/cargo-sweep/src/sweep.js [4-10] async function runSweep(...args) { - // TODO(alexkirsz) A cargo change introduced a regression where cargo can't - // find the sweep binary. This is a temporary workaround until the fix is - // released. See: - // https://github.com/rust-lang/cargo/pull/11814 - await exec.exec("cargo-sweep", ["sweep", ...args]); + try { + // TODO(alexkirsz) A cargo change introduced a regression where cargo can't + // find the sweep binary. This is a temporary workaround until the fix is + // released. See: + // https://github.com/rust-lang/cargo/pull/11814 + await exec.exec("cargo-sweep", ["sweep", ...args]); + } catch (error) { + core.error(`Failed to execute cargo-sweep: ${error.message}`); + throw error; + } } Apply this suggestion Suggestion importance[1-10]: 9 Why: Adding a try-catch block to handle potential errors when executing the cargo-sweep command significantly improves the robustness of the function by allowing for custom error handling and logging, which is crucial for debugging and maintaining the code.	9
	Use the ? operator for more concise and idiomatic error handling in Option-returning methods Consider using the ? operator instead of manually unwrapping and returning in the remote_cache_read_only() and summarize() methods. This can make the code more concise and idiomatic. shim/titanrepo-lib/src/cli/mod.rs [945-953] pub fn remote_cache_read_only(&self) -> Option<bool> { - let remote_cache_read_only = self.remote_cache_read_only?; - Some(remote_cache_read_only.unwrap_or(true)) + Some(self.remote_cache_read_only?.unwrap_or(true)) } pub fn summarize(&self) -> Option<bool> { - let summarize = self.summarize?; - Some(summarize.unwrap_or(true)) + Some(self.summarize?.unwrap_or(true)) } Apply this suggestion Suggestion importance[1-10]: 9 Why: The suggestion to use the ? operator makes the code more concise and idiomatic. The improved code correctly implements this change, enhancing readability and maintainability.	9
	Add logging to improve visibility of command execution process Consider adding logging statements using core.info() or core.debug() within the runSweep function to provide more visibility into the execution process, including the command being run and its arguments. .github/actions/cargo-sweep/src/sweep.js [4-10] async function runSweep(...args) { + core.info(`Running cargo-sweep with args: ${args.join(' ')}`); // TODO(alexkirsz) A cargo change introduced a regression where cargo can't // find the sweep binary. This is a temporary workaround until the fix is // released. See: // https://github.com/rust-lang/cargo/pull/11814 await exec.exec("cargo-sweep", ["sweep", ...args]); + core.info('cargo-sweep command completed successfully'); } Apply this suggestion Suggestion importance[1-10]: 7 Why: Incorporating logging statements provides better visibility into the execution process, aiding in debugging and monitoring. While not critical, it enhances the maintainability and traceability of the code, making it a valuable improvement.	7
	Use derive macro for Default trait implementation to reduce boilerplate and potential errors Consider using #[derive(Default)] for the RunArgs struct instead of manually implementing the Default trait. This can reduce boilerplate and potential errors in maintaining the default values. shim/titanrepo-lib/src/cli/mod.rs [904-921] -impl Default for RunArgs { - fn default() -> Self { - Self { - cache_workers: DEFAULT_NUM_WORKERS, - dry_run: None, - graph: None, - no_cache: false, - daemon: false, - no_daemon: false, - profile: None, - anon_profile: None, - remote_cache_read_only: None, - summarize: None, - experimental_space_id: None, - parallel: false, - } - } +#[derive(Default)] +pub struct RunArgs { + #[default(DEFAULT_NUM_WORKERS)] + pub cache_workers: u32, + pub dry_run: Option<DryRunMode>, + pub graph: Option<String>, + pub no_cache: bool, + pub daemon: bool, + pub no_daemon: bool, + pub profile: Option<String>, + pub anon_profile: Option<String>, + pub remote_cache_read_only: Option<Option<bool>>, + pub summarize: Option<Option<bool>>, + pub experimental_space_id: Option<String>, + pub parallel: bool, } Apply this suggestion Suggestion importance[1-10]: 6 Why: Using #[derive(Default)] can reduce boilerplate and potential errors. However, the improved code does not correctly apply the #[default] attribute, which is not valid in Rust, reducing the suggestion's accuracy.	6
Best practice	Add #[must_use] attribute to methods returning important values to prevent accidental misuse Consider using the #[must_use] attribute for the daemon() method in the RunArgs impl block. This will warn users if they call the method without using its return value, which could lead to unexpected behavior. shim/titanrepo-lib/src/cli/mod.rs [926-934] +#[must_use] pub fn daemon(&self) -> Option<bool> { match (self.daemon, self.no_daemon) { (true, false) => Some(true), (false, true) => Some(false), (false, false) => None, (true, true) => unreachable!(), // guaranteed by mutually exclusive `ArgGroup` } } Apply this suggestion Suggestion importance[1-10]: 8 Why: The suggestion to add the #[must_use] attribute is beneficial as it warns users about potential misuse of the method's return value. The improved code accurately reflects this change.	8
	Use a constant for default values to improve maintainability and consistency Consider using a constant for the default value of cache_workers instead of repeating the value. This improves maintainability and reduces the risk of inconsistencies. shim/titanrepo-lib/src/cli/mod.rs [850-851] -#[clap(long, default_value_t = DEFAULT_NUM_WORKERS)] +#[clap(long, default_value_t = DEFAULT_CACHE_WORKERS)] pub cache_workers: u32, Apply this suggestion Suggestion importance[1-10]: 7 Why: The suggestion to use a constant for the default value of cache_workers is valid as it improves maintainability and reduces the risk of inconsistencies. The improved code correctly reflects this change.	7

💡 Need additional feedback ? start a PR chat